(57)【要約】【課題】インターレース構造の画像を圧縮符号化するための各符号化モード選択に用いられ、符号化効率を低下させること無く演算処理量の削減を図ることができる符号化モード選択装置及び選択プログラムを提供する。【解決手段】直交変換符号化モード選択手段１０２は、直交変換符号化モードを符号化対象画像マクロブロックで算出したフレーム／フィールド判定評価値を比較して符号化効率の良い方を選択する。動きベクトル検出手段１０３は、直交変換符号化モードに従って動き補償予測符号化モードを動き補償予測フレームモードまたは動き補償予測フィールドモードとして動きベクトル検出を行う。画像相関モード選択手段１０４は、直交変換符号化モードに従った動き補償予測符号化モードにて画像相関モードを符号化対象画像マクロブロックで算出したイントラ判定評価値とインター判定評価値とを比較して符号化効率の良い方を画像相関モードとして選択する。【選択図】  図１
2006060538.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する２つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する、符号化モード選択装置において、
フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択手段と、
前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする、動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出手段と、
前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する手段であり、
選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択手段とを有することを特徴とする符号化モード選択装置。
【請求項２】
時間的に連続する２つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する機能をコンピュータに実行させるための、符号化モード選択プログラムにおいて、
フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択機能と、
前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて、前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出機能と、
前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する機能であり、
選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択機能とをコンピュータに実現させるための符号化モード選択プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間的に連続する２つのフィールド画像を重ね合わせてひとつのフレーム画像を構成するインターレース構造の画像の符号化に係り、特に演算量が少なく符号化効率の良い符号化モード選択装置及び符号化モード選択プログラムに関するものである。
【背景技術】
【０００２】
ＭＰＥＧに代表される動画像の符号化では、画像内の近傍画素間の相関や、時間的に連続する画像間の相関を利用して符号量を圧縮する方式が用いられる。
画像内の符号量の圧縮は、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform）に代表される直交変換符号化を用いて行われる。
【０００３】
画像間の符号量の圧縮は、動きベクトルを利用した動き補償予測符号化を用いて行われる。
直交変換符号化は、例えば符号化対象画像を８×８画素の単位ブロック毎に分割して、前記単位ブロック毎に２次元直交変換を施すと、ある直交変換係数の周りに大きな値が集中する画像の特性を利用して符号量を圧縮する符号化手法である。
【０００４】
動き補償予測符号化は、一般に時間的に連続する動画像においては画像相関性が高いことを利用して符号量を圧縮する符号化手法である。例えば符号化対象画像を前記８×８画素の単位ブロックにより構成される１６×１６画素のブロック（以下マクロブロックと呼ぶ）に分割する。分割した符号化対象画像マクロブロック毎に、時間的に連続する参照画像おいて符号化効率の度合いを示す誤差評価値が最小のブロックを検出する。前記誤差評価値が最小のブロックと符号化対象画像マクロブロックとにおいて、対応する画素毎に差分をとった残差成分を符号化に用いると符号化効率が最も良好になる。このとき参照画像上の誤差評価値が最小のブロック領域が、符号化対象画像マクロブロックに対してどの程度ずれた位置に存在するのかを表すのが動きベクトルである。
【０００５】
前記直交変換符号化は、前記動き補償予測符号化がなされた後の残差成分に対して行うと、より符号化効率が高まる。
上記のように、画像間の相関を利用した動き補償予測符号化を行い、その後の残差成分に対して直交変換符号化を行う符号化手法をインター符号化と呼ぶ。
【０００６】
対して、動き補償予測符号化を行わずに、符号化対象画像内で直交変換符号化のみを行う符号化手法をイントラ符号化と呼ぶ。
イントラ符号化は、符号化効率がインター符号化より低い。しかし、イントラ符号化はインター符号化を行うための参照画像を生成するために、符号化に際して定期的に行う必要がある。このイントラ符号化で生成される画像をIピクチャと呼ぶ。
【０００７】
インター符号化にて生成される画像には、PピクチャとBピクチャの２種類がある。Pピクチャは、時間的に前方の参照画像（Iピクチャまたは既に生成済みのPピクチャ）のみを用いて生成される画像である。Bピクチャは、時間的に前方と後方の両方の参照画像（Iピクチャまたは既に生成済みのPピクチャ）を用いて生成される画像である。Bピクチャが最も符号化効率がよい画像である。
【０００８】
上記のように、イントラ符号化を使用する符号化モードをイントラモード、インター符号化を使用する符号化モードをインターモードと呼び、これら二つのモードの総称を本説明では画像相関モードと呼ぶ。
【０００９】
インターモードにて生成することを前提とするＰピクチャ、Ｂピクチャであるが、必ずしもインターモードを使用しなくてもよく、イントラモードを使用しても良い。前記マクロブロック単位で、インターモードとイントラモードを切り替えることができる。直交変換符号化と動き補償予測符号化の両方を行った方が符号化効率が良いと判断されるマクロブロックの場合はインターモードを選択する。動き補償予測符号化を行わずに直交変換符号化のみ行った方が符号化効率が良いと判断されるマクロブロックの場合はイントラモードを選択する。このようにマクロブロック単位で適応的にイントラモードとインターモードとを切り替えることで符号化効率を向上させることができる。
【００１０】
ところで、２つのフィールド画像を重ね合わせて１つのフレーム画像を構成するインターレース構造の画像においては、直交変換符号化、動き補償予測符号化を行う際にフレーム画像マクロブロックを用いるかフィールド画像マクロブロックを用いるかの選択ができる。
【００１１】
例えばある一つの符号化対象画像マクロブロックにて直交変換符号化を行うとき、フィールド画像マクロブロックの方がフレーム画像マクロブロックより直交変換符号化の符号化効率が良いと判断できるときは、当該符号化対象画像マクロブロックにフィールド画像マクロブロックを使用する。なお直交変換符号化はマクロブック内の４つの単位ブロック毎に行われる。
【００１２】
同様に、ある一つの符号化対象画像マクロブロックにて動き補償予測符号化を行うとき、フレーム画像マクロブロックの方がフィールド画像マクロブロックより動き補償予測符号化の符号化効率が良いと判断できるときは、当該符号化対象画像マクロブロックにフレーム画像マクロブロックを使用する。
【００１３】
フレーム画像マクロブロックを使用する符号化モードを、フレームモードと呼ぶ。またフィールド画像マクロブロックを使用する符号化モードをフィールドモードと呼ぶ。
このように直交変換符号化および動き補償予測符号化を行う際には、フレームモードで符号化した方が符号化効率が良いと判断される場合はフレームモードを選択し、フィールドモードで符号化した方が符号化効率が良いと判断される場合はフィールドモードを選択する。この選択処理を、マクロブロック単位で適応的に切り替えることで、符号化効率を向上させることができる。
【００１４】
直交変換符号化におけるフレームモード、フィールドモードをそれぞれ、直交変換フレームモード、直交変換フィールドモードと呼び、これら二つのモードの総称を直交変換符号化モードと呼ぶ。また同様に、動き補償予測符号化におけるフレームモード、フィールドモードをそれぞれ、動き補償予測フレームモード、動き補償予測フィールドモードと呼び、これら二つのモードの総称を動き補償予測符号化モードと呼ぶ。
【００１５】
なお符号化規格には、直交変換符号化モードと動き補償予測符号化モードとでフレームモードとフィールドモードとを独立に切り替える規定の符号化規格（MPEG−２規格など）と、直交変換符号化モードと動き補償予測符号化モードが独立しておらず、一つのモードとして同時に切り替える規定の符号化規格（MPEG−４AVCなど）がある。本実施例では前者のフレームモードとフィールドモードとを独立に切り替える規定の符号化規格を例に説明するが、後者の規格で実施しても良い。
【００１６】
このように、インターレース画像の符号化には多様な符号化モードがある。表１はこれまで述べてきたインターレース画像における符号化モードの組み合わせをまとめたものである。これらの符号化モードを符号化対象画像マクロブロック毎に選択して符号化を行う。符号化モードを適切に選択するか否かで符号化効率が大きく変化する。そのため、符号化効率の良い符号化モードを選択することは非常に重要であり、さまざまな方法が提案されている。
【００１７】
【表１】
2006060538.tif 000003
従来の符号化モード選択装置の一例として、例えば特許文献１のようにフレームの動きベクトル検出とフィールドの動きベクトル検出を行って、動き補償予測符号化モードを選択する符号化モード選択装置が提案されている。
【００１８】
以下、この特許文献１に記載の従来の符号化モード選択装置について図３を用いて説明する。
この従来の符号化モード選択装置は、画像メモリ２０１と、フレーム動きベクトル検出手段２０２と、フィールド動きベクトル検出手段２０３と、動き補償予測符号化モード選択手段２０４と、画像相関モード選択手段２０５と、直交変換符号化モード選択手段２０６と、符号化モード出力手段２０７とから構成されている。
【００１９】
画像メモリ２０１は、この装置の外部から入力された符号化対象画像と参照画像の画像信号を記憶している。
フレーム動きベクトル検出手段２０２は、符号化対象画像マクロブロックをフレーム画像とした場合の動きベクトルを検出する。このフレーム動きベクトルとフレーム動きベクトルに対応した誤差評価値を、動き補償予測符号化モード選択手段２０４に供給する。
【００２０】
フィールド動きベクトル検出手段２０３は、符号化対象画像マクロブロックをフィールド画像とした場合の動きベクトルを検出する。このフィールド動きベクトルとフィールド動きベクトルに対応した誤差評価値を、動き補償予測符号化モード選択手段２０４に供給する。
【００２１】
動き補償予測符号化モード選択手段２０４は、供給されたフレーム動きベクトルに対応した誤差評価値とフィールド動きベクトルに対応した誤差評価値を比較して、値が小さい方を当該符号化対象画像マクロブロックの動き補償予測符号化モードとして選択する。選択した動き補償予測符号化モードに対応した動きベクトルを画像相関モード選択手段２０５に供給し、選択した動き補償予測符号化モードを符号化モード出力手段２０７に供給する。
【００２２】
画像相関モード選択手段２０５は、イントラモードとインターモードとでどちらが符号化効率が良いかを調べて、良いほうを当該符号化対象画像マクロブロックの画像相関モードとして選択する。そして選択した画像相関モードを、直交変換符号化モード選択手段２０６と符号化モード出力手段２０７に供給する。
【００２３】
直交変換符号化モード選択手段２０６は、供給された画像相関モードに従って当該符号化対象画像マクロブロックの直交変換符号化モードを選択する。
例えば、供給された画像相関モードがイントラモードの場合は、当該符号化対象画像マクロブロックをそのまま使用して直交変換符号化モード選択処理を行う。また供給された画像相関モードがインターモードの場合は、当該符号化対象画像マクロブロックと参照画像マクロブロックとの残差成分を使用して直交変換符号化モード選択処理を行う。
【００２４】
上記のように供給された画像相関モードに従った画像にて、直交変換フレームモードと直交変換フィールドモードとで、どちらが直交変換符号化の符号化効率が良いかを調べる。そして、符号化効率の良いほうを符号化対象画像マクロブロックの直交変換符号化モードとして選択する。
【００２５】
選択した直交変換符号化モードを、符号化モード出力手段２０７に供給する。
符号化モード出力手段２０７は、供給された各符号化モード（画像相関モード、動き補償予測符号化モード、直交変換符号化モード）を、出力端子２０８からこの装置の外部に出力する。
【００２６】
上記従来の符号化モード選択処理の流れを、図４のフローチャートを用いて説明する。
まず、フレーム動きベクトル検出を行い（Ｓ２１）、次にフィールド動きベクトル検出を行う（Ｓ２２）。
【００２７】
次に、フレーム動きベクトルに対応した誤差評価値とフィールド動きベクトルに対応した誤差評価値を比較して、値が小さい方の誤差評価値に対応する動き補償予測符号化モードを選択する（Ｓ２３）。
【００２８】
そして、画像相関モードをイントラモードかインターモードのどちらにするかを選択する（Ｓ２４）。
そして、直交変換符号化モードを直交変換フレームモードもしくは直交変換フィールドモードのどちらにするかを選択する（Ｓ２５）。
【００２９】
最後に、選択した符号化モード（画像相関モード、動き補償予測符号化モード、直交変換符号化モード）を出力する（Ｓ２６）。
【特許文献１】特許第３０９２２８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００３０】
従来の符号化モード選択装置では、動き補償予測符号化モード選択処理時にフレーム動きベクトル検出とフィールド動きベクトル検出の両方を行って符号化モードを選択している。しかしながら、動きベクトル検出処理は符号化モード決定処理の中で最も処理量の大きな部分である。従って従来例のように、フレーム動きベクトル検出とフィールド動きベクトル検出の両方の処理を符号化モード選択処理の度に行っていると、動きベクトル検出処理量が増大してしまい、符号化モード選択処理量が大幅に増大してしまうという課題があった。
【００３１】
本発明は以上の課題を鑑みてなされたものである。
本発明は、インターレース画像の符号化に際して符号化効率を低下させることなく、符号化モード選択処理の演算量を削減することが可能な、符号化モード選択装置および符号化モード選択プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３２】
そこで上記課題を解決するために本発明は、下記の装置及びプログラムを提供するものである。
（１）時間的に連続する２つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する、符号化モード選択装置において、
フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択手段と、（１０２、Ｓ１１）
前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする、動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出手段と、（１０３、Ｓ１２、Ｓ１３）
前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する手段であり、
選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択手段とを有することを特徴とする符号化モード選択装置。（１０４、Ｓ１４）
（２）時間的に連続する２つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する機能をコンピュータに実行させるための、符号化モード選択プログラムにおいて、
フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択機能と、（１０２、Ｓ１１）
前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて、前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出機能と、（１０３、Ｓ１２、Ｓ１３）
前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する機能であり、
選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択機能とをコンピュータに実現させるための符号化モード選択プログラム。（１０４、Ｓ１４）
【発明の効果】
【００３３】
本発明では、インターレース画像における画像圧縮符号化処理時の特性を利用することにより、従来例に比較して符号化効率を落とすことなく以下の効果を得ることができる。
従来例では、動き補償予測符号化モードを選択するためにフレーム画像とフィールド画像の両方において動きベクトル検出を行っていた。
【００３４】
しかし本発明によれば、前記直交変換符号化モード選択処理で選択された直交変換フレームモードまたは直交変換フィールドモードに従って、動き補償予測符号化モードを設定する。よって前記動き補償予測符号化モードに従ったフレーム画像マクロブロックかフィールド画像マクロブロックのうちどちらか一方のみを符号化対象画像マクロブロックとして用いて動きベクトル検出処理を行えばよい。
【００３５】
よって、動きベクトル検出処理量を従来の約半分に削減することが可能となり、符号化モード選択処理量を大幅に削減することが可能となる。
また上記のとおり、動き補償予測符号化モードは直交変換符号化モードの選択結果に従うので、動き補償予測符号化モードの選択処理が必要ない。よって動き補償予測符号化モード選択処理を削除することが可能となり、符号化モード選択処理量を削減することが可能となる。
【発明を実施するための最良の形態】
【００３６】
従来例では図４に示すフローチャートのように、フレーム動きベクトルを検出し（Ｓ２１）、フィールド動きベクトルを検出し（Ｓ２２）、検出したフレーム動きベクトルとフィールド動きベクトルを用いて動き補償予測符号化モードを選択し（Ｓ２３）、選択した動き補償予測符号化モードにおいて画像相関モードを選択し（Ｓ２４）、選択した画像相関モードにおいて直交変換符号化モードを選択する（Ｓ２５）という符号化モード選択手順であった。
【００３７】
従って、動き補償予測符号化モードを選択するために、フレーム画像マクロブロックでの動きベクトル検出処理とフィールド画像マクロブロックでの動きベクトル検出処理の両方が必要であった。
【００３８】
本発明では、例えば図２に示すフローチャートのように、符号化対象画像マクロブロックにおいてまず直交変換符号化モードを選択し（Ｓ１１）、動き補償予測符号化モードは直交変換符号化モードに従うこととし（Ｓ１２）、動き補償予測符号化モードで選択されたフレーム画像マクロブロックまたはフィールド画像マクロブロックの動きベクトルを検出し（Ｓ１３）、選択した直交変換符号化モードと検出した動きベクトルを用いて画像相関モードを選択する（Ｓ１４）という手順とすることを特徴とする。
【００３９】
本発明の符号化モード選択手順によれば、動き補償予測符号化モードは直交変換符号化モードの選択結果に従うために、従来例のような動き補償予測符号化モード選択のための動きベクトル検出処理は必要無い。動きベクトル検出処理は、画像相関モードを選択するために使用される動きベクトルを求めるためにのみ行われる。よって前記動き補償予測符号化モードに従ったフレーム画像マクロブロックかフィールド画像マクロブロックのうちどちらか一方のみを符号化対象画像マクロブロックとして用いて動きベクトル検出処理を行えばよい。
【００４０】
直交変換符号化モードに従って動き補償予測符号化モードを設定しても符号化効率が低下しない根拠は、以下に述べるインターレース画像の符号化処理時の特性による。
動き補償予測符号化は、既に直交変換符号化が行われている符号化対象画像マクロブロックと、同じく既に直交変換符号化が行われている参照画像マクロブロックとの残差成分に対して行われる。このときほとんどのインターレース画像の場合には、動き補償予測符号化モードは、直交変換符号化モードと同一のフレームモード画像マクロブロックまたはフィールド画像マクロブロックを使用したほうが符号化効率が良くなる方向となる。従ってＭＰＥＧ−４AVC等の新しい符号化規格においては、直交変換符号化モードと動き補償予測符号化モードが独立しておらず、一つのモードとして同時に切り替える規定になっている。
【００４１】
また、直交変換符号化モード選択を、符号化対象画像マクロブロックのみを用いて行っても符号化効率が低下しない根拠は、以下に述べるインターレース画像の直交変換符号化モード選択処理時の特性による。
【００４２】
インターレース画像において、直交変換符号化モードは、画像内の隣接する位置にある水平ライン間（フレーム画像に相当する）で画素の相関性が高い場合は直交変換フレームモードを選択すると符号化効率が高くなる。また、１ライン飛ばした位置にある水平ライン間（フィールド画像に相当する）で画素の相関性が高い場合は直交変換フィールドモードを選択すると符号化効率が高くなる。
【００４３】
しかるに、直交変換フレームモードと直交変換フィールドモードにおける画素の相関性の高さ（直交変換符号化時の符号化効率の高低）は、イントラモードで使用する符号化対象画像マクロブロックにおいても、インターモードで使用する符号化対象画像マクロブロックと参照画像マクロブロックとの残差成分においても、ほとんど同じ傾向となる。
【００４４】
従来例では、画像相関モードを先に選択して、その選択したモード（イントラモードまたはインターモード）によって直交変換符号化モードを選択している。
しかし、あえてこの従来例のような処理にしなくても、上記インターレース画像における直交変換符号化モード選択時の特性があるため、本発明のように符号化対象画像マクロブロックのみを用いただけでも適切な直交変換符号化モード選択が可能であり、符号化効率の低下を生じることはない。
【実施例】
【００４５】
本発明の実施例を、図面を参照しながら説明する。
図１は本発明による符号化モード選択装置の一実施例のブロック図である。
本実施例は、画像メモリ１０１と、直交変換符号化モード選択手段１０２と、動きベクトル検出手段１０３と、画像相関モード選択手段１０４と、符号化モード出力手段１０５とから構成されている。
【００４６】
画像メモリ１０１は、この装置の外部から入力された符号化対象画像と参照画像の画像信号を記憶している。
直交変換符号化モード選択手段１０２は、直交変換符号化モードを直交変換フレームモードか直交変換フィールドモードのどちらにするかを選択する。具体的には、符号化対象画像マクロブロックにおけるフレーム判定評価値（Frame）とフィールド判定評価値（Field）を求めて、値がより小さい方を選択する。フレーム／フィールド判定評価値は、それぞれ数１の数式で算出される。
【００４７】
【数１】
2006060538.tif 000004
i,jはそれぞれX座標Y座標を表している。Ｓは符号化対象画像マクロブロックの各座標ごとの画素値を表している。
【００４８】
Frameはフレーム相当の水平ライン間の画素の相関の度合いを表しており、Fieldはフィールド相当の水平ライン間の画素の相関の度合いを表している。それぞれ値が小さいほど相関が高く、符号化効率が良いと判断できる。従って、値が小さい方の直交変換符号化モードを選択すると符号化効率が良くなる。
【００４９】
選択した直交変換符号化モードを、動きベクトル検出手段１０３と符号化モード出力手段１０５に供給する。
動きベクトル検出手段１０３は、供給された直交変換符号化モードに従って動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従ったフレーム画像マクロブロックまたはフィールド画像マクロブロックを符号化対象画像マクロブロックとして用いて動きベクトル検出を行う。検出された動きベクトルを、画像相関モード選択手段１０４に供給する。また、設定した動き補償予測符号化モードを符号化モード出力手段１０５に供給する。
【００５０】
このように、本実施例の動きベクトル検出手段では、供給された直交変換符号化モードに従ったフレームモードまたはフィールドモードを動き補償予測符号化モードにも設定している。従って動きベクトル検出は、設定した動き補償予測フレームモードまたは動き補償予測フィールドモードのどちらか一方でのみ行えば良い。
【００５１】
よって、動きベクトル検出処理量を従来の約半分に削減することが可能となり、符号化モード選択処理量を大幅に削減することが可能となる。
また、動き補償予測符号化モードは直交変換符号化モードの選択結果に従うので、動き補償予測符号化モードの選択処理が必要ない。よって動き補償予測符号化モード選択処理を削除することが可能となり、符号化モード選択処理量を削減することが可能となる。
【００５２】
画像相関モード選択手段１０４は、画像相関符号化モードをイントラモードかインターモードのどちらにするかを選択する。具体的には、符号化対象画像マクロブロックにおけるイントラ判定評価値（Intra）と、インター判定評価値（Inter）を求めて、値がより小さい方を選択する。イントラ／インター判定評価値はそれぞれ数２の数式で算出される。
【００５３】
【数２】
2006060538.tif 000005
i,jはそれぞれX座標Y座標を表している。Ｒは、動きベクトル検出手段１０３より供給された、動きベクトルで示される参照画像の各座標ごとの画素値を表す。Ｓは符号化対象画像マクロブロックの各座標ごとの画素値を表している。Ｎは符号化対象画像マクロブロックの画素の数を表している。
【００５４】
Intraはイントラ判定評価値であり、符号化対象画像マクロブロックを直交変換符号化した場合に高域成分がどの程度発生するかを見積もった概算値である。
Interはインター判定評価値であり、符号化対象画像マクロブロックと対応する参照画像との誤差評価値である。
【００５５】
イントラ判定評価値とインター判定評価値は、異なる判断要素から算出される評価値でありそのままでは比較の対象とはならない。しかし、どちらも値が小さくなる方が符号化効率が良くなる方向であるのは一致している。従って、過去の実験データより導いた所定の係数を、イントラ判定評価値もしくはインター判定評価値に加算または乗算することにより、両者が比較の対象となり得るように加工する手法が一般的に用いられている。本説明ではこの係数の加算または乗算する処理は省略している。
【００５６】
選択した画像相関モードは、符号化モード出力手段１０５に供給される。
符号化モード出力手段１０５は、供給された符号化モード（画像相関モード、動き補償予測符号化モード、直交変換符号化モード）を、出力端子１０６からこの装置の外部に出力する。
【００５７】
なお本説明では、直交変換符号化と動き補償予測符号化それぞれで、フレームモードとフィールドモードとを独立に切り替える規定の符号化規格を想定している。従って、動き補償予測符号化モードと直交変換符号化モードを別々のモードとして出力している。直交変換符号化モードと動き補償予測符号化モードが独立しておらず、一つのモードとして同時に切り替える規定の符号化規格の場合は、動き補償予測符号化モードと直交変換符号化モードをまとめて一つのフレームモードまたはフィールドモードとして出力することで対応してもよい。
【００５８】
また、直交変換符号化モード選択手段１０２と画像相関モード選択手段１０４で行っている各判定評価値算出方法は実施の一例であり、この例に限らず、符号化効率の良し悪しを判定する評価値の算出方法であればどのような方法でもよい。
【００５９】
またさらに進んだ符号化効率の良し悪しを判定する評価値の算出方法として、例えば符号化した画像を再度復号した復号画像を用いて符号化対象画像との歪値を算出し、算出した歪値を発生符号量に換算した値を発生符号量に加算するなどの方法がある。このような方法を用いても良い。
【００６０】
本実施例の符号化モード選択処理の流れを、図２のフローチャートを用いて説明する。
まず、符号化対象画像マクロブロックを用いて、直交変換符号化モードを直交変換フレームモードもしくは直交変換フィールドモードのどちらにするかを、フレーム／フィールド判定評価値により選択する（Ｓ１１）。
【００６１】
次に、直交変換符号化モードに従い動き補償予測符号化モードを設定する（Ｓ１２）。
次に、設定した動き補償予測符号化モードにおいて動きベクトル検出を行う（Ｓ１３）。
【００６２】
そして、符号化対象画像マクロブロックの画像相関モードをイントラモードかインターモードのどちらにするかを、イントラ／インター判定評価値により選択する。（Ｓ１４）。
【００６３】
最後に、選択した符号化モード（画像相関モード、動き補償予測符号化モード、直交変換符号化モード）を出力する（Ｓ１５）。
さらにまた、本発明は上記した符号化モード選択装置の機能をコンピュータに実現させるためのプログラムも含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の符号化モード選択装置の一実施の形態のブロック図である。
【図２】本発明の符号化モード選択処理の一実施の形態のフローチャートである。
【図３】従来の符号化モード選択装置の一例のブロック図である。
【図４】従来の符号化モード選択処理の一例のフローチャートである。
【符号の説明】
【００６５】
１０１  画像メモリ
１０２  直交変換符号化モード選択手段
１０３  動きベクトル検出手段
１０４  画像相関モード選択手段
１０５  符号化モード出力手段
１０６  符号化モード出力端子
Ｓ１１  直交変換符号化モード選択ステップ
Ｓ１２  動き補償予測符号化モード設定ステップ
Ｓ１３  動きベクトル検出ステップ
Ｓ１４  画像相関モード選択ステップ
Ｓ１５  符号化モード出力ステップ
【図１】
2006060538.tif 000006
【図２】
2006060538.tif 000007
【図３】
2006060538.tif 000008
【図４】
2006060538.tif 000009