(57)【要約】  【課題】  フレーム内符号化を高速で行うことのできる、動画像フレーム内モード判定方式を提供することにある。  【解決手段】  まず、近接符号化ブロックの画素値を用いて、フレーム内符号化を行うブロック（以下、当該ブロック）の例えば９通りの画面内予測誤差を求める（ステップＳ１１）。次に、該画面内予測誤差を用いて、当該ブロックの予測モードを決定する（ステップＳ１２）。例えば、該予測誤差の絶対値和が最小になるモードを選択する。次いで、近接既符号化ブロックの画面内予測モードを用いて、当該ブロックの予測モードを決定する（ステップＳ１３）。例えば、符号化モード番号の小さいものを選択する。次に、ステップＳ１２とＳ１３で決定した予測モードが異なる場合には、評価値Ｊ（＝Ｄ＋λＲ）の小さい方の予測モードを選択する（ステップＳ１４，Ｓ１５）。  【選択図】  図２
2005184241.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号のブロックのフレーム内符号化モードを決定する動画像フレーム内モード判定方式において、
既符号化ブロックの画素値を用いて前記ブロックの予測誤差を求める手段と、
前記予測誤差を用いて前記ブロックのフレーム内予測モードの第１の候補を決定する手段と、
前記既符号化ブロックのフレーム内予測モードを用いて前記ブロックのフレーム内予測モードの第２の候補を決定する手段と、
前記第１、第２の候補のフレーム内予測モードのうちの符号化効率の良い方を最適フレーム内予測モードと決定する手段とを具備したことを特徴とする動画像フレーム内モード判定方式。
【請求項２】
請求項１に記された動画像フレーム内モード判定方式において、
前記ブロックの予測誤差を求める手段は、選択可能なフレーム内予測モードの予測誤差を求めることを特徴とする動画像フレーム内モード判定方式。
【請求項３】
請求項１又は２に記された動画像フレーム内モード判定方式において、
前記予測誤差は、ＤＣ予測、垂直予測、水平予測、および対角線予測について求められることを特徴とする動画像フレーム内モード判定方式。
【請求項４】
請求項１乃至３のいずれかに記された動画像フレーム内モード判定方式において、
前記ブロックのフレーム内予測モードの第１の候補を決定する手段は、前記予測誤差の少ない予測モードを第１の候補とすることを特徴とする動画像フレーム内モード判定方式。
【請求項５】
請求項４に記された動画像フレーム内モード判定方式において、
前記ブロックのフレーム内予測モードの第１の候補を決定する手段は、前記予測誤差の絶対値和が最小になる予測モードを選択する方法、前記予測誤差のそれぞれにHadamard変換を施し変換後の予測誤差の絶対値和が最小になる予測モードを選択する方法、および前記予測誤差の２乗和が最小になる予測モードを選択する方法のうちのいずれかの方法を用いて前記第１の候補を決定することを特徴とする動画像フレーム内モード判定方式。
【請求項６】
請求項１乃至５のいずれかに記された動画像フレーム内モード判定方式において、
前記符号化効率の良い方を最適フレーム内予測モードと決定する手段は、前記第１の候補と第２の候補のフレーム内予測モードが一致する場合には該フレーム内予測モードを用い、一致しない場合には誤差と符号量が共に小さい予測モードを選択することを特徴とする動画像フレーム内モード判定方式。
【請求項７】
請求項６に記された動画像フレーム内モード判定方式において、
Rate-Distortion最適法を用いて、前記第１、第２の候補のフレーム内予測モードにおける評価関数Ｊから評価値を求め、該評価値の小さい方を最適フレーム内予測モードと決定することを特徴とする動画像フレーム内モード判定方式。
【請求項８】
請求項１乃至７のいずれかに記された動画像フレーム内モード判定方式において、
前記ブロックのフレーム内予測モードの第２の候補を決定する手段は、隣接ブロックの複数の候補のうちの最も符号量が少ない予測モードを第２の候補とすることを特徴とする動画像フレーム内モード判定方式。
【請求項９】
請求項８に記された動画像フレーム内モード判定方式において、
前記隣接ブロックは、前記ブロックの上隣および左隣のブロックであることを特徴とする動画像フレーム内モード判定方式。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は動画像フレーム内モード判定方式に関し、特に動画像フレーム内（または、動画像画面内）符号化効率を向上し、符号化速度の高速化を図るようにした動画像フレーム内モード判定方式に関する。
【背景技術】
【０００２】
動画像フレーム内予測（以下、イントラ予測と記す）には、数多くのモードが存在するため、このモードを符号化効率を落とさずにいかに高速に求めるのかが重要となる。
【０００３】
ここで、ＩＴＵ−ＴとＩＳＯ  ＭＰＥＧが共同で検討を進めてきた新動画像符号化方式Ｈ．２６４＼ＡＶＣ（以下、ＪＶＴと記す）のテストモデルなどで利用されているイントラ予測モード選択法について説明する。
【０００４】
前記イントラ予測モード選択法には、下記の非特許文献１に記されている方法（以下、Rate-Distortion最適法と呼ぶ）および非特許文献２に記されている方法（以下、エッジ（Edge)成分に基づく方法）がある。
【０００５】
前記Rate-Distortion最適法は、各マクロブロックにおける符号化モードや動ベクトル等を符号化効率の観点で最適な形で選択するための方法である。ＪＶＴでサポートされているイントラ符号化モードには、イントラ４&times;４とイントラ１６&times;１６が存在する。ここでは、イントラ４&times;４について簡単に説明する。
【０００６】
従来のビデオ符号化標準では、イントラ予測は変換係数領域で行われていたのに対して、ＪＶＴでは、既に符号化された左隣または上隣のブロックの近傍の画素値から空間領域で行われる。
【０００７】
すなわち、イントラ予測される４&times;４ブロックが図６(a)の画素ａ〜ｐであるとすると、該４&times;４ブロックは、既に符号化された左隣または上隣のブロックの近傍の画素値Ａ〜Ｌから予測される。この予測には、前記画素値Ａ〜Ｌの平均値を用いる予測（ＤＣ予測）と、図６(b)に示されている８方向から予測されるものの、合計で９つの予測モードがある。図７(a)〜(d)は、前記８方向からの予測モードのうちの代表的な４方向の予測モードを示す。
【０００８】
次に、前記９つの各符号化モードおよび各動ベクトルに対し、実施に必要となるビットＲとその際の歪みＤ（あるいは、それらを模擬したもの）をラグランジェ乗数λを用いて線形結合し、これらが最小になるケースを選択する。すなわち、評価関数Ｊ＝Ｄ＋λＲを最小とするモードを選択する。このRate-Distortion最適法によれば、最良の符号化効率が得られることが知られている。
【０００９】
なお、この評価関数Ｊの値を求めるためには、実施に必要となるビットＲとその際の歪みＤを求めなければならないので、各モードに対して、予測誤差の計算、変換、量子化、ビット数計算、逆量子化、逆変換、量子化誤差計算が必要になる。
【００１０】
次に、前記エッジ成分に基づく方法は、最適なイントラ予測モードの予測方向は、当該ブロックのエッジ方向にほぼ一致するとの考えに基づく方法である。
【００１１】
まず、画面全体の各画素にSobelオペレータを適用したエッジマップと呼ばれるものを作成する。これは、各画素に水平・垂直方向にそれぞれ適用されて得られたSobelオペレータ値（Ｄｘ，Ｄｙ）に対し、Ａ＝｜Ｄｘ｜＋｜Ｄｙ｜，θ＝arctan（Ｄｘ／Ｄｙ）とすることにより得られる。その後、イントラ予測方向の候補数Ｘ（ＤＣ予測は除く）に基づき、全角度をＸ個に分け、θが属するクラスのヒストグラムとしてＡを追加する。これを、着目するブロック内の各画素に対して行い、最終的に最もヒストグラムが大きくなるクラスを、当該ブロックの予測方向として取り扱う。なお、イントラ４&times;４の場合は、その両近傍の方向も候補として扱う。
【００１２】
最後に、上記で候補となったモード（イントラ４&times;４の場合は３つ、その他は１つ）とＤＣ予測モード全てに対し、Rate-Distortion最適法を適用する。すなわち、前記評価関数Ｊ＝Ｄ＋λＲの計算を行い、それが最小になる予測モードを選択する。なお、両近傍の方向を候補として取り扱わない場合には、符号化効率が低下することが、下記の非特許文献２において分かっている。
【非特許文献１】Gary S., Thomas W. and Keng-Pang L. "Joint Model Reference Encoding Methods and Decording Concealment Methods," JVT-1049, Sept.2003.
【非特許文献２】Feng P. et al, "Fast Mode Decision for Intra Prediction," JVT-G013,Mar.2003.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
前記のRate-Distortion最適法は、評価関数Ｊ＝Ｄ＋λＲを最小とする予測モードを選択するために、９つの各モードに対して、予測誤差の計算、変換、量子化、ビット数計算、逆量子化、逆変換、量子化誤差計算を行い、実施に必要となるビットＲとその際の歪みＤを求めなければならないので、演算量が大きく、大きな時間を要するという問題がある。
【００１４】
また、前記のエッジ成分に基づく方法は、ブロック内のエッジを求めるために、はじめに画像全体をスキャンしなければならないので、該画像全体を記憶させるためのメモリを必要とする問題、また予測モードを検出する処理では、当該ブロック以降の画素を使用しないので、前記したように予め画像全体を記憶させるのは無駄であるという問題がある。また、このため、リアルタイム処理に不向きであるという問題もある。
【００１５】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、フレーム内符号化を高速で行うことのできる、動画像フレーム内モード判定方式を提供することにある。
【００１６】
本発明の他の目的は、Rate-Distortion最適法により得られる符号化精度を落とさずに高速としつつ、エッジ成分に基づく方法のようにメモリを必要としない動画像フレーム内モード判定方式を提供することにある。
【課題を解決するための手段】
【００１７】
前記した目的を達成するために、本発明は、入力画像信号のブロックのフレーム内符号化モードを決定する動画像フレーム内モード判定方式において、既符号化ブロックの画素値を用いて前記ブロックの予測誤差を求める手段と、前記予測誤差を用いて前記ブロックのフレーム内予測モードの第１候補を決定する手段と、前記既符号化ブロックのフレーム内予測モードを用いて前記ブロックのフレーム内予測モードの第２候補を決定する手段と、前記第１、第２候補のフレーム内予測モードのうちの一方を最適フレーム内予測モードと決定する手段とを具備した点に特徴がある。
【発明の効果】
【００１８】
本発明によれば、処理量が小さいので、リアルタイム処理が可能になる。
【００１９】
また、従来の９つの予測モードの全てに対して評価値Ｊを求めるRate-Distortion最適法に比べて、処理量を大幅に削減することができる。すなわち、該Rate-Distortion最適法では、ブロックの予測誤差の計算、変換、量子化、ビット数計算、逆量子化、逆変換、および量子化誤差計算を行って評価値Ｊを求めるので、これを９つの予測モードに対して行うが、本発明では、第１、第２候補のフレーム内予測モードのうちの一方を最適フレーム内予測モードと決定する時の２つの予測モードに対して行うだけであるので、処理量を大きく削減することができるようになる。
【００２０】
また、本発明によれば、従来のエッジ成分に基づく方法のように、画像全体を記憶させるためのメモリを必要としない。また、予め画像全体を記憶させるという無駄をする必要がなくなる。
【発明を実施するための最良の形態】
【００２１】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明を使用するスライスの符号化全体の手順を示すフローチャートである。
【００２２】
図１において、ｉを画像（フレーム）のマクロブロックの番号とすると、ステップＳ１ではｉ＝１と置かれ、ステップＳ２ではｉ番目のマクロブロックが抽出される。ステップＳ３では、該マクロブロックのフレーム内符号化モード選択処理が行われる。また、ステップＳ４では、該マクロブロックのフレーム間符号化モード選択処理が行われる。ステップＳ５では、前記ステップＳ３で選択したフレーム内符号化モードとステップＳ４で選択したフレーム間符号化モードのうちのいずれが最適符号化モードであるかを調べ、最適符号化モードの方を選択する。この選択には、一例として、前記前記評価関数Ｊ＝Ｄ＋λＲの計算を行い、それが最小になる符号化モードを最適符号化モードとして選択する。
【００２３】
ステップＳ６では、該符号化モードを用いて符号化を行う。ステップＳ７では、最終のマクロブロックであるか否かの判断がなされ、この判断が否定の時にはステップＳ８に進んで、ｉに１が加算される。次いでステップＳ２に戻って前記した処理が繰り返される。
【００２４】
本発明は、前記ステップＳ３の処理を改善するものである。すなわち、従来では、該ステップＳ３の処理は、前記したRate-Distortion最適法やエッジ成分に基づく方法等でなされていたが、これらの方法には前記した課題があるので、本発明は、これらの課題を改善したフレーム内符号化モード選択処理法を提供するものである。
【００２５】
次に、本発明の一実施形態を、図２を参照して説明する。ステップＳ１１では、近接の既符号化ブロックの画素値を用いて、ｉ番目のブロックの画面内（または、フレーム内）予測誤差を求める。該画面内予測誤差は、ＤＣ予測、垂直予測、水平予測、および対角線予測について求められる。
【００２６】
具体的には、DC予測の場合には、例えば図３(a)に示されているように、ｉ番目のブロックの各画素から近接の既符号化ブロックの画素値Ａ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，ＫおよびＬの平均値Ｍを減ずる。垂直予測の場合には、図３(b)に示されているように、ｉ番目のブロックの各画素からその上隣のブロックの画素値を減ずる。また、右上→左下対角線予測の場合には、図３(c)に示されているように、ｉ番目のブロックの各画素からその上隣のブロックの対角線位置にある画素値を減ずる。前記ステップＳ１１では、上記の３つの予測モードを含む前記９つの予測モードの画面内予測誤差を求める。なお、前記既符号化ブロックの画素値Ａ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，ＫおよびＬは、既符号化ブロックを復号して求められた画素値である。
【００２７】
次いで、ステップＳ１２では、前記９つの予測誤差を用いて、ｉ番目のブロックの予測モードの第１候補を決定する。その方法としては、例えば、下記の(1)、(2)、(3)の方法を考えることができる。
(1)前記９つの予測モードの予測誤差のうち、ブロック内の予測誤差の絶対値和が最小になるモードを選択する（以下、ＳＡＤ方式という）。
(2)前記９つの予測モードの予測誤差のそれぞれにHadamard変換を施し、変換後の予測誤差の絶対値和が最小になるモードを選択する（以下、ＳＡＴＤ方式という）。なお、周知のように、Hadamard変換は加減算のみで行うことができ、Hadamard変換に要する処理量は小さい。
(3)前記９つの予測モードの予測誤差のうち、予測誤差の２乗和が最小になるモードを選択する（以下、ＳＳＤ方式という）。
【００２８】
次いで、ステップＳ１３では、近接符号化ブロックの画面内予測モードを用いて、ｉ番目のブロックの予測モードの第２候補を決定する。すなわち、該ブロックの上隣又は左隣のブロックのイントラ予測モードのうち、モードの伝送により符号量を必要としない、あるいは符号量のより小さい予測モードを選択する（以下、ＭＰＭ方式と呼ぶ）。
【００２９】
これは、あるブロックの予測モードとして上隣あるいは左隣のブロックのうち小さいモード番号がそのまま継承された場合には、エントロピ符号化がＵＶＬＣの場合、３ビットの符号量削減となるからである。一般的に、特に低レートになればなる程、このようなオーバヘッド部のビットが大きな比重を持つようになるので、このモードも選択肢の一つに加えることが好ましいと考えられる。
【００３０】
具体的には、図６、図７に示したように、各予測モードにはモード０，１，２（ＤＣ予測），３，・・・，８の番号が付されており、ｉ番目のブロックの上隣又は左隣のブロックのイントラ予測モードのうち、モード番号の小さい方を選択する。
【００３１】
ステップＳ１４では、前記第１候補と第２候補の予測モードが同じかどうかの判断を行う。この判断が肯定、すなわち同じの場合には、ステップＳ１６に進んで、該第１候補又は第２候補の予測モードを前記ステップＳ３（図１参照）のフレーム内符号化モードとして選択する。一方、否定の場合には、ステップＳ１５に進んで、予測誤差と符号量が共に少ない予測モードを選択する。具体例としては、前記第１候補と第２候補の２つの予測モードに対して、前記Rate-Distortion最適法を実行し、評価関数Ｊ＝Ｄ＋λＲを求める。そして、該評価値Ｊの小さい方の予測モードを前記ステップＳ３（図１参照）のフレーム内符号化モードとして選択する。
【００３２】
以上のように、本実施形態によれば、ステップＳ１１では各モードに対して
予測誤差の計算を行い、ステップＳ１２では該予測誤差のブロック内絶対値和、Hadamard変換後の予測誤差の絶対値和、あるいは予測誤差の２乗和を最小にするモードを選択し、ステップＳ１３では近接符号化ブロックの画面内予測モード番号の小さいものを選択し、ステップＳ１５では選択された２つの予測モードに対してだけRate-Distortion最適法を実行して評価値Ｊを求めるだけであるので、従来の９つの予測モードの全てに対して評価値Ｊを求めるRate-Distortion最適法に比べて、処理量を大幅に削減することができる。因みに、該Rate-Distortion最適法では、ブロックの予測誤差の計算、変換、量子化、ビット数計算、逆量子化、逆変換、および量子化誤差計算を行って評価値Ｊを求めるので、これを９つの予測モードに対して行うと、その処理量が非常に大きいことが理解できよう。
【００３３】
また、本実施形態によれば、前記した従来のエッジ成分に基づく方法のように、画像全体を記憶させるためのメモリを必要とせず、予め画像全体を記憶させるという無駄をする必要がないことは明らかである。また、本実施形態によれば、処理量が小さいので、リアルタイム処理が可能になる。
【００３４】
次に、本発明者が、本発明の性能を検証するために計算機シミュレーション実験を行った結果を示す。
【００３５】
まず、実験の条件は、図４に示すパラメータを用いた。そして、本発明方式について、前記Rate-Distortion最適法に対するビット増加率（ＢＤＢＲ）で比較を行った。その結果は、図５(a)、図５(b)のようになった。ここで、図５(a)は、テスト画像の全フレームに対する平均のビット増加率、図５(b)は、テスト画像の最初のＩフレームのみのビット増加率を示す。なお、図５には、エッジ（Edge)成分に基づく方法、SSD方式（誤差電力を最小にする方法）、SAD+MPM方式、SSD＋MPM方式による、ビット増加率（ＢＤＢＲ）が示されている。このビット増加率（ＢＤＢＲ）が大きい程、Rate-Distortion最適法と比較して符号化効率が悪化していることが分かる。
【００３６】
図５(a)、図５(b)から、本発明のSAD+MPM方式およびSSD＋MPM方式は、従来のエッジ（Edge)成分に基づく方法と比べてもビット増加率（ＢＤＢＲ）がかなり小さく、処理量が低減されているに拘わらず、動画像フレーム内符号化効率が向上していることが分かる。なお、該処理量の低減は、前記非特許文献１の方式と比較して、約１０分の１になる。
【図面の簡単な説明】
【００３７】
【図１】本発明が使用されるフレーム内符号化モード選択処理を含むスライスの符号化全体の処理を示すフローチャートである。
【図２】本発明の一実施形態の処理手順を示すフローチャートである。
【図３】図２のステップＳ１１の処理の説明図である。
【図４】本発明のシミュレーション実験の実験パラメータを示す図である。
【図５】シミュレーション実験結果を示す図である。
【図６】従来のRate-Distortion最適法の予測モードの説明図である。
【図７】９個の予測モードのうちの４個のモードの説明図である。
【図１】
2005184241.tif 000003
【図２】
2005184241.tif 000004
【図３】
2005184241.tif 000005
【図４】
2005184241.tif 000006
【図５】
2005184241.tif 000007
【図６】
2005184241.tif 000008
【図７】
2005184241.tif 000009
【手続補正書】
【提出日】平成16年8月6日(2004.8.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
前記Rate-Distortion最適法は、各マクロブロックにおける符号化モードや動ベクトル等を符号化効率の観点で最適な形で選択するための方法である。ＪＶＴでサポートされているイントラ符号化モードには、イントラ４×４とイントラ１６×１６が存在する。ここでは、イントラ４×４について簡単に説明する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
すなわち、イントラ予測される４×４ブロックが図６(a)の画素ａ〜ｐであるとすると、該４×４ブロックは、既に符号化された左隣または上隣のブロックの近傍の画素値Ａ〜Ｌから予測される。この予測には、前記画素値Ａ〜Ｌの平均値を用いる予測（ＤＣ予測）と、図６(b)に示されている８方向から予測されるものの、合計で９つの予測モードがある。図７(a)〜(d)は、前記８方向からの予測モードのうちの代表的な４方向の予測モードを示す。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
まず、画面全体の各画素にSobelオペレータを適用したエッジマップと呼ばれるものを作成する。これは、各画素に水平・垂直方向にそれぞれ適用されて得られたSobelオペレータ値（Ｄｘ，Ｄｙ）に対し、Ａ＝｜Ｄｘ｜＋｜Ｄｙ｜，θ＝arctan（Ｄｘ／Ｄｙ）とすることにより得られる。その後、イントラ予測方向の候補数Ｘ（ＤＣ予測は除く）に基づき、全角度をＸ個に分け、θが属するクラスのヒストグラムとしてＡを追加する。これを、着目するブロック内の各画素に対して行い、最終的に最もヒストグラムが大きくなるクラスを、当該ブロックの予測方向として取り扱う。なお、イントラ４×４の場合は、その両近傍の方向も候補として扱う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
最後に、上記で候補となったモード（イントラ４×４の場合は３つ、その他は１つ）とＤＣ予測モード全てに対し、Rate-Distortion最適法を適用する。すなわち、前記評価関数Ｊ＝Ｄ＋λＲの計算を行い、それが最小になる予測モードを選択する。なお、両近傍の方向を候補として取り扱わない場合には、符号化効率が低下することが、下記の非特許文献２において分かっている。