(57)【要約】      （修正有）【課題】動きのアクティビティを考慮した効果的なレート制御を有する適応型フィールド／フレーム符号化方法を提供する。【解決手段】方法は、画像のシーケンスを含むビデオを適応的に符号化する。このビデオでは、各画像は、２つのフィールドからなる映像である。ビデオの各画像は、フレームとして符号化されて、符号化されたフレームから、レート歪み特性が抽出される。その間、同時に、ビデオの各画像は、２つのフィールドとして符号化され、それらのフィールドから、レート歪み特性が抽出される。コスト関数のパラメータ値λが、抽出されたレート歪み特性に従って求められ、抽出されたレート歪み特性およびパラメータλから、コスト関数が構成される。その後、フレーム符号化またはフィールド符号化のいずれかが、各画像に対して、その画像について構成されたコスト関数の値に応じて選択される。【選択図】図７
2004201298.tif 000002
【特許請求の範囲】
【請求項１】
画像のシーケンスを適応的に符号化する方法であって、
フレームレート制御により各画像をフレームとして符号化して、該符号化されたフレームからレート歪み特性を抽出し、その間に、フィールドレート制御により同一の画像を２つのフィールドとして符号化して、該２つのフィールドからレート歪み特性を抽出することと、
前記抽出されたレート歪み特性に従って、コスト関数のパラメータ値λを求めることと、
前記抽出されたレート歪み特性および前記パラメータλから前記コスト関数を構成することと、
前記構成されたコスト関数の値に応じて、前記画像に対してフレーム符号化またはフィールド符号化を選択することと
を含む方法。
【請求項２】
前記コスト関数は、
コスト＝歪み＋λレート
である請求項１に記載の方法。
【請求項３】
コスト（フレーム）を求めることと、
コスト（フィールド）を求めることと、
コスト（フレーム）＜コスト（フィールド）の場合にはフレーム符号化を選択し、そうでない場合には、フィールド符号化を選択することと
をさらに含む請求項１に記載の方法。
【請求項４】
最初のフレームについての前記パラメータ値λは、
【数１】
2004201298.tif 000011
であり、ここで、Ｒはフレームまたはフィールドに割り当てられた最適なレートであり、Ｒ（Ｄ）はレート−歪みの関係である請求項１に記載の方法。
【請求項５】
前記パラメータ値λは、
【数２】
2004201298.tif 000012
に従って更新され、ここで、λｃｕｒｒｅｎｔは、現画像のパラメータ値であり、λｐｒｅｖｉｏｕｓは、前画像のパラメータ値であり、Ｗ１およびＷ２は、重みであり、Ｗ１＋Ｗ２＝１である請求項１に記載の方法。
【請求項６】
前記フィールドレート制御および前記フレームレート制御は、各マクロブロックに対して適応できる量子化パラメータを提供する請求項１に記載の方法。
【請求項７】
前記フレームレート制御および前記フィールドレート制御は、前記画像のシーケンスにおけるＰフレームの個数ＮｐおよびＢフレームの個数Ｎｂを適応させる請求項１に記載の方法。
【請求項８】
前記コスト関数は、量子化パラメータに依存していない請求項１に記載の方法。
【請求項９】
画像のシーケンスを適応的に符号化するシステムであって、
フレームレート制御により各画像をフレームとして符号化する手段と、
前記符号化されたフレームからレート歪み特性を抽出する手段と、
フィールドレート制御により各画像を２つのフィールドとして符号化する手段と、
前記２つの符号化されたフィールドからレート歪み特性を抽出する手段と、
前記抽出されたレート歪み特性に従って、コスト関数のパラメータ値λを求める手段と、
前記抽出されたレート歪み特性および前記パラメータλから前記コスト関数を構成する手段と、
前記構成されたコスト関数の値に応じて、前記画像に対してフレーム符号化またはフィールド符号化を選択する手段と
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的には、ビデオ圧縮の分野に関し、詳細には、インタレースされたビットストリームのフィールドレベル符号化またはフレームレベル符号化を内容に基づいて選択することに関する。
【背景技術】
【０００２】
ビデオ圧縮は、視聴覚情報の記憶、送信、および処理を、より少ない記憶リソース、ネットワークリソース、およびプロセッサリソースで可能にする。最も広く使用されているビデオ圧縮の標準規格には、動画の記憶および検索用のＭＰＥＧ−１、ディジタルテレビ用のＭＰＥＧ−２、ならびに低ビットレートのビデオ通信用のＭＰＥＧ−４およびＨ．２６３が含まれる。これらについては、ISO/IEC 11172-2:1991「Coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbps」、ISO/IEC 13818-2:1994「Information technology - generic coding of moving pictures and associated audio」、ISO/IEC 14496-2:1999「Information technology - coding of audio/visual objects」、およびITU-T「Video Coding for Low Bitrate Communication」Recommendation H.263, March 1996を参照されたい。
【０００３】
こられの標準規格は、画像またはフレームの空間圧縮、ならびにフレームのシーケンスの空間圧縮および時間圧縮を主に取り扱う比較的低レベルの仕様である。共通の特徴として、これらの標準規格は、各画像単位で圧縮を実行する。これらの標準規格により、広範囲のアプリケーションに対して高い圧縮率を達成することができる。
【０００４】
インタレースビデオは、一般に、走査形式のテレビシステムに使用される。インタレースビデオでは、ビデオの各画像は、トップフィールドとボトムフィールドに分割される。これら２つのインタレースされたフィールドは、画像の奇数番号の画素（ピクセル）行または画素ライン、および、偶数番号の画素行または画素ラインを表す。これら２つのフィールドは、異なった時間にサンプリングされ、これにより、再生中のビデオの時間的なスムーズさが改善される。プログレッシブビデオ走査形式と比較して、インタレースビデオは、異なる特性を有し、より多くの符号化オプションを提供する。
【０００５】
図１に示すように、１つの１６×１６のフレームベースのマクロブロック１１０は、２つの１６×８のフィールドベースのブロック１１１および１１２に分割することができる。この点で、離散コサイン変換（ＤＣＴ）（discrete cosine transform）をビデオのフレームまたはフィールドのいずれかに適用することができる。また、現フレームまたは現フィールドのブロックが、前フレームまたは前フィールドから予測される点で、大幅な柔軟性も得られる。これらのさまざまな符号化オプションが、さまざまな圧縮効果を提供するので、フレーム符号化モードまたはフィールド符号化モードを選択する適応型方法は、望ましい方法である。
【０００６】
ＭＰＥＧ−２標準規格に含まれるフレームおよびフィールドの符号化ツールは、Puri等著の「Adaptive Frame/Field Motion Compensated Video Coding」Signal Processing: Image Communications, 1993およびNetravali等著の「Digital Pictures: Representation Compression and Standards」Second Edition, Plenum Press, New York, 1995に記載されている。映像レベル符号化モードを選択する適応型方法は、それらの２つの参考文献には記載されていない。
【０００７】
１９９２年１２月１日にKutkaに交付された「Method for a calculation of a decision result for a field/frame data compression method」という発明の名称の米国特許第５，１６８，３５７号は、ＨＤＴＶビデオの各１６×１６マクロブロックの変換タイプを判定する方法を記載しており、具体的には、１６×１６フレームブロックＤＣＴまたは１６×８フィールドブロックＤＣＴの選択を記載している。その方法では、同じフィールドの２つのラインのフィールドピクセル対の差の絶対値の総和が求められ、フィールド総和が作成される。同様に、フレームの２つのラインのフレームピクセル対の差の絶対値の総和が求められ、フレーム総和が作成される。フレーム合計にフレームの重み係数を乗算したものを、フィールド合計から差し引くことにより、判定結果が形成される。判定結果が正の場合には、フレームが符号化され、そうでない場合には、２つのフィールドが別々に符号化される。
【０００８】
１９９３年７月１３日にPuri他に交付された「Adaptive coding and decoding of frames and fields of video」という発明の名称の米国特許第５，２２７，８７８号は、ビデオの符号化および復号化の方法を記載している。その方法では、フレームの符号化用に、４つの８×８輝度サブブロックが、マクロブロックから作成される。フィールドの符号化用に、各サブブロックが１つのフィールドのラインのみを含むように２つのフィールドのラインを分離することによって、４つの８×８輝度サブブロックが、マクロブロックから得られる。隣接する走査ライン間の差が、交互の奇数の走査ラインと偶数の走査ラインとの差より大きい場合には、フィールド符号化が選択される。そうでない場合には、フレーム符号化が選択される。その後、８×８ＤＣＴが、選択されたモードに従って、各フレームサブブロックまたは各フィールドサブブロックに適用される。
【０００９】
１９９５年７月１８日にLimに交付された「Image signal encoding apparatus using adaptive frame/field format compression」という発明の名称の米国特許第５，４３４，６２２号は、ブロック単位でのフレーム形式の圧縮とフィールド形式の圧縮との間の選択を行う手順を記載している。その手順では、選択は、指定された符号化形式に対応して各ブロックに使用されるビット数に基づいている。対応するブロックの歪みは考慮されない。圧縮方式は提供されない。
【００１０】
１９９８年４月７日にHall他に交付された「Adaptive field/frame encoding of discrete cosine transform」という発明の名称の米国特許第５，７３７，０２０号は、ディジタルビデオ画像のＤＣＴ圧縮の方法を記載している。その方法では、フィールドの分散およびフレームの分散が計算される。フィールドの分散が、フレームの分散よりも小さい場合には、フィールドＤＣＴタイプの圧縮が実行される。あるいは、フレームの分散が、フィールドの分散よりも小さいならば、フレームＤＣＴ圧縮が実行される。
【００１１】
１９９９年３月２日にLegallに交付された「Field frame macroblock encoding decision」という発明の名称の米国特許第５，８７８，１６６号は、フィールドフレームマクロブロック符号化の判定を行う方法を記載している。マクロブロックのフレームベースアクティビティは、水平方向のピクセル対の差の絶対値の総和と垂直方向のピクセル対の差の絶対値との総和を求めることにより得られる。その結果は、マクロブロック内のブロック全体にわたって合計される。第１のフィールドベースアクティビティおよび第２のフィールドベースアクティビティが、同様に得られる。小さなアクティビティを有するモードが選択される。
【００１２】
２００１年５月１日にIgarashi他に交付された「Video coding method and apparatus which select between frame-based and field-based predictive modes」という発明の名称の米国特許第６，２２６，３２７号は、画像を、モザイクの領域として記載している。各領域は、最小量の動き補償データをもたらす結果に応じて、事前に符号化された領域のフレームベースの動き補償または事前に符号化された領域のフィールドベースの動き補償のいずれかを使用して符号化される。各領域は、最小量の動き補償データをもたらす結果に応じて、フレームベースの変換またはフィールドベースの変換のいずれかを使用して直交変換される。
【００１３】
上記引用した特許は、すべて、マクロブロックベースの符号化方法を使用してインタレースビデオ信号の圧縮を改善するために、適応型フィールド／フレームモードの判定を使用する方法を記載している。しかしながら、局所的な画像情報または符号化に必要なビット数しか、ＤＣＴタイプの選択に、および局所的なマクロブロックの動き予測モードの選択に使用されない。それらの方法のいずれも、符号化の判定を行う際に、全体の内容を考慮していない。
【００１４】
図２は、ＭＰＥＧ−２符号化標準規格に従ってビデオを符号化する周知のアーキテクチャ２００を示している。入力されたビデオのフレームは、事前に復号されている、フレームバッファに記憶されたフレームと比較される。動き補償（ＭＣ）（motion compensation）および動き推定（ＭＥ）（motion estimation）が、前フレームに適用される。予測誤差または差分信号が、ＤＣＴ変換され、量子化（Ｑ）（quantized）された後、可変長符号化（ＶＬＣ）（variable length coded）されて、出力ビットストリームが生成される。
【００１５】
ＭＰＥＧ−２標準規格モードの符号化３００に関する図３に示すように、各フレームの動き推定は、フレーム符号化モードまたはフィールド符号化モードのいずれかによって符号化される。所与のフレームレベルのモードに対して、関連したさまざまなマクロブロックのモードが存在する。図３は、映像符号化モードと、映像レベルおよびブロックレベルのマクロブロック符号化モードとの間の関係を示している。
【００１６】
ＭＰＥＧ−２ビデオ符号器は、フレームのみの符号化またはフィールドのみの符号化のいずれかを使用することができる。フレームのみの符号化では、ビデオのすべてのフレームが、フレームとして符号化される。フィールドのみの符号化では、各フレームは、２つのフィールドとして符号化され、フレームのこれら２つのフィールドが、順次符号化される。映像レベルの選択に加えて、マクロブロックレベルの選択手順が使用されて、最良のマクロブロック符号化モード、すなわちイントラモード、ＤＭＶモード、フィールドモード、フレームモード、１６×８モード、またはスキップモードが選択される。重要となる１つのポイントは、フレームレベルの判定が最適化されていない場合には、マクロブロックモードが最適化されないということである。
【００１７】
図４Ａおよび図４Ｂは、Ｉフィールド、Ｐフィールド、およびＢフィールドに対して、それぞれ、フレーム映像のフィールド予測モードまたはフィールド映像のフィールド予測モードを使用して、現（ｃｕｒ）フレームのマクロブロックをどのように予測できるかを示している。図４Ａのオプションに基づく適応型モード判定は、適応型フィールド／フレーム符号化と呼ばれる。しかしながら、その点で、この符号化は、マクロブロックレベルにおいてのみであり、モードの制限のために、最適なものではない。
【００１８】
例えば、そのマクロブロックベースの選択では、２番目のＩフィールドは、イントラモード（intra mode）でのみ符号化でき、ＰフィールドおよびＢフィールドは、前フレームのみから予測できる。一方で、フレームレベルのモードが、フィールドのみである場合には、たとえ、フィールドが同じフレーム内に位置していても、２番目のＩフィールドは、インターモード（inter mode）で符号化でき、かつ、１番目のＩフィールドから予測でき、２番目のＰフィールドは、１番目のＰフィールドから予測できる。
【００１９】
図５は、図４による符号化に関連した問題を解決する２パスのマクロブロックフレーム／フィールド符号化方法５００を示している。その方法は、ジョイントビデオチーム（ＪＶＴ（Joint Video Team））の参照符号によって採用されている。これについては、ISO/IEC JTC1/SC29/WG11およびITU-T SG16 Q.6のJVT-B071の「Adaptive Frame/Field Coding for JVT」を参照されたい。その方法では、入力は、まず、フレームモードによって符号化される。歪みおよびビットレート（Ｒ／Ｄ）が抽出されて、保存される。次に、フレームは、フィールドモードによって符号化される。対応する歪みおよびビットレートも、記録される。その後、関数（Ｆ）が、２つの符号化モードのコストを比較する。次に、より小さなコストを有するモードが選択され、出力としてのビデオを符号化する。
【００２０】
方法５００は、いくつかの問題を有する。この方法は、２パスを必要とし、予め定められた一定の量子化（Ｑ）を使用する。その結果、このＪＶＴ標準規格の方法は、各フレームに対してかなりの計算量を必要とし、実時間でビデオを符号化するのに適していない。
【００２１】
２００２年１０月１５日にCougnard他に交付された「Video coding method and corresponding video coder」という発明の名称の米国特許第６，４６６，６２１号は、異なるタイプの２パス符号化方法６００を記載している。その方法のブロック図が、図６に示されている。第１のパスでは、入力の各フレームが、フィールド符号化モードおよびフレーム符号化モードを使用する並行経路で符号化される。第１のパスの間、各経路で、統計値が抽出される。統計値とは、すなわち、各モードにおいて共通の位置にある各マクロブロックによって使用されるビット数、および、フィールド動き補償されたマクロブロックの個数である。これらの統計値は比較され、フィールドモードまたはフレームモードのいずれで出力を符号化するかの判定がなされる。第２のパスでは、その判定および抽出された統計値に従って、フレームが再符号化される。
【００２２】
従来技術のフィールド／フレーム符号化方法は、レート制御または動きのアクティビティに取り組んでいない。
【発明の開示】
【発明が解決しようとする課題】
【００２３】
したがって、動きのアクティビティを考慮した効果的なレート制御を有する適応型フィールド／フレーム符号化方法が必要である。
【課題を解決するための手段】
【００２４】
本発明による方法は、画像のシーケンスを適応的に符号化する。ビデオの各画像は、フレームレート制御によりフレームとして符号化されて、符号化されたフレームから、レート歪み特性が抽出される。その間、同時に、ビデオの各画像は、フィールドレート制御により２つのフィールドとして符号化され、符号化されたフィールドから、レート歪み特性が抽出される。コスト関数のパラメータ値λが、抽出されたレート歪み特性に従って求められ、抽出されたレート歪み特性およびパラメータλから、コスト関数が構成される。フレーム符号化またはフィールド符号化のいずれかが、各画像に対して、その画像について構成されたコスト関数の値に応じて選択される。
【発明を実施するための最良の形態】
【００２５】
序論
インタレースビデオは、異なる時間に走査される２つのフィールドを含む。ＭＰＥＧ−２標準規格によるフレーム符号化またはフィールド符号化では、インタレースビデオは、通常、その内容に関係なく、フレームのみの構造またはフィールドのみの構造として符号化される。
【００２６】
一方で、フレームのみの符号化は、ビデオのあるセグメントにはより良く適していることがあるが、他のセグメントには、フィールドのみの符号化の方が好ましいことがある。したがって、従来技術で行われていたように、フレームのみの符号化またはフィールドのみの符号化のいずれかを行うことは、符号化を非効率なものにする。
【００２７】
本発明による適応型のフレーム符号化およびフィールドの符号化では、フレーム符号化またはフィールド符号化の判定が、画像レベルで行われる。入力画像は、内容の歪み特性と、例えばビットレートなどの外因的な任意の制約とを共に考慮することによって、１つのフレームとして符号化することもできるし、２つのフィールドとして符号化することもできる。
【００２８】
本発明による適応型符号化では、ヘッダは、現画像が１つのフレームとして符号化されるのか、２つのフィールドとして符号化されるのかを示す。フィールドのみの符号化では、フレームの２つのフィールドが、順次、符号化される。フレームのタイプが、イントラ（Ｉタイプ）である場合には、そのフレームは、１つのＩフィールドおよび１つのＰフィールドに分割される。フレームのタイプが、インター（ＰタイプまたはＢタイプ）である場合には、そのフレームは、２つのＰフィールドまたは２つのＢフィールドに分割される。
【００２９】
以下では、我々は、まず、ビットレートの制約下での適応型フィールド／フレーム符号化方法を記載する。
【００３０】
２パス方法では、我々は、フィールドのみのモードまたはフレームのみのモードのいずれかを使用して、インタレースビデオの各画像を符号化する。レート歪み（Ｒ−Ｄ）制御が各パスに適用され、次に、対応するＲ−Ｄ値のコスト関数が構成され、そして、符号化の判定がＲ−Ｄ値に基づいて行われる。
【００３１】
１パス方法では、符号化の前に、２つのフィールドの内容特性が抽出されて、共に考慮される。符号化モードの判定が行われた後、フレームが符号化される。この方法では、１パスのみが必要とされる。
【００３２】
結果は、我々の１パス適応型符号化方法および２パス適応型符号化方法の両方が、従来技術のフレームのみの符号化方法およびフィールドのみの符号化方法よりも良好な性能を保証することを示している。
【００３３】
２パス適合型フィールド／フレーム符号化方法
図７は、我々の発明による２パス適応型フィールド／フレーム符号化方式７００を示している。この方法では、入力ビデオ７０１の最初の画像が、例えば、画像のサイズ、ならびに、ＧＯＰ（映像のグループ）（group of picture）に残っているＰフレームおよびＢフレームの個数といった符号化パラメータの初期化（７１０）に使用される。
【００３４】
その後、動き推定用の参照フレーム、２つのビットストリームバッファ７７０に残されたビットの数、および使用されるビットの数が求められる。次に、現画像が、２つの経路７１１および７１２を使用して、出力７０９として符号化される。２つの経路のうち、一方はフレーム用であり、他方はフィールド用である。
【００３５】
フレーム経路およびフィールド経路の双方において、パラメータは、連続して適応していく（７２０）。パラメータのすべてが固定された後、現画像は、フレーム経路７１１でフレームのみの符号化を使用して符号化され、フィールド経路７１２でフィールドのみの符号化を使用して符号化される。
【００３６】
経路７１１では、フレームレート制御７３０が適用され、経路７１２では、フィールドレート制御７３１が適用される。これらのレート制御は、現画像のビットレートバジェット（bit rate budget）に応じて適用される。生成されたビットストリームは、２つのバッファ７７０の別々に記憶される。現画像に使用されるビット数が、２つの経路に対してそれぞれ記録される。
【００３７】
我々は、再構成された画像から２つの経路のレートおよび歪みを抽出する（７４０）。２つの歪みの値および対応する使用ビットによって、コスト関数のパラメータλが求められ（７８０）、判定（Ｄ）がコスト関数の形で構成される（７５０）。その後、コスト関数の値は、現画像に対して、フレーム符号化７６１またはフィールド符号化７６２を選択するために使用される。
【００３８】
判定７５０が行われた後、フレーム符号化が行われたビットストリーム７６３またはフィールド符号化が行われたビットストリーム７６４が、出力７０９として選択される。出力７０９は、次のフレームの符号化用に、パラメータ適応ブロック７２０にフィードバックされる。我々の２パス方法７００では、画像ごとのフレーム符号化またはフィールド符号化の判断基準が、ビデオの内容の共同したレート−歪み（Ｒ−Ｄ）特性に完全に基づいている。
【００３９】
レート−歪み判定
レート割り当てに基づく従来技術の符号化方法は、歪み制約上のレートまたはレート制約上の歪みを最小にする試みを行なっていた。
【００４０】
ラグランジェ乗数の技法を使用することによって、我々は、方程式（１）のコスト関数Ｊ（λ）により、全体の歪みを最小化する。
【００４１】
【数１】
2004201298.tif 000003
【００４２】
ここで、Ｎは、入力ビデオ７０１のフレーム総数である。
【００４３】
フィールドのみのモードが、１つの画像を符号化するのに使用される場合には、フレームのみのモードで符号化を行うよりも、必要とされるビットは、少なくなることがある。しかしながら、この画像の歪みは、フレームのみのモードが使用された場合よりも悪くなることがある。我々の最適な判定は、ビデオの全体的な内容の歪みおよびレートの双方に基づいている。
【００４４】
我々の発明では、我々は、レート割り当てに対して類似のアプローチを使用する。コストが、以下の方程式（２）によって定義される。
【００４５】
【数２】
2004201298.tif 000004
【００４６】
コスト（フレーム）＜コスト（フィールド）である場合には、我々は、フレーム符号化７６１を選択し、そうでない場合には、フィールド符号化７６２を選択する。適切なパラメータλを求める（７８０）ために、我々は、Ｒ−Ｄの関係をモデル化する。我々は、方程式（３）によって与えられる指数モデルを使用する。
【００４７】
【数３】
2004201298.tif 000005
【００４８】
上記関係についてさらに情報を得るには、JayantおよびNoll著のDigital Coding of Waveforms, Prentice Hall, 1984を参照されたい。
【００４９】
このモデルを上記コスト関数Ｊ（λ）に適用すると、以下の方程式（４）によって、パラメータλを得ることができる。
【００５０】
【数４】
2004201298.tif 000006
【００５１】
ここで、Ｒｉは、フレームｉに割り当てられた最適なレートを示す。
【００５２】
したがって、我々は、符号化された現フレームの歪みを使用して、パラメータλの値を推定する。我々の発明では、方程式（５）を使用して、最初のフレームのコスト関数のパラメータλが推定される。
【００５３】
【数５】
2004201298.tif 000007
【００５４】
次に、我々は、方程式（６）に従って、次のフレーム用にパラメータλを更新する。
【００５５】
【数６】
2004201298.tif 000008
【００５６】
方程式（６）において、現パラメータλｃｕｒｒｅｎｔは、方程式（５）を使用することにより計算され、前パラメータλｐｒｅｖｉｏｕｓは、前フレームの推定値λであり、Ｗ１およびＷ２は、重みである。ここで、Ｗ１＋Ｗ２＝１である。Ｉフレームの計算は、方程式（５）にのみ基づいていることに留意されたい。
【００５７】
従来技術の方法と我々の新規な方法との重要な相違は、以下の通りである。
【００５８】
図５に示すような従来技術の方法では、一定の量子化が使用されるのに対して、本発明による方法では、適応性のある量子化が使用される。また、従来技術の方法では、コスト関数のパラメータλは、量子化の知識に依存するのに対して、我々の方法では、コスト関数のパラメータλは、量子化に依存しない。
【００５９】
従来技術は、符号化の前に、動き情報およびテクスチャ情報を推定できないので、一定の量子化により実時間のレート制御を実行することができない。我々の方法のパラメータは、符号化の結果から得られ、この方法では、量子化器のスケールが、さらに以下に記載するレート制御戦略に従って適応することができる。したがって、本発明は、効果的なレート制御を達成する。
【００６０】
以下に、我々は、２パス適応型フィールド／フレーム方法７００のレート制御手順を記載する。
【００６１】
適応型２パス符号化方法のレート制御
ＭＰＥＧ符号化技法について、多くのレート制御方法が記載されている。これらの方法には、第１のパスを使用して情報を収集し、第２のパスを使用してレート制御を適用する従来技術の２パスレート制御方法が含まれる。その方法は、我々の２パス方法とは、まったく異なる。我々の２パス方法では、レート制御は、双方のパスに同時に適用され、前フレームから転送された同じ組のパラメータに基づいている。
【００６２】
従来技術のレート制御方法は、符号化プロセス中の符号化モードの変移を考慮していなかった。例えば、周知のＴＭ５レート制御方法は、フレームからフィールドへ変移した場合、または、フィールドからフレームへ変移した場合に、そのパラメータを採用しない。したがって、従来技術の技法では、フィールドごとの最適なビット割り当ても、フレームごとの最適なビット割り当ても達成することができない。
【００６３】
我々の発明によると、我々は、我々の２パス方法に量子化情報を使用しない。その結果、我々は、我々の方法という状況の中で、効果的なレート制御を提供する。以下に、我々は、我々の２パス方法の効果的な固定ビットレート（ＣＢＲ）（constant bit-rate）のレート制御手順を記載する。
【００６４】
レートバジェット（rate budget）Ｒ、ＩフレームアクティビティＸｉ、ＰフレームアクティビティＸｐ、ＢフレームアクティビティＸｂ、Ｉフレームバッファフルｄ０ｉ、Ｐフレームバッファフルｄ０ｐ、およびＢフレームバッファフルｄ０ｂが、フレーム符号化７６１を使用することにより初期化される。上記レート制御パラメータのすべては、レートコントローラ（ＲＣ）（rate controller）７０８に記憶される。レートコントローラ７０８は、初期化ブロック７１０によってアクセス可能である。
【００６５】
現フレームが、ＧＯＰの最初のフレームである場合には、現ＧＯＰのＰフレームの個数Ｎｐ、現ＧＯＰのＢフレームの個数Ｎｂが求められ、その後、以下のステップが実行される。
【００６６】
フレーム経路７１１では、フレーム符号化７６１、ＴＭ５レート制御、およびレートコントローラに記憶されたパラメータを使用することによって、現フレームが符号化される。更新されたレート制御パラメータが、バッファＢｕｆｒａｍｅに記憶される。
【００６７】
フィールド経路７１２では、Ｎｐ＝２×Ｎｐ＋１、Ｎｂ＝２×Ｎｂとされ、フィールド符号化７６２、ＴＭ５レート制御、およびレートコントローラ７０８に記憶されたパラメータを使用することによって、現フレームが符号化される。更新されたレート制御パラメータが、バッファＢｕｆｉｅｌｄに記憶される。
【００６８】
フレーム符号化が選択された場合には、レートコントローラのパラメータは、Ｂｕｆｒａｍｅに記憶されたデータを使用することによって更新される。フィールド符号化が選択された場合には、レートコントローラのパラメータは、Ｂｕｆｉｅｌｄに記憶されたデータを使用することによって更新される。
【００６９】
現フレームが、ＧＯＰの最初のフレームでない場合には、以下のステップが実行される。
【００７０】
フレーム経路７１１では、前映像が、フレームモードを採用している場合には、ＮｐおよびＮｂの現在の値が使用されるか、または、Ｎｐ＝Ｎｐ／２、Ｎｂ＝Ｎｂ／２とされ、フレーム符号化、ＴＭ５レート制御、およびレートコントローラに記憶されたパラメータを使用することによって、現フレームが符号化され、Ｂｕｆｒａｍｅの内容が、更新されたレート制御パラメータに置き換えられる。
【００７１】
フィールド経路７１２では、前画像が、フィールドモードで符号化されている場合には、ＮｐおよびＮｂの現在の値が使用されるか、または、Ｎｐ＝（Ｎｐ＋１）×２、Ｎｂ＝（Ｎｂ＋１）×２とされ、フィールド符号化、ＴＭ５レート制御、およびレートコントローラに記憶されたパラメータを使用することによって、現フレームが符号化され、Ｂｕｆｉｅｌｄの内容が、更新されたレート制御パラメータに置き換えられる。
【００７２】
フレーム符号化モードが選択される場合には、レートコントローラに記憶されたパラメータは、Ｂｕｆｒａｍｅのデータを使用することによって更新される。フィールド符号化モードが選択される場合には、レートコントローラに記憶されたパラメータは、Ｂｕｆｉｅｌｄのデータを使用することによって更新される。
【００７３】
我々の２パス適応型フィールド／フレーム符号化方法を使用することによって、改善された符号化効率が得られる。しかしながら、この２パス方法では、符号化時間が、これまでのＭＰＥＧ−２符号器のほとんど２倍になる。リソースが制限され、かつ、遅延に対して過敏ないくつかのアプリケーションにとっては、あまり複雑でない適応型フィールド／フレーム符号化方法が望ましい。
【００７４】
１パス適応型フィールド／フレーム符号化方法
上記分析によると、フィールドを符号化するか、または、フレームを符号化するかの判定は、各フレームの動きに直接関係している。また、動きの量も、ピクセルの特性間の差、特に、トップフィールドとボトムフィールドとの間の相関によって概算することができる。これらの知見が動機となって、我々は、１パス適応型フィールド／フレーム符号化方法を記載する。
【００７５】
ＭＰＥＧ−２標準規格では、Ｉフレームは、２つのフィールドからなる。我々は、それら２つのフィールドをＩトップおよびＩボトムと表記する。ここで、Ｉトップは、奇数の走査ラインのすべてを含み、Ｉボトムは、偶数の走査ラインのすべてを含む。これについては、図１を参照されたい。現画像が、フィールドモードに設定されている場合には、トップフィールドまたはボトムフィールドのいずれかが、１番目のフィールドとして設定され、ヘッダが付加されて、これにより、現フィールドが１番目であるのか、２番目であるのかが示される。
【００７６】
フィールドモードを使用することによって、２番目のフィールドは、１番目のフィールドからインターとして符号化することができ、かつ、予測することができる。我々は、Ｉフレーム全体をイントラとして符号化するのではなく、１番目のＩフィールドから２番目のＩフィールドを予測する方が、常により効率的であることを見出した。この知見に基づいて、Ｉフレームのフレーム符号化モードは、常に、我々の１パス方法のフィールドに設定される。これは、２番目のフィールドのマクロブロックのすべてが、インターモードを使用して符号化されることを意味するものではない。マクロブロックベースのモード判定に従って、イントラの方がより効率的に符号化されるブロックは、イントラで符号化することができる。
【００７７】
図８は、本発明による１パス適応型フィールド／フレーム符号化方法８００を示している。入力ビデオ８０１の画像は、トップ−フィールド８１１およびボトム−フィールド８１２を生成するフィールド分離器８１０に送られる。図１を参照されたい。各フィールドの動きアクティビティが推定される（８２０）。なお、動きアクティビティは、以下により詳細に記載される。各フィールドの動きアクティビティは、フィールドベースの動き推定８３１またはフレームベースの動き推定８３２のいずれかを選択して（８３０）、入力ビデオ８０１のフレームを符号化するのに使用される。
【００７８】
フレーム符号化選択８３０に応じて、フィールドベースの符号化の残りの部分またはフレームベースの符号化の残りの部分が、後続のＤＣＴ８４０、ならびに量子化（Ｑ）および可変長符号化（ＶＬＣ）プロセス８５０を介して符号化される。
【００７９】
したがって、Ｐフレームは、符号化されたデータから再構成され、後のフレームの符号化の参照フレームとして使用される。
【００８０】
ＰフレームおよびＢフレームについて、我々は、現フレームの各１６×１６マクロブロックを考慮する。各マクロブロックは、そのトップ−フィールドおよびボトム−フィールドに分割される。トップ−フィールドは、８つの奇数ラインからなる１６×８ブロックであり、ボトム−フィールドは、８つの偶数ラインからなる１６×８ブロックである。次に、我々の方法は、以下のステップを実施する。
【００８１】
まず、我々は、２つのカウンタＭＢ＿ｆｉｅｌｄおよびＭＢ＿ｆｒａｍｅをゼロに初期化する。各１６×１６マクロブロックに対して、トップ−フィールドの分散およびボトム−フィールドの分散が、以下の式により計算される。
【００８２】
【数７】
2004201298.tif 000009
【００８３】
ここで、Ｐｉは、ピクセルの値を示し、Ｅ（Ｐｉ）は、対応する１６×８フィールドの平均値を示す。
【００８４】
それらの分散の比が求められる。次に、以下の処理が行われる。
【００８５】
【数８】
2004201298.tif 000010
【００８６】
すべてのマクロブロックに対して繰り返し処理をした後、次のフレームの符号化判定が行われる。
【００８７】
ＭＢ＿ｆｉｅｌｄ＞ＭＢ＿ｆｒａｍｅの場合には、フィールドモードが選択される。それ以外の、ＭＢ＿ｆｉｅｌｄ≦ＭＢ＿ｆｒａｍｅの場合には、フレームモードが選択される。これら２つの閾値の値は、通常のビデオを収集したものから得られる。
【００８８】
要約すると、我々は、我々の１パス方法において現フレームの動きアクティビティを推定する効果的なブロックベースの相関を記載する。動きアクティビティは、各フィールドのブロックベースの分散の比から推定される。それを行う際に、計算上高価である正確な動き推定は避けられる。画像をフレームとして符号化するのか、２つのフィールドとして符号化するのかの判定は、現フレームの過半数のマクロブロックの動きアクティビティによって決まる。
【００８９】
１パス適応型符号化方法のレート制御
上述したように、従来技術の方法は、符号化プロセス中の符号化モードの変移を考慮しない。しかしながら、我々の適応型１パス方法では、フレームからフィールドへのモード変移またはフィールドからフレームへのモード変移は、よく起こる。これらの状況下、レート制御パラメータは、適応しなければならない。
【００９０】
我々の１パス方法のレート制御プロセスは、以下の手順によって実施される。我々は、ＴＭ５プロセスを使用して、Ｉフレーム、すなわちＧＯＰの最初のフレームの符号化を制御する。このＩフレームは、常に、フィールド符号化によって符号化される。
【００９１】
現フレームが、フレーム符号化を使用する場合において、前フレームが、フレーム符号化８３２を使用するときは、ＴＭ５の標準的な手順が使用され、前フレームが、フィールド符号化８３１を使用するときは、Ｎｐ＝Ｎｐ／２、Ｎｂ＝Ｎｂ／２とされて、ＴＭ５が使用される。
【００９２】
現フレームが、フィールド符号化を使用する場合において、前フレームが、フレーム符号化を使用するときは、Ｎｐ＝２×Ｎｐ、Ｎｂ＝２×Ｎｂとされて、ＴＭ５が使用され、前フレームが、フィールド符号化を使用するときは、ＴＭ５の標準的な手順が使用される。
【００９３】
結果
我々の適応型方法の有効性を確認するために、我々は、２つのインタレースビデオを標準規格のＭＰＥＧ−２符号器で符号化する。Ｆｏｏｔｂａｌｌは、インタレーステスト用の共通のビデオである。Ｓｔｅｆａｎ＿Ｆｏｏｔｂａｌｌは、ＳｔｅｆａｎおよびＦｏｏｔｂａｌｌがＧＯＰごとに連結されたビデオである。すなわち、Ｓｔｅｆａｎの１つのＧＯＰ、Ｆｏｏｔｂａｌｌの１つのＧＯＰ、Ｓｔｅｆａｎの１つのＧＯＰ等々と、ビデオが連結されている。Ｆｏｏｔｂａｌｌは、高い動きアクティビティを有するのに対して、Ｓｔｅｆａｎは、ゆっくりとした動きアクティビティおよびパン（カメラの首振り）を有する。
【００９４】
フレーム符号化、フィールド符号化、および適応型符号化が、ビデオのそれぞれに対して別々に実行された。１つの符号化方法および１つのビデオにつき、５つのレートの組、すなわち２Ｍｂｐｓ、３Ｍｂｐｓ、４Ｍｂｐｓ、５Ｍｂｐｓ、および６Ｍｂｐｓがテストされた。
【００９５】
図９Ａおよび図９Ｂは、我々の２パス適応型フィールド／フレーム符号化方法の性能を、フレームのみのモードおよびフィールドのみのモードと比較している。ＰＳＮＲは、１２０個のフレームの平均であり、異なるレートにわたってプロットされている。この結果は、我々の方法が、フィールドのみのモードおよびフレームのみのモードのうちの優れた方以上の性能を得ていることを示している。
【００９６】
図１０Ａおよび図１０Ｂは、我々の２パス適応型フィールド／フレーム符号化方法および１パス適応型フィールド／フレーム符号化方法の性能を比較している。シミュレーションが、我々の最適化されたＭＰＥＧ−２符号器上で、上記と同じ条件で行われている。我々の１パス方法は、我々の２パス方法と同様の性能を与えている。
【００９７】
本発明を好ましい実施の形態の例によって記載してきたが、さまざまな他の適合および変更を、本発明の精神および範囲内において行い得ることが理解されるべきである。したがって、添付した特許請求の範囲の目的は、本発明の真の精神および範囲内に入るこのようなすべての変形および変更をカバーすることである。
【図面の簡単な説明】
【００９８】
【図１】フレームおよびフィールドベースのマクロブロックのブロック図である。
【図２】従来技術のビデオ符号器のブロック図である。
【図３】従来技術のＭＰＥＧ−２符号化モードのオプションのブロック図である。
【図４Ａ】フレーム映像によるフィールド予測およびフィールド映像によるフィールド予測のモードのオプションの表である。
【図４Ｂ】フレーム映像によるフィールド予測およびフィールド映像によるフィールド予測のモードのオプションの表である。
【図５】従来技術の２パス直列符号化方法のブロック図である。
【図６】従来技術の２パス並列符号化方法のブロック図である。
【図７】本発明による適応型フィールド／フレーム符号化による２パスビデオ符号器のブロック図である。
【図８】本発明による適応型フィールド／フレーム符号化による１パスビデオ符号器のブロック図である。
【図９Ａ】標準的なＦｏｏｔｂａｌｌビデオのさまざまなビットレートにわたった復号品質について、図７の２パス符号器により達成される復号品質と従来技術の方法により達成される復号品質とを比較したグラフである。
【図９Ｂ】標準的なＳｔｅｆａｎ−Ｆｏｏｔｂａｌｌビデオシーケンスのさまざまなビットレートにわたった復号品質について、図７の２パス符号器により達成される復号品質と従来技術の方法により達成される復号品質とを比較したグラフである。
【図１０Ａ】Ｆｏｏｔｂａｌｌビデオシーケンスのさまざまなビットレートにわたった復号品質について、本発明による２パス符号器により達成される復号品質と本発明による１パス符号器により達成される復号品質とを比較したグラフである。
【図１０Ｂ】Ｓｔｅｆａｎ−Ｆｏｏｔｂａｌｌビデオシーケンスのさまざまなビットレートにわたった復号品質について、本発明による２パス符号器により達成される復号品質と本発明による１パス符号器により達成される復号品質とを比較したグラフである。
【図１】
2004201298.tif 000013
【図２】
2004201298.tif 000014
【図３】
2004201298.tif 000015
【図４Ａ】
2004201298.tif 000016
【図４Ｂ】
2004201298.tif 000017
【図５】
2004201298.tif 000018
【図６】
2004201298.tif 000019
【図７】
2004201298.tif 000020
【図８】
2004201298.tif 000021
【図９Ａ】
2004201298.tif 000022
【図９Ｂ】
2004201298.tif 000023
【図１０Ａ】
2004201298.tif 000024
【図１０Ｂ】
2004201298.tif 000025
【外国語明細書】
2004201298.tif 000026
2004201298.tif 000027
2004201298.tif 000028
2004201298.tif 000029
2004201298.tif 000030
2004201298.tif 000031
2004201298.tif 000032
2004201298.tif 000033
2004201298.tif 000034
2004201298.tif 000035
2004201298.tif 000036
2004201298.tif 000037
2004201298.tif 000038
2004201298.tif 000039
2004201298.tif 000040
2004201298.tif 000041
2004201298.tif 000042
2004201298.tif 000043
2004201298.tif 000044
2004201298.tif 000045
2004201298.tif 000046
2004201298.tif 000047
2004201298.tif 000048
2004201298.tif 000049
2004201298.tif 000050
2004201298.tif 000051
2004201298.tif 000052
2004201298.tif 000053
2004201298.tif 000054
2004201298.tif 000055
2004201298.tif 000056
2004201298.tif 000057
2004201298.tif 000058
2004201298.tif 000059
2004201298.tif 000060
2004201298.tif 000061
2004201298.tif 000062
2004201298.tif 000063