(57)【要約】本発明は、I、P、またはBタイプのビデオオブジェクトプレーン（VOP）を処理する、上記VOPを動的にアロケーションする符号化方法に関する。上記方法によると、各入力フレームに対して、カレントおよび先行フレーム感で呼び前方動き推定を実行する。カレント動きフィールドと先行動きフィールドを用いてコヒーレンスファクターを評価する。このコヒーレンスファクターは、カレント動きフィールドと先行動きフィールド内の局所的差異の合計に関連して表される。経験的に決定した閾値に対する上記コヒーレンスファクターの値により、符号化するフレームの種類を最終決定する。
2006503478.tif 000002
【特許請求の範囲】
【請求項１】
数種類のデータを特定する過程によりビデオデータのシーケンスを符号化する方法であって、
前記データはいわゆるビデオオブジェクトプレーン（VOP）よりなり、前記VOPは、自分自身からの情報のみを用いて符号化されたイントラ符号化VOP（I-VOP）と、過去の参照VOPから動き補償された予測を用いて符号化された予測符号化VOP（P-VOP）と、過去と未来のVOPから動き補償予測を用いて符号化された双方向予測VOP（B-VOP）とのいずれかであり、
前記符号化方法は各VOPの符号化ステップと、前記符号化ステップ前にカレントVOPとその前のVOPの間で実行される動き推定ステップとを含み、
前記動き推定ステップ自体は符号化されるVOPの種類に関する決定プロセスを有し、
VOP番号Nとその前のVOP番号N-1の間の動き推定を行うサブステップと、
前記動き推定に基づき、シーケンス動きを定量するために設けられたいわゆるコヒーレントファクタを計算するサブステップと、
前記コヒーレントファクタの所定の閾値との比較に基づき、前記閾値に対する前記コヒーレントファクタの値により、カレントVOPがB-VOPであるかないか、前記カレントVOPの種類を最終決定するサブステップとを有することを特徴とする方法。
【請求項２】
請求項１に記載の符号化方法であって、前記コヒーレンスファクタは、マクロブロックおよび前のVOPの和と近い和を有する同一のVOP内のマクロブロックと、前記動き推定の結果得られる動きベクトルの間の差異の絶対値の合計（SAD）の比として表されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオブジェクトベースのビデオ符号化の技術分野に関し、いわゆるビデオオブジェクトプレーン（VOP）よりなる数種類のデータを特定する過程によりビデオデータのシーケンスを符号化する方法に関する。そのVOPは、自分自身からの情報のみを用いて符号化されたイントラ符号化VOP（I-VOP）と、過去の参照VOPから動き補償された予測を用いて符号化された予測符号化VOP（P-VOP）と、過去と未来のVOPから動き補償予測を用いて符号化された双方向予測VOP（B-VOP）とのいずれかである。
【背景技術】
【０００２】
MPEG-4ビジュアルスタンダードは、例えばデジタルテレビジョン、ストリーミングビデオ、モバイルマルチメディア、ゲーム等の広範なアプリケーションエリアにおいて、ビットレートの広い範囲で（以前のMPEGスタンダードの場合のピクセルとは異なり）オブジェクトを見たり、アクセスしたり、操作したりする技術を提供する。前記スタンダードは、ビットストリーム中で別々に符号化された、形状、動き、テクスチャー情報の形式の時間的および空間的情報により規定されたビデオオブジェクト（VO）に作用する（これらのVOはユーザがアクセスして操作できる実体（entity）である）。
【０００３】
MPEG-4アプローチは、シーケンスの連続するシーンのコンテントベースのビジュアルデータ表現に依存する。各シーンは、形状、動き、テクスチャーの内在的特性を有するVOの合成である。MPEG-4スタンダードは、VOの概念に加えて、ビデオオブジェクトレイヤー（各VOは、アプリケーションに応じてスケーラブル形式またはノンスケーラブル形式のいずれかで符号化可能であり、ビデオオブジェクトレイヤーVOLで表される）やビデオオブジェクトプレーン（VOP）（時間におけるVOの例）等の概念を導入する。入力ビデオシーケンスの各フレームは多数の任意形状の画像領域（VO）にセグメント化され、同一のVOに属するVOPの形状、動き、テクスチャー情報は、（各VOPを別々に復号可能とし、ビデオシーケンスの要求された柔軟な操作を可能とする）特定の時間的または空間的分解能に対応する別々のVOLに符号化され、送信される。
【０００４】
上記の符号化構造により処理された３種類のフレームは、I-VOP、P-VOP、B-VOPである。I-VOPはイントラ符号化VOPであり、符号化動作には自分自身の情報のみを用いる（最大のビット数を要するVOPである）。P-VOPは予測符号化VOPであり、その符号化動作はI-VOPまたは他のP-VOPのいずれかである過去の参照VOPからの動き補償予測を用いる（I-VOPに対して、カレント動き補償P-VOPと参照VOPとの間の差異のみが符号化される。P-VOPは通常、I-VOPより少ないビットしか要しない）。B-VOPは、いわゆる前方および後方動き推定にそれぞれ基づき過去および未来の参照VOP（I-VOPまたはP-VOP）からの動き補償予測を用いて符号化されるVOPである。V-VOPは参照VOPとなることはできず、P-VOPのようにカレント動き補償B-VOPとその参照VOPとの間の差異のみが符号化される。
【０００５】
残念ながら、上記のB-VOP予測（補間または双方向モードとも呼ばれる）を使用しても、必ずしも圧縮の点で利益になるとは限らない。圧縮は約20％の割合で高くすることができる場合もあるが、他の場合には激しく下がることもある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、このB-VOP予測の使用が効率的である場合にのみこれを用いる符号化方法を提案することにある。
【課題を解決するための手段】
【０００７】
このために、本発明は導入部分で規定した符号化方法であって、
前記符号化方法は各VOPの符号化ステップと、前記符号化ステップ前にカレントVOPとその前のVOPの間で実行される動き推定ステップとを含み、
前記動き推定ステップ自体は符号化されるVOPの種類に関する決定プロセスを有し、
VOP番号N（VOP  N）と先行VOP（VOP  N-1）の間の動き推定を行うサブステップと、
前記動き推定に基づき、シーケンス動きを定量するために設けられたいわゆるコヒーレントファクタを計算するサブステップと、
前記コヒーレントファクタの所定の閾値との比較に基づき、前記閾値に対する前記コヒーレントファクタの値により、カレントVOPがB-VOPであるかないか、前記カレントVOPの種類を最終決定するサブステップとを有することを特徴とする方法に関する。
【発明を実施するための最良の形態】
【０００８】
添付した図面を参照して、例を挙げて本発明を説明する。
【０００９】
MPEG-4エンコーダはいくつかの機能ブロックを有し、これにはスタンダードにより要求される送信順序でVOPを出力する１以上のメモリを含む。例えば、入力シーケンスがIBBPBBPのとき、出力順序あるいは送信順序はIPBBPBBとなる（後方予測を可能とするため、エンコーダはピクチャの順序を自然な順序から上記の送信順序に変更して、B-VOPが参照する過去および未来のVOPより後に送信されるようにしなければならない。上記エンコーダは動き推定部も有し、カレントVOPと先行するVOP（または参照VOP）を受け取り、カレントVOPに対してどの種類の予測を実行するかを決定する。すなわち、I-VOPに対しては予測は行わず、P-VOPに対しては前方予測を行い、B-VOPに対しては双方向予測を行う。
【００１０】
図１は、動き推定部による予測決定ステップを示すが、これに示したように、本発明による決定は次のステップに従って実行される。最初にVOP（番号N）を取得する（CAP-VNステップ）。次に、VOP（番号N）と先行VOP（番号N-1）との間で動き推定を実行する（M-ESTステップ）。シーケンス動きを定量化するために、「コヒーレンスファクター」というファクターを計算し（CF-CPTステップ）、それを所定の閾値と比較する（CF-TESTステップ）。比較結果により（Yはコヒーレンスファクターが閾値より小さいことを表し、Nは大きいことを表す）、VOP（番号N）をB-VOPとすることを許容する（N-AL）か、または許容しない（N-NAL）。予測モードに関する最終決定が次になされ（V-DECステップ）、カレントVOP（＝I-VOP、P-VOP、またはB-VOP）を符号化するステップが実行される（CODステップ）。
【００１１】
本発明の範囲を限定することなく、比較テストに用いるコヒーレンスファクターのいくつかの表示を提案することができる。しかし、好ましいコヒーレンスファクターは、例えば、（16×16ピクセルモードまたは8×8ピクセルモードで推定された）マクロブロックの動きベクトルと、先行VOPと和が近い同一VOP中のマクロブロックとの間の差異の絶対値の和（SAD）の比として表すことができる（ここで、サイズk×kのマクロブロックについてSADは次の式で表される。
【００１２】
【数１】
2006503478.tif 000003
ここで、B(i)とA(i)は、カレントマクロブロックと上記参照VOPで規定されたサーチゾーン内で最もよく一致する参照VOP内のマクロブロックをそれぞれ表す。
【図面の簡単な説明】
【００１３】
【図１】本発明による符号化方法の主なステップを示す図である。
【図１】
2006503478.tif 000004
【国際調査報告】
2006503478.tif 000005
2006503478.tif 000006
2006503478.tif 000007