(57)【要約】  MPEGではほとんどのビデオフレームがインターモードでエンコードされる。時々ビデオフレームはイントラモードでエンコードされるが、これはエラー伝播を制限し、ビデオシーケンスのデコーディングを開始するためのポイントにアクセスできるようにするためである。しかし本発明によれば、イントラフレームにあって、少なくとも１つのピクセルがさらなるピクチャ内容情報の予測に使用されるピクセルブロックだけをイントラモードでエンコードすれば十分であり、他のブロックはインターモードでエンコードすることができる。イントラフレームにあるどのブロックをインターモードでエンコードできるかを検査するために、後続のPフレームの動き補償予分析が、イントラモードでエンコードする必要のないブロックを見つけるために実行される。なぜならこのようなブロックではピクセルが後続のPピクチャの予測に使用されないからである。
2007533181.tif 000002
【特許請求の範囲】
【請求項１】
それぞれがマルチピクセルブロック、ピクセルマクロブロック、または他の特定ピクセル領域を含む予測フレーム(P)および非予測フレーム(I)(または予測フィールドおよび非予測フィールド)を使用してピクチャシーケンス(IE)をエンコードする方法において、
・前記ピクチャシーケンスをエンコード(SUB、Q、ECOD、QE-1、DCTE-1、ADDE、FS_MC_E、SWE、CTRL)し、これにより
・非予測フレーム（I）(または非予測フィールド)にある現在のブロック（IN）(またはマクロブロック)のすべてのピクセルが、後続の予測フレーム(P)(または予測フィールド)にある相応するブロック(またはマクロブロック)の予測に使用されるか否かを決定し（CPDET）、前記相応するブロック(またはマクロブロック)は前記ピクチャシーケンスのピクチャ内容の動きに応じて置換され、
ここで前記予測ブロック(PN+1)(または予測マクロブロック)が少なくとも１つのピクセルを、現在のブロック(IN)(またはマクロブロック)と共通に有していれば、前記ブロック(またはマクロブロック)を非予測モード（I）でエンコードし；
前記予測ブロック(PN+1)(または予測マクロブロック)が、現在のブロック（IN）(またはマクロブロック)とピクセルを共有していなければ、前記ブロック(またはマクロブロック)を予測モード(P)でエンコードする、ことを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記決定ステップは動き補償予分析ステップ(CPDET、ME)である。
【請求項３】
それぞれがマルチピクセルブロック、ピクセルマクロブロック、または他の特定ピクセル領域を含む予測フレーム(P)および非予測フレーム(I)(または予測フィールドおよび非予測フィールド)を使用してピクチャシーケンス(IE)をエンコードする装置において、
・前記ピクチャシーケンスをエンコード(SUB、Q、ECOD、QE-1、DCTE-1、ADDE、FS_MC_E、SWE、CTRL)する手段を有し、
・非予測フレーム（I）(または非予測フィールド)にある現在のブロック（IN）(またはマクロブロック)のすべてのピクセルが、後続の予測フレーム(P)(または予測フィールド)にある相応するブロック(またはマクロブロック)の予測に使用されるか否かを決定する手段（CPDET、ME）をさらに有し、
前記相応するブロック(またはマクロブロック)は前記ピクチャシーケンスのピクチャ内容の動きに応じて置換され、
ここで前記予測ブロック(PN+1)(または予測マクロブロック)が少なくとも１つのピクセルを、現在のブロック(IN)(またはマクロブロック)と共通に有していれば、前記ブロック(またはマクロブロック)は非予測モード（I）でエンコードされ；
前記予測ブロック(PN+1)(または予測マクロブロック)が、現在のブロック(IN)(またはマクロブロック)とピクセルを共有していなければ、前記ブロック(またはマクロブロック)は予測モード(P)でエンコードされる、ことを特徴とする装置。
【請求項４】
請求項３記載の装置であって、
前記決定手段は動き補償予分析手段(CPDET、ME)である。
【請求項５】
請求項１または２記載の方法、または請求項３または４記載の装置であって、
前記エンコーディングはMPEGエンコーディングであり、前記予測フレーム(または予測フィールド)はPタイプであり、前記比予測フレーム(または非予測フィールド)はIタイプである。
【請求項６】
請求項５記載の方法または装置であって、
後続のBフレームまたはBフィールドにある予測マクロブロックを構築するためにちょうど使用されたIフレームまたはIフィールドにあるマクロブロックはPモードで同様にエンコードされる。
【請求項７】
請求項１，２，５，６のいずれか一項記載の方法、または請求項３から６までのいずれか一項記載の装置であって、
前記ピクセルブロック、ピクセルマクロブロック、または特定のピクセル領域は輝度ピクセルを含む。
【請求項８】
請求項１，２，５，６のいずれか一項記載の方法、または請求項３から６までのいずれか一項記載の装置であって、
前記ピクセルブロック、ピクセルマクロブロック、または特定のピクセル領域はクロミナンスピクセルを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、それぞれマルチマクロブロックを含む予測ピクチャおよび非予測ピクチャを使用してピクチャシーケンス、とりわけピクセルマクロブロックを非予測ピクチャにエンコーディングする方法および装置に関連する。
【０００２】
背景技術
公知のビデオ圧縮システム例えばMPEGでは、ほとんどのビデオフレームまたはビデオフィールドがインタフレームモードまたはインタフィールドモードで、例えば離散的コサイン関数（DCT）の使用によってエンコードされる。コーディング/デコーディング効率を上昇させるために、いくつかのビデオ圧縮システムではイントラフレーム予測が使用される。例えばMPEG-4 AVC参照。
【０００３】
多くのビデオ圧縮システム、例えばMPEGでは、しばしばビデオフレームがイントラフレームモードでエンードされる。例えばMPEGのGOP(group of pictures)の第１フレームである。GOPは通常、イントラピクチャ、インタピクチャまたは予測ピクチャ、および双方向予測（I,P,B）ピクチャを含む。ピクチャは例えば8*8輝度ピクセルブロック、または16*16輝度ピクセルマクロブロックに分割される。マクロブロックの各々には相応する輝度ピクセルブロックが割り当てられている。マクロブロックは４つの8*8輝度ブロックの集合、または関連した２つの8*8輝度ブロックの集合を表す。このような場合、コーディングおよびデコーディングはマクロブロックとブロックに基づく。
【０００４】
本発明
イントラモード(または非予測モード)エンコードされたピクチャは多くの場合、インターフレームまたはインターフィールドエンコードされたピクチャより多くのビットをエンコードのために必要とするが、一般的にはイントラコードフレームは、ビデオシーケンスでポイントにアクセスするために、および例えばチャネルエラー伝播を制限するために必要であると考えられている。
【０００５】
本発明により解決すべき課題は、ビデオシーケンスでのイントラフレームエンコーディングに必要な付加的ビットの一部を節約し、それでもなおビデオシーケンスのポイントにアクセスすることができ、エラー伝播が制限されるように構成することである。この課題は請求項１に開示された方法によって解決される。請求項３には、この方法を使用する装置について記載されている。
【０００６】
本発明によれば、エラー伝播を制限し、ビデオシーケンスのデコーディングを開始するためのポイントまたはエントリーにアクセスできるようにするためには、イントラフレームにあり、少なくとも１つのピクセルがさらなるピクチャ内容情報の予測のために使用されるピクセルブロック、ピクセルマクロブロックまたは他の特定ピクセル領域だけをイントラモードでエンコードすれば十分である。一方、他のピクセルブロック、ピクセルマクロブロックおよび/または特定ピクセル領域はインターフレーム予測モードまたはインターフィールド予測モードでエンコードすることができる。
【０００７】
イントラフレームにあるどのブロックまたはどのマクロブロックをインターモードでエンコードできるかを検査するために、後続のPフレーム(=インターフレーム)またはPフィールド(=インターフィールド)の動き補償予分析が、イントラモードでエンコードする必要のないブロックを見つけるために実行される。なぜならこのようなブロックではピクセルが後続のPピクチャの予測に使用されないからである。
【０００８】
後続のBフレームまたはBフィールドにある予測マクロブロックを構築するためにちょうど使用されたIフレームまたはIフィールドにあるブロック、マクロブロックまたは他の特定ピクセル領域をインターモードで同様にエンコードすることができる。
【０００９】
本発明の処理の利点は高圧縮率であり、この高圧縮率は複雑なエンコーダによって達成される。
【００１０】
基本的に本発明の方法は、それぞれがマルチピクセルブロック、ピクセルマクロブロック、または他の特定ピクセル領域を含む予測フレームおよび非予測フレーム(または予測フィールドおよび非予測フィールド)を使用してピクチャシーケンスをエンコードするのに適する。この方法は次のステップを有する：
・前記ピクチャシーケンスをエンコードし、これにより
・非予測フレーム(または非予測フィールド)にある現在のブロック(またはマクロブロック)のすべてのピクセルが、後続の予測フレーム(または予測フィールド)にある相応するブロック(またはマクロブロック)の予測に使用されるか否かを決定する。この相応するブロック(またはマクロブロック)は前記ピクチャシーケンスのピクチャ内容の動きに応じて置換される。
ここで前記予測ブロック(または予測マクロブロック)が少なくとも１つのピクセルを、現在のブロック(またはマクロブロック)と共通に有していれば、前記ブロック(またはマクロブロック)を非予測モードでエンコードし；
前記予測ブロック(または予測マクロブロック)が、現在のブロック(またはマクロブロック)とピクセルを共有していなければ、前記ブロック(またはマクロブロック)を予測モードでエンコードする。
【００１１】
基本的に本発明の装置は、それぞれがマルチピクセルブロック、ピクセルマクロブロック、または他の特定ピクセル領域を含む予測フレームおよび非予測フレーム(または予測フィールドおよび非予測フィールド)を使用してピクチャシーケンスをエンコードするのに適する。この装置は次の構成を有する：
・前記ピクチャシーケンスをエンコードする手段；
・非予測フレームにある現在のブロック(またはマクロブロック)のすべてのピクセルが、後続フレームにある相応するブロック(またはマクロブロック)の予測に使用されるか否かを決定するための手段。この相応するブロック(またはマクロブロック)は前記ピクチャシーケンスのピクチャ内容の動きに応じて置換される。
ここで前記予測ブロック(またはマクロブロック)が少なくとも１つのピクセルを、現在のブロック(またはマクロブロック)と共通に有していれば、前記ブロック(またはマクロブロック)は非予測モードでエンコードされ；
前記予測ブロック(またはマクロブロック)が、現在のブロック(またはマクロブロック)とピクセルを共有していなければ、前記ブロック(またはマクロブロック)は予測モードでエンコードされる。
【００１２】
本発明の有利な付加的実施例は従属請求項に開示されている。
【００１３】
図面
次に、添付の図面を参照しながら本発明の実施例について説明する。
図１は、ビデオデータに対する公知のエンコーダを示す。
図２は、ビデオデータに対する公知のデコーダを示す。
図３は、ビデオデータに対する本発明のエンコーダを示す。
図４は、基準ピクセルブロックと共通のピクセルを有する予測ピクセルブロックを示す。
図５は、基準ピクセルブロックと共通のピクセルを有しない予測ピクセルブロックを示す。
【００１４】
実施例
図１には、エンコーダのビデオデータ入力信号IEが示されており、この信号は16*16マクロブロックデータをエンコードのために含んでいる。ビデオデータをイントラフレーム符号化すべき場合、ビデオデータは減算器SUBを変化せずに通過し、スイッチSWEは位置'I'にある。その後、マクロブロックの8*8ブロックが離散コサイン変換手段DCTおよび量子化手段Qで処理され、エントロピーエンコーダECODを介してマルチプレクサMUXに供給される。マルチプレクサMUXはエンコーダビデオデータ出力信号OEを出力する。エントロピーエンコーダECODは量子化されたDCT係数に対してホフマン符号化を実行することができる。マルチプレクサMUXでは、ヘッダ情報とモーションベクトルデータMVと、場合によりエンコードされたオーディオデータがエンコードされたビデオデータと結合される。
【００１５】
イントラフレームビデオデータの場合、スイッチSWEは位置'P'にあり、予測マクロブロックデータPMDがブロックベースで入力信号IEから減算器SUBで減算され、8*8ブロック差データが変換手段DCTと量子化手段Qを介してエントロピーエンコーダECODに供給される。量子化手段Qの出力信号も相応にして反転量子化手段QE-1で処理され、その出力信号は相応の反転離散コサイン変換手段DCTE-1を介して結合器ADDEに、復元ブロックまたはマクロブロック差データRMDDの形態で供給される。ADDEの出力信号は動き評価および補償手段FS_MC_Eにあるピクチャ記憶部にバッファされる。これは再現されたマクロブロックデータに対して動き補償を実行し、相応する予測マクロブロックデータPMDをSUBの減算入力端、および結合器ADDEの他方の入力端に出力する。
【００１６】
量子化手段Qおよび反転量子化手段QE-1の特性は、エントロピーエンコーダECODでのエンコーダバッファの占有レベルによって制御される。スイッチSWEはコントローラCTRLにより、例えばMPEG GOP構造に従って制御される。このコントローラCTRLはまたエンコーダにある他のユニットも制御する。
【００１７】
動き評価器MEは入力信号IEを受信し、動き評価および補償手段FS_MC_Eに所要の動き情報を供給し、マルチプレクサMUXにモーションベクトルデータMVを供給する。
【００１８】
QE-1、DCTE-1、ADDEおよびFS_MC_Eは受信器エンドデコーダをシミュレートする。これについては図２に関連して説明する。
【００１９】
図２では、エンコードされたビデオデータ入力信号IDがデマルチプレクサDEMUX、エントロピーデコーダ手段EDEC、反転量子化手段QE-1および反転離散的コサイン変換手段DCTD-1を介して結合器ADDDに供給される。結合器はビデオデータ出力信号ODを出力する。EDECは、ホフマン符号化され、量子化された係数に対してホフマン復号化を実行することができる。
【００２０】
デマルチプレクサDEMUXはヘッダ情報、符号化されたビデオ情報、ピクチャ形式データ、およびモーションベクトルデータMVを分離する。
【００２１】
QD-1、DCTD-1およびEDECは、図１のエンコーダにあるQ、DCTおよびECODの関数の逆数に相応する関数を有する。ADDDの出力信号は、動き補償手段FS_MC_Dにあるピクチャ記憶部にバッファされる。FS_MC_Dは復元されたマクロブロックデータに対して動き補償をモーションベクトルデータMVに応じて実行し、Pピクチャの場合には相応の予測ブロックまたはマクロブロックデータPMDを、スイッチSWDを介して加算器ADDDの他方の入力端に出力する。加算器ADDDでは、'P'ピクチャの場合、予測データがブロックベースで、受信されたブロック差データと結合される。スイッチSWDはコントローラCTRLDにより制御され、このコントローラCTRLDはピクチャ形式データをデマルチプレクサDEMUXから受信する。Iまたはイントラモードフレームの場合、非予測ピクチャデータが加算器ADDDの第２入力端に供給される。
【００２２】
図３に示された本発明のエンコーダでは、すべての機能ブロックまたはユニットが基本的に図１で相応する機能ブロックまたはユニットと同じ動作を実行する。しかし動き評価MEは付加的に共通ブロックまたはマクロブロックピクセル検出器CPDETによって制御される。このマクロブロックピクセル検出器CPDETは付加的に、予測ブロック(または予測マクロブロック)が後続のPフレーム(またはPフィールド)で少なくとも１つの輝度(またはクロミナンス)ピクセルを、予測のベースとなるI(またはイントラモード)フレーム基準ブロックと共通に有しているか否かを決定する。このような共通ピクセルが存在しなければ、Iフレームにある相応のブロックまたはマクロブロックがPモード(またはインターモード)で符号化される。CPDETまたはMEは相応の情報をコントローラCTRLに送信し、スイッチSWEは'I'位置から'P'位置に、このブロックまたはマクロブロックに対する処理中に切り替えられる。
【００２３】
図４には、Iフレームの基準ピクセルブロック'IN'が、後続Pフレームの予測ピクセルブロック'PN+1'と共に示されている。ブロック変位の量および方向はモーションベクトルMVによって表される。ブロックPN+1はブロックINと１つのピクセルを共有する。ブロックINからのピクセル情報はブロックPN+1の予測に必要であるから、ブロックINはIブロックとして維持され、符号化され、復号化される。
【００２４】
図５には、Iフレームの基準ピクセルブロック'IN'が、後続Pフレームの予測ピクセルブロック'PN+1'と共に示されている。ブロック変位の量および方向はモーションベクトルMVによって表される。ブロックPN+1はブロックINとピクセルを共有しない。ブロックINからのピクセル情報はブロックPN+1の予測に必要でないから、ブロックINはPブロックとして符号化され、復号化される。
【００２５】
両方の図面で簡単にするために、ブロックは8*8ピクセルではなくて4*4ピクセルだけを有する。
【００２６】
デコーダが符号化されたピクチャをIフレームで復号化するときに、以前にPブロック(またはPマクロブロック)として符号化されたIフレームブロック(またはIフレームマクロブロック)は、基準ブロック(またはマクロブロック)情報が書けているので復号化することができない。しかし後続のPフレームが到着すると、すべてのブロック(またはマクロブロック)は情報の損失なしで正しく復元される。最初のIフレームと後続のPフレームとの間の時間は、例えば3フレームまたは3*40ms=120msしかないから、復元されたビデオシーケンスの観察者は受信または再生が開始されるときに煩わされることはない。
【００２７】
本発明は、例えばデジタルテレビジョン信号の放送で、またはデジタルビデオ信号の伝送で、インターネットのようなネットワークで、ビデオ電話で、または光学的または磁気的記憶媒体、例えばDVDまたはBDをMPEG-1,MPEG-2およびMPEG-4で記録する場合、または別のビデオコーディング/デコーディングシステムで使用することができる。
【図面の簡単な説明】
【００２８】
【図１】図１は、ビデオデータに対する公知のエンコーダを示す。
【図２】図２は、ビデオデータに対する公知のデコーダを示す。
【図３】図３は、ビデオデータに対する本発明のエンコーダを示す。
【図４】図４は、基準ピクセルブロックと共通のピクセルを有する予測ピクセルブロックを示す。
【図５】図５は、基準ピクセルブロックと共通のピクセルを有しない予測ピクセルブロックを示す。
【図１】
2007533181.tif 000003
【図２】
2007533181.tif 000004
【図３】
2007533181.tif 000005
【図４】
2007533181.tif 000006
【図５】
2007533181.tif 000007
【国際調査報告】
2007533181.tif 000008
2007533181.tif 000009
2007533181.tif 000010