(57)【要約】本発明は、出力映像における不規則性を取り除くために、インターレース映像の移動領域の検出及び補間を含む埋め込みリサイジング機能を有するMPEG復号化に関する。本発明によると、この復号化には動きベクトルのダウンスケーリングが含まれる。また、インターレース映像基準フレームにおける移動領域の検出と、減少された解像度の動きベクトルの修正が行われる。さらに、この修正された動きベクトルに従って、インターレース映像基準フレームから画素値が抽出される。
2004529569.tif 000002
【特許請求の範囲】
【請求項１】
インターレース映像フレームの復号化方法であって：
減少した解像度の動きベクトルを生成するため動きベクトルをスケールダウンするステップ；
インターレース映像基準フレームにおいて移動領域を検出するステップ；
修正された動きベクトルを生成するため前記減少した解像度の動きベクトルを修正するステップ；及び
前記修正された動きベクトルに従って、前記インターレース映像基準フレームから画素値を抽出するステップ；
からなることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記減少した解像度の動きベクトルは、補間実行中、各フィールドからの画素に等しい加重が与えられるよう修正されることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記減少した解像度の動きベクトルは、前記画素値が正しいフィールド順に抽出されるよう修正されることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記減少した解像度の動きベクトルの垂直要素は、奇数を最も近い偶数に変更することにより修正されることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記減少した解像度の動きベクトルの垂直要素は、1/4画素位置を1/2画素位置に変更することにより修正されることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、前記減少した解像度の動きベクトルの垂直要素は、3/4画素位置を1/2画素位置に変更することにより修正されることを特徴とする方法。
【請求項７】
請求項１記載の方法であって、前記減少した解像度の動きベクトルの垂直要素は、1/2画素位置を最も近い奇数位置に変更することにより修正されることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、さらに、映像シーケンスの各マクロブロックにフレーム動き補償が実行されたか判断するステップを備えることを特徴とする方法。
【請求項９】
請求項１記載の方法であって、前記インターレース映像基準フレームにおいて前記移動領域を検出するステップは：
前記インターレース映像基準フレームにおける前記動きベクトルに応じた領域で２つのフィールドの差を計算するステップ；及び
前記２つのフィールドの前記差を所定の閾値と比較するステップ；
を備えることを特徴とする方法。
【請求項１０】
請求項９記載の方法であって、前記２つのフィールドの前記差は、前記インターレース映像基準フレームの前記領域の少なくとも１つの列における前記２つのフィールドの隣接画素間の差を蓄積することにより計算されることを特徴とする方法。
インターレース映像フレームを復号するためのコードを備えた記憶媒体であって、前記コードは：
減少した解像度の動きベクトルを生成するため動きベクトルをスケールダウンするためのコード；
インターレース映像基準フレームにおいて移動領域を検出するためのコード；
修正された動きベクトルを生成するため前記減少した解像度の動きベクトルを修正するためのコード；及び
前記修正された動きベクトルに従って、前記インターレース映像基準フレームから画素値を抽出するためのコード；
からなることを特徴とする記憶媒体。
【請求項１１】
残差エラーフレームを生成するための第１パス；
動き補償残差フレームを生成するための第２パス；及び
前記残差エラーフレームと前記動き補償残差フレームを合成するための加算器；
からなるデコーダであって、前記第２パスは、減少した解像度の動きベクトルを生成するためのダウンスケーラと、インターレース映像基準フレームにおいて移動領域を検出し、修正された動きベクトルを生成し、前記修正された動きベクトルに従って、前記インターレース映像基準フレームから画素値を抽出するための動き補償ユニットを備えることを特徴とするデコーダ。
【発明の詳細な説明】
【０００１】
［発明の背景］
本発明は、一般に映像圧縮に関し、特に、出力映像における不規則性を排除するために、インターレース映像における移動領域の検出及び補間を含む埋め込みリサイズ機能（embedded  resizing）を有するMPEG復号化に関する。
【０００２】
離散コサイン変換（DCT）や動き予測を備えた映像圧縮は、MPEG-1、MPEG-2、MPEG-4及びH.262のような複数の国際規格において採用されている技術である。さまざまなDCT/動き予測映像符号化方法において、MPEG-2はDVD、衛星DTV放送及びデジタルテレビのための米国ATSC規格において最も広く利用されている。
【０００３】
いくつかの適用例では、受信されたものよりもより小さな解像度で復号化された映像を表示することが望まれる。例えば、高品位テレビ（HDTV）への適用例では、高品位（HD）能力と標準品位（SD）フォーマット出力を備えた安価なMPEGデコーダへの関心が高まっている。
【０００４】
上述の適用例では、MPEG-2デコーダは、HDの解像度をSDフォーマットに減少させるため、ダウンスケーラ（down  scaler）を備えるよう構成されてきた。このダウンスケーリングは、復号化ループの外部あるいは内部で実行されてきた。しかしながら、復号化ループにダウンスケーリングを内部的に埋め込むことは、復号化の実行に要するメモリ及び計算パワーを低減させることにとって望ましい。
【０００５】
埋め込まれたリサイジング機能を有する一例となるMPEG-2デコーダが図１に示される。図１に示されるように、デコーダは、可変長デコーダ（VLD）２、逆走査・逆量子化（ISIQ）ユニット４及び４×４逆離散コサイン変換（IDCT）ユニット６からなる第１パスを有する。第２パスは、VLD２、ダウンスケーラ１０及び1/4画素動き補償ユニット１２から構成される。出力映像を生成するため、第１及び第２パスの出力を合成する加算器８がさらに含まれる。
【０００６】
実行中、第１パス２，４，６は、イントラコードフレームと残差エラーフレームを生成し、第２パス２，１０，１２は、フレームストア１４に記憶される基準フレームに動き補償を実行することにより、動き補償残差フレームを生成する。
【０００７】
特に、ダウンスケーラ１０は、動きベクトルを第１パスの低減された解像度にスケールダウンする。このダウンスケーリングにより、動きベクトルは1/4画素解像度となる。このことは、動き補償が実行されるとき、1/4、1/2あるいは3/4画素位置のような非整数画素位置が基準フレームから抽出されうるということを意味する。
【０００８】
さらに、1/4画素MCユニット１２が、復号化された動きベクトルに従って、フレームストア１４に記憶されている基準フレームからデータを抽出する。動きベクトル（MV）が整数値である場合、MCユニット１２はこのMVにより示される画素位置から始まる画素値を抽出する。MVが整数値でない場合、MCユニット１２はMVにより示される画素位置の近傍の整数画素位置において画素値を抽出し、非整数画素位置における画素値を求めるために補間を行う。この補間により求められる画素値は、非整数MVに対応する実データである。
【０００９】
ここでまた、MPEG-2はインターレース映像をサポートする。従って、デコーダサイドにおいて、エンコーダサイドでの処理に従って、フィールドMCあるいはフレームMCが実行される。図２からわかるように、フィールドMCでは、各フィールドからのデータが別々に抽出され、データブロックにインターレースされる。フレームMCでは、両フィールドからのインターレースデータが同時に抽出される。
［発明の概要］
本発明は、インターレース映像フレームの復号化方法に関する。本発明による方法では、低減された解像度の動きベクトルを生成するため、動きベクトルのダウンスケーリングステップが行われる。また、インターレース映像基準フレームにおける移動領域が検出され、及び修正された動きベクトルを生成するために低減された解像度の動きベクトルが修正される。さらに、この修正された動きベクトルに従って、インターレース映像基準フレームから画素値が抽出される。
【００１０】
また、本発明はデコーダに関する。本発明によるデコーダは、残差エラーフレームを生成するための第１パスと、動き補償残差フレームを生成するための第２パスとを含む。
【００１１】
また、この残差エラーフレームと動き補償残差フレームを合成する加算器が含まれる。
【００１２】
第２パスは、低減された解像度の動きベクトルを生成するためのダウンスケーラを含む。また、第２パスは、インターレース映像基準フレームにおいて移動領域を検出し、修正された動きベクトルを生成し、修正された動きベクトルに従って、このインターレース映像基準フレームから画素値を抽出する動き補償ユニットを含む。
［詳細な説明］
前述のように、埋め込みリサイジング機能を有するMPEG-2復号化は、復号された映像の出力解像度が減少される必要がある適用例では、好ましい構成である。特に、この構成が好ましいのは、外部スケーリングに比べ復号に要するメモリや計算パワーを減少させることができるからである。
【００１３】
しかしながら、埋め込みリサイジングは、動き補償が低減された解像度で実行される必要がある。
【００１４】
いくつかの状況では、低減された解像度での動き補償の実行で問題は起こらない。しかしながら、フレームMCが実行される場合、出力映像において不規則性が表れる可能性がある。そのような不規則性の例が図３に示される。この例からわかるように、出力映像には、インターレースブロックアーチファクト（artifact）１５と呼ばれる多数の不規則性が含まれている。この不規則性１５は、動き補償を実行するための基準フレームとして利用されるインターレース映像フレームにおける動きに関連している。
【００１５】
特に、インターレース映像フレームの動きを含む領域では、２つのフィールド間の急激な色の相違が起こっている。このことは、これらの移動領域では、２つのフィールドの画素値に大きな相違があるということを意味している。フレームMCでは、復号される動きベクトルが整数でない場合、この２つのフィールドの画素間の補間が必要である。埋め込みリサイジング機能を備えたMPEG-2復号化における動きベクトルはスケールダウンされるので、補間が実行されるとき、画素の１つが超過加重化（over  weighted）されてしまう。その結果、この超過加重化が図３に示されるインターレースブロックアーチファクト１５の一因となる。動きのない領域では、対応する領域における画素値の間にわずかな差異しかないので、そのような不規則性は生じない。
【００１６】
この超過加重の問題を解消するために、最も近い1/2画素にすべての非整数動きベクトルを丸め込むようデコーダは構成されてきた。しかしながら、それは、動きのない領域に悪影響を与えるという点で、良い解決策でないということがわかった。これらの問題を解消するため、本発明は、インターレース映像における移動領域の検出及び補間を含む埋め込みリサイジング機能を有するMPEG復号化に関する。
【００１７】
本発明による埋め込みリサイジング機能を有するMPEG-2デコーダの一例が図４に示される。図４に示されるように、本発明によるデコーダは、1/4画素MCユニット１６を除けば図１に示されるものと同様である。図１に示されるように、デコーダは、イントラコードフレームと残差エラーフレームを生成するための第１パス２，４，６と、動き補償残差フレームを生成するための第２パス２，１０，１６を含む。また、出力映像を生成するため、第１及び第２パスの出力を合成する加算器８が含まれる。
【００１８】
また、実行中、ダウンスケーラ１０は動きベクトルを第１パスの低減された解像度にスケーリングする。しかしながら、本発明は、動き補償が実行されるとき、1/4画素MCユニット１６が移動領域の検出及び補間を行うという点が異なっている。
【００１９】
1/4画素MCユニット１６の動作の一例が図５に示される。この例では、1/4画素MCユニット１６は、マクロブロックレベルで映像シーケンスを処理する。従って、この映像シーケンスの未処理部分がなくなるまで、ステップ１８〜３２が各マクロブロックに実行される。図５に示されるように、ステップ１８において、フレームMCが各マクロブロックに実行されたか判定される。この判定は、各マクロブロックのヘッダーをチェックすることにより実行される。MPEG-2では、マクロブロックのヘッダーは、エンコーダサイドでフィールドMCあるいはフレームMCが実行されたか示すフィールドを含んでいる。
【００２０】
ステップ１８において、フレームMCがあるマクロブロックで実行されていないと判断されると、ステップ３０にスキップし、通常の方法で基準フレームからデータが抽出される。前述のように、フレームMCの結果として、インターレースブロックアーチファクトが起こる。あるいは、ステップ１８において、フレームMCが実行された場合、ステップ２０に進む。
【００２１】
ステップ２０において、各マクロブロックのMVがインターレース映像基準フレームにおける移動領域を指し示しているか検出される。前述のように、インターレースブロックアーチファクトを引き起こすのは、この移動領域の補間である。移動領域を検出するため、２つのフィールドの差が、基準フレームの各動きベクトルにより示された境域において計算される。この差が小さければ、当該領域は移動領域でなく、ステップ３０にスキップし、通常の方法でデータが抽出される。差が大きい場合、当該領域は移動領域であり、ステップ２２に進む。
【００２２】
ステップ２２において、基準フレームの移動領域に対応する各動きベクトル（MV）の垂直要素の値がチェックされる。このとき、MVの解像度はデコーダの第１パスのものにスケールダウンされている。この値に応じて、動きベクトル（MV）の垂直要素が、インターレースブロックアーチファクトを取り除くため、３つのケースのいずれかで修正される。
【００２３】
もしMVが1/4あるいは3/4画素位置を含む場合、ステップ２６に進む（ケース２）。ステップ２６では、1/4あるいは3/4位置のMVが1/2位置に変更される。例えば、MV=1.25は1.5に、MV=3.75は3.5に変更される。このケースを示すために、図６は低減された解像度（a）とフル解像度（b）における画素列を示す。各帯は全体的画素位置あるいはサブ画素位置を表している。帯の高さは画素の規模を表している。
【００２４】
フル解像度６（b）において、MVは1/2画素位置を示し、２つのインターレースフィールドは平均化され、これらフィールド間での補間後抽出された「フラットな」画素値が生成される。低減された解像度６（a）では、ダウンスケーリングにより、1/2画素MVが1/4画素MVに低減されている。従って、低減された解像度では、これら２つのフィールドの補間後の抽出された画素値は「フラットな」ものではない。これは、補間の実行において、MVにより示される画素位置により近い画素により大きな加重が与えられるからである。同じ「フラットな」画素値を得るため、フル解像度と同様に、各フィールドに等しい加重が与えられる必要がある。この例では、これは、1/4あるいは3/4のMVを1/2に変えることによりなされる。
【００２５】
図５を再び参照するに、MVが1/2画素位置を示している場合、ステップ２８に進む（ケース３）。ステップ２８において、1/2位置のMVは最も近い奇数位置に変更される。例えば、MV=1.5は1に、MV=3.5は3に変更される。このケースを示すために、図７は低減された解像度（a）とフル解像度（b）における画素列を示す。
【００２６】
フル解像度７（b）において、MVはボトムフィールドの画素を示し、その画素値は逆フィールド順で抽出される。低減された解像度７（a）では、ダウンスケーリングにより、MVは1/2画素位置を示している。従って、２つのフィールド間の補間が実行され、これら２つのフィールドの平均である画素値が抽出される。しかしながら、フル解像度と同様に、画素値は逆フィールド順で抽出されるべきである。この例では、これは、1/2のMVを1に変更することによりなされる。
【００２７】
MVが奇数である場合、ステップ２４に進む（ケース１）。ステップ２４において、この奇数のMVは最も近い偶数位置に変更される。例えば、MV=3は2または4に変更される。このケースを示すために、図８は低減された解像度（a）とフル解像度（b）における画素列を示す。
【００２８】
フル解像度８（b）において、MV=2はトップフィールドの画素を示している。従って、フル解像度では、画素値は正順（forward  order）で抽出される。低減された解像度８（a）では、ダウンスケーリングにより、MV=1はボトムフィールドの画素を示す。しかしながら、これは、フル解像度と同様にトップフィールドから画素値は抽出されるべきであるので、正しくない。この例では、これは、1のMVを0または2に変更することによりなされる。
【００２９】
図５を再び参照するに、この３つのケース２４、２６、２８のいずれかにおいてMVを修正した後、ステップ３０に進む。ステップ３０では、前述のように、３つのケースのいずれかで修正されたMVに従って、基準フレームからデータが抽出される。データがフル解像度と同じように抽出されるようMVが修正されるので、出力映像にはインターレースブロックアーチファクトは含まれない。
【００３０】
ステップ３０の実行後、ステップ３２に進み、シーケンスの終端であるかチェックされる。処理を要するマクロブロックがさらにあれば、ステップ１８に戻り、上述のステップが繰り返される。処理を要するマクロブロックが存在しなければ、ステップ３４に進み、終了される。
【００３１】
図５のステップ２０において、各マクロブロックのMVがインターレース映像基準フレームにおける移動領域を指し示しているか検出される。前述のように、これは、各MVにより示される領域での２つのフィールド間の差を求めることによりなされる。移動領域を表すデータブロックの例が図８に示される。このブロックは、濃い矢印がトップフィールドを表す一方、薄い矢印はボトムフィールドを表している。図からわかるように、２つのフィールドの間で急激な色の変化がある。従って、この差を取ることにより、この領域が移動領域であるということをしめす大きな値が生成される。
【００３２】
ステップ２０を実行するための擬似コードの一例が図９に示される。１行目で、変数「diff」は初期的に0に設定される。４行目で、データブロックの２つのフィールドの差が求められる。図からわかるように、この２つのフィールドの隣接画素（j,j+1）の差が計算され、２行目で選ばれたデータブロックの各列（i）について蓄積される。ここで、この差は絶対的な差ではない。また、２行目で選ばれた列（i）が多いほど、より正確な検出が可能になる。しかし、計算量を減らすため、２行目で選ばれる列数は制限されてもよい。例えば、検出の実行のため、第１、最終及び中間の列のみ、あるいは３列ごと選ばれるようにしてもよい。
【００３３】
５行目で、差(diff)がその後平均化される。６行目で差(diff)を閾値にスケーリングするためこの処理が必要とされる。本例では、差(diff)を選ばれた列(i)数と各列における画素(h/2)ペア数により割ることによってこの平均は計算される。
【００３４】
６行目で、差の絶対値abs(diff)が閾値と比較される。この場合、閾値は、例えば20のような画素ペアの差であってもよい。abs(diff)が閾値を上回ると、移動領域が検出されたとする。abs(diff)が閾値を下回れば、移動領域は検出されなかったとする。
【００３５】
本発明によるインターレース映像での移動領域の検出及び補間を含むMPEG復号化が実現されるシステムの一例が図１１に示される。この例において、本システムは、テレビ、セットトップボックス（set-top  box）、デスクトップ、ラップトップあるいはパームトップ（palm-top）コンピュータ、PDA（Personal  Digital  Assistant）、ビデオカセットレコーダ（VCR）、デジタルビデオレコーダ（DVR）、TiVOデバイスなどの映像/画像記憶装置、またはこれらの装置の一部あるいは他の装置との組み合わせを表していてもよい。本システムは、１つ以上の映像ソース３６、１つ以上の入出力装置４４、プロセッサ３８及びメモリ４０を含む。
【００３６】
映像/画像ソース３６は、例えば、テレビ受信機、VCRあるいは他の映像/画像記憶装置を表すかもしれない。ソース３６はまた、例えば、インターネットのようなグローバルコンピュータ通信ネットワーク、広域ネットワーク、大都市領域ネットワーク（metropolitan  area  network）、ローカルエリアネットワーク、地上放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク、電話ネットワーク、あるいはこれら及び他のタイプのネットワークの一部またはその組合せを介し、１つ以上のサーバから映像を受信するための１つ以上のネットワーク接続を表してもよい。
【００３７】
入出力装置４４、プロセッサ３８及びメモリ４０は、通信媒体４６を介し通信する。通信媒体４６は、例えば、バス、通信ネットワーク、１つ以上の回路内部接続、回路カード、他のデバイス、あるいはこれら及び他のタイプの通信メディアの一部またはその組合せを表してもよい。ソース３６からの入力映像データは、表示装置４２に供給される出力映像/画像を生成するため、メモリ４０に記憶されている１つ以上のソフトウェアプログラムに従い、プロセッサ３８により処理及び実行される。
【００３８】
１つの実施例において、図４の復号化は、本システムにより実行されるコンピュータ読み出し可能なコードにより実現される。このコードはメモリ４０に記憶されてもよいし、またはCD-ROMやフロッピー（登録商標）ディスクのような記憶媒体から読み出し/ダウンロードされてもよい。他の実施例では、本発明を実現するためのソフトウェアインストラクションの代わりに、あるいは組み合わせて、ハードウェア回路が利用されてもよい。
【００３９】
本発明は、特定の実施例に関して説明されてきたが、本発明はここに開示された実施例に制限されるものではない。例えば、本発明は、MPEGフレームワークを使って説明されてきた。しかしながら、開示されたコンセプト及び方法は、任意のDCT/動き予測手法に適用可能であり、より一般的には、異なる相互依存性を有するタイプの画像のための任意のフレームベースの映像圧縮手法に適用可能である。従って、本発明は、添付されたクレームのアイデア及び範囲に含まれるさまざまな構成及びその変形をカバーするものである。
【図面の簡単な説明】
【００４０】
【図１】図１は、埋め込みリサイジング機能を有するMPEG-2デコーダを示すブロック図である。
【図２】図２は、フィールド動き補償とフレーム動き補償との違いを示す図である。
【図３】図３は、埋め込みリサイジング機能を有するMPEG復号化で発生する不規則性の例を示す図である。
【図４】図４は、本発明による埋め込みリサイジング機能を有する一例となるMPEG-2デコーダを示す図である。
【図５】図５は、本発明によるインターレース映像における移動領域の検出及び補間の一例となるフロー図である。
【図６】図６は、本発明によるMVを修正する１つのケースを示す図である。
【図７】図７は、本発明によるMVを修正する他のケースを示す図である。
【図８】図８は、本発明によるMVを修正するさらなる他のケースを示す図である。
【図９】図９は、インターレース映像における移動領域を表す一例となるデータブロックを示す図である。
【図１０】図１０は、本発明によるインターレース映像における移動領域を検出するための一例となる擬似コードを示す図である。
【図１１】図１１は、本発明による一例となるシステムを示すブロック図である。
【図１】
2004529569.tif 000003
【図２】
2004529569.tif 000004
【図４】
2004529569.tif 000005
【図５】
2004529569.tif 000006
【図６】
2004529569.tif 000007
【図７】
2004529569.tif 000008
【図８】
2004529569.tif 000009
【図１１】
2004529569.tif 000010
【国際公開パンフレット】
2004529569.tif 000011
2004529569.tif 000012
2004529569.tif 000013
2004529569.tif 000014
2004529569.tif 000015
2004529569.tif 000016
2004529569.tif 000017
2004529569.tif 000018
2004529569.tif 000019
2004529569.tif 000020
2004529569.tif 000021
2004529569.tif 000022
2004529569.tif 000023
2004529569.tif 000024
2004529569.tif 000025
2004529569.tif 000026
2004529569.tif 000027
2004529569.tif 000028
2004529569.tif 000029
【国際調査報告】
2004529569.tif 000030
2004529569.tif 000031
2004529569.tif 000032
2004529569.tif 000033