(57)【要約】本発明は、映像ビットストリームを第１解像度にて復号化するにあたって、組み込みリサイジングを外的スケール調整と共に用いることによって、演算量を削減することに向けられたものである。本発明によれば、残留誤差フレームが第２のより低い解像度にて生成される。第２解像度にて動き補償フレームもまた生成される。残留誤差フレームはそれから動き補償フレームと合成され、映像フレームを生成する。さらに、映像フレームは第１解像度に拡大される。
2004537225.tif 000002
【特許請求の範囲】
【請求項１】
映像ビットストリームを第１解像度にて復号化する方法であって：
第２のより低い解像度にて残留誤差フレームを生成する工程；
前記第２のより低い解像度にて動き補償フレームを生成する工程；
前記残留誤差フレームと前記動き補償フレームとを合成して映像フレームを生成する工程；  及び
該映像フレームを前記第１解像度に拡大する工程；
を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記残留誤差フレームを生成する工程が８×８の逆離散変換を実行してピクセル値を生成する工程を有することを特徴とする方法。
【請求項３】
請求項２記載の方法であって、前記ピクセル値が所定のレートにてサンプリングされることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記残留誤差フレームを生成する工程が４×４の逆離散変換を実行する工程を有することを特徴とする方法。
【請求項５】
請求項1記載の方法であって、前記動き補償フレームを生成する工程が所定の因数によって動きベクトルを縮小して、スケール調整された動きベクトルを生成する工程を有することを特徴とする方法。
【請求項６】
請求項５記載の方法であって、動き補償が前記スケール調整された動きベクトルに基づいて実行されることを特徴とする方法。
【請求項７】
請求項１記載の方法であって、前記拡大が、ピクセル値の繰り返しと直線補間とを有する群から選択された手法によって実行されることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、前記拡大が水平方向に実行されることを特徴とする方法。
【請求項９】
請求項１記載の方法であって、前記拡大が、前記残留誤差フレームにおける縮小と同一方向に実行されることを特徴とする方法。
【請求項１０】
映像ビットストリームを第１解像度にて復号化するコードを有する記憶媒体であって、該コードが：
第２のより低い解像度にて残留誤差フレームを生成するコード；
前記第２のより低い解像度にて動き補償フレームを生成するコード；
前記残留誤差フレームと前記動き補償フレームとを合成して映像フレームを生成するコード；  及び
該映像フレームを前記第１解像度に拡大するコード；
を有することを特徴とするコード。
【請求項１１】
映像ビットストリームを第１解像度にて復号化する装置であって：
第２のより低い解像度にて残留誤差フレームを生成する手段；
前記第２のより低い解像度にて動き補償フレームを生成する手段；
前記残留誤差フレームと前記動き補償フレームとを合成して映像フレームを生成する手段；  及び
該映像フレームを前記第１解像度に拡大する手段；
を有することを特徴とする装置。
【請求項１２】
映像ビットストリームを第１解像度にて復号化する装置であって：
第２のより低い解像度にて残留誤差フレームを生成する第１経路；
前記第２のより低い解像度にて動き補償フレームを生成する第２経路；
前記残留誤差フレームと前記動き補償フレームとを合成して映像フレームを生成する加算器；  及び
該映像フレームを前記第２解像度から前記第１解像度に拡大する拡大器；
を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、動画像圧縮に関するものであって、特に、復号化において、組み込みリサイジングを外的スケール調整とともに用いることによって、当該複合化の演算量を削減することに関するものである。
【背景技術】
【０００２】
離散コサイン変換(DCT)を取り入れた映像圧縮はMPEG-1、MPEG-2、MPEG-4、及びH.262のような複数の国際標準に適用された技術である。これらの方式の中では、MPEG-2が最も広く用いられていて、ディジタル・ビデオ・ディスク(DVD)、衛星DTV(ディジタル・テレビ)放送、及びディジタル・テレビのATSC（米国次世代テレビ・システム委員会）標準に用いられている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
MPEG映像復号器の例が図１に表されている。当該MPEG映像復号器はMPEGに基づいた消費者向け動画像製品の重要な部分である。そのような製品においては、望ましい目標は当該復号器の演算量を最小化すると同時に当該映像の品質を維持することである。
【課題を解決するための手段】
【０００４】
本発明は、組み込みリサイジングを外的スケール調整と共に用いて、映像ビットストリームを第１解像度にて復号化し、該復号化の演算量を削減することに向けられたものである。本発明によれば、残留誤差フレームが第２のより低い解像度にて生成される。該第２解像度にて、動き補償フレームもまた生成される。残留誤差フレームはそれから動き補償フレームと合成され、映像フレームが生成される。さらに、該映像フレームが第１解像度に拡大される。
【発明を実施するための最良の形態】
【０００５】
本発明によれば、拡大は、ピクセル値の繰り返しと直線補間とを有する群から選択された手法によって実行し得る。さらに、拡大は残留誤差フレームにおける縮小と同一方向にて実行される。本発明の一例においては、拡大は水平方向にて実行される。
【実施例】
【０００６】
本発明は、組み込みリサイジングを外的スケール調整と共に用いて復号化し、該復号化の演算量を削減することに向けられたものである。本発明によれば、映像ビットストリームは、組み込みリサイジングを用いて、削減された出力解像度にて復号化される。該出力映像はそれから外的スケール調整を用いて表示解像度に拡大される。組み込みリサイジングはより低い解像度にて逆離散コサイン変換(IDCT)及び動き補償（MC）を実行することを可能にし得るので、当該復号化の総演算量が削減される。
【０００７】
本発明による復号器の一例は図２に表されるものである。図２に見られるように、当該復号器は可変長復号器（VLD）２、逆走査及び逆量子化（ISIQ）/フィルタリング・ブロック１４、８×８のIDCTブロック１６及び間引きブロック１８を有する第１経路を有する。
【０００８】
動作中、VLD２は入力映像ビットストリームを復号化し、動きベクトル（MV）及びDCT係数を生成する。ISIQ/フィルタリング・ブロック１４はそれからVLD2から受け取ったDCT係数を逆走査及び逆量子化する。MPEG-2では、逆ジグザグ式走査が実行される。さらに、IDCT/フィルタリング・ブロック１４は又、フィルタリングを実行し、DCT係数から高周波を除去する。
【０００９】
この実施例では、８×８のIDCTブロック１６は８×８のブロックにて逆離散変換を実行し、ピクセル値のブロックを生成する。IDCTを実行後、間引きブロック１８は所定のレートにて８×８のIDCTブロック１６の出力をサンプリングして、復号化される映像フレームの解像度を削減する。本発明によれば、間引きブロック１８はピクセル値を水平方向、垂直方向又は両方向にてサンプリングし得る。
【００１０】
さらに、間引きブロック１８のサンプリング・レートは、所望の内的スケール調整の水準によって選定される。この実施例では、サンプリング・レートは、１／４ピクセルのMC装置が利用されるので、「１／２」の出力解像度を設けるよう「２」とする。しかしながら、本発明によれば、「１／４」あるいは「１／８」のような異なった解像度を設けるよう、他のサンプリング・レートを選定してよい。間引きブロック１８の出力部では、復号化されたI−フレーム及び残留誤差フレームが、削減された解像度にて生成される。図２に見られるように、これらのフレームは加算器８の片側に設けられる。
【００１１】
さらに図２に見られるように、復号器はVLD２、縮小器２０、１／４ピクセルMC装置２２及びフレーム格納部１２を有する第２経路を有する。動作中、縮小器２０は、第１経路における縮小に比例してVLD2によって設けられたMVの大きさを縮小する。これによって第1経路において生成されたフレームと整合するよう、削減された解像度にて動き補償を可能とする。この実施例では、MVは間引き装置１８のサンプリング・レートと整合させるよう「２」分の１に縮小される。
【００１２】
１／４ピクセルMC装置２２はそして、縮小されたMVによってフレーム１２の格納部に格納された先行するフレームについて動き補償を実行する。この実施例においては、MVが「２」分の１に縮小されたので、動き補償は「１／４」解像度にて実行されるものである。１／４ピクセル装置MC２２の出力部においては、削減された解像度による動き補償フレームが生成される。図２に見られるように、これらのフレームは加算器８の片側とは反対側に設けられる。
【００１３】
操作中、加算器８は第１及び第２経路からのフレームを合成して、削減された解像度にて映像フレームを生成する。図２に見られるように、加算器８からの映像フレームはそれから外部の拡大器２４に設けられる。該拡大器２４は復号化ループの外側に位置するので外部のものである。当該拡大器２４は映像フレームの解像度をフル表示解像度に増加させる。該解像度の増加は復号化ループ内部にて発生した減少に比例するものである。この実施例では、拡大器２４は映像フレームの解像度を２倍に増加させるものである。
【００１４】
さらに、拡大器２４はまた、内部にて行われるスケール調整によって水平方向、垂直方向又は両方向にて解像度を増加させる。例えば、ビットストリームの元の解像度が「720×480」で、内部スケール調整によって「360×480」に削減された場合、拡大器２４は「360×480」から「720×480」への水平スケール調整が実行されるものである。
【００１５】
本発明による復号器の他の例が図３に表されている。図３の復号器は、第１経路以外は図２と同じである。図３に見られるように、この例では、第１経路はVLD２、ISIQ/フィルタリング／スケール調整ブロック４０及び4×４IDCTブロック２６を有する。したがって、この例では、IDCTは削減された解像度で実行され、復号化の総演算量をさらに削減させる。
【００１６】
動作中、ISIQ/フィルタリング／スケール調整ブロック４０はVLD２から受け取ったDCT係数を逆走査及び逆量子化する。IDCT/フィルタリング/スケール調整ブロック４０はさらにフィルタリングを行い、DCT係数から高周波を除去する。
【００１７】
しかしながら、この例では、IDCT/フィルタリング/スケール調整ブロック４０はさらにVLD2から受け取ったDCT係数についてスケール調整を実行する。この例では、IDCT/フィルタリング/スケール調整ブロック４０はVLD2から受け取った８×８DCTブロックを4×４ブロックに縮小する。
【００１８】
４×４IDCTブロック２６はそれから４×４ブロックにて逆離散変換を行い、ピクセル値のブロックを生成する。４×４IDCTブロック２６の出力はそれから加算器８の一入力部に設けられる。
【００１９】
上記例のように、加算器８は第１及び第２経路からのフレームを合成して、削減された解像度にて映像フレームを生成する。前述のように、復号化されたI-フレーム及び残留誤差フレームは第１経路２、４０、２６によって生成される一方、動き補償されたフレームは第２経路１２、２０、２２によって生成される。拡大器２４はさらに映像フレームの解像度をフル表示解像度に増加させる。この例では、拡大器はさらに水平及び垂直の両方向において「２」倍に解像度を増加させる。
【００２０】
本発明によれば、図２−３の復号器はハードウェア、ソフトウェア又は両方の組み合わせによって実装し得るものである。ソフトウェア実装においては、拡大器２４は、単にピクセル値を繰り返す、あるいは直線補間を用いるような簡単な拡大手法を利用することが望ましい。他の実施例においては、拡大器２４はハードウェアにて実装し得、及びより複雑な手法を用い得る。例えば、フィリップス・トライメディア（ＰＨＩＬＩＰＳ  ＴＲＩＭＥＤＩＡ）のチップは、スケール調整するよう、専用の複合処理装置を有する。この複合処理装置はプログラムに組み込んだ５タップのフィルタ構成を用い、さらに追加のピクセル値は５ピクセルの加重平均に基づいて計算される。したがって、拡大器２４はこの専用処理装置を用いて実装し得る一方、復号器の残りはソフトウェアにて実装し、及びフィリップス・トライメディアの処理装置の中央処理装置（ＣＰＵ）コアにて実行し得る。
【００２１】
組み込みリサイジングを外的スケール調整と共に利用する復号化を実現し得るシステムの一例が図４に表されている。例として、当該システムは、テレビ、セットトップ・ボックス、デスクトップ型のコンピュータ、ラップトップ型あるいはパームトップ型のコンピュータ、携帯情報端末（ＰＤＡ）、ビデオ・カセット・レコーダ（ＶＣＲ）、ディジタル・ビデオ・レコーダ（ＤＶＲ）、ティボ（ＴｉＶＯ）装置、などのような映像/画像記憶装置、に加えて、これら及び他の装置の一部又は組み合わせを表し得る。当該システムは1つ以上の映像ソース２８、1つ以上の入出力装置３６、処理装置３０、記憶装置３２及び表示装置３８を含む。
【００２２】
映像/画像ソース２８は例えば、テレビ受信機、ＶＣＲ、又は他の映像/画像記憶装置などを表し得る。当該ソース２８は代わりに、例えば、インターネットのようなグローバル・コンピュータ通信ネットワーク、ワイド・エリア・ネットワーク、メトロポリタン地域ネットワーク、ローカル・エリア・ネットワーク、地上放送システム、ケーブル・テレビ網、衛星ネットワーク、無線ネットワーク、又は電話網、に加えてこれら及び他の種類のネットワークによってサーバー（又はサーバー群）から映像を受信する1つ以上のネットワーク接続を表し得る。
【００２３】
入出力装置３６、処理装置３０及び記憶装置３２は通信媒体３４によって通信し合う。該通信媒体３４は例えば、バス、通信網、回路、回路カード又は他の装置の、1つ以上の内部接続に加えてこれらの、及び他の通信媒体の一部及び組み合わせを表し得る。ソース２８からの入力映像データは記憶装置３２に格納された1つ以上のソフトウェア・プログラムによって処理され、かつ表示装置３８に供給される出力映像/画像を生成するよう処理装置３０にて実行される。
【００２４】
一実施例では、組み込みリサイジングを外的スケール調整と共に利用する復号化はシステムによって実行された、コンピュータによって判読可能なコードによって実現される。該コードは記憶装置３２に記憶される、又は、読み取り専用コンパクト・ディスク（CD-ROM）若しくはフロッピー（登録商標）・ディスクのような記憶媒体から読み取りされる、あるいはダウンロードされる。他の実施例では、本発明を実現するよう、ハードウェア回路は、ソフトウェアの代わりとして、あるいは、ソフトウェアとの組み合わせにて、用いられることがある。
【００２５】
本発明は特定の例によって上記にて説明したが、本発明はここに開示された例に限定する、あるいは制限することは予定しないものである。例えば、本発明はMPEG-2の枠組みを用いて説明した。しかしながら、ここに説明した当該概念及び方法論は更にＤＣＴ/動き予測方法のどれにも、あるいは、より一般的な意味では、異なった相互依存性を有する映像種類が認められた、フレーム・ベースの映像圧縮方法のどれにも、適用できることを特筆する。したがって、本発明は本特許請求の範囲に記載の請求項の精神及び範囲内に含まれる本発明の種々の構造及び変形例にわたることを予定するものである。
【図面の簡単な説明】
【００２６】
【図１】MPEG復号器の構成図である。
【図２】本発明による復号器の一例の構成図である。
【図３】本発明による復号器の他の例の構成図である。
【図４】本発明によるシステムの一例の構成図である。
【図１】
2004537225.tif 000003
【図２】
2004537225.tif 000004
【図３】
2004537225.tif 000005
【図４】
2004537225.tif 000006
【国際公開パンフレット】
2004537225.tif 000007
2004537225.tif 000008
2004537225.tif 000009
2004537225.tif 000010
2004537225.tif 000011
2004537225.tif 000012
2004537225.tif 000013
2004537225.tif 000014
2004537225.tif 000015
2004537225.tif 000016
2004537225.tif 000017
2004537225.tif 000018
【国際調査報告】
2004537225.tif 000019
2004537225.tif 000020
2004537225.tif 000021
2004537225.tif 000022