(57)【要約】ビデオストリームの空間階層型の方法及び装置が開示される。基準の動きベクトルは、本発明の圧縮スキームに導入され、この基準の動きベクトルに従って、ベースレイヤ及びエンハンスメントレイヤは、ビデオストリームの画像の対応するフレームの動きベクトルをそれぞれ取得し、これによりベースレイヤ及びエンハンスメントレイヤをそれぞれ生成する。導入される基準の動きベクトルは、ベースレイヤに関する動き予測をエンハンスメントレイヤに関する動き予測と関連付けし、これによりベースレイヤとエンハンスメントレイヤに関する動き予測の計算の全体量が低減される。さらに、基準の動きベクトルを取得するための基準フレームがオリジナルのビデオ系列から取得され、オリジナルビデオ系列に更なる厳しい動作が行われないため、基準の動きベクトルはビデオ系列内での実際の動きを良好に反映する。
2008512023.tif 000002
【特許請求の範囲】
【請求項１】
ビデオストリームの空間階層型圧縮方法であって、
ａ）前記ビデオストリームを処理して、前記ビデオストリームの画像のそれぞれのフレームの基準の動きベクトルを取得するステップと、
ｂ）前記基準の動きベクトルを使用することで前記ビデオストリームを処理し、ベースレイヤを生成するステップと、
ｃ）前記基準の動きベクトルと前記ベースレイヤを使用することで前記ビデオストリームを処理し、エンハンスメントレイヤを生成するステップと、
を含む方法。
【請求項２】
前記ステップａ）は、
前記ビデオストリームをダウンサンプリングするステップと、
ダウンサンプリングされたビデオストリームの画像のそれぞれのフレームについて前記基準の動きベクトルを取得するステップと、
を含む請求項１記載の方法。
【請求項３】
前記ステップｂ）は、
前記基準の動きベクトルに従って、前記ダウンサンプリングされたビデオストリームの画像の対応するフレームの前記動きベクトルを取得するステップと、
前記動きベクトルを使用することで前記ダウンサンプリングされたビデオストリームを処理し、前記エンハンスメントレイヤを生成するステップと、
を含む請求項２記載の方法。
【請求項４】
前記ステップｃ）は、
前記基準の動きベクトルをアップサンプリングするステップと、
アップサンプリングされた動きベクトルに従って、前記ビデオストリームの画像の対応するフレームの前記動きベクトルを取得するステップと、
前記動きベクトル及び前記ベースレイヤを使用することで前記ビデオストリームを処理し、エンハンスメントレイヤを生成するステップと、
を含む請求項２記載の方法。
【請求項５】
前記ステップｂ）は、
前記基準の動きベクトルをダウンサンプリングするステップと、
前記ビデオストリームをダウンサンプリングするステップと、
前記ダウンサンプリングされた基準の動きベクトルに応じて、前記ダウンサンプリングされたビデオストリームの画像の対応するフレームの前記動きベクトルを取得するステップと、
前記動きベクトルを使用することで前記ダウンサンプリングされたビデオストリームを処理し、前記ベースレイヤを生成するステップと、
を含む請求項１記載の方法。
【請求項６】
前記ステップｃ）は、
前記基準の動きベクトルに従って、前記ビデオストリームの画像の対応するフレームの動きベクトルを取得するステップと、
前記動きベクトルと前記ベースレイヤを使用することで前記ビデオストリームを処理し、前記エンハンスメントレイヤを生成するステップと、
を含む請求項５記載の方法。
【請求項７】
ビデオストリームの空間階層型圧縮方法であって、
ａ）前記ビデオストリームを処理してベースレイヤを生成するステップと、
ｂ）前記ベースレイヤの画像のそれぞれのフレームの動きベクトルアップサンプリングし、画像の対応するフレームの基準の動きベクトルを取得するステップと、
ｃ）前記基準の動きベクトル及びベースレイヤを使用することで前記ビデオストリームを処理し、エンハンスメントレイヤを生成するステップと、
を含む方法。
【請求項８】
前記ステップｃ）は、
前記基準の動きベクトルに従って、前記ビデオストリームの画像の対応するフレームの前記動きベクトルを取得するステップと、
前記動きベクトル及び前記ベースレイヤを使用することでビデオストリームを処理し、前記エンハンスメントレイヤを生成するステップと、
を含む請求項７記載の方法。
【請求項９】
ビデオストリームの空間階層型圧縮装置であって、
前記ビデオストリームを処理し、前記ビデオストリームの画像のそれぞれのフレームの基準の動きベクトルを取得するために使用される取得手段と、
前記基準の動きベクトルを使用して前記ビデオストリームを処理し、ベースレイヤを生成するベースレイヤ取得手段と、
前記基準の動きベクトルと前記ベースレイヤを使用することで前記ビデオストリームを処理し、エンハンスメントレイヤを生成するためにエンハンスメントレイヤ取得手段と、
を有する装置。
【請求項１０】
前記取得手段は、
前記ビデオストリームをダウンサンプリングするために使用されるダウンサンプラと、
ダウンサンプリングされたビデオストリームの画像のそれぞれのフレームの前記基準の動きベクトルを取得するために使用される基準の動きベクトル取得手段と、
を含む請求項９記載の装置。
【請求項１１】
前記ベースレイヤ取得手段は、
前記基準の動きベクトルに基づいて、前記ダウンサンプリングされたビデオストリームの画像の対応するフレームの前記動きベクトルを取得するために使用される動きベクトル取得手段と、
前記動きベクトルを使用することで前記ダウンサンプリングされたビデオストリームを処理し、前記ベースレイヤを生成するベースレイヤ生成手段と、
を含む請求項１０記載の装置。
【請求項１２】
前記エンハンスメントレイヤ取得手段は、
前記基準の動きベクトルをアップサンプリングするために使用されるアップサンプラと、
アップサンプリングされた動きベクトルに従って、前記ビデオストリームの画像の対応するフレームの前記動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトル及び前記ベースレイヤを使用することで前記ビデオストリームを処理し、前記エンハンスメントレイヤを生成するエンハンスメントレイヤ生成手段と、
を含む請求項１０記載の装置。
【請求項１３】
前記ベースレイヤ取得手段は、
前記基準の動きベクトル及び前記ビデオストリームをダウンサンプリングするために使用されるダウンサンプラと、
前記ダウンサンプリングされた基準の動きベクトルに基づいて、前記ダウンサンプリングされたビデオストリームの画像の対応するフレームの前記動きベクトルを取得するために使用される動きベクトル取得手段と、
前記動きベクトルを使用することで前記ダウンサンプリングされたビデオストリームを処理し、前記ベースレイヤを生成するベースレイヤ生成手段と、
を含む請求項９記載の装置。
【請求項１４】
前記エンハンスメントレイヤ取得手段は、
前記基準の動きベクトルに従って、前記ビデオストリームの画像の対応するフレームの前記動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトルと前記ベースレイヤを使用することで前記ビデオストリームを処理し、前記エンハンスメントレイヤを生成するエンハンスメントレイヤ生成手段と、
を含む請求項９記載の装置。
【請求項１５】
ビデオストリームの空間階層型圧縮装置であって、
前記ビデオストリームを処理してベースレイヤを生成するために使用されるベースレイヤ取得手段と、
前記ベースレイヤの画像のそれぞれのフレームの動きベクトルアップサンプリングし、画像の対応するフレームの基準の動きベクトルを取得するために使用される基準の動きベクトル取得手段と、
前記基準の動きベクトル及びベースレイヤを使用することで前記ビデオストリームを処理し、エンハンスメントレイヤを生成するために使用されるエンハンスメントレイヤ取得手段と、
を含む装置。
【請求項１６】
前記エンハンスメントレイヤ取得手段は、
前記基準の動きベクトルに従って、前記ビデオストリームの画像の対応するフレームの前記動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトル及び前記ベースレイヤを使用することでビデオストリームを処理し、前記エンハンスメントレイヤを生成するエンハンスメントレイヤ生成手段と、
を含む請求項１５記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームを圧縮する方法及び装置に関し、より詳細には、空間階層型圧縮スキーム（spatial  layered  compression  scheme）を使用することでビデオストリームを圧縮する方法及び装置に関する。
【背景技術】
【０００２】
デジタルビデオに含まれる大量のデータのため、高精細テレビ番組を制作するとき、高解像度のビデオ信号を送信することは大きな問題である。特に、デジタル画像のそれぞれのフレームは、画素ポイント（ピクセルとも呼ばれる）のグループから構成されるスチルピクチャ（画像とも呼ばれる）である。画素の量は、特定のシステムのディスプレイの精細度に依存する。したがって、高精細ビデオのオリジナルのデジタル情報の量は非常に大きい。ＭＰＥＧ−２，ＭＰＥＧ−４及びＨ．２６３等のような多くのビデオ圧縮規格は、送信されるべき必要なデータを低減するために生成される。
【０００３】
上述された規格の全ては、空間レイヤ、時間レイヤ、ＳＮＲレイヤ等を含む、レイヤ技術をサポートする。階層符号化では、ビットストリームは、符号化のための２種類のビットストリーム又はレイヤを超えるビットストリーム又はレイヤに分割される。その後、デコードの間、それぞれのレイヤは、高解像度信号を形成するため、望まれるように結合される。たとえば、ベースレイヤは、低解像度ビデオストリームを提供し、エンハンスメントレイヤは、ベースレイヤ画像をエンハンスするため、更なる情報を提供する。
【０００４】
現在の空間階層型の圧縮スキームのなかで、前記階層型の圧縮スキームを適合することに加えて、前のフレームと後のフレームとの間の関係に従って予測画像を取得するために動き予測が使用される。圧縮される前に、入力ビデオストリームは、Ｉ，Ｐ及びＢフレームを形成し、パラメータ設定に従う系列を形成するために処理される。Ｉフレームは、それ自身の情報のみに従って符号化され、Ｐフレームは、フロントにおけるそれに最も近いＩ又はＰフレームに従って予測的に符号化し、Ｂフレームは、それ自身又はその前後のフレームに従って予測的に符号化する。
【０００５】
図１は、ＭＰＥＧ−２／ＭＰＥＧ−４の空間階層型圧縮をサポートするビデオコーダ１００のブロック図である。ビデオエンコーダ１００は、ベースエンコーダ１１２及びエンハンスメンとエンコーダ１１４を有する。ベースエンコーダは、ダウンサンプラ１２０、動き予測（ＭＥ）手段１２２、動き補償器（ＭＣ）１２４，ライトアングル変換回路（たとえば離散コサイン変換（ＤＣＴ））１３５、量子化器（Ｑ）１３２、可変長符号化器（ＶＬＣ）１３４、ビットレート制御回路１３５、逆量子化器（ＩＱ）１３８、逆変換回路（ＩＤＣＴ）１４０、スイッチ１２８及び１４４、並びにアップサンプラ１５０を有する。エンハンスメントエンコーダ１１４は、動き予測手段１５４、動き補償器１５５、ライトアングル変換（たとえばＤＣＴ変換）回路１５８、量子化器１６０、可変長符号化器１６２、ビットレート制御回路１６４、逆量子化器１６６、逆変換回路（ＩＤＣＴ）１６８及びスイッチ１７０及び１７２を有する。上述した手段の全ての機能は、当該技術分野では公知であり、ここでは詳細に説明しない。
【０００６】
動き予測は、ビデオ圧縮システムにおける最も時間を消費する部分のうちの１つであり、すなわち、動き予測の計算量が多くなると、ビデオ圧縮システムの符号化効率が低くなることが知られている。上述された階層符号化圧縮スキームでは、同じフレームのビデオ画像を予測する間、動き予測は、ベースレイヤとエンハンスメントレイヤの両者について行われ、それらの間には関連性が存在しない。しかし、動き予測がベースレイヤとエンハンスメントレイヤのそれぞれについて行われるとき、予測は同じ画像フレームについて行われるので、比較的大きな部分のサーチプロセスが繰り返され、これにより動き予測の多くの計算量となる、圧縮スキームの低い符号化効率となる。したがって、良好な符号化効率をもつ空間階層型のビデオ圧縮スキームが必要とされる。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明は、基準となる動きベクトルを導入することで、上述された空間階層型の圧縮スキームの問題点を克服するため、非常の効率的な空間階層型の圧縮方法に向けられ、本発明により、ベースレイヤの動き予測がエンハンスメントレイヤの動き予測と関連付けされるのが可能となり、本来に反復的なサーチプロセスは１度に終了することができ、少量のサーチが実行され、これにより、これに基づいて、動き予測の計算上の複雑度が低減され、圧縮される符号化の効率が改善される。
【０００８】
本発明に係る実施の形態は、ビデオストリームの空間階層型の圧縮の方法、及びその装置を開示する。第一に、ビデオストリームの画像のフレームのそれぞれについて、基準となる動きベクトルを取得するためにオリジナルのビデオストリームを処理し、次いで、基準となる動きベクトルをダウンサンプリングし、ビデオストリームをダウンサンプリングし、第二に、ダウンサンプリングされた基準の動きベクトルに従って、ダウンサンプリングされたビデオストリームの画像の対応するフレームの動きベクトルを取得し、つぎに、それぞれ動きベクトルを使用することで、ダウンサンプリングビデオストリームの画像の対応するフレームを処理して、これによりベースレイヤを生成し、最終的に、基準となる動きベクトルに従って、エンハンスメントレイヤを生成する間にビデオストリームの画像の対応するフレームの動きベクトルを取得し、動きベクトル及びベースレイヤを使用することでビデオストリームを処理して、これによりエンハンスメントレイヤを生成する。
【０００９】
本発明に係る代替的な実施の形態は、ビデオストリームの空間階層型の圧縮の更に別の方法、及びその装置を開示する。第一に、ダウンサンプリングされたビデオストリームの画像のそれぞれのフレームについて基準となる動きベクトルを取得するためにビデオストリームをダウンサンプリングし、第二に、前記基準となる動きベクトルに従って、ダウンサンプリングされたビデオストリームの画像の対応するフレームの動きベクトルを処理し、次いで、動きベクトルを使用することでダウンサンプリングされたビデオストリームを処理して、これによりベースレイヤを生成し、最終的に、エンハンスメントレイヤを生成する間に前記基準の動きベクトルをアップサンプリングし、アップサンプリングされた基準の動きベクトルに従って、生成されたビデオストリームの画像の対応するフレームの動きベクトルを取得し、動きベクトル及びベースレイヤを使用することでビデオストリームを処理して、これによりエンハンスメントレイヤを生成する。
【００１０】
本発明に係る別の実施の形態は、ビデオストリームの空間階層型の圧縮の更なる方法、及びその装置を開示する。第一に、ビデオストリームを処理して、これによりベースレイヤを生成し、次いで、ベースレイヤの画像のそれぞれのフレームについて動きベクトルをアップサンプリングし、これにより画像の対応するフレームの基準となる動きベクトルを取得し、最終的に、基準となる動きベクトルに従って、ビデオストリームの画像の対応するフレームの動きベクトルを取得し、これにより動きベクトル及びベースレイヤを使用してビデオストリームを処理してエンハンスメントレイヤを生成する。
【００１１】
他の目的及び効果は、本発明の完全な理解と共に、以下の詳細な説明、並びに添付図面及び特許請求の範囲を参照することで、明らかとなるであろう。本発明は、実施の形態、及び添付図面を参照して更に詳細に説明される。図面を通して、同じ参照符号は、類似又は対応する特徴又は機能を示している。
【発明を実施するための最良の形態】
【００１２】
図２は、本発明の１実施の形態に係る基準の動きベクトルを使用した符号化システムの概念図である。符号化システム２００は、階層型圧縮のために使用され、ベースレイヤ部分は、ビデオストリームの低解像度のベース情報を提供するために使用され、エンハンスメントレイヤは、エッジエンハンスメント情報を送信するために使用され、両方の種類の情報は、高解像度のピクチャ情報を形成するために受信端末で再結合される。
【００１３】
符号化システム２００は、取得手段２１６、ベースレイヤ取得手段２１２、及びエンハンスメントレイヤ取得手段２１４を有する。
【００１４】
ここで、取得手段２１６は、オリジナルのビデオストリームを処理するために使用され、これによりビデオストリームの画像のそれぞれのフレームの基準となる動きベクトルを取得する。取得手段２１６は、動き予測手段２７６及びフレームメモリ２８２を有する。フレームメモリ２８２は、オリジナルビデオ系列を記憶するために使用される。動き予測手段２７６は、フレームメモリ２８２から基準フレーム（たとえばＩ又はＰフレーム）を取得するために使用され、基準フレームに従って現在のフレーム（たとえばＰフレーム）に動き予測を行い、これにより計算により現在のフレームの基準の動きベクトルを導出する。
【００１５】
ベースレイヤ取得手段２１２は、基準となる動きベクトルを使用してビデオストリームを処理し、これによりベースレイヤを生成する。手段２１２は、ダウンサンプル１２０，２８６を有する。ダウンサンプラ１２０は、オリジナルビデオストリームをダウンサンプルするために使用される。ダウンサンプラ２８６は、基準の動きベクトルをダウンサンプリングするために使用される。勿論、当業者であれば、１つのダウンサンプラでオリジナルのビデオストリーム及び基準の動きベクトルについてダウンサンプリングを実行することが可能なことを知っている。
【００１６】
ベースレイヤ取得手段２１２は、動きベクトル取得手段２２２を更に有する。動きベクトル取得手段２２２は、ダウンサンプリングされた基準の動きベクトルに基づいて、ダウンサンプリングされたビデオストリームの画像の対応するフレームの動きベクトルを取得するために使用される。動きベクトル取得手段２２２が動きベクトルを取得するプロセスは、以下のように記載される。
【００１７】
ベースレイヤ取得手段２１２は、ダウンサンプリングビデオストリームを処理し、これによりベースレイヤを生成するために動きベクトルを使用して、ベースレイヤ生成手段２１３を更に有する。ダウンサンプラ１２０，２８６及び動きベクトル取得手段２２２を除いて、ベースレイヤ取得手段２１２内の全ての他の手段は、図１のベースレイヤエンコーダと基本的に同じであり、ベースレイヤ生成手段２１３に属し、動き補償器１２４、ＤＣＴ変換回路１３０、量子化器１３２、可変長エンコーダ１３４、ビットレート制御回路１３５、逆量子化器１３８、逆変換回路１４０、算術ユニット１２５，１４８、スイッチ１２８，１４４、並びにアップサンプラ１５０を含む。ベースレイヤ生成手段２１３が動きベクトル取得手段２２２から出力された動きベクトルに基づいてベースレイヤを生成するプロセスは、従来技術のそれと実質的に同じであり、以下に詳細に説明される。
【００１８】
図１と比較して、上述されたベースレイヤ取得手段２１２では、同じ参照符号は、同一又は類似の機能又は特徴を有するコンポーネントを示す。動き予測手段１２２と動きベクトル取得手段２２２との間の違いは、動きベクトルを取得する方式である。図１の動き予測手段１２２は、ビデオストリームの画像の対応するフレームの動きベクトルを取得するため、大きなサーチウィンドウでサーチするためにフレームメモリ（図示せず）の基準フレームを直接使用し、図２の動きベクトル取得手段２２２は、ビデオストリームの画像の対応するフレームの動きベクトルを取得するため、前記基準の動きベクトルに基づいて小さなサーチウィンドウでサーチする。
【００１９】
エンハンスメントレイヤ取得手段２１４は、基準の動きベクトル及びベースレイヤを使用することでビデオストリームを処理し、これによりエンハンスメントレイヤを生成する。手段２１４は、動きベクトル取得手段２５４及びエンハンスメントレイヤ生成手段２１５を有する。
【００２０】
動きベクトル取得手段２５４は、基準の動きベクトルに基づいてビデオストリームの画像の対応するフレームの動きベクトルを取得するために使用される。
【００２１】
エンハンスメントレイヤ生成手段２１５は、動きベクトル及びベースレイヤを使用することでビデオストリームを処理し、これによりエンハンスメントレイヤを生成する。エンハンスメントレイヤ取得手段２１４では、動きベクトル取得手段２５４を除いて、図１のエンハンスメントレイヤエンコーダ１１４におけるのと実質的に同じコンポーネントであり、それらの全ては、エンハンスメントレイヤ生成手段２１５に属し、動き補償器１５５、ＤＣＴ回路１５８、量子化器１６０、可変長符号化器１６２、ビットレート制御回路１６４、逆量子化器１６６、逆ＤＣＴ回路１６８、及びスイッチ１７０、７２を含む。これらのコンポーネントは、機能に関してベースレイヤ取得手段２１２の対応するコンポーネントに同様である。エンハンスメントレイヤ生成手段２１５が動きベクトル取得手段２５４から出力された動きベクトルを使用することでエンハンスメントレイヤを生成するプロセスは、従来技術のプロセスと本質的に同じであり、詳細な説明は以下のように与えられる。
【００２２】
図１と比較して、上述されたベースレイヤ取得手段２１４で、同じ参照符号は、同一又は類似の特徴及び機能を有するコンポーネントを示している。動き予測手段１５４と動きベクトル取得手段２５４との間の違いは、これらが動きベクトルを取得する方法である。図１の動き予測手段１５４は、ビデオストリームの画像の対応するフレームの動きベクトルを取得するため、大きなサーチウィンドウでサーチするためにフレームメモリ（図示せず）の基準フレームを直接使用し、図２の動きベクトル取得手段２５４は、ビデオストリームの画像の対応するフレームの動きベクトルを取得するため、前記基準の動きベクトルに基づいて小さなサーチウィンドウで更にサーチする。
【００２３】
図２と共に、ベースレイヤ取得手段２１２及びエンハンスメントレイヤ取得手段２１４が、取得手段２１６により出力される基準の動きベクトルを使用することでそれぞれの動きベクトルを取得し、これによりベースレイヤ及びエンハンスメントレイヤを生成するプロセスは、以下に更に詳細に記載される。
【００２４】
オリジナルのビデオストリームは、取得手段２１６に入力され、次いで、動き予測手段２７６及びフレームメモリ２８２にそれぞれ供給される。なお、取得手段２１６に供給される前に、ビデオストリームは、Ｉ，Ｐ，Ｂフレームを形成するために処理され、パラメータ設定に従ってＩ，Ｂ，Ｐ，Ｂ，Ｐ．．．，Ｂ，Ｐとしてかかる系列を形成する。入力ビデオ系列は、フレームメモリ２８２に記憶される。動き予測手段２７６は、フレームメモリ２８２から基準のフレーム（たとえばＩフレーム）を取得するために使用され、基準のフレームに従って現在のフレーム（たとえばＰフレーム）に動き予測を行い、これにより現在のフレームのマクロブロックの基準の動きベクトルを計算する。マクロブロックは、現在符号化されたフレーム内で１６*１６画素をもつサブブロックであり、現在のマクロブロックと基準フレームの間のブロックを照合させ、現在のマクロブロックの基準の動きベクトルを計算し、これにより現在のフレームの基準の動きベクトルを取得するために使用される。
【００２５】
ＭＰＥＧにおける画像予測について使用される、イントラフレーム符号化、前方予測符号化、後方予測符号化及び双方向予測符号化を含む４つの方法がある。Ｉフレームは、イントラフレーム符号化画像であり、Ｐフレームはイントラフレーム符号化又は前方予測符号化又は後方予測符号化の画像であり、Ｂフレームは、イントラフレーム符号化又は前方予測符号化又は双方向予測符号化の画像である。
【００２６】
動き予測手段２７６は、Ｐフレームに対する前方予測を行い、その基準の動きベクトルを計算する。さらに、動き予測手段は、Ｂフレームに対する前方又は双方向予測を行い、その基準の動きベクトルを計算する。イントラフレーム符号化について動き予測が必要とされない。
【００２７】
例としてＰフレームへの前方予測を採用すると、基準の動きベクトルを計算するプロセスは、以下のように記載される。動き予測手段２７６は、フレームメモリ２８２から前の基準のフレームを読み出し、現在のフレームの画素ブロックに最も整合するマクロブロックの前の基準フレームのサーチウィンドウでサーチする。従来技術においてマッチサーチングの幾つかのアルゴリズムがあり、一般にマッチングの状態は、現在の入力ブロックの画素と基準フレームの対応するブロックの画素との間の平方自乗誤差（ＭＡＤ）又は絶対値（ＭＳＥ）により判断される。最小値ＭＡＤ又はＭＳＥを有する基準フレームの対応するブロックは、最適なマッチングブロックであり、現在のブロックの位置に対する前記最適なマッチングブロックの相対的な位置は、基準の動きベクトルである。
【００２８】
上述された処理により、取得手段２１６における動き予測手段２７６は、ビデオストリームの画像のフレームの基準の動きベクトルを取得する。ダウンサンプラ２８６によりダウンサンプリングされた後、動き予測手段２２２がベースレイヤの画像の同じフレームに更なる予測を行うように、基準の動きベクトルは、ベースレイヤ取得手段２１２の動き予測手段２２２に供給される。さらに、動き予測手段２５４がエンハンスメントレイヤでの画像の同じフレームに更なる動き予測をなすように、基準の動きベクトルは、動き予測手段２５４、エンハンスメントレイヤ取得手段２１４に供給される。
【００２９】
取得手段２１６が入力ビデオストリームを動き予測する間、ベースレイヤ取得手段２１２及びエンハンスメントレイヤ取得手段２１４は、入力ビデオストリームを予測符号化するが、前記予測符号化は、ベースレイヤ及びエンハンスメントレイヤ基準の動きベクトルに基づいて更なる動き予測をなす必要があるため、時間的に僅かに遅延される。  
ベースレイヤが先の基準の動きベクトルに基づいて更なる動き予測を行うプロセスは、以下に説明される。
【００３０】
オリジナルの入力ビデオ信号は、セパレータにより分割され、ベースレイヤ取得手段２１２及びエンハンスメントレイヤ取得手段のそれぞれに供給される。ベースレイヤ取得手段では、入力ビデオストリームは、ダウンサンプラ１２０に供給される。ダウンサンプラは、入力ビデオストリームの解像度を低減するために使用される低域通過フィルタである。ダウンサンプリングされたビデオストリームは、動きベクトル取得手段２２２に供給される。動きベクトル取得手段２２２は、フレームメモリに記憶されたビデオ系列の前の基準フレームの画像を取得し、先のダウンサンプラ２８６から出力された現在のフレームのダウンサンプリングされた基準の動きベクトルに基づいて前の基準フレームの小さいサーチ窓内の現在のフレームに最良に一致するマクロブロックをサーチし、これによりダウンサンプリングされたビデオストリームの画像の対応するフレームのビデオ動きベクトルを取得する。
【００３１】
動きベクトル取得手段２２２から上述された予測モード、基準の動きベクトル及び動きベクトルを受信した後、動き補償器１２４は、予測モードに基づいてエンコード及び部分的にデコードされているフレームメモリ（図示せず）に記憶された前の基準フレームの画像データ、基準の動きベクトル及び動きベクトルを読み出し、基準の動きベクトルに従って画像の前のフレームをシフトし、次いで動きベクトルに従って再びシフトし、これにより画像の現在のフレームを予測する。勿論、画像の前のフレームは、基準の動きベクトル及び動きベクトルの合計である量だけ一度だけシフトすることができ、このケースでは、基準の動きベクトル及び動きベクトルの合計は、前記画像のフレームの動きベクトルとして使用される。
【００３２】
次いで、動き補償器１２４は、予測された画像を算術ユニット１２５及びスイッチ１４４に供給する。また、算術ユニット１２５は、入力ビデオストリームを受け、入力ビデオストリームの画像と動き補償器１２４から到来する予測された画像との間の差を計算する。差は、ＤＣＴ回路１３０に供給される。動き予測手段１２２から受信された予測モードがイントラフレーム予測である場合、動き予測器１２４は、予測された画像を出力しない。かかるケースでは、算術ユニット１２５は、上述された処理を実行しないが、ビデオストリームをＤＣＴ回路１３０に直接入力する。
【００３３】
ＤＣＴ回路１３０は、量子化器１３２に供給される、ＤＣＴ係数を取得するために、算術ユニットから出力された信号にＤＣＴ処理を実行する。量子化器１３２は、バッファに記憶されたデータ量に基づいて量子化のための大きさ（量子化レベル）を設定し、量子化レベルを使用することでＤＣＴ回路１３０から供給されるＤＣＴ係数を量子化する。量子化されたＤＣＴ係数及び設定された量子化の大きさは、ＶＬＣユニット１３４に供給される。
【００３４】
量子化器１３２から供給された量子化の大きさに従って、ＶＬＣユニット１３４は、量子化器からの量子化係数を、たとえばハフマンコードといった可変長コードに変換し、これによりベースレイヤを生成する。
【００３５】
さらに、変換された量子化係数はバッファ（図示せず）に出力される。量子化係数及び量子化の大きさは、量子化係数をＤＣＴ係数に変換するように、量子化の大きさに従って量子化係数を逆に量子化する逆量子化器１３８に供給される。ＤＣＴ係数は、ＤＣＴ係数への逆ＤＣＴ変換を実行する逆ＤＣＴユニット１４０に供給される。取得された逆ＤＣＴ係数は、算術ユニット１４８に供給される。算術ユニット１４８は、逆ＤＣＴユニット１４０から逆ＤＣＴ係数を受け、スイッチ１４４の位置に従って動き補償器１２４からデータを受ける。算術ユニット１４８は、逆ＤＣＴユニット１４０により供給される信号と動き補償器１２４により供給される予測画像との合計を計算し、原画像を部分的にデコードする。しかし、予測モードがイントラフレーム符号化からなる場合、逆ＤＣＴユニット１４０の出力は、フレームメモリに直接に送出される。算術ユニット１４８により取得されたデコードされた画像は、将来的に、イントラフレーム符号化、前方符号化、後方符号化、又は双方向符号化のための基準フレームとして使用されるため、フレームメモリに供給され、記憶される。
【００３６】
また、算術ユニット１４０の出力は、高解像度の入力ビデオストリームの解像度と実質的に同じ解像度を有する再構成されたストリームを生成するため、アップサンプラ１５０に供給される。しかし、フィルタ、及び圧縮及び伸長によりもたらされる損傷のため、再構成されたストリームは、ある程度でエラーを有する。かかる違いは、オリジナルの変化していない高解像度のビデオストリームから再構成された高解像度のビデオストリームを引くことで決定され、エンコードされるべきエンハンスメントレイヤに入力される。したがって、エンハンスメントレイヤは、かかる差の情報を有するフレームをエンコードし、圧縮する。
【００３７】
エンハンスメントレイヤの予測符号化のプロセスは、ベースレイヤのそれに非常に類似している。取得手段２１６が基準の動きベクトルを取得した後、基準の動きベクトルは、エンハンスメントレイヤ取得手段２１４の動き予測手段２５４に供給される。このように、動き予測手段２５４は、基準の動きベクトルに基づいてエンハンスメントレイヤで同じフレームの画像に更なる動き予測を行い、これによりビデオストリームの画像の対応するフレームの動きベクトルを取得する。次いで、予測モード、基準の動きベクトル及び前記動きベクトルに従って、動き補償器１５５は、基準フレームを相応してシフトし、現在のフレームを予測する。この動き予測のプロセスはベースレイヤのそれに類似するため、ここでは更に詳細に説明しない。
【００３８】
図３は、本発明の１実施の形態に係る基準の動きベクトルを使用することによる符号化のフローチャートである。このフローは、手段２００の動作フローである。
【００３９】
はじめに、たとえば解像度１９２０*１０８０ｉを有するビデオストリームといった、特定の高解像度のビデオストリームを受ける（ステップＳ３０５）。  
つぎに、ビデオストリームの画像のそれぞれのフレームについて基準の動きベクトルを取得する（ステップＳ３１０）。現在のフレームがＰフレームであるとし、現在のフレームに最良に整合しているマクロブロックは、基準のフレームＩのサーチウィンドウでサーチされ、たとえば、サーチは、動き予測により推薦される値である±１５画素のサイズを有するサーチウィンドウで行われる。最適なマッチングブロックが発見された後、現在のブロックとマッチングブロックとの間のシフトは、基準の動きベクトルである。この基準の動きベクトルは、エラーを持たないオリジナルのビデオストリームで基準フレームを予測することで取得されるため、実際のビデオの動きを良好に反映する。
【００４０】
基準の動きベクトルの取得プロセスは、以下の式により表現され、ここで（Ｂx，Ｂy）は動きベクトルである。
【００４１】
【数１】
2008512023.tif 000003
式（１）では、ａｒｇはＳＡＤが最小であるときに現在のマクロブロックに対応する動きベクトルである。
【００４２】
【数２】
2008512023.tif 000004
式（２）では、ＳＡＤは、２つのマクロブロックの類似性を示し、それぞれの画素間の違いの絶対値であり、ｍ及びｎは、水平及び垂直方向のそれぞれにおけるマッチングブロックの移動する成分であり、Ｐc（i,j）及びＲp（i,j）は、現在のフレームの画素と前の基準フレームの画素である。添え字“ｃ”及び“ｐ”は、“現在のフレーム”及び“前のフレーム”をそれぞれ表す。
【００４３】
基準の動きベクトルは、ビデオストリームのベースレイヤ及びエンハンスメントレイヤにおける動きを再予測するためにそれぞれ使用され、ベースレイヤ及びエンハンスメントレイヤは、この基準の動きベクトルに基づいて小さなレンジでの動き予測のみを必要とし、これにより計算上の複雑度を低減し、符号化システムの圧縮された符号化効率が増加される。
【００４４】
つぎに、（Ｂx，Ｂy’）を得るために基準の動きベクトル（Ｂx，Ｂy）をダウンサンプリングする（ステップＳ３１２）。  
たとえば７２０*４８０ｉにその解像度を低減するため、ビデオストリームをダウンサンプリングする（ステップＳ３１６）。
【００４５】
ダウンサンプリングされた基準の動きベクトル（ＢX’，Ｂy’）によれば、ダウンサンプリングされたビデオストリームの画像の対応するフレームの動きベクトルが取得される（ステップ３３２）。ここで説明される画像の対応するフレームは、基準の動きベクトルが取得されたときに現在のフレームと同じフレームである。これは、予測が同じフレームで行われ、基準フレームの小さなサーチウィンドウで現在のブロックに楽観的に整合するマクロブロックを更にサーチすることで、基準の動きベクトル（Ｂx’，Ｂy’）に基づいて、動きベクトル（Ｄx1；Ｄy1）が取得されるためである。サーチウィンドウが±２画素の新たなサーチウィンドウであるという経験により証明される。式（３）及び（４）を参照することで、サーチプロセスは、より明らかに理解される。
【００４６】
【数３】
2008512023.tif 000005
動き予測が基準の動きベクトル（Ｂx’，Ｂy’）に基づいてサーチすることが式（４）により示される。基準の動きベクトルを計算するときにサーチの大部分は終了しているため、このステップにおいて最適な整合しているブロックを発見するために非常に制限されたサーチのみが必要とされる。±２画素のサーチウィンドウにおけるサーチ量は、±１５画素のサーチウィンドウのそれよりも少ない。
【００４７】
ダウンサンプリングされたビデオストリームは、ベースレイヤを生成するため。動きベクトルを使用することで処理される（ステップＳ３２６）。現在のフレームの予測フレームは、先に記載された基準の動きベクトル及び動きベクトルに従って基準フレームをシフトするのみで得られ、公知の処理は、ベースレイヤを生成するために十分である。
【００４８】
基準の動きベクトル（Ｂx，Ｂy）に従ってビデオストリームの画像の対応するフレームの動きベクトルを取得する（ステップＳ３３２）。なお、基準の動きベクトルが取得されたとき、ここでの画像の対応するフレームは、現在のフレームと同じフレームである。これは、予測が同じフレームで行われ、基準フレームの比較的小さなサーチウィンドウで現在のブロックに楽観的に整合するマクロブロックを更にサーチすることで、基準の動きベクトル（Ｂx，Ｂy）に基づいて、動きベクトル（Ｄx2；Ｄy2）が取得されるためである。動きベクトルを取得する方法は、ベースレイヤにより動きベクトルを取得する方法に類似しており、したがって詳細な説明は省略される。
【００４９】
次いで、動きベクトル及びベースレイヤを使用することでビデオストリームを処理し、これによりエンハンスメントレイヤを生成する（ステップＳ３３６）。  
したがって、この実施の形態では、基準の動きベクトルは、動きを予測するために同時にベースレイヤとエンハンスメントレイヤにより使用され、したがって両方のレイヤでのサーチのための計算上の複雑さが低減され、圧縮符号化の効率が増加される。
【００５０】
本発明及び従来技術の図１に関する圧縮スキームの計算上の複雑さは、以下のように分析され、比較される。  
高精細度（ＨＤ）フレーム及び標準精細度（ＳＤ）の解像度は、１９２０×１０８８ｉ及び７２０×４８０ｉのそれぞれであるとされ、サーチウィンドウは±１５画素からなる。Ｙ成分について２つのマイクロブロック間のエラー速度ＳＡＤの計算上の複雑度は、ＴSADである。
【００５１】
ＨＤフレーム及びＳＤフレーム（Ｙ成分のみを考慮）のマクロブロックの全体の数は、８１６０及び１３５０のそれぞれであり、±１５画素のサーチウィンドウでのそれぞれのマクロブロックについて動き予測を実行する場合、マクロブロックの好適な動きベクトルを取得するための最も多い計算量は、（３１*３１*ＴSAD＝９６１*ＴSAD）である。ＨＤフレームの計算量は、（８１６０*９６１*ＴSAD＝７，８４１，７６０*ＴSAD）であり、ＳＤフレーム（ベースレイヤ）の計算量は、（１３５０*９６１*ＴSAD＝１，２９７，３５０*ＴSAD）である。
【００５２】
図１に示される符号化システムについて、それぞれのフレームの動きベクトルの計算の全体の最も大きな量は、ＨＤフレームの計算量とＳＤフレームの計算量との合計であり、すなわち（９，１３９，１１０*ＴSAD）である。
【００５３】
図２に示される符号化システムにとって、基準の動きベクトルの計算量は、（７，８４１，７６０*ＴSAD）である。それぞれのマクロブロックの動き予測は比較的小さなサーチウィンドウ（±２画素）で実行されるとき、好適な動きベクトルを得るための最も多くの計算量は、（５*５*ＴSAD＝２５*ＴSAD）である。ＳＤフレーム（ベースレイヤ）の計算量は、（１３５０*２５*ＴSAD＝３３，７５０*ＴSAD）であり、ＨＤフレーム（エンハンスメントレイヤ）の計算量は、（８１６０*２５*ＴSAD＝２０４，００*ＴSAD）である。
【００５４】
図２に示される符号化システムについて、それぞれのフレームの動きベクトルの計算の全体的な最も多くの量は、基準の動きベクトルの計算量の合計であり、比較的小さなサーチウィンドウでＳＤフレームの量をサーチし、比較的小さなサーチウィンドウでＨＤフレームの量をサーチする、すなわち（７，８７５，５１０*ＴSAD）である。
【００５５】
図１に示される符号化システムとの比較において、図２に示される符号化システムは、以下のパーセンテージで計算量を低減する。
Ｒ＝｜７，８７５，５１０−９，１３９，１１０｜／９，１３９，１１０＝１４％
図４は、本発明の別の実施の形態に係る基準の動きベクトルを使用した符号化システムの概念図である。この実施の形態の符号化システム４００は、図２に示されるシステムに類似しており、ここでの説明は、それらの間の違いにのみ集中し、同様の部分を省略する。それらの間の違いは、取得手段４１０がダウンサンプラ１２０及び基準の動きベクトル取得手段４１６を有することである。オリジナルビデオストリームは、ダウンサンプラ１２０によりはじめにダウンサンプリングされる。次いで、ダウンサンプリングされたビデオストリームは、基準の動きベクトル取得手段４１６に供給され、すなわち動き予測手段４７６及びフレームメモリ２８２にそれぞれ供給され、これによりビデオストリームの画像のそれぞれのフレームの基準の動きベクトルを取得する。次いで、基準の動きベクトルは、ベースレイヤ取得手段４１２の動き予測手段４２２に直接に供給され、基準の動きベクトルに基づいて、手段４２２は、ダウンサンプリングされたビデオストリームの画像の対応するフレームの動きベクトルを取得するために比較的小さなサーチウィンドウで動きを再び予測し、その後、ベースレイヤ生成手段４１３は、動きベクトルを使用することでダウンサンプリングされたビデオストリームを処理し、これによりベースレイヤを生成する。
【００５６】
さらに、エンハンスメントレイヤ取得手段４１４で、先に記載された基準の動きベクトルは、はじめにアップサンプラ４８６によりアップサンプリングされ、次いで、動きベクトル取得手段、すなわち動きベクトル予測手段４５４は、ビデオストリームの画像の対応するフレームの動きベクトルを取得するため、アップサンプリングされた基準の動きベクトルに基づいて動きを再び予測する。次いで、ビデオストリームは、基準の動きベクトル及びベースレイヤでエンハンスメントレイヤ生成手段４１５により処理され、これによりエンハンスメントレイヤを生成する。
【００５７】
上述された説明から、ベースレイヤ及びエンハンスメントレイヤにおける動き予測は互いに関連付けされることが分かり、同じフレームの画像を予測するときにそれらにより行われる必要がある繰り返しのサーチが一度で終了し、ベースレイヤ及びエンハンスメントレイヤは、同じ基準の動きベクトルに基づいて比較的小さなサーチウィンドウ内で再び予測する。サーチプロセスは大いに節約されるため、全体の符号化システムの計算量が低減される。
【００５８】
図５は、本発明の更なる実施の形態に係る基準の動きベクトルを使用した符号化システムの概念図である。この実施の形態の符号化システム５００は、図２に示されるシステムに類似しており、ここでの説明は、それらの間の違いにのみ集中し、同様の部分を省略する。違いは、ベースレイヤ取得手段５１２の動き予測手段５２２がベースレイヤの画像のそれぞれのフレームの動きベクトルを出力し、前記動きベクトルは、基準の動きベクトル取得手段、すなわちアップサンプラ５８６により画像の対応するフレームの基準の動きベクトルとして使用されるためにアップサンプリングされ、基準の動きベクトルは、エンハンスメントレイヤ取得手段５１４の動き予測手段５５４に供給される。基準の動きベクトルに基づいて、動き予測は、比較的に小さなサーチウィンドウで再び処理され、これによりビデオストリームの画像の対応するフレームの動きベクトルを取得する。次いで、基準の動きベクトルに従って、動きベクトルは、ベースレイヤの出力と同様に、エンハンスメントレイヤ生成手段５１５は、図２に示される実施の形態に類似した方法でエンハンスメントレイヤを生成する。
【００５９】
上述された内容から、エンハンスメントレイヤは、ベースレイヤのそれに同一なサーチ部分を省略し、したがって符号化システムの計算の全体量を低減するように、この実施の形態では、ベースレイヤで取得された動きベクトルに基づいて、エンハンスメントレイヤは、比較的小さなレンジで再びそのサーチを処理する。
【００６０】
本発明は特定の実施の形態と共に記載されたが、多くの代替、変更及び変形が上述された記載に照らして当業者にとって明らかである。したがって、特許請求の範囲の精神及び範囲に含まれる全ての係る代替、変更及び変形を包含することが意図される。
【図面の簡単な説明】
【００６１】
【図１】従来技術の空間階層型圧縮ビデオエンコーダのブロック図である。
【図２】本発明の実施の形態に係る基準の動きベクトルを使用した符号化システムの概念図である。
【図３】本発明の１実施の形態に係る基準の動きベクトルを使用することによる符号化のフローチャートである。
【図４】本発明の別の実施の形態に係る基準の動きベクトルを使用した符号化システムの概念図である。
【図５】本発明の更なる実施の形態に係る基準の動きベクトルを使用した符号化システムの概念図である。
【図１】
2008512023.tif 000006
【図２】
2008512023.tif 000007
【図３】
2008512023.tif 000008
【図４】
2008512023.tif 000009
【図５】
2008512023.tif 000010
【国際調査報告】
2008512023.tif 000011
2008512023.tif 000012
2008512023.tif 000013