(57)【要約】  本発明はビデオシーケンスにおける画像の符号化および復号化に関する。ＩＤＲタイプ画像より前に表示される画像間の画像間予測を可能とするために、符号化済み画像のシーケンスに含まれるＩＤＲタイプ画像の時間的位置を基準として、参照画像のリフレッシュの実行を遅延させる。
2007507128.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像のシーケンス（１１０）を予測符号化する方法であって、当該符号化方法は、符号化対象画像の各画像領域と複数の参照画像（９１０）の各画像領域との間の動きベクトル（１９５）を動き検出を用いて決定し、前記参照画像（９１０）は前記画像シーケンス（１１０）に含まれる符号化済みの画像であり、前記方法は、
所定の各画像（６３０）を除く画像の符号化の際に、前記画像シーケンス（１１０）に含まれる全ての画像に対して動き検出を行うステップと、
現在の参照画像（９４５）を、参照画像とならないように使用不可にするステップとを含み、
前記使用不可にするステップは、
動き検出の対象とならない前記所定の各画像のうち１つの画像（６３０）の符号化後、所定の遅延（８２０）の後で実行され、
動き検出の対象とならない前記画像（９３０）を除く全ての現在の参照画像（９４５）を、参照画像とならないように使用不可にする
ことを特徴とする方法。
【請求項２】
前記方法は、さらに、
前記画像シーケンス（１１０）に含まれる、動き検出の対象とならない前記所定の画像（６３０）より前に位置するＢタイプ画像（６２０）を符号化するステップを含み、
前記Ｂタイプ画像（６２０）は、動き検出の対象とならない前記所定の画像（６３０）を参照する
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記所定の遅延（８２０）は、動き検出の対象とならない前記画像（６３０）の符号化と、前記使用不可にするステップの実行との間にある画像の特定数を示す
ことを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記方法は、さらに、
遅延値を、動き検出の対象とならない前記画像（６３０）の符号化済み画像データ（１８０）に付加するステップを含み、前記遅延値は、前記使用不可にするステップの実行前の前記所定の遅延（８２０）を示す
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の方法。
【請求項５】
前記方法は、さらに、
フラグを、符号化済み画像データ（１８０）に対して挿入するステップを含み、前記フラグは、デコーダ側で前記使用不可にするステップを実行する前記画像シーケンス（１１０）における位置（８３０）を示す
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の方法。
【請求項６】
前記フラグは、動き検出の対象とならない前記画像（６３０）の画像データの位置（８１０）から所定の画像数後ろの位置（８３０）にある前記符号化済み画像データ（１８０）に挿入される
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記使用不可にするステップは、
動き検出の対象とならない前記画像（６３０）の符号化後、最初のＰタイプ画像（６５０）の符号化の直前に実行される
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の方法。
【請求項８】
前記複数の参照画像（９１０、９３０）は、マルチフレームバッファ（２００）に格納される
ことを特徴とする請求項１〜請求項７のいずれか１項に記載の方法。
【請求項９】
前記使用不可にするステップでは、
前記マルチフレームバッファ（２００）における前記参照画像（９１０）を、動き検出において参照されない画像としてマーキングすることで使用不可にする
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記方法は、さらに、
前記使用不可にするステップが実行されると、動き検出において使用されない画像としてマーキングされた参照画像（９４５）を、前記マルチフレームバッファ（２００）における新しい参照画像データで上書きするステップを含む
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記方法は、さらに、
前記使用不可にするステップが実行されると、動き検出において使用されない画像としてマーキングされた参照画像（９４５）を、前記マルチフレームバッファ（２００）から削除するステップを含む
ことを特徴とする請求項９に記載の方法。
【請求項１２】
動き検出の対象とならない前記所定の画像（６３０）は、当該画像（６３０）における空間的冗長性の利用に基づいて符号化される
ことを特徴とする請求項１〜請求項１１のいずれか１項に記載の方法。
【請求項１３】
ビデオ画像のシーケンス（１１０）を予測符号化するエンコーダであって、
前記画像シーケンス（１１０）に含まれる符号化済みの画像である複数の参照画像（９１０）を格納するマルチフレームバッファ（２００）と、
符号化対象画像の各画像領域と複数の前記参照画像（９１０）の各画像領域との間の動きベクトル（１９５）を決定し、所定の各画像（６３０）を除く画像の符号化の際に、前記画像シーケンス（１１０）に含まれる全ての画像に対して動き検出を行う動き検出部（２２０）と、
現在の参照画像（９４５）を、参照画像とならないように使用不可にするバッファコントローラ（２３０）とを備え、
前記バッファコントローラ（２３０）は、
動き検出の対象とならない前記所定の各画像のうち１つの画像（６３０）の符号化後、所定の遅延（８２０）の後に前記参照画像（９４５）を使用不可にし、
動き検出の対象とならない前記画像（９３０）を除く全ての現在の参照画像（９４５）を、参照画像とならないように使用不可にする
ことを特徴とするエンコーダ。
【請求項１４】
前記方法検出部（２２０）は、さらに、
前記画像シーケンス（１１０）に含まれる、動き検出の対象とならない前記所定の画像（６３０）より前に位置するＢタイプ画像（６２０）を符号化し、
前記Ｂタイプ画像（６２０）は、動き検出の対象とならない前記所定の画像（６３０）を参照する
ことを特徴とする請求項１３に記載のエンコーダ。
【請求項１５】
前記所定の遅延（８２０）は、動き検出の対象とならない前記画像（６３０）の符号化と、前記参照画像（９４５）に対する前記使用不可処理との間にある画像の特定数を示す
ことを特徴とする請求項１３又は請求項１４に記載のエンコーダ。
【請求項１６】
前記エンコーダは、さらに、
遅延値を、動き検出の対象とならない前記画像（６３０）の符号化済み画像データ（１８０）に付加する挿入部を備え、前記遅延値は、前記参照画像（９４５）を使用不可にする前の前記所定の遅延（８２０）を示す
ことを特徴とする請求項１３〜請求項１５のいずれか１項に記載のエンコーダ。
【請求項１７】
前記エンコーダは、さらに、
フラグを、符号化済み画像データ（１８０）に対して挿入する挿入部を備え、前記フラグは、デコーダ側で前記参照画像（９４５）を使用不可にする時間的位置（８３０）を示す
ことを特徴とする請求項１３〜請求項１５のうちいずれか１項に記載のエンコーダ。
【請求項１８】
前記挿入部は、
前記フラグを、動き検出の対象とならない前記画像（６３０）の画像データの位置（８１０）より所定の画像数後ろの位置（８３０）にある前記符号化済み画像データ（１８０）に挿入する
ことを特徴とする請求項１７に記載のエンコーダ。
【請求項１９】
前記バッファコントローラ（２３０）は、
動き検出の対象とならない前記画像（６３０）が符号化された後、最初のＰタイプ画像（６５０）が符号化される直前に前記参照画像（９４５）を使用不可にする
ことを特徴とする請求項１３〜請求項１５のいずれか１項に記載のエンコーダ。
【請求項２０】
前記マルチフレームバッファ（２００）は、
各前記参照画像（９１０）について、動き検出において参照しない画像として画像（９４５）をマーキングするためのマーク（９４０）を格納する
ことを特徴とする請求項１２〜請求項１９のいずれか１項に記載のエンコーダ。
【請求項２１】
マーキングされた参照画像（９４５）は、前記マーク（９４０）に基づき、新しい画像データで上書きされる
ことを特徴とする請求項１２〜請求項２０のいずれか１項に記載のエンコーダ。
【請求項２２】
前記エンコーダは、さらに、
動き検出の対象とならない前記画像（６３０）を、当該画像（６３０）における空間的冗長性の利用に基づいて符号化する符号化手段を備える
ことを特徴とする請求項１２〜請求項２１のいずれか１項に記載のエンコーダ。
【請求項２３】
符号化されたビデオ画像のシーケンス（１８０）を復号化する方法であって、当該復号化方法は、復号化対象画像の画像領域を複数の参照画像（９１０）の画像領域から予測するための動きベクトル（１９５）に基づいた動き補償を用い、前記参照画像（９１０）は、前記画像シーケンスに含まれる復号化済みの画像であり、前記方法は、
所定の各画像（６３０）を除く画像の復号化の際に、前記画像シーケンスに含まれる全ての画像に対して動き補償を行うステップと、
現在の参照画像（９４５）を、参照画像とならないように使用不可にするステップとを含み、
前記使用不可にするステップは、
動き検出の対象とならない前記所定の各画像のうち１つの画像（６３０）の復号化後、所定の遅延（８２０）の後で実行され、
動き検出の対象とならない前記画像（９３０）を除く全ての現在の参照画像（９４５）を、参照画像とならないように使用不可にする
ことを特徴とする方法。
【請求項２４】
前記方法は、さらに、
前記画像シーケンスに含まれる、動き補償の対象とならない前記所定の画像（６３０）より前に表示されるＢタイプ画像（６２０）を復号化するステップを含み、
前記Ｂタイプ画像（６２０）は、動き補償の対象とならない前記所定の画像（６３０）を参照する
ことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記所定の遅延（８２０）は、動き補償の対象とならない前記画像（６３０）の復号化を行う時間的位置（８１０）と、前記使用不可にするステップを実行する時間的位置（８３０）との間にある画像の特定数を示す
ことを特徴とする請求項２３又は請求項２４に記載の方法。
【請求項２６】
前記使用不可にするステップは、
動き検出の対象とならない前記画像（６３０）の符号化済み画像データ（１８０）に付加された遅延値に応じて実行される
ことを特徴とする請求項２３〜請求項２５のいずれか１項に記載の方法。
【請求項２７】
前記使用不可にするステップは、
現在の復号化対象画像の符号化済み画像データ（１８０）に対して付加されたフラグに応じて実行され、前記フラグは、デコーダ側で前記使用不可にするステップを実行する、前記画像シーケンスにおける位置（８３０）を示す
ことを特徴とする請求項２３〜請求項２５のいずれか１項に記載の方法。
【請求項２８】
前記使用不可にするステップは、
動き補償の対象とならない前記画像（６３０）の復号化の後、最初のＰタイプ画像（６５０）の復号化の直前に実行される
ことを特徴とする請求項２３〜請求項２５のいずれか１項に記載の方法。
【請求項２９】
前記複数の参照画像（９１０）は、マルチフレームバッファ（２００）に格納されている
ことを特徴とする請求項２３〜請求項２８のいずれか１項に記載の方法。
【請求項３０】
前記使用不可にするステップにおいて、
前記マルチフレームバッファ（２００）に格納されている現在の前記参照画像（９４５）を、動き補償において参照されない画像としてマーキングする
ことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記方法は、さらに、
前記使用不可にするステップが実行されると、動き補償において使用されない画像としてマーキングされた参照画像（９４５）を、前記マルチフレームバッファ（２００）における新しい参照画像データで上書きするステップを含む
ことを特徴とする請求項３０に記載の方法。
【請求項３２】
前記方法は、さらに、
前記使用不可にするステップが実行されると、動き補償において使用されない画像としてマーキングされた参照画像（９４５）を、前記マルチフレームバッファ（２００）から削除するステップを含む
ことを特徴とする請求項３０に記載の方法。
【請求項３３】
符号化済みのビデオ画像のシーケンス（１８０）を復号化するデコーダであって、
前記符号化済みのビデオ画像シーケンスに含まれる復号化済みの画像である複数の参照画像（９１０）を格納するマルチフレームバッファ（２００）と、
復号化対象画像の画像領域を複数の前記参照画像（９１０）の画像領域から予測し、所定の各画像（６３０）を除く画像の復号化の際に、前記符号可済み画像のシーケンスに含まれる全ての画像に対して動き補償を行う動き補償部（２１０）と、
現在の参照画像（９４５）を、参照画像とならないように使用不可にするバッファコントローラ（２３０）とを備え、
前記バッファコントローラ（２３０）は、
動き補償の対象とならない前記所定の各画像のうち１つの画像（６３０）の復号化後、所定の遅延（８２０）の後に前記参照画像（９４５）を使用不可にし、
動き補償の対象とならない前記画像（９３０）を除く全ての現在の参照画像（９４５）を、参照画像とならないように使用不可にする
ことを特徴とするデコーダ。
【請求項３４】
前記補償部（２１０）は、さらに、
前記符号化済みのビデオ画像のシーケンスに含まれる、動き検出の対象とならない前記所定の画像（６３０）より前に位置するＢタイプ画像（６２０）を復号化し、
前記Ｂタイプ画像（６２０）は、動き補償の対象とならない前記所定の画像（６３０）を参照する
ことを特徴とする請求項３３に記載のデコーダ。
【請求項３５】
前記所定の遅延（８２０）は、動き補償の対象とならない前記画像（６３０）の復号化と、前記参照画像（９４５）に対する前記使用不可処理との間にある画像の特定数を示す
ことを特徴とする請求項１３又は請求項１４に記載のデコーダ。
【請求項３６】
前記デコーダは、さらに、
動き補償の対象とならない前記画像（６３０）の符号化済み画像データに付加された遅延値を検出する検出部を備え、前記遅延値は、前記参照画像（９４５）を使用不可にするための前記遅延（８２０）を示す
ことを特徴とする請求項３３〜請求項３５のいずれか１項に記載のデコーダ。
【請求項３７】
前記デコーダは、さらに、
前記符号化済み画像データに付加されたフラグを検出する検出部を備え、前記フラグは、前記参照画像（９４５）を使用不可にするための前記時間的位置（８３０）を示す
ことを特徴とする請求項３３〜請求項３５のいずれか１項に記載のデコーダ。
【請求項３８】
前記バッファコントローラ（２３０）は、
動き補償の対象とならない前記画像（６３０）が復号化された後、最初のＰタイプ画像（６５０）が復号化される直前に前記参照画像（９４５）を使用不可にする
ことを特徴とする請求項３３〜請求項３５のいずれか１項に記載のデコーダ。
【請求項３９】
前記マルチフレームバッファ（２００）には、
各前記参照画像（９１０）について、動き補償において参照されない画像として参照画像（９４５）をマーキングするためのマーク（９４０）が格納されている
ことを特徴とする請求項３３〜請求項３８のいずれか１項に記載のデコーダ。
【請求項４０】
マーキングされた参照画像（９４５）は、前記マーク（９４０）に基づき、新しい画像データで上書きされる
ことを特徴とする請求項３９に記載のデコーダ。
【請求項４１】
クレーム１及び／又はクレーム２３に記載の全てのステップを実行するコード手段を備えるコンピュータプログラム。
【請求項４２】
クレーム１及び／又はクレーム２３に記載の全てのステップを実行するコンピュータ読み取り可能なプログラムコードが実装された、コンピュータ読み取り可能な媒体を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオシーケンスの符号化及び復号化に際して参照ピクチャのリフレッシュを遅延させて行う技術に関する。特に、ランダムアクセスを可能とするために、複数の参照画像を用い、参照ピクチャのリフレッシュを繰り返し行う、ビデオシーケンスの予測符号化及び復号化のための方法及び装置に関する。
【背景技術】
【０００２】
動画像を送信する際、使用可能な周波数帯域幅が限られた従来の伝送路を介して大量のデータを送信する必要がある。限られた帯域幅の伝送路を介してデジタルデータを送信するために、送信対象のビデオデータの容量を圧縮又は削減することが不可欠となる。従来から、ビデオデータの容量を削減するための映像符号化規格の策定が行われてきた。映像符号化規格のうち、ＩＴＵ−Ｔ規格はＨ．２６ｘと称され、ＩＳＯ／ＩＥＣ規格はＭＰＥＧ−ｘと称される。
【０００３】
映像符号化規格の多くは、次に挙げる主要なステージで構成される符号化方法が基礎となっている。まず、ビデオフレームのシーケンスに含まれる各ビデオフレームを画素ブロック単位に分割し、以降、ビデオフレームをブロックレベルで処理する。次に、ビデオデータを空間的・時間的観点から分析することでデータ容量を削減する。ビデオフレームにおける空間的冗長性は、各ブロックのビデオデータ対して変換、量子化、及びエントロピー符号化を行うことで削減される。
【０００４】
後続する複数のフレーム間の差分のみを送信するため、後続する複数のフレームに含まれるブロック間の時間的依存性を利用する。これは動き検出及び動き補償の技術を用いることで実現される。各ブロックについて、符号化済みのフレーム内をサーチして動きベクトルを決定する。エンコーダ及びデコーダは、この動きベクトルを用いて各ブロックの画像データを予測する。
【０００５】
図１はビデオエンコーダの構成例を示す図である。参照番号１００で示されるビデオエンコーダは、符号化済みの画像に基づいて対象ビデオ画像と当該対象画像の予測画像１２５との間の差分を求める減算器１２０を備える。変換部１３０は、当該差分を空間軸から周波数軸に変換する。量子化部１４０は、変換部１３０から取得した変換係数を量子化する。可変長符号化部１５０は、量子化された変換係数に対してエントロピー符号化を行う。ビデオバッファ１７０は、可変ビットレートの圧縮ビデオデータを、固定ビットレートの伝送路に適合させ、及び／又は圧縮ビデオデータのストリームを、伝送路の変動するビットレートに適合させる。
【０００６】
ここで、図１のビデオエンコーダの動作を説明する。ビデオエンコーダは、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方式を採用する。ＤＰＣＭ方式では、入力ビデオシーケンス１１０に含まれる各フレームにおける後続するフィールド間の差分のみが送信される。これらの差分は、減算器１２０が符号化対象のビデオシーケンス１１０を受信し、そこから対象画像の予測画像１２５を減算することで求められる。
【０００７】
予測画像１２５は、エンコーダ側で符号化された画像の復号化の結果１６５（“現在の復号化対象画像”）に基づいている。これは、復号化部１６０をビデオエンコーダ１００に組み込むことで実現される。復号化部１６０は、符号化処理の逆処理を行う。すなわち、復号化部１６０は、逆量子化部Ｑ-1と、逆変換部Ｔ-1と、復号化された差分を予測画像１２５に加算する加算器とを備える。別に設けられているデコーダ（図示せず）も同様に、ビデオ画像の符号化済みシーケンス１８０を受信し、受信したデータストリームを復号化し、復号化済み画像１６５を出力する。
【０００８】
図１に示すビデオエンコーダが行う動き補償ＤＰＣＭによって、対象フレーム及び前のフレーム間で検出された動きに基づいて、フィールドデータにおける対象フレームを、対応する前のフィールドデータから予測する。動き検出は、対象フレーム及び前のフレーム間の画素の移動を示す２次元の変位ベクトルとして決定される。動き検出は、通常ブロック単位で行われる。動き検出では、対象フレームにおけるブロックは、最適な一致が得られるまで前のフレームにおけるブロックと比較される。この比較結果に基づき、対象フレームにおける各ブロックについてフレーム間変位ベクトルを検出する。これは、図１に示されるエンコーダが備える動き検出／補償部１９０によって実現される。
【０００９】
動き検出の結果に基づき、決定された動きベクトルを利用して、動き補償によって予測画像を取得する。次に、変換部１３０は、対象ブロックと予測ブロックとの間の差分から得られた予測誤差ブロックに含まれる情報を変換係数に変換する。この際、離散コサイン変換等の２次元変換（Ｔ）が通常用いられる。結果として得られる変換係数に対して量子化を行い、最後にエントロピー符号化部１５０でエントロピー符号化（ＶＬＣ）を行う。
【００１０】
デコーダ（図示せず）は、送信された圧縮ビデオデータ１８０のストリームを受信し、受信したビットストリームから、符号化されたビデオ画像のストリームを再度生成する。デコーダの構成は、図１で説明したデコーダ１６０の構成に対応する（ただし、デコーダには動き検出部２２０は含まれない）。デコーダ構成の詳細はここでは説明しない。
【００１１】
後続する画像間の時間的依存性を利用するために行う、後続するフィールド又はフレーム間の予測は、一方向又は双方向の動き検出／補償として行う。動き検出において参照フレームとして選択されたフレームが符号化済みのフレームである場合、当該符号化済みフレームはＰピクチャと称される。参照フレームとして符号化済みフレーム及び後のフレームの両方が選ばれた場合、符号化対象フレームはＢピクチャと称される。
【００１２】
最新の映像符号化規格では、ピクチャ間符号化のために複数の参照画像を用いることもできる。参照フレームを複数用いることで、画像の符号化効率がさらに向上する。このため、動き検出／補償においては、複数の参照ピクチャを提供するためにマルチフレームバッファを利用する。動きベクトルには、使用された個々の参照画像を示す追加的情報が添えられる。
【００１３】
図２は、図１に示した動き検出／補償部１９０の内部構造を示す図である。現在の復号化対象画像１６５がマルチフレームバッファ２００に与えられ、参照画像の１つとして格納される。コントローラ２３０は、これらの画像の管理制御を行う。図３に示すように、マルチフレームバッファ２００は、ビデオ信号に含まれる参照フレームを格納するための複数のメモリ領域３００を備える。メモリ領域３００は、メモリ領域の種類毎に分けられていることが望ましい。すなわち、短期参照画像用と長期参照画像用（図示せず）に類別されていることが望ましい。
【００１４】
符号化済みビデオシーケンスに含まれるその他の画像はＩピクチャと呼ばれ、画像におけるスペシャルな冗長性を削減するだけのものであり、時間的情報は利用しない。
【００１５】
新しく策定されたＨ．２６４映像符号化規格では、ＩＤＲ（Ｉｎｓｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）ピクチャが新たに使用されている。ＩＤＲピクチャに対しては、Ｉピクチャ符号化に対応する時間的情報を利用しない。さらに、ＩＤＲピクチャにより、当該ＩＤＲピクチャより前に復号化されたピクチャとの間の相互依存性を断絶させるために、マルチフレームバッファがリセットされる。このため、符号化および復号化処理においては、ＩＤＲピクチャを符号化および復号化する直前に、マルチフレームバッファ２００に格納されている現在の参照ピクチャを“未使用参照ピクチャ”とマーキングする。全ての参照ピクチャを“未使用参照ピクチャ”とマーキングするということは、符号化および復号順における以降のピクチャが、ＩＤＲピクチャより前のピクチャとの間のピクチャ間予測を利用することなく処理されることを意味する。よって、ＩＤＲピクチャを利用することで、ビデオシーケンスに含まれる符号化済み画像に対してランダムアクセスを行うための処理労力を低減できる。ＩＤＲピクチャによって、符号化済みビットストリームにおける任意の時間的位置へのジャンプが可能となり、また前に位置する画像を復号化することなく後ろに位置するピクチャを復号化することが可能となる。
【００１６】
ＩＤＲピクチャを用いたビデオ画像の符号化の詳細について、図４及び図５を用いて説明する。図４は、画像１〜１０で構成される符号化対象のビデオシーケンスの一部を示す図である。これらの画像における文字（例えば、Ｐ、Ｂ、ＩＤＲなど）は、各画像が採用している符号化構造、すなわち符号化タイプを示している。図４の例に示すように、画像シーケンスは、Ｐタイプ画像４１０、４３０及び４６０、並びにこれらの間に配列されたＢタイプ画像４２０及び４５０を用いて符号化される。矢印４８０は、どの画像が参照画像として利用されるかをそれぞれ示している。
【００１７】
図４に示すシーケンスに含まれる画像のうち、１つの画像はＩＤＲピクチャ４４０として符号化される。上述のように、ＩＤＲタイプ画像によって、符号化済みビデオ画像のシーケンスにおける画像へのランダムアクセスが可能となる。ＩＤＲピクチャが持つ２つの主要な特徴を以下に示す。
【００１８】
１．ＩＤＲピクチャ４４０は、イントラ符号化された画像ブロック（Ｉスライスタイプ、又はＳＩスライスタイプ）のみを含む。
２．符号化および復号化処理において、ＩＤＲピクチャ４４０と、ＩＤＲピクチャ４４０の前に位置するピクチャ４１０、４２０及び４３０との間の相互依存性が断絶される。この断絶は、現在の全ての参照ピクチャを“未使用参照ピクチャ”とマーキングすることで実現することが望ましく、図４において線４７０で示すように、ＩＤＲピクチャ４４０を符号化および復号化する直前に行う。
【００１９】
上記ＩＤＲピクチャの特徴のうち第１の特徴、すなわちビデオデータに対しイントラ符号化のみを行うという特徴は、ＭＰＥＧ１やＭＰＥＧ２等の、Ｉ型フレームを用いる従来の映像符号化規格の特徴と類似している。
【００２０】
上記特徴のうち第２の特徴は、従来の映像符号化規格では前例が見られない。従来の規格では、現在の符号化／復号化対象フレームより前に位置するフレームのうち最大１枚のフレームと、当該対象フレームより後に位置する１枚のフレームとを用いるといった所定の予測方式のみを用いる。これに対し、Ｈ．２６３＋＋やＨ．２６４／ＡＶＣ等の最新の映像符号化規格では、動き補償予測において複数の参照画像を用いる。このため、Ｉピクチャを１枚用いるだけでは、前に位置するフレームとのフレーム間の予測関係を断ち切ることができなくなっている。このため、図５に示すように、フレーム間のあらゆる予測関係をＩＤＲピクチャを用いて新たに始めるために、“ブレークポイント”４７０を符号化／復号化処理に取り入れる。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、ＩＤＲピクチャの使用には数々の問題が伴う。主要問題の１つとして符号化効率の低減が挙げられる。
【００２２】
そこで、本発明は、ビデオシーケンスをより効率的に圧縮することができる符号化方法、エンコーダ、復号化方法、及びデコーダを提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記目的は、請求項１に記載の特徴を有する符号化方法と、請求項１３に記載の特徴を有するエンコーダと、請求項２３に記載の特徴を有する復号化方法と、請求項３３に記載の特徴を有するデコーダとによって実現される。
【００２４】
本発明の第１の側面によれば、ビデオ画像のシーケンスを予測符号化する方法を提供する。前記符号化方法は、符号化対象画像の各画像領域と複数の参照画像の各画像領域との間の動きベクトルを決定するために動き検出を用いる。前記参照画像は前記画像シーケンスに含まれる符号化済みの画像である。前記方法においては、所定の各画像を除く画像の符号化の際に、前記画像シーケンスに含まれる全ての画像に対して動き検出が行われる。前記方法では、さらに、現在の参照画像が参照画像とならないように使用不可にされ、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像を使用不可にする処理は、動き検出の対象とならない画像のうち前記所定の画像の符号化後、所定の遅延の後で実行される。
【００２５】
本発明の第２の側面によれば、ビデオ画像のシーケンスを予測符号化するエンコーダを提供する。前記エンコーダは、マルチフレームバッファと、動き検出部と、バッファコントローラとを備える。前記マルチフレームバッファは、複数の参照画像を格納する。前記参照画像は、前記画像シーケンスに含まれる符号化済みの画像である。前記動き検出部は、符号化対象画像の各画像領域と複数の前記参照画像の各画像領域との間の動きベクトルを決定する。前記動き検出部は、符号化対象である前記画像シーケンスに含まれる画像のうち、所定の各画像を除く全ての画像に対して動き検出を行う。前記バッファコントローラは、現在の参照画像が参照画像とならないように使用不可にし、前記バッファコントローラは、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像を、動き検出の対象とならない前記所定の画像の画像が符号化された後、所定の遅延の後で使用不可にする。
【００２６】
本発明の第３の側面によれば、符号化済みビデオ画像のシーケンスを復号化する方法を提供する。前記復号化方法においては、復号化対象画像の画像領域を複数の参照画像の画像領域から予測するための動きベクトルに基づいて動き補償が行われる。前記参照画像は、前記画像シーケンスに含まれる復号化済みの画像である。前記方法においては、所定の各画像を除く画像の復号化の際に、前記画像シーケンスに含まれる全ての画像に対して動き補償が行われる。前記方法においては、さらに、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像が参照画像とならないように使用不可にされる。前記参照画像は、動き検出の対象とならない前記所定の各画像の画像が復号化された後、所定の遅延の後で使用不可にされる。
【００２７】
本発明の第４の側面によれば、符号化済みビデオ画像のシーケンスを復号化するデコーダを提供する。前記でコーダは、マルチフレームバッファと、動き補償部と、バッファコントローラとを備える。前記マルチフレームバッファは、複数の参照画像を格納する。前記参照画像は、符号化済みのビデオ画像のシーケンスに含まれる復号化済みの画像である。前記動き補償部は、復号化対象画像の各画像領域を、複数の前記参照画像の画像領域から予測する。前記動き補償部は、符号化済み画像の前記シーケンスに含まれる画像のうち、所定の各画像を除く全ての画像に対して動き補償を行う。前記バッファコントローラは、動き検出の対象とならない前記所定の画像を除く全ての現在の参照画像が参照画像とならないように使用不可にし、前記バッファコントローラは、動き補償の対象とならない前記所定のビデオ画像の画像が復号化された後、所定の遅延の後で前記参照画像を使用不可にする。
【００２８】
次に挙げる手法は本発明に特有の手法である。すなわち、動き検出および補償の対象とならない画像であるＩＤＲ画像を符号化／復号化する際に、従来の符号化／復号化規格に従い、マルチフレームバッファに格納されている参照画像を直ちには未使用参照画像としてマーキングしない。一方で、参照画像のリフレッシュ、すなわち前に位置する全ての参照画像を“未使用”としてマーキングする処理を、既定の遅延を設けて行う。その結果、ＩＤＲタイプ画像の前に位置するＢタイプ画像を、それらの後に位置する当該ＩＤＲタイプ画像に依存して符号化／復号化できる。従って、ＩＤＲタイプ画像の持つ利点を損なうことなく符号化効率を向上できる。特に、前方に位置するＢタイプ画像に対する逆方向参照を行っても、ランダムアクセスの特性に影響を与えない。
【００２９】
前記所定の遅延は、ＩＤＲ画像の復号化の後であって、デコーダが参照画像を使用不可にすることによって参照画像のリフレッシュを行う前に位置するピクチャの数を示す、特定のピクチャ数として定義されることが望ましい。そのようなピクチャの数は、全てのＩＤＲ画像について事前に設定しても良いし、それぞれのＩＤＲ画像について個別に送信するとしても良い。
【００３０】
又は、デコーダ側で使用不可処理を行う、データの符号化ストリームにおける時間的位置に個別のリフレッシュフラグを挿入する。そのようなフラグによって、ビデオデータの符号化、すなわち採用されている画像タイプ符号化構造に応じて、複数の参照画像において使用不可処理を行うべき位置を調節できる。
【００３１】
さらに、ＩＤＲタイプ画像の後に位置するＰタイプ画像を符号化／復号化する直前に使用不可処理を実行する。
【００３２】
本発明に係るさらに他の実施の形態は、従属請求項の主題として示される。
【発明を実施するための最良の形態】
【００３３】
図６を参照して、本発明に特有である符号化および復号化処理方法について説明する。図６に示すビデオシーケンスの一部は、Ｐタイプ画像６１０及びこれに後続する３枚のＢタイプ画像６２０を含む。従来の画像タイプ符号化／復号化の構成では後続するＩＤＲタイプ画像（図４におけるＩＤＲ画像４４０を参照のこと）を参照しないが、本発明の符号化／復号化方法では、ＩＤＲタイプ画像６３０と、これより前に位置するＢタイプ画像６２０とが相互依存性を持つことが可能である。この差分は、図６において、ＩＤＲタイプ画像６３０と、前に位置するＢタイプ画像６２０とをつなぐ矢印６７０で強調される。
【００３４】
ＩＤＲタイプ画像６３０に後続する画像６４０及び６５０は、それぞれ矢印６６０で示すように、従来の符号化／復号化構造に応じて符号化される。ＩＤＲタイプ画像６３０以降の画像参照は、図４に示した構造例で示す画像参照に対応する。
【００３５】
図７は、本発明の符号化／復号化方法が表示順及び復号順（復号順は符号化順と同一）に与える影響を示す図である。表示順は図５に示す従来の手法の表示順に対応するが、ＩＤＲタイプ画像６３０とＢタイプ画像６２０との間の相互依存性を考慮するため、復号順は並べ替えられている。このため、ＩＤＲタイプ画像６３０を参照する画像６２０より前の位置にＩＤＲタイプ画像６３０が移動するように復号順を変更する。ＩＤＲ画像は前に位置する画像との間の画像間予測に用いられるため、現在の参照画像（ＩＤＲタイプ画像を除く）を使用不可にする使用不可ステップを行う位置を後方に移動させる。
【００３６】
図８は参照画像に対して使用不可処理を行う位置の移動を示す図である。図８に示すように、復号化／符号化順における、ＩＤＲタイプ画像の時間的位置８１０と参照画像に対して使用不可処理を実行する時間的位置８３０との間には所定の遅延８２０がある。参照画像のリフレッシュを遅延させて行うことによって、画像Ｐ1及びＩＤＲ5と相互依存する画像Ｂ2、Ｂ3、及びＢ4の復号化が可能となる。これらＢタイプ画像を復号化した後、ＩＤＲタイプ画像を除く全ての参照画像がリフレッシュされる、すなわち未使用としてマーキングされる。
【００３７】
参照画像のリフレッシュを実現するために様々な形態を用いることが可能であるが、以下のいずれかの形態を用いることが望ましい。
【００３８】
１つの形態として、遅延値をエンコーダがＩＤＲ画像データと共にデコーダに送出する。送出された遅延値によって、ＩＤＲピクチャの後に位置する使用不可にすべき参照画像の数が決定される。
【００３９】
別の形態として、参照ピクチャをリフレッシュする時間的位置８３０に対して個別のリフレッシュフラグを送信する。このフラグは、最後のＩＤＲピクチャを除く全ての参照フィーチャが直ちにリフレッシュされるべきであること、すなわち“未使用としてマーキングされる”べきであることを示す。
【００４０】
さらに別の形態では、ＩＤＲピクチャに後続する最初のＰピクチャの直前で参照ピクチャのリフレッシュを行う。この形態を用いることで、デコーダ側に追加情報を送る必要がなくなるという利点がある。
【００４１】
図９〜図１２は、マルチフレームバッファ２００における参照画像を“未使用”とマーキングする処理を示す図である。図９は、参照画像９１０を格納するマルチフレームバッファ２００の構成を示す図である。図１０に示すように、従来これらの参照画像９４５は、ＩＤＲタイプ画像１３０が符号化又は復号化されると直ちに“未使用”としてマーキングされる。
【００４２】
本発明は図９に対応する、図１１に示されるマルチフレームバッファ２００の構成を基本とするが、参照画像９１０は、ＩＤＲタイプ画像９３０以降の画像を符号化又は復号化する際に図１２に示すように参照画像として残される。ＩＤＲタイプ画像の前に表示され、ＩＤＲタイプ画像と相互依存している未符号化／復号化の画像である限り、全ての参照画像は有効な参照画像である。ＩＤＲタイプ画像より前に表示される全ての画像の符号化又は復号化が終了すると、前に位置する参照画像９４５は、図１０に示すように、未使用としてマーキングされる。このため、マルチフレームバッファ２００は、参照画像を格納するためのメモリ領域３００にそれぞれ割り当てるフラグ９４０を提供しても良い。
【００４３】
要約すると、本発明は、ＩＤＲタイプ画像より前に表示される画像間の画像間予測を可能とするために、符号化済み画像のシーケンスに含まれるＩＤＲタイプ画像の時間的位置を基準として、参照画像のリフレッシュの実行を遅延させる。
【図面の簡単な説明】
【００４４】
本発明のその他の実施の形態及び効果は、発明の実施の形態を説明する添付図面とともに行なう説明から明らかである。
【図１】動き補償ＤＰＣＭビデオエンコーダを示すブロック図
【図２】図１に示す動き検出／補償部の内部構造の例を示す図
【図３】図２に示すマルチフレームバッファの内部構造を示す図
【図４】従来技術に係る、ビデオシーケンスの一部の画像タイプ符号化／復号化構造の例を示す図
【図５】図４に示すビデオシーケンスの表示順及び復号順を示す図
【図６】本発明に係る、ビデオシーケンスの一部の画像タイプ符号化／復号化構造の例を示す図
【図７】図６に示す例に対応する符号化順及び復号順を示す図
【図８】本発明に係る、参照画像に対する使用不可処理に適用する遅延を示す図
【図９】マルチフレームバッファに格納される参照画像の例を示す図
【図１０】参照画像に対する使用不可処理の実行後にマルチフレームバッファに格納されている参照画像の例を示す図
【図１１】図９に係るマルチフレームバッファの例を示す図
【図１２】本発明に係る、符号化又は復号化処理におけるマルチフレームバッファの例を示す図
【図１】
2007507128.tif 000003
【図２】
2007507128.tif 000004
【図３】
2007507128.tif 000005
【図４】
2007507128.tif 000006
【図５】
2007507128.tif 000007
【図６】
2007507128.tif 000008
【図７】
2007507128.tif 000009
【図８】
2007507128.tif 000010
【図９】
2007507128.tif 000011
【図１０】
2007507128.tif 000012
【図１１】
2007507128.tif 000013
【図１２】
2007507128.tif 000014
【国際調査報告】
2007507128.tif 000015
2007507128.tif 000016
2007507128.tif 000017