(57)【特許請求の範囲】
【請求項１】
符号化ビデオ信号を作成すべく画像のシーケンスを符号化する方法であって、
画像の全部又は一部についての誤り隠蔽アルゴリズムタイプ指示子を生成すること、ただし、前記誤り隠蔽アルゴリズムタイプ指示子を、前記画像についての符号化モード指示子と区別されうるものであって、対応する復号過程で用いられるべき誤り隠蔽アルゴリズムのタイプであり、デコーダで利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択し得るようにする、前記タイプを示す少なくとも２つの値のうちいずれかを含むように、生成することと、
前記対応する復号過程において、前記画像の前記符号化モード指示子とは別に使用しうるように、前記誤り隠蔽アルゴリズムタイプ指示子を提供することと、
を含む、方法。
【請求項２】
請求項１に記載の方法において、
時間的予測タイプ又は非時間的予測タイプの誤り隠蔽アルゴリズムのいずれかを示す前記誤り隠蔽アルゴリズムタイプ指示子を生成することを含む、方法。
【請求項３】
請求項１または２に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子を生成することは、
前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算することと、
類似性の前記測度を類似性の所定の基準と比較することと、
前記比較の結果に基づいて、前記誤り隠蔽アルゴリズムタイプ指示子を生成することと
を含むことを含む、方法。
【請求項４】
請求項２に従属する請求項３に記載の方法において、
類似性の前記測度が類似性の前記所定の基準を満たさない時には、非時間的予測タイプの誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号過程で使用されるべきであることを示す、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成することと、
類似性の前記測度が類似性の前記所定の基準を満たす時には、時間的予測タイプの誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号過程で使用されるべきであることを示す、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成することと、
を含む、方法。
【請求項５】
請求項１から４のいずれかに記載の方法において、
前記生成した誤り隠蔽アルゴリズムタイプ指示子が画像に関するものである場合、前記符号化ビデオ信号の画像ヘッダ内に、該誤り隠蔽アルゴリズムタイプ指示子の前記値を含めることを含む、方法。
【請求項６】
請求項１から４のいずれかに記載の方法において、
前記生成した誤り隠蔽アルゴリズムタイプ指示子が画像の一部に関するものである場合、前記符号化ビデオ信号の画像セグメントヘッダまたはマクロブロックヘッダに、該誤り隠蔽アルゴリズムタイプ指示子の前記値を含めることを含む、方法。
【請求項７】
請求項１から４のいずれかに記載の方法において、
前記ビデオ信号をＨ．２６３ビデオ符号化規格に従って符号化し、前記生成した誤り隠蔽アルゴリズムタイプ指示子の前記値を「補助的エンハンスメント情報」フィールドに含めることを含む、方法。
【請求項８】
請求項３または４に記載の方法において、
類似性の前記測度が類似性の前記所定の基準を満たしていない時には、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を更新することにより、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成し、
類似性の前記測度が類似性の前記所定の基準を満たしている時には、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を変更しないでそのままにしておくことにより、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成する、
方法。
【請求項９】
請求項１から４のいずれかに記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子の値を使用することを含み、前記シーン識別子は前記シーンの全ての画像に対して同一値を持ち、異なるシーンに対しては異なる値を持つ、方法。
【請求項１０】
請求項１から４のいずれかに記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子の値を使用することを含み、前記シーン識別子は２つの値の１つを持ち、隣接するシーンの画像の前記シーン識別子は互いに異なるようにされる、方法。
【請求項１１】
請求項１から４のいずれかに記載の方法において、
画像の特定の矩形領域に適用される誤り隠蔽アルゴリズムのタイプを示す前記誤り隠蔽アルゴリズムタイプ指示子を発生させることを含む、方法。
【請求項１２】
請求項１１に記載の方法において、
画像に対して複数の誤り隠蔽アルゴリズムタイプ指示子を生成することを含み、各誤り隠蔽アルゴリズムタイプ指示子は前記画像の複数の重なり合っていない矩形領域に１つ１つ対応していることを含む、方法。
【請求項１３】
画像のシーケンスを表わしている符号化されたビデオ信号を復号する方法であって、
前記シーケンスの画像の全部又は一部についての、受信した誤り隠蔽アルゴリズムタイプ指示子を検査すること、ただし、前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像についての符号化モードの指示子と区別されうるものであり、また前記復号の過程で用いられるべき誤り隠蔽アルゴリズムのタイプを示す少なくとも２つの値のうちいずれかを含む、前記検査することと、
前記受信した前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用することと、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽すること、
を含む、方法。
【請求項１４】
請求項１３に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値に基づいて、誤り隠蔽アルゴリズムの時間的予測タイプ又は非時間的予測タイプのいずれかを選択することを含む、方法。
【請求項１５】
請求項１３または１４に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、前記符号化されたビデオ信号の画像ヘッダから取得することを含む、方法。
【請求項１６】
請求項１３または１４に記載の方法において、
Ｈ．２６３ビデオ符号化規格に従って符号化されたビデオ信号を受信し、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を「補助的エンハンスメント情報」フィールドから取得することを含む、方法。
【請求項１７】
請求項１３または１４に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子の値を使用することを含み、ここで前記シーン識別子は前記シーンの全ての画像に対して同一値を持ち、異なるシーンに対しては異なる値を持つ、方法。
【請求項１８】
請求項１３または１４に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子の値を使用することを含み、ここで前記シーン識別子は２つの値の１つを持ち、隣接するシーンの画像の前記シーン識別子は互いに異なるようにされる、
【請求項１９】
請求項１３または１４に記載の方法において、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、前記符号化されたビデオ信号の画像セグメントヘッダ又はマクロブロックヘッダから取得することを含む、方法。
【請求項２０】
請求項１３または１４に記載の方法において、
画像の特定の矩形領域の誤りを隠蔽するための誤り隠蔽アルゴリズムのタイプを、前記特定の矩形領域の前記誤り隠蔽アルゴリズムタイプ指示子の前記値に基づいて選択することを含む、方法。
【請求項２１】
請求項２０に記載の方法において、
画像に対して複数の誤り隠蔽アルゴリズムタイプ指示子を受信し、各誤り隠蔽アルゴリズムを適用することを含み、
各誤り隠蔽アルゴリズムタイプ指示子は前記画像の複数の重なり合っていない矩形領域に１つ１つ対応していることを含む、方法。
【請求項２２】
請求項１７または１８に記載の方法において、
画像の前記シーン識別子の値と時間的に隣接し正しく復号された画像の前記シーン識別子の値とを比較し、前記画像の前記シーン識別子の値が前記時間的に隣接し正しく復号された画像の前記シーン識別子の値と同一であった時には、復号過程で時間的予測タイプの誤り隠蔽アルゴリズムを適用することを含む、方法。
【請求項２３】
請求項１７または１８に記載の方法において、
画像の前記シーン識別子の値と時間的に隣接し正しく復号された画像の前記シーン識別子の値とを比較し、前記画像の前記シーン識別子の値が前記時間的に隣接し正しく復号された画像の前記シーン識別子の値と異なっていた時には、復号過程で非時間的予測タイプの誤り隠蔽アルゴリズムを適用することを含む、方法。
【請求項２４】
符号化ビデオ信号を作成すべく画像のシーケンスを符号化する装置であって、
画像の全部又は一部についての誤り隠蔽アルゴリズムタイプ指示子を生成するように構成され、ただし、前記誤り隠蔽アルゴリズムタイプ指示子が、前記画像についての符号化モード指示子と区別されうるものであり、また対応する復号過程で用いられるべき誤り隠蔽アルゴリズムのタイプであり、デコーダで利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択し得るようにする、前記タイプを示す少なくとも２つの値のうちいずれかを含むように構成され、
さらに、前記対応する復号過程において、前記画像の符号化モード指示子とは別に使用しうるように、前記誤り隠蔽アルゴリズムタイプ指示子を提供するように構成される、
装置。
【請求項２５】
請求項２４に記載の装置において、前記装置は、
時間的予測タイプ又は非時間的予測タイプの誤り隠蔽アルゴリズムのいずれかを示す前記誤り隠蔽アルゴリズムタイプ指示子を発生させるよう構成される、装置。
【請求項２６】
請求項２４または２５に記載の装置において、前記装置は、
前記シーケンスの第１の画像又はその一部と前記シーケンスの第２の画像との間の類似性の測度を計算すると共に、類似性の前記測度を類似性の所定の基準と比較し、前記比較の結果に基づいて、前記誤り隠蔽アルゴリズムタイプ指示子を生成するように構成される、装置。
【請求項２７】
請求項２５に従属する請求項２６に記載の装置において、前記装置は、
類似性の前記測度が類似性の前記所定の基準を満たさない時には、非時間的予測タイプの誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号過程で使用されるべきであることを示す前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成し、
類似性の前記測度が類似性の前記所定の基準を満たす時には、時間的予測タイプの誤り隠蔽アルゴリズムが、前記第１の画像又はその一部についての対応する復号過程で使用されるべきであることを示す前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成するよう構成される、
装置。
【請求項２８】
請求項２４から２７のいずれかに記載の装置において、前記装置は、
前記生成した誤り隠蔽アルゴリズムタイプ指示子が画像に関するものである場合、前記符号化ビデオ信号の画像ヘッダ内に、該誤り隠蔽アルゴリズムタイプ指示子の前記値を含めるよう構成される、装置。
【請求項２９】
請求項２４から２７のいずれかに記載の装置において、前記装置は、
前記生成した誤り隠蔽アルゴリズムタイプ指示子が画像の一部に関するものである場合、前記符号化ビデオ信号の画像セグメントヘッダまたはマクロブロックヘッダに、該誤り隠蔽アルゴリズムタイプ指示子の前記値を含めることを含む、方法。
【請求項３０】
請求項２４から２７のいずれかに記載の装置において、前記装置は、
前記ビデオ信号をＨ．２６３ビデオ符号化規格に従って符号化し、前記生成した誤り隠蔽アルゴリズムタイプ指示子の前記を「補助的エンハンスメント情報」フィールドに含めるよう構成される、装置。
【請求項３１】
請求項２６または２７に記載の装置において、前記装置は、
類似性の前記測度が類似性の前記所定の基準を満たしていない時には、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を更新することにより、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成し、
類似性の前記測度が類似性の前記所定の基準を満たしている時には、前記誤り隠蔽アルゴリズムタイプ指示子の以前の値を変更しないでそのままにしておくことにより、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を生成する、
ように構成される、装置。
【請求項３２】
請求項２４から２７のいずれかに記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子の値を使用するように構成され、ここで前記シーン識別子は、前記シーンの全ての画像に対して同一値を持ち、異なるシーンに対しては異なる値を持つ、装置。
【請求項３３】
請求項２４から２７のいずれかに記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子の値を使用するように構成され、ここで前記シーン識別子は２つの値の１つを持ち、隣接するシーンの画像の前記シーン識別子は互いに異なるようにされる、装置。
【請求項３４】
請求項２４から２７のいずれかに記載の装置において、前記装置は、
画像の特定の矩形領域に適用される誤り隠蔽アルゴリズムのタイプを示す前記誤り隠蔽アルゴリズムタイプ指示子を発生させるように構成される、装置。
【請求項３５】
請求項３４に記載の装置において、前記装置は、
画像に対して複数の誤り隠蔽アルゴリズムタイプ指示子を発生させ、各誤り隠蔽アルゴリズムタイプ指示子は前記画像の複数の重なり合っていない矩形領域に１つ１つ対応するように構成される、装置。
【請求項３６】
ビデオエンコーダである、請求項２４から３５のいずれかに記載の装置。
【請求項３７】
画像のシーケンスを表わしている符号化されたビデオ信号を復号する装置であって、
前記シーケンスの画像の全部又は一部についての、受信した誤り隠蔽アルゴリズムタイプ指示子を検査するように構成され、ただし前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像についての符号化モードの指示子と区別されうるものであり、また前記復号の過程で用いられるべき誤り隠蔽アルゴリズムのタイプを示す少なくとも２つの値のうちいずれかを含み、
さらに、前記受信した前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用し、選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽するよう構成される、
装置。
【請求項３８】
請求項３７に記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値に基づいて、誤り隠蔽アルゴリズムの時間的予測タイプ又は非時間的予測タイプのいずれかを選択するように構成される、装置。
【請求項３９】
請求項３７または３８に記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子を、前記符号化されたビデオ信号の画像ヘッダから取得するように構成される、装置。
【請求項４０】
請求項３７または３８に記載の装置において、前記装置は、
Ｈ．２６３ビデオ符号化規格に従って符号化されたビデオ信号を受信し、前記誤り隠蔽アルゴリズムタイプ指示子の前記値を「補助的エンハンスメント情報」フィールドから取得するように構成される、装置。
【請求項４１】
請求項３７または３８に記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子を使用するように構成され、ここで前記シーン識別子は前記シーンの全ての画像に対して同一値を持ち、異なるシーンに対しては異なる値を持つように構成される、装置。
【請求項４２】
請求項３７または３８に記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値として、前記シーケンス中の類似した画像の連続を含むシーンに関係するシーン識別子を使用するように構成され、ここで前記シーン識別子は２つの値の１つを持ち、隣接するシーンの画像の前記シーン識別子は互いに異なるようにされる、装置。
【請求項４３】
請求項３７または３８に記載の装置において、前記装置は、
前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、前記符号化されたビデオ信号の画像セグメントヘッダ又はマクロブロックヘッダから取得するように構成される、装置。
【請求項４４】
請求項３７または３８に記載の装置において、前記装置は、
画像の特定の矩形領域の誤りを隠蔽するための誤り隠蔽アルゴリズムのタイプ、前記特定の矩形領域の前記誤り隠蔽アルゴリズムタイプ指示子の前記値に基づいて選択するように構成される、装置。
【請求項４５】
請求項４４に記載の装置において、
画像に対して複数の誤り隠蔽アルゴリズムタイプ指示子を受信し、各誤り隠蔽アルゴリズムを適用し、
各誤り隠蔽アルゴリズムタイプ指示子は前記画像の複数の重なり合っていない矩形領域に１つ１つ対応するように構成される、装置。
【請求項４６】
請求項４１または４２に記載の装置において、前記装置は、
画像の前記シーン識別子の値と時間的に隣接し正しく復号された画像の前記シーン識別子の値とを比較し、前記画像の前記シーン識別子の値が前記時間的に隣接し正しく復号された画像の前記シーン識別子の値と同一であった時には、復号過程で時間的予測タイプの誤り隠蔽アルゴリズムを適用するように構成される、装置。
【請求項４７】
請求項４１または４２に記載の装置において、前記装置は、
画像の前記シーン識別子の値と時間的に隣接し正しく復号された画像の前記シーン識別子の値とを比較し、前記画像の前記シーン識別子の値が前記時間的に隣接し正しく復号された画像の前記シーン識別子の値と異なっていた時には、復号過程で非時間的予測誤りタイプの隠蔽アルゴリズムを適用するように構成される、装置。
【請求項４８】
ビデオデコーダである、請求項３７から４７のいずれかに記載の装置。
【請求項４９】
符号化ビデオ信号を作成すべく画像のシーケンスを符号化する装置であって、
画像の全部又は一部についての誤り隠蔽アルゴリズムタイプ指示子を生成するように構成され、ただし、前記誤り隠蔽アルゴリズムタイプ指示子が、前記画像についての符号化モード指示子と区別されうるものであり、また対応する復号過程で用いられるべき誤り隠蔽アルゴリズムのタイプであり、デコーダで利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択し得るようにする、前記タイプを示す少なくとも２つの値のうちいずれかを含むように構成され、
さらに、前記対応する復号過程において、前記画像の符号化モード指示子とは別に使用しうるように、前記誤り隠蔽アルゴリズムタイプ指示子を提供するように構成される、
１つ以上の機能ユニットを備えることを特徴とする装置。
【請求項５０】
画像のシーケンスを表わしている符号化されたビデオ信号を復号する装置であって、前記装置は、
前記シーケンスの画像の全部又は一部についての、受信した誤り隠蔽アルゴリズムタイプ指示子を検査するように構成され、ただし前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像についての符号化モードの指示子と区別されうるものであり、また前記復号の過程で用いられるべき誤り隠蔽アルゴリズムのタイプを示す少なくとも２つの値のうちいずれかを含み、
さらに、前記受信した前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用し、選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽するよう構成される、
１つ以上の機能ユニットを備えていることを特徴とする装置。
【請求項５１】
符号化ビデオ信号を作成すべく画像のシーケンスを符号化する装置であって、
画像の全部又は一部についての誤り隠蔽アルゴリズムタイプ指示子を生成する手段、ただし、前記誤り隠蔽アルゴリズムタイプ指示子が、前記画像についての符号化モード指示子と区別されうるものであり、また対応する復号過程で用いられるべき誤り隠蔽アルゴリズムのタイプであり、デコーダで利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択し得るようにする、前記タイプを示す少なくとも２つの値のうちいずれかを含むように生成する手段と、
前記対応する復号過程において、前記画像の符号化モード指示子とは別に使用しうるように、前記誤り隠蔽アルゴリズムタイプ指示子を提供する手段と、
を備える装置。
【請求項５２】
画像のシーケンスを表わしている符号化されたビデオ信号を復号する装置であって、
前記シーケンスの画像の全部又は一部についての、受信した誤り隠蔽アルゴリズムタイプ指示子を検査する手段、ただし前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像についての符号化モードの指示子と区別されうるものであり、また前記復号の過程で用いられるべき誤り隠蔽アルゴリズムのタイプを示す少なくとも２つの値のうちいずれかを含む、前記手段と、
前記受信した前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用する手段と、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽する手段と、
を備える、装置。
【請求項５３】
符号化ビデオ信号を作成すべく画像のシーケンスを符号化する装置であって、
画像の全部又は一部についての誤り隠蔽アルゴリズムタイプ指示子を生成すること、ただし、前記誤り隠蔽アルゴリズムタイプ指示子が、前記画像についての符号化モード指示子と区別されうるものであり、また対応する復号過程で用いられるべき誤り隠蔽アルゴリズムのタイプであり、デコーダで利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択し得るようにする、前記タイプを示す少なくとも２つの値のうちいずれかを含むように、生成することと、
前記対応する復号過程において、前記画像の前記符号化モード指示子とは別に使用しうるように、前記誤り隠蔽アルゴリズムタイプ指示子を提供することと、
を含む処理を制御するプロセッサを備える、装置。
【請求項５４】
画像のシーケンスを表わしている符号化されたビデオ信号を復号する装置であって、
前記シーケンスの画像の全部又は一部についての、受信した誤り隠蔽アルゴリズムタイプ指示子を受信検査すること、ただし、前記誤り隠蔽アルゴリズムタイプ指示子は、前記画像についての符号化モードの指示子と区別されうるものであり、また前記復号の過程で用いられるべき誤り隠蔽アルゴリズムのタイプを示す少なくとも２つの値のうちいずれかを含む、前記検査することと、
前記受信した前記誤り隠蔽アルゴリズムタイプ指示子の前記値を、利用可能な複数の誤り隠蔽アルゴリズムから特定のタイプの誤り隠蔽アルゴリズムを選択するための基礎として使用することと、
選択された前記誤り隠蔽アルゴリズムを適用して前記画像又はその一部中にある誤りを隠蔽することと、
を含む処理を制御するプロセッサを備える、装置。
【請求項５５】
請求項２４から３６のいずれかに記載の、ビデオ信号を符号化する装置と、請求項３７から４８のいずれかに記載の、符号化されたビデオ信号を復号する装置と、の少なくともいずれかを有する、携帯無線通信機器。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、ビデオ符号化方法に係り、特に、誤りによって生じるアーティファクトを隠蔽する方法に関する。
【０００２】
（背景技術）
ビデオ・シーケンスは一連の静止画像またはフレームから構成されている。ビデオ圧縮方法は、ビデオ・シーケンスの冗長部分および知覚的に無関係な部分を減らすことに基づいている。ビデオ・シーケンスにおける冗長性は、スペクトル冗長性、空間的冗長性および時間的冗長性に分類することができる。スペクトル冗長性は、同じ画像の異なるカラー成分間の類似性を指す。空間的冗長性は、１つの画像中の隣接しているピクセル間の類似性に起因する。時間的冗長性は前の画像の中に現れているオブジェクトが現在の画像中にも現れる可能性があるので存在する。この時間的冗長性を利用し、現在の画像を別の画像、すなわち、アンカー画像または基準画像から予測することによって圧縮を行うことができる。現在の画像と前の画像との間の動きを記述する動き補償データを生成することによって、さらに圧縮が行われる。
【０００３】
しかし、シーケンスの本来的な冗長性を減らすことだけによっては十分な圧縮が行われないのが普通である。それ故、ビデオ・エンコーダは、ビデオ・シーケンスの主観的にあまり重要でない部分の品質を低減しようとする。さらに、圧縮パラメータおよび係数の効率的な無損失符号化によって、符号化されたビット・ストリームの冗長性が減らされる。その主な技法は、可変長符号を使用する方法である。
【０００４】
ビデオ圧縮方法は、通常、時間的冗長性の削減を利用する画像と利用しない画像を識別する。時間的冗長性削減方法を利用しない圧縮された画像は、普通はINTRAフレームまたはＩフレームまたはＩ画像と呼ばれる。時間的に予測された画像は、普通は現在の画像の前に発生している画像から前方に予測されており、INTERフレームまたはＰフレームと呼ばれる。INTERフレームの場合、予測された動き補償された画像が十分に正確であることは稀であり、したがって、空間的に圧縮された予測誤差フレームが各INTERフレームに関連付けられる。INTER画像は、INTRA符号化領域を含むことができる。
【０００５】
多くのビデオ圧縮方式は、時間的双方向性予測フレームも使用する。それらは普通Ｂ画像またはＢフレームと呼ばれている。Ｂ画像はＩフレームおよび／またはＰフレームのアンカー画像ペア間に挿入され、これらのアンカー画像の１つまたは両方から予測される。Ｂ画像は、普通は前方予測型画像と比較して圧縮度が大きくなる。Ｂ画像はアンカー画像としては使用されない。すなわち、他の画像がＢ画像から予測されることはない。したがって、以降の画像の画像品質を損なわずにＢ画像を捨てる（意図的にまたは無意識的に）ことができる。Ｂ画像はＰ画像に比較して圧縮性能を改善することができるが、それらを生成するための計算が比較的複雑となり、より多くのメモリを必要とし、追加の遅延時間を導入する。これはビデオ・ストリーミングのような非リアルタイムの用途に対しては問題とならないが、ビデオ会議のようなリアルタイムの用途においては問題となる場合がある。
【０００６】
圧縮されたビデオ・クリップは、時間的に独立のINTRA画像と、時間的に差分符号化されたINTER画像とに大雑把に分類することができる画像のシーケンスから構成されている。INTRA画像における圧縮効率は、普通はINTER画像の場合より低いので、INTRA画像は慎重に使用され、特にビット・レートの低い用途に使用される。
【０００７】
ビデオ・シーケンスは、いくつかのシーンまたはショットから構成することができる。画像の内容はシーンごとに著しく異なっている場合があり、したがって、１つのシーンの最初の画像は、通常、INTRA符号化されている。テレビジョンおよび映画の中ではシーンが頻繁に変化するが、ビデオ会議においてはシーンの急激な場面転換は比較的稀である。さらに、再構成されたビデオ信号における伝送誤りの時間的な伝播を止めるために、そしてビデオのビット・ストリームに対するランダムなアクセス・ポイントを提供するために、通常、INTRA画像が挿入されている。
【０００８】
圧縮されたビデオは、主として２つの理由のために伝送誤りによって容易に破損する。第１に、時間的予測差分符号化（INTERフレーム）を利用するために、誤りが空間的および時間的の両方において伝播するからである。実際には、これは、誤りが一度発生すると、それは比較的長い時間にわたって人間の目に見えやすい。特に影響を受けやすいのは、低いビット・レートでの伝送の場合であり、その場合、少数のINTRA符号化フレームだけしかないので、時間的な誤りの伝播がある程度の時間止まらない。第２に、可変長符号を使用することによって誤りの影響を受けやすくなるからである。１ビット誤りが符号語を変化させると、そのデコーダは符号語の同期を失い、また次の同期化（すなわち、開始）符号まで後続の誤りのない符号語（いくつかのビットを含む）を誤って復号化する。同期化符号は他の符号語の合法的組合せから生成することができないビット・パターンであり、同期化を可能にするためにそのような符号がある間隔でビット・ストリームに追加される。さらに、伝送の間にデータが失われると誤りが発生する。たとえば、IPネットワークにおける信頼性の低いUDP転送プロトコルを使用しているビデオ・アプリケーションにおいては、ネットワーク要素が符号化ビデオ・ビット・ストリームの部分を捨てる場合がある。
【０００９】
伝送経路において生じた破損に受信機が対処する多くの方法がある。一般に、信号の受信時に、伝送誤りが先ず検出され、次に受信機によって補正または隠蔽される。誤り補正は誤りが最初に導入されなかったかのように、誤りデータを完全に復元するプロセスを指す。誤りの隠蔽は、伝送誤りの影響がその再構成されたビデオ・シーケンスにおいてほとんど見られないように隠蔽するプロセスを指す。通常、誤り検出、補正および隠蔽を助けるために、ソースまたはトランスポート符号化によってある程度の量の冗長性が追加される。誤りの隠蔽技法は、大雑把に３つのカテゴリーに分類される。それらは、前進型誤り隠蔽、後処理による誤り隠蔽および対話型誤り隠蔽である。「前進型誤り隠蔽」という用語は、送信機側が送信されるデータに対して冗長性を付加して符号化されたデータの誤り復元能力を高める技法を指す。後処理による誤り隠蔽は、受信した信号の特性に応答するデコーダにおける動作を指す。これらの方法は、誤って受信したデータの正しい表現を評価する。対話型誤り隠蔽においては、送信機および受信機は伝送誤りの影響を最小化するために協同動作する。これらの方法は、受信機によって提供されたフィードバック情報を十分に利用する。後処理による誤り隠蔽は、受動的誤り隠蔽とも呼ぶことができ、一方、他の２つのカテゴリーは能動的誤り隠蔽の形式を表す。
【００１０】
多くの隠蔽アルゴリズムが周知であり、そのレビューが、Ｙ．ワング（Wang）およびＱ．−Ｆ．ジュー（Zhu）によって“Error Control and Concealment for Video Communication：A Review”（ビデオ通信のための誤り制御および隠蔽：レビュー）、Proceedings of the IEEE, Vol.86，No.5, May 1998，pp.974−997および、Ｐ．サラマ（Salama）、Ｎ．Ｂ．シュロフ（Shroff）、およびＥ．Ｊ．デルプ（Delp）によってIEEE Journal on Selected Areas in Communicationsに提出された“Error Concealment in Encoded Video”（符号化されたビデオにおける誤り隠蔽）の中で与えられている。
【００１１】
現在のビデオ符号化規格は、自足可能なビデオ・ビット・ストリームに対する構文を定義している。現時点で最もポピュラーな規格は、ITU−T勧告H.263、“Video coding for low bit rate communication”（低ビット・レート通信のためのビデオ符号化）、February 1998;ISO／IEC 14496−2、“Generic Coding of Audio−Visual Objects: Part 2:Visual”（オーディオ−ビジュアル・オブジェクトの一般的符号化：第二部：ビジュアル）、1999（MPEG−４として知られている）；およびITU−T勧告H.262（ISO／IEC 13818−2）（MPEG−2として知られている）である。これらの規格はビット・ストリームに対する、したがって、画像シーケンスおよび画像に対する階層を定義している。
【００１２】
誤り隠蔽を支援するために、ＭＰＥＧ‐２ビデオ符号化規格によって、INTRA画像内のINTRAマクロブロックに対して動きベクトルを伝送することができる。これらの動きベクトルは、誤り隠蔽のためだけに下記のように使用される。INTRAマクロブロックが失われた（または破損した）場合、デコーダは失われたマクロブロック上のマクロブロックに所属する動きベクトルを使用して基準画像から似ているブロックを得る。そのINTRAマクロブロックが動き情報を含んでいなかった場合、デコーダはその誤りを空間的アルゴリズムによって隠蔽する。
【００１３】
H.263においては、その構文は４つの層、すなわち、画像層、画像セグメント層、マクロブロック層、およびブロック層による階層構造を有している。画像層のデータは、その画像全体の領域およびその画像データの復号化に影響を及ぼすパラメータを含んでいる。そのデータのほとんどがいわゆる画像ヘッダ内に配置されている。
【００１４】
画像セグメント層は、ブロック層またはスライス層の１つのグループのいずれかである可能性がある。デフォルトによって各画像は、ブロックのグループに分割されている。ブロックのグループ（GOB）は、通常、１６個の連続したピクセル・ラインを含む。各GOBに対するデータはオプションのGOBヘッダの次にマクロブロックに対するデータが続いているものから構成されている。オプションのスライス構造化モードが使用されている場合、各画像はGOBの代わりにスライスに分割されている。スライスは、走査順に連続するいくつかのマクロブロックを含む。各スライスに対するデータは、スライス・ヘッダの次にそのマクロブロックに対するデータが続いているものから構成されている。
【００１５】
各GOBまたはスライスはマクロブロックに分割されている。マクロブロックは、１６×１６ピクセル（または２×２ブロック）の輝度およびその空間的に対応している８×８ピクセル（またはブロック）の色彩成分に関連する。１つのブロックは、輝度または色彩の８×８ピクセルに関連する。
ブロック層のデータは、一様に量子化された個々のコサイン変換係数から構成され、それらはジグザグに走査され、ランレングス・エンコーダで処理され、可変長符号で符号化されている。MPEG−2およびMPEG−４層の階層はH.263の階層と似ている。
【００１６】
H.263においては、誤り隠蔽の問題は、通常、後処理機能として認識され、一般的にデコーダに任されている。1999年10月に米国のニュージャージー州においてITU‐T Study Group 16の第９回会合において発表されたITU‐T Study Group 16 Question 15、Document no．17, 18, 19, 20, 21&22において、いくつかの誤り隠蔽技法を指定し、エンコーダがこのことをデコーダに対して知らせることができるシグナリング・メカニズムを、好ましくは画像ごとのベースで定義するために、H.263に規範言語を追加することが提案されている。
しかし、この方法は、デコーダによって使用される誤り隠蔽方法がエンコーダによって指定されるので、デコーダにおいて過度に制限的である。それ故、デコーダが使用することができるこれらの方法を有している場合であっても、他の隠蔽方法を使用することができない。
【００１７】
（発明の開示）
第１の態様によれば、本発明は、画像のシーケンスを表しているビデオ信号を符号化する方法を提供する。前記方法は、第１の画像を第２の画像と比較するステップと、第１の画像と第２の画像との間の類似性の測度を計算するステップと、その類似性の測度を類似性の所定の基準と比較するステップと、その類似性の測度が類似性の所定の基準を満たさない場合、非時間的予測誤り隠蔽方法が後続のデコーダによって使用されるべきであることを示す指示子を出力するステップと、類似性の測度が類似性の所定の基準を満たす場合、時間的予測誤り隠蔽方法が後続のデコーダによって使用されるべきであることを示す指示子を出力するステップとを含む。
結果として、デコーダは、その指示子に基づいて、破損した画像に対して適切なタイプの誤り隠蔽方法を自由に選択する。しかし、その指示子は特定のアルゴリズムを指定せず、それ故、デコーダは特定のアルゴリズムの使用に制限されない。
【００１８】
類似性の測度が所定の基準を満たさない時に、その誤り隠蔽の指示子が更新されることが好ましい。その時、その指示子は、シーンの変化として見ることができるものを指示する。
それ故、本発明によって、デコーダはどの画像が同じシーンに属しているかを検出することができ、この指示に基づいて、必要な場合は適切なタイプの誤り隠蔽方法を選択することができる。それ故、誤り隠蔽指示子がフレームごとに変化すると、デコーダは非予測的誤り隠蔽方法を適用することによって応答する。誤り隠蔽指示子がフレームごとに同じである場合、デコーダは時間的予測誤り隠蔽方法を適用することによって応答する。
【００１９】
たとえば、シーンの変化時に、現在の画像（新しいシーンにおける第１の画像）と前のシーンの最後の画像との間の類似度は小さくなる。したがって、エンコーダは、現在の画像に対する誤り隠蔽指示子を更新する。その画像が破損していた場合、デコーダは誤り隠蔽指示子におけるその変化を検出し、非時間的予測隠蔽方法を使用する。さらに、デコーダは、シーンの変化を符号化するためにどのINTRA画像が使用されているか、どの画像が他の理由のためにそのビデオ・シーケンス内に挿入されているかを知ることができ、この情報に基づいて適切な隠蔽アルゴリズムを選択することができる。
【００２０】
いくつかのビデオ・エンコーダは、すべてのフレーム（最初のフレームの後の）をINTER画像として符号化する。１つのシーン・カットの後の最初のINTER画像が破損した場合、従来のデコーダはINTER画像の消失によって生じる誤りを隠蔽しようとして時間的予測を利用する可能性がある。結果として、異なるシーンからの２つの画像の内容が混合され、その隠蔽された画像は受け入れ不可能なほど歪んでいる可能性がある。しかし、本発明によるデコーダは誤り隠蔽指示子に基づいて時間的隠蔽方法の代わりに非時間的隠蔽方法を使用すべきであることを検出することができる。したがって、異なるシーンからの画像は誤り隠蔽のためには使用されない。
【００２１】
ＭＰＥＧ‐２において導入された追加の動きベクトルを必要とするソリューションと比較して、本発明はビット／フレーム数がかなり少なくて済む。さらに、本発明は、ＭＰＥＧ‐２において許容されているようなINTRAマクロブロックに対する動きベクトルを許容しない既存のビデオ圧縮規格で動作する。
画像全体または画像の一部分に関して誤り隠蔽指示子を含めることができる。前者の場合、通常、その指示子は画像ヘッダ内に含められる。本発明の１つの好適な実施形態においては、ビデオ信号はH.263規格に従って符号化され、その誤り隠蔽指示子は「補助的エンハンスメント情報」内に含められる。後者の場合、符号化された画像の画像セグメント・ヘッダまたはマクロブロック・ヘッダ内に誤り隠蔽指示子を含めることもできる。
【００２２】
第２の態様によれば、本発明は、画像のシーケンスを表しているビデオ信号を符号化する方法を提供する。前記方法は、第１の画像を第２の画像と比較するステップと、第１の画像と第２の画像との間の類似性の測度を計算するステップと、類似性の測度を類似性の所定の基準と比較するステップと、類似性の測度に応じて指示子を出力するステップとを含み、前記類似性の測度が前記所定の基準を満たさない時、指示子は更新され、前記類似性の測度が前記所定の基準を満たす時、指示子は不変である。
【００２３】
第３の態様によれば、本発明は、画像のシーケンスを表している符号化されたビデオ信号を復号化する方法を提供する。前記方法は、符号化されたビデオ信号を受信するステップと、復号化される各画像に対して復号化プロセスにおいて使用される隠蔽方法のタイプを示す指示子を識別するステップと、前記識別されたタイプの隠蔽方法を使用して前記符号化されたビデオ信号を復号化するステップとを含む。
【００２４】
第４の態様によれば、本発明は、誤り隠蔽の方法を提供する。前記方法は、誤り隠蔽プロセスにおいて使用される隠蔽方法のタイプを示す指示子を含む符号化されたビデオ信号を受信するステップと、ビデオ信号における誤りを適切に隠蔽するステップとを含む。
【００２５】
第５の態様によれば、本発明は、画像のシーケンスを表す符号化されたビデオ信号を復号化する方法を提供する。前記方法は、符号化されたビデオ信号を受信するステップと、復号化される各画像に対して、第１の画像と第２の画像との間の類似性の測度を表す指示子を識別し、前記指示子が以前に受信した画像の指示子と同じである時、時間的予測誤り隠蔽方法を適用するステップと、前記指示子が以前に受信した画像の指示子と異なっている時、空間的誤り隠蔽方法を適用するステップとを含む。
【００２６】
第６の態様によれば、本発明は、ビデオ・エンコーダを提供する。前記ビデオ・エンコーダは、画像のシーケンスを表すビデオ信号を受信するための入力と、第１の画像と第２の画像との間の類似性の測度を計算するための計算器と、類似性の測度を類似性の所定の基準と比較するための、そして後続のデコーダによって使用される隠蔽方法を示す指示子を出力するためのコンパレータとを含み、前記コンパレータは、前記類似性の測度が所定の基準を満たさない時に、非時間的予測隠蔽方法が使用されるべきであることを示す指示子を出力し、前記類似性の測度が所定の基準を満たす時には、後続のデコーダによって時間的予測隠蔽方法が使用されるべきであることを示す指示子を出力する。
【００２７】
第７の態様によれば、本発明は、画像のシーケンスを表すビデオ信号を符号化するためのビデオ・エンコーダを提供する。前記エンコーダは、第１の画像を第２の画像と比較するためのコンパレータと、第１の画像と第２の画像との間の類似性の測度を計算し、前記類似性の測度を類似性の所定の基準と比較するためのプロセッサとを含み、前記プロセッサは、前記類似性の測度に応じて指示子を出力するように構成され、前記類似性の測度が所定の基準を満たさない時、指示子は更新され、前記類似性の測度が所定の基準を満たす時、指示子は不変である。
【００２８】
第８の態様によれば、本発明は、ビデオ・デコーダを提供する。前記ビデオ・デコーダは、画像のシーケンスを表す符号化されたビデオ信号を受信するための入力と、復号化される各画像のビデオ信号内で、復号化プロセスにおいて使用される隠蔽方法のタイプを指示する指示子を識別し、指示子によって指示されている隠蔽方法を使用して前記符号化されたビデオ信号を復号化するためのコントローラとを含む。
本発明を、添付の図面を参照しながら以下に記述するが、これは単なる例示としてのものにすぎない。
【００２９】
（発明を実施するための最良の形態）
図１は、代表的なマルチメディア移動通信システムを示している。第１のマルチメディア移動端末１は、無線リンク３を経由して移動通信ネットワーク４に対して第２のマルチメディア移動端末２と通信する。制御データがマルチメディア・データと同様に、２つの端末１、２の間で送信される。
【００３０】
図２は、端末１の代表的なマルチメディア構成部品を示している。前記端末は、ビデオ・コーデック１０と、オーディオ・コーデック２０と、データ・プロトコル・マネージャ３０と、制御マネージャ４０と、マルチプレクサ／デマルチプレクサ５０と、モデム６０（必要な場合）とを含む。ビデオ・コーデック１０は、端末のビデオ捕捉装置（図示せず）（たとえば、カメラ）からの信号を符号化のために受信し、ディスプレイ７０上で端末１において表示するためのリモート端末２からの信号を復号化するために受信する。オーディオ・コーデック２０は端末１のマイクロホン（図示せず）からの信号を符号化のために受信し、端末１のラウドスピーカ（図示せず）によって再生するためのリモート端末２からの信号を復号化のために受信する。
【００３１】
制御マネージャ４０は、ビデオ・コーデック１０、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０の動作を制御する。しかし、本発明はビデオ・コーデック１０の動作に関係しているので、オーディオ・コーデック２０およびデータ・プロトコル・マネージャ３０についてはこれ以上説明しない。
【００３２】
図３は、本発明によるビデオ・コーデック１０の一例を示している。ビデオ・コーデックは、エンコーダ部分１００と、デコーダ部分２００とを含む。エンコーダ部分１００は、端末１のカメラまたはビデオ・ソース（図示せず）からビデオ信号を受信するための入力１０１を含む。スイッチ１０２が、INTRAモードの符号化とINTERモードの符号化との間でエンコーダを切り換える。
【００３３】
INTRAモードにおいては、入力１０１からのビデオ信号が、DCT変換器１０３によってDCT係数に変換される。次に、DCT係数が、その係数を量子化する量子化器１０４に渡される。スイッチ１０２および量子化器１０４は両方ともビデオ・コーデックの符号化制御マネージャ１０５によって制御される。また、符号化制御マネージャ１０５は、制御マネージャ４０によって受信側の端末２からフィードバック制御を受信する。
【００３４】
INTERモードにおいては、入力１０１からの信号と画像記憶装置１０７内に格納されている前画像との間の差を減算器１０６から受け入れるように操作される。減算器１０６から出力される差分データは、現在の画像と画像記憶装置１０７内に格納されている前画像との間の予測誤差を表す。画像記憶装置１０７内のデータは、量子化器によって出力されたデータを逆量子化器１０８を通して渡し、逆ＤＣＴ変換１０９を適用して逆量子化されたデータにすることによって生成される。結果のデータが、加算器１１０によって画像記憶装置１０７の内容に加算される。動き推定器１１１が、従来の方法で画像記憶装置１０７内のデータから動き補正データ（動きベクトル）生成しても良い。
【００３５】
ビデオ・コーデックは量子化されたDCT係数１１２ａと、量子化インデックス１１２ｂ（すなわち、使用されている量子化の詳細）と、実行される符号化のモード（ＩまたはＰ／Ｂ）を示すためのINTRA／INTERフラグ１１２ｃと、符号化されているフレームの数を示すための送信フラグ１１２ｄと、符号化されている画像に対する動きベクトル１１２ｅとを示すための送信フラグ１１２ｄとを出力する。これらは他のマルチメディア信号と一緒にマルチプレクサ５０によって多重化される。
【００３６】
ビデオ・コーデック１０のデコーダ部分２００は、逆量子化器１２０と、逆DCT変換器１２１と、動き補償器１２２と、画像記憶装置１２３と、コントローラ１２４とを含む。コントローラ１２４は符号化されたマルチメディア・ストリームからデマルチプレクサ５０によって逆多重化されたビデオ・コーデック制御信号を受信する。実際には、エンコーダのコントローラ１０５と、デコーダのコントローラ１２４とは同じプロセッサであってよい。
【００３７】
本発明によるエンコーダの動作が以下に記述される。ビデオ・コーデック１０は符号化されるビデオ信号を受信する。ビデオ・コーデックのエンコーダ１００はDCT変換、量子化および動き補償を実行することによって前記ビデオ信号を符号化する。符号化されたビデオ・データは、次にマルチプレクサ５０に出力される。マルチプレクサ５０は、ビデオ・コーデック１０からのビデオ・データ、およびコントロール４０からの制御データ（および、適当な他の信号）をマルチメディア信号に多重化する。端末１はこのマルチメディア信号をモデム６０（必要な場合）経由で受信側の端末２に出力する。
【００３８】
本発明は、デコーダによって使用される隠蔽方法のタイプを示す指示子をビデオ・シーケンス構文内に含めることに関する。指示子は、ビット・ストリームの画像層内に含めるか、あるいは別の層として提供することができる。この指示子によって異なるシーンを識別すること、したがって、使用される隠蔽方法のタイプを識別することができる。
【００３９】
本発明の第１の実施形態においては、誤り隠蔽指示子は符号化された各画像のビット・ストリーム表現に付加される、いわゆるシーン指示子（ＳＩ）を含む。シーン識別子は、同じシーンの画像のすべてに対して同じである１つの値である。異なるシーンに属している画像は、通常、異なるシーン識別子を有する。ＳＩの値は、それが更新されるたびにインクリメントされることが好ましい。しかし、シーン識別子は、ＳＩの値が同じでない隣のシーンの画像、たとえば、ＳＩの値が０に設定されている奇数番号のシーン画像、およびＳＩの値が１に設定されている偶数番号のシーン画像についての２つの値のうちの１つを取ることができると考えられる。
【００４０】
エンコーダのコントローラ１０５は、フレーム間の類似性を比較することによってシーン・カットを検出する。コントローラ１０５は、現在の画像のピクセル表現（入力１０２から受信した）を画像記憶装置１０７内に格納されている前の画像のピクセル表現と比較する。２つの画像間の類似性があるしきい値以下になるたびに、コントローラは、シーン・カットを検出し、更新されたシーン指示子１１２ｆが出力される。類似性がそのしきい値より上である場合、シーン指示子は更新されず、繰り返される。
【００４１】
シーン識別子が、必ずしも実際のシーン・カットを識別するとは限らない。シーン識別子の変化は、現在の画像が前の画像と比較して十分に変化したことを示し、現在の画像が新しいシーンとみなされることを示す。
シーンの変化を検出するために、他の既知の方法を使用しても良い。
【００４２】
本発明の第２の実施形態においては、いわゆる隠蔽方法指示子（ＣＭＩ）が各符号化された画像のビット・ストリーム表現に付加される。ＣＭＩはデコーダに対して、その関連付けられた画像が破損した場合に、デコーダが使用しなければならない隠蔽方法のタイプを示す。エンコーダは、現在の画像と前の画像との間の類似性を比較することによって、その画像にどのＣＭＩが関連付けられるかを決定する。２つの画像間の類似性があるしきい値以下である場合、コントローラは、出力１１２ｆとして第１の隠蔽方法指示子ＣＭＩ＝０を出力する。これはデコーダに対して、非時間的予測隠蔽方法が使用されるべきであることを示す。類似性がそのしきい値より上である場合、出力１１２ｆとして第２の隠蔽方法指示子ＣＭＩ＝１が出力される。これは、時間的予測隠蔽方法が使用されるべきであることをデコーダに対して示す。
【００４３】
類似性の測度は、２つの画像間の数学的相関を計算することによって形成することができる。
誤り隠蔽指示子を画像セグメント・ヘッダおよび／またはマクロブロック・ヘッダ内に含め、このレベルにおいて適切な誤り隠蔽方法を受信側のデコーダに選択させるようにすることもできる。
【００４４】
端末２から符号化されたビデオ・データを受信している端末１について考え、ビデオ・コーデック１０の動作をその復号化の役割に関して以下に記述する。端末１は、送信側の端末２からマルチメディア信号を受信する。デマルチプレクサ５０がマルチメディア信号を逆多重化し、そのビデオ・データをビデオ・コーデック１０に渡し、制御データを制御マネージャ４０に渡す。ビデオ・コーデックのデコーダ２００は、そのデータを、逆量子化し、逆ＤＣＴ変換し、動き補正することによって、その符号化されたビデオ・データを復号化する。デコーダのコントローラ１２４は、受信したデータの完全性をチェックし、誤りが検出された場合、以下に記述する方法でその誤りを補正して隠蔽しようとする。次に、復号化され、補正されて隠蔽されたビデオ・データが、受信側端末１のディスプレイ７０上で再生するために出力される。
【００４５】
ビデオ・データにおける誤りは、画像レベル、画像セグメント・レベル、またはマクロブロック・レベルにおいて発生する可能性がある。誤りチェックをこれらのレベルのうちの任意のレベルまたはすべてのレベルにおいて実行することができる。
【００４６】
最初に指示子ＳＩが含まれている、本発明による符号化された信号について考えると、誤りが検出された時、デコーダは、受信されたが破損した画像のＳＩを調べる。破損した画像のＳＩが、時間的に近隣の正しく復号化された画像のＳＩと同じであった場合、デコーダは時間的予測（INTER）隠蔽アルゴリズムを適用する。デコーダは、種々の時間的予測隠蔽アルゴリズムを実行することができる。指示子ＳＩは、使用されるべき隠蔽アルゴリズムのタイプをデコーダに対して指示するが、使用されるアルゴリズムは規定しない。
破損した画像のＳＩが、時間的に近隣の正しく復号化された画像のＳＩと異なっていた場合、デコーダは空間的（INTRA）隠蔽方法を使用してその画像を隠蔽する。
【００４７】
本発明による、指示子ＣＭＩが含まれている、符号化された信号について考えると、誤りが検出された時、デコーダは、受信したが破損した画像のＣＭＩを調べる。破損した画像のＣＭＩがＣＭＩ１であった場合、デコーダは空間的隠蔽方法を使用してその画像を隠蔽する。破損した画像のＣＭＩがＣＭＩ２であった場合、デコーダは時間的予測隠蔽アルゴリズムを適用する。ここでも、デコーダは種々の誤り隠蔽アルゴリズムを実行することができる。指示子ＣＭＩは、使用されるべき隠蔽方法のタイプをデコーダに対して示すが、使用されるアルゴリズムは規定しない。
符号化された信号の構文内に誤り隠蔽指示子をどのように含めることができるかの一例をH.263のビデオ符号化規格を参照して以下に説明する。
【００４８】
図４は、H.263に従う周知のビット・ストリームの構文を示している。（以下の実施形態はＧＯＢフォーマットを記述するが、本発明は、スライス・フォーマットで実施することもできることは当業者にとって明らかである。）既に述べたように、ビット・ストリームは４つの層を備えている。それらは画像層、画像セグメント層、マクロブロック層およびブロック層である。画像層は、画像ヘッダを含み、その後にブロックのグループに対するデータ、最後に、任意のオプションの「シーケンスの終り」符号およびスタッフビットが続く。
従来技術のH.263のビット・ストリームは、図４に示されているようにフォーマット化されている。各部分に対する記述子が以下に与えられる。
【００４９】
【表１】
0005007012.tif 000002
【００５０】
図４に示されているような構造は、オプションのPLUSTYPEデータ・フィールドを含まない。PSBIは、CPMによって示されている場合にのみ存在する。TRＢおよびDBQUANTは、PTYPEがいわゆるPBフレーム・モードの仕様を示している場合にのみ存在する（PLUSTYPEフィールドが存在してDBQUANTの使用がその中で示されていない限り）。これらの事項はH.263の仕様書の中でより詳しく扱われている。
【００５１】
次のパラグラフでは、本発明によるエンコーダによって出力されるビット・ストリームの可能な実施形態を概説する。
隠蔽方法の指示子をH.263のビット・ストリーム内に下記のように組み込むことができる。図５(a)は、本発明の第１の実施形態によるエンコーダから出力されるビット・ストリームの一例である。図５(a)に示されているように、そのビット・ストリームは、その画像が属しているシーンを示す符号語である追加の符号語ＳＩを含む。これは、上記のように、連続している画像間の変化量に従ってエンコーダによって挿入される。識別子の変化は、符号化されている画像と基準画像との間の類似性が低いことを示している。デコーダはこの情報を使用して、示されたタイプの誤り隠蔽方法を選択する。この場合、使用される誤り隠蔽方法のタイプは詳しくは示されていないが、ＳＩの変化から決定することができる。
【００５２】
図５(b)は、本発明の第２の実施形態によるエンコーダから出力されるビット・ストリームの一例を示している。図５(b)に示されているように、そのビット・ストリームは、デコーダによって使用される隠蔽方法のタイプを示す符号語である追加の符号語ＣＭＩを含むことができる。これは、上記のように、連続している画像間の変化の量に従ってエンコーダによって挿入される。
【００５３】
他の方法としては、ＳＩまたはＣＭＩを「補助的エンハンスメント情報」ＰＳＵＰＰ（H.263の付録Ｌおよび図４参照）内に含めることができる。その補助的情報は、そのデコーダがそれを使用するための強化機能を提供することができない場合であっても、あるいはそれを正しく解釈することができない場合であっても、ビット・ストリーム内に存在することができる。その補助的情報を単純に捨てることは、その要求された機能を与えるための条件が、外部手段によってネゴシエートされていない限り、デコーダによって可能である。
PEIが「１」に設定されている場合、８ビットのデータ（PSUPP）および、次に更なる９個のビットが続くかどうかを示すための別のPEIビットから構成されている９個のビットが続く。
【００５４】
PSUPPデータは、４ビットの機能タイプ指示FTYPEと、その次に４ビットのパラメータ・データ・サイズ仕様DSIZEが続き、その後にファンクション・パラメータ・データのDSIZEのオクテットが続き、オプションとして別のFTYPEが続くように構成されている。このPSUPP符号語を使用して各種の状況を知らせることは周知である。たとえば、PSUPPはサイズ変更あり／なしで画像全体または部分的な画像の凍結または凍結−解放要求を示すため；外部使用のためにビデオ・ストリーム中の画像の特定の画像または画像のシーケンスにタグを付けるため；あるいは、ビデオ・コンポジットのための色彩キー情報を伝えるために使用される。
「補助的エンハンスメント」情報を使用して本発明を実施するために、さらに１つのFTYPEが「シーン識別子」または「CMI」として定義されている。例えば、FTYPE１５をこの目的で使用しても良い。
【００５５】
これが、図６(a)および(b)に示されている。図６(a)は、パラメータＳＩが画像ヘッダのＳＥＩ内に含まれている例を示している。そのFTYPEは、「シーン識別子」ＳＩとして定義されている。DSIZEはパラメータのサイズを規定し、次のオクテットはパラメータ・データ、すなわち、ＳＩの値である。この値から、受信側のデコーダは、破損した画像が前の画像と同じ「シーン」からのものであるかどうかを決定することができ、それに従って最も適切なタイプの隠蔽方法を選択することができる。図６(b)は、パラメータＣＭＩが画像ヘッダのＳＥＩ内に含まれている例を示している。そのFTYPEは、「隠蔽方法指示子」ＣＭＩとして定義されている。DSIZEは、そのパラメータのサイズを指定し、次のオクテットはそのパラメータのデータ、すなわち、ＣＭＩの値である。この値から、受信側のデコーダは、破損した画像に対して最も適切なタイプの隠蔽方法を決定することができる。
【００５６】
他の方法としては、その情報を“Draft of new Annex W：Additional Supplementary Enhancement Information Specification”（新しい付録Ｗの草案：追加の補助的エンハンスメント情報の仕様）Ｐ．ニング（Ning）およびＳ．ウエンガ（Wenger），ITU−T Study Group 16 Question 15 Document Ｑ15−I−58，November 1999の中で規定されているような、追加の「補助的エンハンスメント」情報の中に含めることができる。
【００５７】
この草案の提案において、FTYPE１４が「画像メッセージ」として定義されている。このFTYPEが設定されていると、画像メッセージ機能が、メッセージ・データを表している１つまたはそれ以上のオクテットの存在を示す。そのメッセージ・データの最初のオクテットは、図７に示されている構造のメッセージ・ヘッダ、すなわち、CONT、EBITおよびMTYPEである。DSIZEは、最初のオクテット・メッセージ・ヘッダを含む画像メッセージ機能に対応しているメッセージ・データ中のオクテットの数に等しい。
【００５８】
継続フィールドCONTは、１に等しい場合、その画像メッセージに関連付けられているメッセージ・データが、次の画像メッセージ機能に関連付けられているメッセージ・データと同じ論理メッセージの部分であることを示している。「終りのビット位置」フィールドEBITは、最後のメッセージ・オクテットの中で無視される下位ビットの数を規定する。これらのフィールドの詳細は、以上で述べた付録Ｗの草案中に記載されている。
【００５９】
MTYPEフィールドは、メッセージのタイプを示す。種々のタイプのメッセージが、付録Ｗの草案の中で提案されている。本発明によれば、１つのタイプ、たとえば、MTYPE９が「誤り隠蔽タイプ」として定義されている。シーン識別子またはＣＭＩの値は、メッセージ・ヘッダに続いているオクテットの中で定義されている。シーン識別子の値は、同じシーンのすべての画像において同じである。異なるシーンに属している画像は、シーン識別子の値が異なっている。デコーダは、ＳＩまたはＣＭＩを使用して、使用される誤り隠蔽のタイプを決定する。
【００６０】
そのメッセージは、また、現在の画像の特別に指定された四角形領域に対して、その領域の少なくとも一部分が正しく受信されていない場合に、使用されるべき誤り隠蔽のタイプを指示する。それぞれが重なっていない四角形領域に対する隠蔽タイプを指定している１つの画像に対する複数の誤り隠蔽タイプ・メッセージがあり得る。そのメッセージが画像のいくつかの領域をカバーしない場合、デコーダはそれらの領域に対して任意の誤り隠蔽を使用するので有利である。好適には、デコーダは、その画像タイプに対応している隠蔽タイプ、すなわち、INTERフレームに対して時間的予測隠蔽方法、INTRAフレームに対しては非時間的予測隠蔽方法を使用することが好ましい。
【００６１】
特定の例を以下に示す。各誤り隠蔽タイプ・メッセージに対して、DSIZEは６、CONTは０、EBITは０でなければならない。最初のデータ・バイトが１（0000 0001）に等しい場合、これは伝送誤りが空間的隠蔽アルゴリズムだけを使用して隠蔽されるべきであることをデコーダに対して示す。最初のデータ・バイトが２（0000 0010）に等しい場合、これはその伝送誤りが時間的予測を使用して隠蔽されるべきであることを、デコーダに対して指示する。次の４つのPSUPPオクテットは、誤りが隠蔽される画像内の指定された四角形の領域の左上隅の水平および垂直の位置を含み、その四角形領域の幅および高さを、それぞれ８ビットで、そして１６ピクセルの単位で（輝度画像の）表している。たとえば、４分の１共通中間フォーマット（QCIF）画像（１７６×１４４ピクセルの輝度画像を有している）が４つのパラメータ（0,0,11,9）によって指定される。
【００６２】
幅および高さが１６で割り切れない画像フォーマットの場合、１６で割り切れる次のより大きいサイズまで、その規定された領域を拡張することができる。たとえば、１６０×１２０ピクセルのサイズの画像全体が４つのパラメータ（0,0,10,8）によって規定される。好適には、その規定された領域は、同じ画像の他の規定された誤り隠蔽領域と境界が交差しないか、好適には、あるいはオーバラップしないことが好ましい。
誤り隠蔽指示子は、他のビデオ符号化プロトコルにも組み込むことができる。たとえば、MPEG‐４は任意のバイナリ・データを含むことができ、１つの画像に必ずしも関連付けられない、いわゆるユーザ・データを提示している。誤り隠蔽識別子をこれらのフィールドに追加することができる。
【００６３】
本発明は、上記ビデオ符号化プロトコルに限定されるものではない。これらは単に例示としてのものに過ぎない。本発明は、誤り隠蔽方法の選択が利用できる任意のビデオ符号化プロトコルに対して適用できる。その情報の上記のような追加によって、どのタイプの誤り隠蔽方法を使用するのが最善であるかを受信側のデコーダが決定することができる。
【図面の簡単な説明】
【図１】  マルチメディア移動通信システムを示す。
【図２】  マルチメディア端末のマルチメディア構成部品の一例を示す。
【図３】  ビデオ・コーデックの一例を示す。
【図４】  H.263に従う周知のビット・ストリームの構文を示す。
【図５】  （a）は、本発明の第１の実施形態によるエンコーダから出力されるビット・ストリームの一例を示し、（ｂ）は、本発明の第２の実施形態によるエンコーダから出力されるビット・ストリームの一例を示す。
【図６】  （ａ）は、本発明の第３の実施形態によるエンコーダから出力されるビット・ストリームの一例を示し、（ｂ）は、本発明の第４の実施形態によるエンコーダから出力されるビット・ストリームの一例を示す。
【図７】  本発明の第５の実施形態によるエンコーダから出力されるビット・ストリームの一例を示す。
【図１】
0005007012.tif 000003
【図２】
0005007012.tif 000004
【図３】
0005007012.tif 000005
【図４】
0005007012.tif 000006
【図５】
0005007012.tif 000007
【図６】
0005007012.tif 000008
【図７】
0005007012.tif 000009