(57)【要約】【課題】ＩＤＣＴミスマッチの短時間蓄積を発生させ得るビットストリームが入力された場合にも、誤差の蓄積が除去された復号画像を出力することのできる動画像復号方法を提供すること【解決手段】本発明の動画像復号方法は、フレーム間予測と２次元ＤＣＴを利用する符号化方式で圧縮された動画像のビットストリームを受信し、これを復号して得られた情報に基づいて生成したフレーム間予測画像と、ＤＣＴ係数に２次元ＩＤＣＴを行って生成したブロック単位の予測残差を加算した結果から、復号画像を生成する動画像復号方法であって、予測残差が微小であるか否かを判定する判定工程と、判定工程で予測残差が微小であると判定したブロックに対してはフレーム間予測画像を復号画像とし、その他のブロックに対してはフレーム間予測画像と予測残差を加算して復号画像を求める選択工程を備える。【選択図】図３
2008278000.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測と２次元ＤＣＴを利用する符号化方式で圧縮された動画像のビットストリームを受信し、これを復号して得られた情報に基づいて生成したフレーム間予測画像と、ＤＣＴ係数に２次元ＩＤＣＴを行って生成したブロック単位の予測残差を加算した結果から、復号画像を生成する動画像復号方法であって、
予測残差が微小であるか否かを判定する判定工程と、
前記判定工程で予測残差が微小であると判定したブロックに対してはフレーム間予測画像を復号画像とし、その他のブロックに対してはフレーム間予測画像と予測残差を加算して復号画像を求める選択工程を備えることを特徴とする動画像復号方法。
【請求項２】
前記選択工程では、前記判定工程で予測残差が微小であると判定したブロックに対しては、予測残差を０に置換し、この０に置換された予測残差とフレーム間予測画像を加算して復号画像を求めることを特徴とする請求項１に記載の動画像復号方法。
【請求項３】
前記判定工程では、整数化前のＩＤＣＴ出力信号から計算された最大値ノルムが閾値以下であるブロックを予測残差が微小と判定し、前記閾値は0.5以上であることを特徴とする請求項１に記載の動画像復号方法。
【請求項４】
前記判定工程では、ＤＣＴ係数から計算されたノルムまたは非零成分個数の１種類以上の指標の組が、所定の集合に含まれるブロックを予測残差が微小と判定することを特徴とする請求項１に記載の動画像復号方法。
【請求項５】
前記判定工程では、ＤＣＴ係数に含まれる非零成分個数が１であり、非零成分の大きさが第１の閾値以下であるブロックを予測残差が微小と判定することを特徴とする請求項１に記載の動画像復号方法。
【請求項６】
前記第１の閾値が、該当するＤＣＴ係数から生成された２次元ＩＤＣＴ出力の最大値ノルムが第２の閾値以下になるように、非零成分の次数毎に設定されることを特徴とする請求項５に記載の動画像復号方法。
【請求項７】
前記第１の閾値が、最大値ノルムが第２の閾値以下の２次元ＩＤＣＴ出力を得るＤＣＴ係数が全て微小と判定されるように、非零成分の次数によらず一様に設定されることを特徴とする請求項５に記載の動画像復号方法。
【請求項８】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定工程では、量子化係数の大きさが第３の閾値よりも大きいブロックに対しては前記判定を省略し、フレーム間予測画像と予測残差の加算結果から復号画像を求めることを特徴とする請求項１，４，５のいずれかひとつに記載の動画像復号方法。
【請求項９】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定工程では、量子化係数に関するノルムまたは非零成分個数の１種類以上の指標の組が、量子化ステップに応じて設定された範囲内にあるブロックを予測残差が微小であると判定することを特徴とする請求項１に記載の動画像復号方法。
【請求項１０】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定工程では、量子化ステップが第３の閾値以下であり、非零成分の個数が１以下であり、非零成分の大きさが第４の閾値以下であるブロックを予測残差が微小であると判定し、他のブロックは微小でないと判定することを特徴とする請求項１に記載の動画像復号方法。
【請求項１１】
前記第３の閾値が１である請求項１０に記載の動画像復号方法。
【請求項１２】
前記第４の閾値が、非零成分の次数によらず一様に１であることを特徴とする請求項１０に記載の動画像復号方法。
【請求項１３】
前記ブロックのサイズが８×８であり、
前記第４の閾値が、非零成分の次数が(0,0),(1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0), (0,1), (4,1), (0,2), (4,2),(0,3), (4,3), (0,4), (1,4), (2,4), (3,4), (4,4), (5,4), (6,4), (7,4), (0,5),(4,5), (0,6), (4,6), (0,7), (4,7)のいずれかである場合に１であり、その他の場合は０であることを特徴とする請求項１０に記載の動画像復号方法。
【請求項１４】
前記ブロックのサイズが８×８であり、
前記第４の閾値が、非零成分の次数が(0,0),(2,0), (4,0), (6,0), (0,2), (4,2), (0,4), (2,4), (4,4), (6,4), (0,6), (4,6)のいずれかである場合に１であり、その他の場合は０であることを特徴とする請求項１０に記載の動画像復号方法。
【請求項１５】
ＩＤＣＴ出力を整数化すると０になる予測残差を持つブロックに対しては、予測残差の判定を省略しフレーム間予測画像を復号画像とする請求項１，５，１０のいずれかひとつに記載の動画像復号方法。
【請求項１６】
フレーム間予測と２次元ＤＣＴを利用する符号化方式で圧縮された動画像のビットストリームを受信し、これを復号して得られた情報に基づいて生成したフレーム間予測画像と、ＤＣＴ係数に２次元ＩＤＣＴを行って生成したブロック単位の予測残差を加算した結果から、復号画像を生成する動画像復号装置であって、
予測残差が微小であるか否かを判定する判定手段と、
前記判定手段が予測残差が微小であると判定したブロックに対してはフレーム間予測画像を復号画像とし、その他のブロックに対してはフレーム間予測画像と予測残差を加算して復号画像を求める選択手段を備えることを特徴とする動画像復号装置。
【請求項１７】
前記選択手段は、前記判定手段が予測残差が微小であると判定したブロックに対しては、予測残差を０に置換し、この０に置換された予測残差とフレーム間予測画像を加算して復号画像を求めることを特徴とする請求項１６に記載の動画像復号装置。
【請求項１８】
前記判定手段は、整数化前のＩＤＣＴ出力信号から計算された最大値ノルムが閾値以下であるブロックを予測残差が微小と判定し、前記閾値は0.5以上であることを特徴とする請求項１６に記載の動画像復号装置。
【請求項１９】
前記判定手段は、ＤＣＴ係数から計算されたノルムまたは非零成分個数の１種類以上の指標の組が、所定の集合に含まれるブロックを予測残差が微小と判定することを特徴とする請求項１６に記載の動画像復号装置。
【請求項２０】
前記判定手段は、ＤＣＴ係数に含まれる非零成分個数が１であり、非零成分の大きさが第１の閾値以下であるブロックを予測残差が微小と判定することを特徴とする請求項１６に記載の動画像復号装置。
【請求項２１】
前記第１の閾値が、該当するＤＣＴ係数から生成された２次元ＩＤＣＴ出力の最大値ノルムが第２の閾値以下になるように、非零成分の次数毎に設定されることを特徴とする請求項２０に記載の動画像復号装置。
【請求項２２】
前記第１の閾値が、最大値ノルムが第２の閾値以下の２次元ＩＤＣＴ出力を得るＤＣＴ係数が全て微小と判定されるように、非零成分の次数によらず一様に設定されることを特徴とする請求項２０に記載の動画像復号装置。
【請求項２３】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定手段は、量子化係数の大きさが第３の閾値よりも大きいブロックに対しては前記判定を省略し、フレーム間予測画像と予測残差の加算結果から復号画像を求めることを特徴とする請求項１６，１９，２０のいずれかひとつに記載の動画像復号装置。
【請求項２４】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定手段は、量子化係数に関するノルムまたは非零成分個数の１種類以上の指標の組が、量子化ステップに応じて設定された範囲内にあるブロックを予測残差が微小であると判定することを特徴とする請求項１６に記載の動画像復号装置。
【請求項２５】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定手段は、量子化ステップが第３の閾値以下であり、非零成分の個数が１以下であり、非零成分の大きさが第４の閾値以下であるブロックを予測残差が微小であると判定し、他のブロックは微小でないと判定することを特徴とする請求項１６に記載の動画像復号装置。
【請求項２６】
前記第３の閾値が１である請求項２５に記載の動画像復号装置。
【請求項２７】
前記第４の閾値が、非零成分の次数によらず一様に１であることを特徴とする請求項２５に記載の動画像復号装置。
【請求項２８】
前記ブロックのサイズが８×８であり、
前記第４の閾値が、非零成分の次数が(0,0),(1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0), (0,1), (4,1), (0,2), (4,2),(0,3), (4,3), (0,4), (1,4), (2,4), (3,4), (4,4), (5,4), (6,4), (7,4), (0,5),(4,5), (0,6), (4,6), (0,7), (4,7)のいずれかである場合に１であり、その他の場合は０であることを特徴とする請求項２５に記載の動画像復号装置。
【請求項２９】
前記ブロックのサイズが８×８であり、
前記第４の閾値が、非零成分の次数が(0,0),(2,0), (4,0), (6,0), (0,2), (4,2), (0,4), (2,4), (4,4), (6,4), (0,6), (4,6)のいずれかである場合に１であり、その他の場合は０であることを特徴とする請求項２５に記載の動画像復号装置。
【請求項３０】
ＩＤＣＴ出力を整数化すると０になる予測残差を持つブロックに対しては、予測残差の判定を省略しフレーム間予測画像を復号画像とする請求項１６，２０，２５のいずれかひとつに記載の動画像復号装置。
【請求項３１】
フレーム間予測と２次元ＤＣＴを利用する符号化方式で圧縮された動画像のビットストリームを受信し、これを復号して得られた情報に基づいて生成したフレーム間予測画像と、ＤＣＴ係数に２次元ＩＤＣＴを行って生成したブロック単位の予測残差を加算した結果から、復号画像を生成する動画像復号プログラムであって、
コンピュータに、
予測残差が微小であるか否かを判定する判定処理と、
前記判定処理で予測残差が微小であると判定したブロックに対してはフレーム間予測画像を復号画像とし、その他のブロックに対してはフレーム間予測画像と予測残差を加算して復号画像を求める選択処理を実行させることを特徴とする動画像復号プログラム。
【請求項３２】
前記選択処理では、前記判定処理で予測残差が微小であると判定したブロックに対しては、予測残差を０に置換し、この０に置換された予測残差とフレーム間予測画像を加算して復号画像を求めることを特徴とする請求項３１に記載の動画像復号プログラム。
【請求項３３】
前記判定処理では、整数化前のＩＤＣＴ出力信号から計算された最大値ノルムが閾値以下であるブロックを予測残差が微小と判定し、前記閾値は0.5以上であることを特徴とする請求項３１に記載の動画像復号プログラム。
【請求項３４】
前記判定処理では、ＤＣＴ係数から計算されたノルムまたは非零成分個数の１種類以上の指標の組が、所定の集合に含まれるブロックを予測残差が微小と判定することを特徴とする請求項３１に記載の動画像復号プログラム。
【請求項３５】
前記判定処理では、ＤＣＴ係数に含まれる非零成分個数が１であり、非零成分の大きさが第１の閾値以下であるブロックを予測残差が微小と判定することを特徴とする請求項３１に記載の動画像復号プログラム。
【請求項３６】
前記第１の閾値が、該当するＤＣＴ係数から生成された２次元ＩＤＣＴ出力の最大値ノルムが第２の閾値以下になるように、非零成分の次数毎に設定されることを特徴とする請求項３５に記載の動画像復号プログラム。
【請求項３７】
前記第１の閾値が、最大値ノルムが第２の閾値以下の２次元ＩＤＣＴ出力を得るＤＣＴ係数が全て微小と判定されるように、非零成分の次数によらず一様に設定されることを特徴とする請求項３５に記載の動画像復号プログラム。
【請求項３８】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定処理では、量子化係数の大きさが第３の閾値よりも大きいブロックに対しては前記判定を省略し、フレーム間予測画像と予測残差の加算結果から復号画像を求めることを特徴とする請求項３１，３４，３５のいずれかひとつに記載の動画像復号プログラム。
【請求項３９】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定処理では、量子化係数に関するノルムまたは非零成分個数の１種類以上の指標の組が、量子化ステップに応じて設定された範囲内にあるブロックを予測残差が微小であると判定することを特徴とする請求項３１に記載の動画像復号プログラム。
【請求項４０】
ＤＣＴ係数をビットストリームから得られた量子化係数の逆量子化によって求め、
前記判定処理では、量子化ステップが第３の閾値以下であり、非零成分の個数が１以下であり、非零成分の大きさが第４の閾値以下であるブロックを予測残差が微小であると判定し、他のブロックは微小でないと判定することを特徴とする請求項３１に記載の動画像復号プログラム。
【請求項４１】
前記第３の閾値が１である請求項４０に記載の動画像復号プログラム。
【請求項４２】
前記第４の閾値が、非零成分の次数によらず一様に１であることを特徴とする請求項４０に記載の動画像復号プログラム。
【請求項４３】
前記ブロックのサイズが８×８であり、
前記第４の閾値が、非零成分の次数が(0,0),(1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0), (0,1), (4,1), (0,2), (4,2), (0,3),(4,3), (0,4), (1,4), (2,4), (3,4), (4,4), (5,4), (6,4), (7,4), (0,5), (4,5),(0,6), (4,6), (0,7), (4,7)のいずれかである場合に１であり、その他の場合は０であることを特徴とする請求項４０に記載の動画像復号プログラム。
【請求項４４】
前記ブロックのサイズが８×８であり、
前記第４の閾値が、非零成分の次数が(0,0),(2,0), (4,0), (6,0), (0,2), (4,2), (0,4), (2,4), (4,4), (6,4), (0,6), (4,6)のいずれかである場合に１であり、その他の場合は０であることを特徴とする請求項４０に記載の動画像復号プログラム。
【請求項４５】
ＩＤＣＴ出力を整数化すると０になる予測残差を持つブロックに対しては、予測残差の判定を省略しフレーム間予測画像を復号画像とする請求項３１，３５，４０のいずれかひとつに記載の動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６１，Ｈ．２６３等の標準方式で符号化された動画像ストリームを復号する方法、装置ならびにプログラムに関するもので、具体的には、動画像の符号化側と復号化側におけるＩＤＣＴ（逆離散コサイン変換)の実装の差異により生じるＩＤＣＴミスマッチ誤差の過度の蓄積を防止し、復号画像の劣化を防止する動画像復号方法、装置ならびにプログラムに関する。
【背景技術】
【０００２】
デジタル化された動画像データを効率良く圧縮符号化するために、フレーム間予測符号化、ＤＣＴ（離散コサイン変換）／逆離散コサイン変換、量子化、可変長符号化等の相関除去／情報圧縮技術を組み合わせた符号化方法が広く利用されている。その代表例として、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）で標準規格化されたＭＰＥＧ−１，２，４方式、ＩＴＵ−Ｔで勧告化されたＨ．２６１，Ｈ．２６３方式がある。
【０００３】
＜ＩＤＣＴミスマッチ＞
これらの標準化符号化方式を利用して動画像伝送を行う際の課題として、符号化側と復号化側で用いるＩＤＣＴの不一致により生じるＩＤＣＴミスマッチ誤差の問題がある。これは、符号化装置および復号化装置の実装を必要以上に困難化させないために、前記の標準方式が利用するＩＤＣＴの計算精度への要求を緩和しているために生じる誤差である。具体的には、非特許文献１（ＭＰＥＧ−４の場合は非特許文献２ Ａｎｎｅｘ Ａにも規定あり）に条件が定義されており、実数版のリファレンスＩＤＣＴの出力と数値が一致しなくても、リファレンスに対する差分の最大値や平均値等の指標が基準を満たすならば、そのＩＤＣＴは規格準拠であるとしている。
【０００４】
１回のＩＤＣＴ計算で生じるミスマッチ誤差は高々１であって、誤差が生成される確率も高くならないよう規定されている。このため、１回のピクチャ符号化で生じるＩＤＣＴミスマッチが大きな問題になることはない。しかしながら、フレーム間予測を利用して動画像の符号化を行う場合、各ピクチャで発生したミスマッチ誤差が加算されて後続ピクチャにも伝播するため、このような誤差蓄積による復号画像の劣化が大きくならないよう対策が必要である。
【０００５】
ミスマッチ制御は有力な一つの対策である。これは、復号画像の生成規則に手を加え、予測残差信号を計算する際のＩＤＣＴにおいて、入力信号に奇数化と呼ばれる信号補正を行うことで、ミスマッチ誤差が生じやすい出力信号の生成を確率的に抑える工夫である。ミスマッチ制御は、ＭＰＥＧ−２、４などの標準符号化方式に既に導入されており、ミスマッチ誤差の蓄積を遅くする効果が得られている。
【０００６】
しかしながら、ミスマッチ制御は発生する誤差を０にする手法ではないため、その効果には限界がある。このため、蓄積されたＩＤＣＴミスマッチ誤差が視覚的に目立つ前にイントラリフレッシュ（フレーム内符号化を行うことで、誤差の伝播を断ち切ること）を挿入する対策が行われている。また、Ｈ．２６３方式では、各マクロブロックについて１３２枚に１回以上はフレーム内符号化を行い、予測が連続しないよう制限する規則が含まれている（非特許文献３  ４．４章）。
【０００７】
＜静止シーンにおいて顕著なＩＤＣＴミスマッチの蓄積が生じる問題＞
ＩＤＣＴミスマッチ誤差により生成されたノイズが目立ちやすい状況は、時間変化の少ない静止シーンを小さい量子化ステップで符号化した場合である。この理由は、全体的に変化の乏しい画像中では微小な変化であっても感知されやすいことと、小さい量子化ステップサイズで符号化すると入力画像に加わったノイズを切り捨てられないため、常に何らかの差分信号が符号化されて、それに伴い生じるミスマッチ誤差の頻度も増加するためである。
【０００８】
このような状況の中で、特に顕著なＩＤＣＴミスマッチ誤差の蓄積をもたらす現象として、これから説明する一つの状況が知られている。符号化側と復号化側がこの状況に陥ると、固定化されたＩＤＣＴミスマッチ誤差が毎ピクチャ継続的に生成され、これが短時間で蓄積するため非常に強いノイズが復号画像に含まれる。
【０００９】
この問題現象の発生状況を、図１１（ａ）を参照しながら説明する。
・符号化側における入力画像は完全静止である（fSRC一定）。
・符号化側は、入力画像fSRCとローカル復号画像fENCの差分ΔfENCにＤＣＴおよび量子化を行って得られた量子化係数ΔQFを符号化する。静止シーンであるためΔQFは微小であるが、量子化ステップに小さい値（例えばＱＰ＝１）が設定されているため、ΔQFは０以外の成分を含む。しかしながら、非常に小さい値であるために、符号化側内部で逆量子化とＩＤＣＴを行って得られる出力ΔfENCは整数化を行うと０になる。結果的に、符号化側のローカル復号画像fENCは更新されない。
・復号側で逆量子化、ＩＤＣＴにより得られる予測残差ΔfDECは、ＩＤＣＴミスマッチのため符号化側のΔfENCに一致せず、０以外の成分（±１）を含む信号が得られる。このため、復号側で得られる画像信号fDECは１ずつ信号値が変化する。
上記状態で、静止シーンが数秒継続すると、復号側では固定パタンの大きさ１の誤差が数十回以上加算されるため、入力画像から大きく離れた信号が生成される（図１１（ｂ）グラフ参照）。このように生成された強いノイズは非常に目立ち、復号画像の品質を低下させる。
【００１０】
ＭＰＥＧ−４の７．４．４．５章ＮＯＴＥ２は、このようなＩＤＣＴミスマッチ誤差の短時間蓄積を防止するための対策である。このＮＯＴＥは、問題の信号がビットストリームに含まれないように符号化側の動作を制約するもので、量子化されたＤＣＴ係数ΔQFが０以外であるにもかかわらず、符号化側内部のＩＤＣＴにより予測残差ΔfENCが０になる信号の出力を禁止する。符号化側がこの規則に従い、該当する信号が得られた場合に出力ΔQFを０に置換する処理を行えば、このようなミスマッチ誤差の問題は発生しなくなる。
【００１１】
しかしながら、ＮＯＴＥ２規定は符号化側に推奨される規則であって、これを遵守することはＭＰＥＧ−４準拠の要件として規定されていない。このため、符号化側が対策を行わない限り、復号化側でこの問題の発生を完全に防止することは不可能である。これは他の符号化方式を用いても同様である。
【００１２】
図１２は、従来の動画像復号装置の典型的な構成を示す図である。本発明に関係するインタータイプのマクロブロック復号処理を実行する手段のみを模式的に記載し、イントラマクロブロック用の処理手段について記載を省略してある。この従来例は、入力されたビットストリームをＭＰＥＧ−４のストリーム記述規則に従い復号する復号手段１０１、復号されたＤＣＴ係数に対して２次元ＩＤＣＴを行うＩＤＣＴ手段１０２、復号結果に従いフレーム間予測画像を生成する予測画像生成手段１０４、ＩＤＣＴ処理後の予測残差と予測画像の加算により復号画像を求める加算手段１０３、後続ピクチャの符号化に用いる参照画像を提供するピクチャ格納メモリ１０５を含む。これらの適切な動作により、ＭＰＥＧ−４の定義通りの復号画像がピクチャ格納メモリ１０５に出力される。
【００１３】
ここで、ＩＤＣＴ手段１０２の備える２次元ＩＤＣＴはＭＰＥＧ−４ Ａｎｎｅｘ Ａで定義された精度基準を満たす。しかしながら、前記したようにＭＰＥＧ−４の７．４．４．５章ＮＯＴＥ２の推奨規定を守らない符号化手段によって静止シーンが符号化されたストリームを入力し、いくつかの条件が成立した場合、ＩＤＣＴミスマッチの短時間蓄積現象が発生し、著しい乱れを含む復号画像が得られることがある。
【００１４】
【非特許文献１】"IEEE Std1180-1990: IEEE Standard Specifications for the Implementation of 8x8 InverseDiscrete Cosine Transform"、１９９０年１２月６日、pp7-12
【非特許文献２】"ISO/IEC14496-2: Information Technology Coding of audio visual objects, Part 2 Visual"、２００４年６月１日、pp246,441-442
【非特許文献３】"ITU-TRecommendation H.263: Video coding for low bit rate communication"、２００５年１月、pp13
【発明の開示】
【発明が解決しようとする課題】
【００１５】
前記した静止シーンの符号化時に発生し得るＩＤＣＴミスマッチ誤差の短時間蓄積現象は非常に目立つノイズを復号画像に生じさせるため、これを防止する対策の必要性は高い。しかしながら、ＭＰＥＧ−４ ７．４．４．５章ＮＯＴＥ２に規定された対策は、符号化側がこれを実施しない限り問題の発生を防止することは不可能であり、しかもこの対策は規格で必須とされていない。そこで、符号化側における対策の有無に関わらず、復号化側で実施可能なＩＤＣＴミスマッチ蓄積現象の防止手法があると望ましい。
【００１６】
よって、本発明の第１の課題は、フレーム間予測とＤＣＴを利用する動画像符号化方式に基づいて圧縮されたビットストリームを復号する動画像復号方法であって、微小なフレーム間予測残差を含むために、ＩＤＣＴミスマッチの短時間蓄積を発生させ得るビットストリームが入力された場合にも、このような誤差の蓄積が除去された復号画像を出力することのできる動画像復号方法を提供することである。
【００１７】
本発明の第２の課題は、少ない計算量増加で前記課題を解決する動画像復号方法を提供することである。
【課題を解決するための手段】
【００１８】
本発明の動画像復号方法は、フレーム間予測と２次元ＤＣＴを利用する符号化方式で圧縮された動画像のビットストリームを受信し、これを復号して得られた情報に基づいて生成したフレーム間予測画像と、ＤＣＴ係数に２次元ＩＤＣＴを行って生成したブロック単位の予測残差を加算した結果から、復号画像を生成する動画像復号方法であって、予測残差が微小であるか否かを判定する判定工程と、判定工程で予測残差が微小であると判定したブロックに対してはフレーム間予測画像を復号画像とし、その他のブロックに対してはフレーム間予測画像と予測残差を加算して復号画像を求める選択工程を備えることを特徴とする。
【００１９】
本発明の、動画像復号装置及び動画像復号プログラムによっても上記動画像復号方法と同様に上記課題を解決することができる。
【発明の効果】
【００２０】
本発明によればは、ＩＤＣＴミスマッチの短時間蓄積をもたらす可能性のある微小な予測残差信号をビットストリームの復号時に検出し、微小な信号を持つ画像ブロックに対しては予測残差が０であるとみなして復号画像を生成するため、前記ミスマッチ蓄積問題の発生を起こさない動画像復号が可能である。
【発明を実施するための最良の形態】
【００２１】
まず、ＩＤＣＴミスマッチの短時間蓄積現象の詳細と、本発明の原理について説明する。
＜ＩＤＣＴミスマッチの短時間蓄積現象の詳細＞
静止シーンの符号化時にＩＤＣＴミスマッチが短時間で蓄積される現象の発生条件を分析する。図１に示すように、復号化側がビットストリームを復号して得られるブロック単位の量子化係数をQF(u,v)、逆量子化後の信号をF(u,v)、ＩＤＣＴを行って整数化する前の信号をfDEC(i,j)、これを整数化した出力をIfDEC (i,j)と記述する。また、符号化側がF (u,v)にＩＤＣＴを行って得られる整数化前の出力をfENC(i,j)、整数化後の出力をIfENC (i,j)と記述する。
【００２２】
(u,v)はＤＣＴ係数の次数（周波数の添字）を表し、ＩＤＣＴの処理単位が８×８画素であるとすると、 u, vはそれぞれ0,1,...,7の値をとる。(i,j)は画素の座標を表し、i, jは0,1,...,7の値をとる。
【００２３】
F(u,v)に対して実数精度のリファレンスＩＤＣＴを行った結果をfREF(i,j)と記述する。一般にfENC(i,j)およびfDEC (i,j)はfREF(i,j)に一致せず、規定された範囲内の実装誤差eDEC(i,j)が含まれる。
【００２４】
ここで、fREF(i,j)を８×８個の成分を持つ実ベクトルであるとみなしたときの最大値ノルム（最大の大きさを持つ成分の絶対値、数式１参照）|| fREF||∞をｄREFと記述する。同様に、fENC(i,j)およびfDEC (i,j)の最大値ノルムをｄENC，ｄDECと記述する。
【００２５】
問題とするミスマッチ蓄積は、ある画像ブロックに対して復号された予測残差信号が下記（１）、（２）の条件を連続的に満たす場合に発生する。
（１）全ての(i,j)に対して符号化側のＩＤＣＴ出力IfENC(i,j)=0
（２）１個以上の(i,j)に対して復号化側のＩＤＣＴ出力IfDEC(i,j)≠0
これらの条件は、前記した最大値ノルムを用いると次のように表記できる。
（１）ｄENC＜0.5
（２）ｄDEC≧0.5
ｄENCおよびｄDECは共にリファレンス出力のノルムｄREFに近い値をとるはずであるから、条件（１）、（２）が成立する場合はｄREFが0.5付近の値を持つ必要があることが分かる。ｄREFが0.5付近の値であり、ｄENCに負の実装誤差が、ｄDECに正の実装誤差が加わって条件（１）、（２）を成立する状態が継続すると、ＩＤＣＴミスマッチ誤差が短時間で蓄積する現象が発生する。
【００２６】
このような現象が起こる具体例を示す。符号化方式として、ＭＰＥＧ−４のＳｉｍｐｌｅ Ｐｒｏｆｉｌｅを用い、Pタイプのマクロブロック符号化が行われるとし、次の性質(A),(B),(C)を満たすフレーム間予測の残差信号が符号化される場合を考える。
(A)  量子化ステップQP=1である。
(B) 量子化ＤＣＴ係数QF(u,v)は非零成分を(u,v)に１個持つ。(u,v)以外の成分は０である。
(C) 非零成分QF(u,v)の値は１または−１である。
このような信号に対して、ｄREFを計算した結果を図３に示す。ｄREFは(u,v)に依存するため、横方向にuを縦方向にｖを対応させた表としてｄREFの値を示してある。
【００２７】
非零成分の次数(u,v)が図３◇印に該当する場合、最大値ノルムｄREFは0.490であり、0.5よりわずかに小さい。この信号に対してリファレンスＩＤＣＴ（整数化を含む）は、全て０の信号を出力するが、ＩＤＣＴの実装によってはｄ≧0.5となり０以外の信号が出力される。このため、符号化側にリファレンスＩＤＣＴを、復号化側に前記信号を０以外に変換する実装のＩＤＣＴを用いた場合に、問題を引き起こす微小な予測残差を符号化すると問題のミスマッチ蓄積現象が発生する。
【００２８】
別のパタンとして、非零成分の次数(u,v)が図３の○印に該当する場合、ｄREFは0.520である。この信号に対して、リファレンスＩＤＣＴは、非零成分を含む予測残差出力を生成するが、ＩＤＣＴの実装によっては、ｄ＜0.5となるために全成分が０の出力が得られる場合がある。このため、符号化側でこのようなＩＤＣＴ実装を用い、復号化側でリファレンスＩＤＣＴを用いる場合に、問題のミスマッチ蓄積現象が発生することがある。
【００２９】
＜本発明の原理＞
前記の分析から、ＩＤＣＴミスマッチの短時間蓄積を引き起こす予測残差信号は、ＩＤＣＴ出力の最大値ノルムｄ（ｄDECまたはｄREFのうち計算しやすい方で構わない）が0.5付近の値を持つことが分かった。そこで、本発明では、0.5以上のマージンを含む閾値Ｔｄを設定し、ｄ≦Ｔｄなる予測残差を持つ画像ブロックに対しては、復号側のＩＤＣＴ結果が確実に０になるよう動画像復号方法の動作を修正すれば、問題の発生を防止可能である。
【００３０】
具体的には、本発明に従う動画像復号方法は、ＩＤＣＴミスマッチの短時間蓄積を起こし得る微小な予測残差をＩＤＣＴの処理ブロック単位で検出する判定処理を復号処理中に行い、微小であると判定した画像ブロックに対しては、残差信号が０であるとみなして復号画像を生成し、その他の画像ブロックに対しては復号された残差を用いて通常の復号画像を生成する。
【００３１】
予測残差の微小判定は、前記した条件式ｄ≦Ｔｄ、または該当信号を容易に検出するために条件式ｄ≦Ｔｄを緩和させて得られた必要条件（必要性が重要であり十分性は強く要求されない）を満たす残差を微小とみなす判定とする。
【００３２】
本発明は、問題を発生させ得る微小残差を全て０に置換するため、ストリームを生成した符号化手段が図１１で示す状態であった場合に、復号側で得られる画像信号が符号化された画像から大きく離れる問題は起こらなくなる。
【００３３】
また、その他の微小でない残差を持つブロックに対しては、規格通りの復号処理を行うので、このように対策不要なストリーム入力に対して、本発明が新たな復号画像の誤差問題を引き起こすことはない。
【００３４】
効果の代償として、実際には問題を発生させないが、微小であるために０に置換された予測残差を持つブロックに対して、標準定義と異なる復号画像が得られる問題が心配される。しかしながら、検出条件が微小な範囲に限定されていれば、下記理由からこの誤差が問題になることはない。
・静止シーン以外で該当する微小信号が連続生成される確率は低い。
・静止シーンで微小な予測残差を０とみなすことで復号画像に生じる誤差は僅かであり、無視できる程度である。場合によっては、（短時間蓄積とは異なる）通常のＩＤＣＴミスマッチが軽減されることもある。
【００３５】
＜予測残差の微小判定条件の具体例＞
ＩＤＣＴミスマッチの短時間蓄積を起こし得る予測残差を検出する条件式として有効なものを例示する。最も基本的な条件として、前述したf(i,j)(fはfREFまたはfDECのいずれか)の最大値ノルムｄで判定を行う条件式１がある。
条件式１  ｄ≦Ｔｄ
【００３６】
次に、これをＩＤＣＴ前の信号Ｆ(i,j)で判定する方法が考えられる。一般的には条件式１と等価な条件式を求めることはできないので、条件式２のようにＦの大きさの評価指標をK個計算し（Kは１以上の整数)、計算された指標の組（D1, D2,…, DK）が集合ＲＤに含まれるかどうかで判定を行う。Ｆの大きさを評価する指標としては、最大値ノルム（数式１）や正の実数ｐに対して定義されたｐ乗ノルム（数式２）、あるいはＦに含まれる非零成分の個数ｎといった指標を用いるのが一例である。集合ＲＤは、条件式１を満たす信号をなるべく多く含むように設定する。
条件式２  (Ｄ1, Ｄ2,…,ＤK)∈RＤ
【数１】
2008278000.tif 000003
【数２】
2008278000.tif 000004
【００３７】
ＭＰＥＧ−４で一様量子化を行う場合やデフォルトマトリックスを用いる場合など、条件１を満たす信号は、非零成分の個数ｎが１以下に限定されることがある。この場合は、ｎと非零成分Fの大きさによって判定するのが一つの例である。Fに関する閾値ＴＦは非零成分の次数(u,v)に応じて決めてもよいし、(u,v)によらない若干大きい値を設定するのも一つの方法である。
【００３８】
最後に、量子化後のＤＣＴ係数ではなく逆量子化前の係数ＱＦで微小判定を行う方法がある。例えば、条件式４は、条件式２と同様にQFから計算したＫ個の指標（D1’, D2’,…, DK’）が満たす条件式であり、集合ＲＤ’(QP)は量子化ステップQPに応じて適切な集合が設定される。ステップQPが大きい場合は該当する微小信号が含まれないことがあるので、この判定をQP≦TQPで行っている。条件式５は同様に、条件式３に基づく判定をQFを参照するように修正した条件式である。
条件式３  ｎ＝０ OR (ｎ＝１ AND |F|≦ＴＦ(u,v)）
条件式４  QP≦TQP AND (Ｄ1’, Ｄ2’,…, ＤK’）∈RＤ’(QP)
条件式５  QP≦TQP AND (ｎ＝０ OR (ｎ＝１ AND |QF|≦ＴQF(u,v,QP))
【００３９】
以上示したような、ＩＤＣＴミスマッチが短時間で蓄積される必要条件を表す条件式１、または、この条件を近似的に表す条件式２〜５を用いて微小な予測残差の検出を判定を行うことで、本発明のミスマッチ蓄積防止効果を得ることができる。また、条件式３、５は、ノルムの計算が不要であるため、判定に要する計算量が少なくて済む。条件式４、５は、ＱＰが小さい場合にのみ、判定処理を行えばよいので、多くの場合に判定に要する計算量を少なくすることが可能である。
【００４０】
以下、図面を参照して本発明を実施するための最良の形態について説明する。
＜全ての実施形態に共通する事項＞
はじめに全ての実施形態に共通する事項を説明する。本発明は、動き補償等のフレーム間予測に基づいて得られた予測画像と２次元ＩＤＣＴにより計算された予測残差信号の加算により、復号画像を求める動画像復号方法に適用可能である。ＭＰＥＧ−１，２，４，Ｈ．２６１，Ｈ．２６３等の標準方式がこれに該当するが、ここでは一例として、ＭＰＥＧ−４方式で符号化されたビットストリームの復号処理に本発明を適用して得られる動画像復号装置について説明する。
【００４１】
図３は、本発明を適用して得られる動画像復号装置を示す模式図である。ここで本実施形態に従う装置が含む処理手段１０１〜１０５は、図１２に記した従来例の処理手段１０１〜１０５と同等の動作を行う。本実施形態はこれらに加えて、入力ビットストリームまたはその復号結果もしくは２次元ＩＤＣＴの計算で得られた中間信号をもとに、復号中のブロックの予測残差が微小であるか判定する判定手段１０６、判定結果に従いピクチャ格納メモリ１０５に出力する画像信号を予測画像と残差を加算した画像の２つから１つを選択する選択手段１０７を備える。
【００４２】
判定手段１０６および選択手段１０７による微小判定処理と復号画像の選択処理は、ＩＤＣＴ計算の単位ブロックで行われる。単位ブロックは、ＭＰＥＧ−４を用いる本実施形態では８×８画素の輝度信号または色差信号である。判定手段１０６が、処理中ブロックの予測残差信号が微小であると判定した場合、選択手段１０７は予測残差を０に置換して得られる復号画像、すなわちフレーム間予測画像をピクチャ格納メモリ１０５に出力する。微小でないと判定した場合は、予測画像生成手段１０４が出力する標準通りの復号によって得られた画像を出力する。
【００４３】
上記の各手段は、ソフトウェアとして実装することもハードウェアとして実装することもできる。
【００４４】
この復号装置の動作は、問題のＩＤＣＴミスマッチ蓄積を起こす可能性の高い微小な予測残差を０として扱って復号画像を求めることに相当し、これは前述したように、ミスマッチの短時間蓄積現象の発生を防止する効果がある。
【００４５】
なお、上記動作において復号により得られたＤＣＴ係数が全て０であって非零成分が１個も存在しない場合については、選択手段１０７で予測画像をそのまま出力しても、ＩＤＣＴにより得られた予測残差を加算しても結果は同一である。よって、このようなブロックの処理に関しては、ＩＤＣＴ手段１０２、判定手段１０６を機能させた上で、選択手段１０７から予測画像を選択出力するように動作させても構わないし、あるいはＩＤＣＴ手段１０２、判定手段１０６を停止し、無条件で予測画像が出力されるようにするのも一つの実施形態である。
【００４６】
判定手段１０６が行う判定処理の詳細は、実施形態により異なるため、個別説明を行う。ここで前記した全係数が０であるブロックの扱いについては、説明を簡略化するため、判定手段１０６を停止させる実装方法を仮定して説明する。このため、判定手段１０６の動作説明において、処理中の画像ブロックは１個以上の非零ＤＣＴ係数あるいは非零量子化係数を含むとする。
【００４７】
＜第１実施形態＞
第１実施形態における判定手段１０６の詳細を図４に示す。判定手段１０６は、整数化前のＩＤＣＴ出力信号からノルムｄを計算するノルム計算手段１０８と、ｄを閾値Ｔｄと比較する閾値判定手段１０９を内部に備える。ノルムｄは、最大値ノルム（信号の絶対値のブロック内最大値）であるとする。
【００４８】
判定手段１０６の動作を図５に示す。この判定は８×８画素のＩＤＣＴ単位ブロック毎に行われる。
復号手段１０１およびＩＤＣＴ手段１０２からは、量子化ステップＱＰと整数化する前のＩＤＣＴ出力ｆ（ｉ，ｊ）を入力する（Ｓ５０１）。
微小判定は、量子化ステップＱＰが閾値ＴＱＰ以下である場合にのみ行うので、Ｓ７０２で比較処理を行い、ＱＰ＞ＴＱＰの場合は以降の判定を省略しＳ５０６に進む。
ＱＰ≦ＴＱＰの場合、ＩＤＣＴ出力のノルムｄを計算し（Ｓ５０３）、次にｄと閾値Ｔｄの比較を行う（Ｓ５０４）。ｄ≦ＴｄならばＳ５０５に進み、復号画像として予測画像が出力されるように選択する信号を選択手段１０７に送出する。ｄ＞ＴｄならばＳ５０６に進み、予測残差を加算した通常の復号画像が出力されるよう選択信号を選択手段１０７に送出する。
【００４９】
閾値Ｔｄには、0.5、または、0.5にＩＤＣＴ誤差マージンを加えた値、例えば、0.6を設定するのが好適である。Ｔｄにより大きい値を設定すると、問題を引き起こす画像ブロックの検出能力が高まり、ＩＤＣＴの精度が悪い符号化手段で生成されたビットストリームに対してもミスマッチ短時間蓄積の発生を防止することが可能である。一方で、Ｔｄに過大な値を設定すると新たな復号誤差問題が生じる場合があるので、Ｔｄは高々１以下の範囲でバランス良く設定するのが好ましい。
【００５０】
閾値ＴＱＰに設定すべき値は、符号化時に用いた量子化の特性によって異なり（ＭＰＥＧ−４では一様量子化とマトリックスを用いる量子化の２種類が規定されている）、一様量子化が選択されている場合はＴＱＰ＝１が好適である。特殊な用途を除き、ＱＰ＝１のように小さい量子化ステップで圧縮符号化が行われる画像ブロックの個数は一般に少なく、これによりノルムｄの計算に要する処理時間や電力消費を抑えることが可能である。
【００５１】
一方、マトリックタイプの量子化が選択されている場合は、条件ｄ≦Ｔｄが起こり得る最大のＱＰを状況に合わせて設定するのが好適であり、設定された量子化マトリックスから該当するＱＰを計算するが一つの実施形態である。あるいは規格の制約から起こり得る最大のＱＰを固定しても構わなく、またデフォルトマトリックスの場合に限りＴＱＰ＝１とするのも一つの方法である。このような設定により、一様量子化の場合よりは効果は限定されるものの、本発明の実施に伴い増加する計算量を低減させることが可能である。
【００５２】
＜第２実施形態＞
第２実施形態における判定手段１０６の動作を図６に示す。
【００５３】
判定手段１０６は、復号手段１０１から処理中ブロックの量子化ステップＱＰ，非零ＤＣＴ係数の個数ｎ（≧１）、非零ＤＣＴ係数の値Ｆ，ｎ＝１の場合については非零ＤＣＴ係数の次数（ｕ，ｖ）を取得する（Ｓ６０１）。
量子化ステップＱＰの閾値判定を行い（Ｓ６０２）、ＱＰ＞ＴＱＰの場合は以降の判定を省略しＳ６０７に進む。
ＱＰ≦ＴＱＰの場合、非零ＤＣＴ係数の個数ｎを１と比較し（Ｓ６０３）、ｎ≦１ならば閾値ＴＦ（ｕ，ｖ）を表から取得してこれをＦと比較する（Ｓ６０４、Ｓ６０５）。|Ｆ|≦ＴＦ（ｕ，ｖ）が成立するならば、Ｓ６０６に進み予測画像が出力されるよう適切な選択信号を選択手段５０７に送出する。上記条件のいずれかが成立しない場合は、Ｓ６０７に進み予測残差が加算された信号が復号画像として出力されるように選択信号を選択手段５０７に送出する。
【００５４】
ここで、閾値ＴＱＰとして設定するのが好適な値は、実施形態１と同様であるため、説明を省略する。適切な値を設定することで、実施に伴う演算量を軽減可能である。
【００５５】
ＴＦ（ｕ，ｖ）には、値Ｌを持つ非零係数を（ｕ，ｖ）に持つＤＣＴ係数を変換して得られるＩＤＣＴ信号について、最大値ノルムを計算した結果ｄが閾値Ｔｄ以下であるためにＬの大きさが満たすべき境界条件の値を設定するのが好適である。ここで、閾値Ｔｄは実施形態１の説明と同様に0.5にＩＤＣＴ実装誤差のマージンを加えた値である。Ｔｄ＝0.6として、このようなＴＦ（ｕ，ｖ）を計算した結果を図７に示す。（ｕ，ｖ）により値が異なるので、８×８の表で示されており、横軸はｕの値に縦軸はｖの値に対応する。このようなＴＦ（ｕ，ｖ）を設定して微小判定を行うことで、ＩＤＣＴミスマッチの蓄積現象を引き起こすＤＣＴ信号を確実に検出して問題発生を防止することが可能である。また、ｄ＞Ｔｄとなる信号を微小とみなすこともないため、該当する信号以外を検出して復号時の誤差を大きくする副作用も発生しない。
【００５６】
他の設定例として、ＴＦ（ｕ，ｖ）に（ｕ，ｖ）によらない一様な値ＴＦを設定するのも一つの実施形態である。この場合ＴＦには、図９の最大値４．８０を設定するのが有効な例である。微小と判定する信号パタン数が増えるため、わずかに復号誤差が生じる恐れはあるが、非常に目立つミスマッチの短時間蓄積は確実に防止できる。また、ＴＦ（ｕ，ｖ）を記憶する表が不要になるため本発明の実施を容易にすることができる。
【００５７】
＜第３実施形態＞
第３実施形態における差判定手段１０６の動作を図８に示す。判定手段１０６の動作は、図６で説明した第２実施形態における判定手段１０６の動作とほぼ同じであるため、異なる動作のみを説明する。
【００５８】
第２実施形態との違いは、逆量子化後のＤＣＴ係数Ｆを閾値ＴF（ｕ，ｖ）と比較して微小判定を行っていたのが（Ｓ６０４，Ｓ６０５）、逆量子化前の係数ＱＦを閾値ＴQF（ｕ，ｖ，ＱＰ）と比較して微小判定を行う（Ｓ８０５）点である。ここで、閾値ＴQF（ｕ，ｖ，ＱＰ）は一般に量子化ステップに依存して決まるが、この例ではＴＱＰ＝１であるために、ＱＰ＝１の場合にのみ閾値ＴQF（ｕ，ｖ，ＱＰ）が参照される場合を考える。そこで、本実施形態の説明では、これをＴQF（ｕ，ｖ）と記述する。
【００５９】
本実施形態における好適なＴQF（ｕ，ｖ）設定値の例を図９の設定例（ａ）、（ｂ）、（ｃ）に示す。これらは、第２実施形態と同様に、ＩＤＣＴ後の信号の最大値ノルムｄが閾値Ｔｄ以下になる条件を、量子化前の信号（ＱＰ＝１，量子化タイプは一様量子化とする）に対する条件に変換して得られたものであり、（a），（ｂ）はＴｄ＝０．５，Ｔｄ＝０．５３の条件下で得られた結果、（c）は（ｕ，ｖ）によらずに判定を行うための設定値である。このような設定を行うことで第２実施形態と同様に、ＩＤＣＴミスマッチ誤差の短時間蓄積現象を防止する効果が得られる。
【００６０】
なお、一般的にはＴQF（ｕ，ｖ）には２以上の値を設定して判定をしても構わないが、図９の例のように、ＴQF（ｕ，ｖ）の値が０または１に限定される場合は、表を用いずに実装することも可能である。例えば、ＴQF（ｕ，ｖ）に図９の設定例（ｂ）を用いた場合の実装例を図１０に示す。
【００６１】
図８に示す動作における判定処理Ｓ８０４、Ｓ８０５が、図１０でＳ１００４、Ｓ１００５に置換される点を除き両者は同等である。表参照処理を省くかわりに、ＱＰ＞１の場合を場外する判定Ｓ１００４と、ＴQF（ｕ，ｖ）＝１なる（ｕ，ｖ）であるかを判定するＳ１００５が行われる。実施の形態にも依存するが、表を参照するための回路やプログラムの命令記述が減るため、発明実施のために増加する処理時間や回路規模の増加を抑えることが可能である。
【００６２】
図９の設定例（a），（c）の表を用いる場合は、Ｓ１２０５の判定条件を図９の３列目に記述した条件に置換すれば、これと同様に実施が可能である。特に図９の設定例（c）の場合は、Ｓ１００５の判定が不要になるため、さらに実施が容易である。
【００６３】
次に、本発明の効果について説明する。
以上述べたように本発明に従う動画像復号方法は、IDCTミスマッチの短時間蓄積をもたらす可能性のある微小な予測残差信号をビットストリームの復号時に検出し、微小な信号を持つ画像ブロックに対しては予測残差が０であるとみなして復号画像を生成するため、前記ミスマッチ蓄積問題の発生を起こさない動画像復号が可能である。微小判定条件に用いる閾値を適切な範囲に設定することで、無問題のストリームを復号した場合に起こり得る誤差の発生も最小限に抑えることが可能である。
【００６４】
また本発明は、復号化側における復号処理の工夫のみで実施が可能である。これは、一般的な符号化標準準拠の動画像符号化手段を用いて生成されたビットストリームを入力し復号を行う場合に、本発明を容易に適用できることを意味する。
【００６５】
本発明は、微小であるために問題を発生し得る残差信号の検出判定を、量子化ステップＱＰが閾値を越えない場合に限定して実行する。これにより判定処理の実行確率が小さくなるため、発明実施のために増加する演算量を小さく抑えることが可能である。また本発明は、量子化パラメータＱＰ、非零ＤＣＴ係数の個数、値、次数、あるいはＤＣＴ係数ではなく量子化係数を用いた同様の判定で、微小予測残差の検出処理を実行する。これは、ＩＤＣＴ出力のノルムを計算して微小判定を行う方法に比べノルム計算が不要であるため、本発明の実施において必要な計算負荷が軽減される。
【図面の簡単な説明】
【００６６】
【図１】動画像の復号時に得られる中間信号と数式表記の対応を示す図である。
【図２】ＭＰＥＧ−４標準方式に従う動画像復号処理（ＱＰ＝１，一様量子化を利用）において、レベル±１の非零信号を１個持つＤＣＴ係数に対してＩＤＣＴを適用した結果の最大値ノルムを示す図である。
【図３】本発明の動画像復号装置の構成を示す図である。
【図４】本発明の第１実施形態における判定手段の構成を示す図である。
【図５】本発明の第１実施形態における判定手段の動作を示す図である。
【図６】本発明の第２実施形態における判定手段の動作を示す図である。
【図７】本発明の第２実施形態における判定閾値ＴＦ(u,v)の設定例を示す図である。
【図８】本発明の第３実施形態における判定手段の動作の一例を示す図である。
【図９】本発明の第２実施形態における判定閾値ＴＱＦ(u,v)の設定例を示す図である。
【図１０】本発明の第２実施形態における判定手段の動作の一例を示す図である。
【図１１】図１１（ａ）および図１１（ｂ）は静止シーンの符号化時にＩＤＣＴミスマッチ誤差が短時間で蓄積される現象を模式的に説明する図である。
【図１２】従来の動画像復号装置の構成を示す図である。
【符号の説明】
【００６７】
１０１  復号手段
１０２  ＩＤＣＴ手段
１０３  加算手段
１０４  予測画像生成手段
１０５  ピクチャ格納メモリ
１０６  判定手段
１０７  選択手段
１０８  閾値判定手段
１０９  ノルム計算手段
【図１】
2008278000.tif 000005
【図２】
2008278000.tif 000006
【図３】
2008278000.tif 000007
【図４】
2008278000.tif 000008
【図５】
2008278000.tif 000009
【図６】
2008278000.tif 000010
【図７】
2008278000.tif 000011
【図８】
2008278000.tif 000012
【図９】
2008278000.tif 000013
【図１０】
2008278000.tif 000014
【図１１】
2008278000.tif 000015
【図１２】
2008278000.tif 000016