(57)【要約】【課題】  動画像を構成する複数のフレームをフレーム間の相関を利用して順次圧縮符号化する。【解決手段】  画像符号化装置１０において、差分器１２は、メモリ１７から供給された先行フレームのウェーブレット変換係数Ｄ１７を現フレームのウェーブレット変換係数Ｄ１１から減算し、差分係数Ｄ１２を生成する。切換部１３は、ウェーブレット変換係数Ｄ１１と差分係数Ｄ１２とのうちフレーム全体に亘る絶対値和が小さい方を選択し、量子化部１４に供給する。量子化部１４で生成された量子化係数Ｄ１４は、後段で符号化されるほか、逆量子化部１５にも供給される。逆量子化部１５は、レート制御部２２における切り捨てビットプレーン数Ｄ１８を考慮して逆量子化を行う。加算器１６は、逆量子化後のウェーブレット変換係数Ｄ１５と先行フレームのウェーブレット変換係数Ｄ１６とを加算し、メモリ１７の内容を更新する。【選択図】  図１
2005229441.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換手段と、
上記入力フレームのウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数との差分を計算し、差分フレームのウェーブレット変換係数を生成する差分計算手段と、
上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を切り換えて出力する切換手段と、
上記切換手段から出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化手段と、
上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化手段と、
上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新手段と、
上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成手段と、
上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開手段と、
上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成手段と、
上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
上記符号化手段によって生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
上記切換手段は、上記入力フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和と、上記差分フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和とを比較し、何れか小さい方のウェーブレット変換係数を出力することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
上記符号化手段によって生成された算術符号に基づいて、所定の目標符号量になるように一部のビットプレーン又は符号化パスを切り捨てる符号量制御手段をさらに備えることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
上記符号量制御手段は、切り捨てたビットプレーン数又は符号化パス数に関する切り捨て情報を上記逆量子化手段に出力し、
上記逆量子化手段は、上記切り捨て情報に基づいて上記量子化係数を逆量子化する
ことを特徴とする請求項３記載の画像符号化装置。
【請求項５】
上記フォーマット手段は、上記切換手段において上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れを選択したかを示す切換情報を上記符号化コードストリーム中に含めることを特徴とする請求項１記載の画像符号化装置。
【請求項６】
ＪＰＥＧ２０００方式に従って入力フレームを符号化するものであって、
上記フォーマット手段は、上記切換情報を上記符号化コードストリーム中のコメントマーカで記述することを特徴とする請求項５記載の画像符号化装置。
【請求項７】
上記差分計算手段は、上記動画像の所定数のフレーム間隔で差分計算を行わないことを特徴とする請求項１記載の画像符号化装置。
【請求項８】
動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換工程と、
上記入力フレームのウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数との差分を計算し、差分フレームのウェーブレット変換係数を生成する差分計算工程と、
上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を切り換えて出力する切換工程と、
上記切換工程にて出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化工程と、
上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化工程と、
上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新工程と、
上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成工程と、
上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開工程と、
上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成工程と、
上記符号化パス生成工程にて生成された上記符号化パスを算術符号化する符号化工程と、
上記符号化工程にて生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット工程と
を有することを特徴とする画像符号化方法。
【請求項９】
動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換手段と、
上記ウェーブレット変換係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成手段と、
上記入力フレームの各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数との差分を符号ブロック毎に計算し、差分フレームのウェーブレット変換係数を符号ブロック毎に生成する差分計算手段と、
上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
上記切換手段から出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化手段と、
上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化手段と、
上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新手段と、
上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開手段と、
上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成手段と、
上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
上記符号化手段によって生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット手段と
を備えることを特徴とする画像符号化装置。
【請求項１０】
上記切換手段は、上記入力フレームのウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和と、上記差分フレームのウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和とを比較し、何れか小さい方のウェーブレット変換係数を出力することを特徴とする請求項９記載の画像符号化装置。
【請求項１１】
動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換工程と、
上記ウェーブレット変換係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成工程と、
上記入力フレームの各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数との差分を符号ブロック毎に計算し、差分フレームのウェーブレット変換係数を符号ブロック毎に生成する差分計算工程と、
上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
上記切換工程にて出力された上記入力フレームのウェーブレット変換係数又は上記差分フレームのウェーブレット変換係数を量子化し、量子化係数を生成する量子化工程と、
上記量子化係数を逆量子化してウェーブレット変換係数を生成する逆量子化工程と、
上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新工程と、
上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開工程と、
上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成工程と、
上記符号化パス生成工程にて生成された上記符号化パスを算術符号化する符号化工程と、
上記符号化工程にて生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット工程と
を有することを特徴とする画像符号化方法。
【請求項１２】
動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換手段と、
上記ウェーブレット変換係数を量子化し、量子化係数を生成する量子化手段と、
上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成手段と、
上記入力フレームの各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数との差分を符号ブロック毎に計算し、差分フレームの量子化係数を符号ブロック毎に生成する差分計算手段と、
上記入力フレームの量子化係数及び上記差分フレームの量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
上記切換手段から出力された上記入力フレームの量子化係数又は上記差分フレームの量子化係数と上記メモリに記憶されていた上記先行フレームの量子化係数とを加算し、加算後の量子化係数で上記メモリに記憶されていた上記先行フレームの量子化係数を更新する更新手段と、
上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開手段と、
上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成手段と、
上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
上記符号化手段によって生成された算術符号をフォーマット化して符号化コードストリームを生成するフォーマット手段と
を備えることを特徴とする画像符号化装置。
【請求項１３】
上記切換手段は、上記入力フレームの量子化係数の当該符号ブロック全体に亘る絶対値和と、上記差分フレームの量子化係数の当該符号ブロック全体に亘る絶対値和とを比較し、何れか小さい方の量子化係数を出力することを特徴とする請求項１２記載の画像符号化装置。
【請求項１４】
上記切換手段は、上記入力フレームの各符号ブロックにおける量子化係数を展開した複数のビットプレーンのうち、最終的に上記符号化コードストリームに含まれるビットプレーンの数が少ない方の量子化係数を出力することを特徴とする請求項１２記載の画像符号化装置。
【請求項１５】
上記切換手段は、上記入力フレーム及び上記差分フレームの各符号ブロックにおける量子化係数を複数のビットプレーンに展開し、そのビットプレーンにおける値が１であり、それより上位のビットプレーンにおける値が０である係数ビットの数を上記ビットプレーン毎に計数し、当該計数値に所定のパラメータを乗算した値が小さい方の量子化係数を出力することを特徴とする請求項１２記載の画像符号化装置。
【請求項１６】
動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施し、ウェーブレット変換係数を生成するウェーブレット変換工程と、
上記ウェーブレット変換係数を量子化し、量子化係数を生成する量子化工程と、
上記量子化係数を分割し、所定の大きさの複数の符号ブロックを生成する符号ブロック生成工程と、
上記入力フレームの各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数との差分を符号ブロック毎に計算し、差分フレームの量子化係数を符号ブロック毎に生成する差分計算工程と、
上記入力フレームの量子化係数及び上記差分フレームの量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
上記切換工程にて出力された上記入力フレームの量子化係数又は上記差分フレームの量子化係数と上記メモリに記憶されていた上記先行フレームの量子化係数とを加算し、加算後の量子化係数で上記メモリに記憶されていた上記先行フレームの量子化係数を更新する更新工程と、
上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開するビットプレーン展開工程と、
上記ビットプレーン毎にビットモデリングを行い、符号化パスを生成する符号化パス生成工程と、
上記符号化パス生成工程にて生成された上記符号化パスを算術符号化する符号化工程と、
上記符号化工程にて生成された算術符号をフォーマット化して符号コードストリームを生成するフォーマット工程と
を有することを特徴とする画像符号化方法。
【請求項１７】
動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号装置であって、
上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット手段と、
上記算術符号を復号する復号手段と、
ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元手段と、
上記符号ブロック毎の量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成手段と、
上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化手段と、
上記逆量子化手段によって生成されたウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数とを加算する加算手段と、
上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新手段と、
上記所定のパラメータに基づいて、上記逆量子化手段によって生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を切り換えて出力する切換手段と、
上記切換手段から出力されたウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換手段と
を備えることを特徴とする画像復号装置。
【請求項１８】
上記所定のパラメータは、各フレームに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示すものであることを特徴とする請求項１７記載の画像復号装置。
【請求項１９】
ＪＰＥＧ２０００方式に従って上記符号化コードストリームを復号するものであって、
上記所定のパラメータは、上記符号化コードストリーム中のコメントマーカで記述されていることを特徴とする請求項１７記載の画像復号装置。
【請求項２０】
動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号方法であって、
上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット工程と、
上記算術符号を復号する復号工程と、
ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元工程と、
上記符号ブロック毎の量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成工程と、
上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化工程と、
上記逆量子化工程にて生成されたウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数とを加算する加算工程と、
上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する更新工程と、
上記所定のパラメータに基づいて、上記逆量子化工程にて生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を切り換えて出力する切換工程と、
上記切換工程にて出力されたウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換工程と
を有することを特徴とする画像復号方法。
【請求項２１】
動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号装置であって、
上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット手段と、
上記算術符号を復号する復号手段と、
ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元手段と、
上記符号ブロック毎の量子化係数を逆量子化して符号ブロック毎のウェーブレット変換係数を生成する逆量子化手段と、
上記逆量子化手段によって生成された各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数とを加算する加算手段と、
上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数を更新する更新手段と、
上記所定のパラメータに基づいて、上記逆量子化手段によって生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
上記切換手段から出力されたウェーブレット変換係数を集めてフレーム毎のウェーブレット変換係数を生成する符号ブロック合成手段と、
上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換手段と
を備えることを特徴とする画像復号装置。
【請求項２２】
上記所定のパラメータは、各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示すものであることを特徴とする請求項２１記載の画像復号装置。
【請求項２３】
動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号方法であって、
上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット工程と、
上記算術符号を復号する復号工程と、
ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元工程と、
上記符号ブロック毎の量子化係数を逆量子化して符号ブロック毎のウェーブレット変換係数を生成する逆量子化工程と、
上記逆量子化工程にて生成された各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数とを加算する加算工程と、
上記加算結果のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数を更新する更新工程と、
上記所定のパラメータに基づいて、上記逆量子化工程にて生成されたウェーブレット変換係数及び上記加算結果のウェーブレット変換係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
上記切換工程にて出力されたウェーブレット変換係数を集めてフレーム毎のウェーブレット変換係数を生成する符号ブロック合成工程と、
上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換工程と
を有することを特徴とする画像復号方法。
【請求項２４】
動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号装置であって、
上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット手段と、
上記算術符号を復号する復号手段と、
ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元手段と、
上記符号ブロック復元手段によって復元された各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数とを加算する加算手段と、
上記加算結果の量子化係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおける量子化係数を更新する更新手段と、
上記所定のパラメータに基づいて、上記符号ブロック毎の量子化係数及び上記加算結果の量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換手段と、
上記切換手段から出力された量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成手段と、
上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化手段と、
上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換手段と
を備えることを特徴とする画像復号装置。
【請求項２５】
上記所定のパラメータは、各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示すものであることを特徴とする請求項２４記載の画像復号装置。
【請求項２６】
動画像を構成する複数フレームの各フレームを順次符号化することで得られた符号化コードストリームを復号する画像復号方法であって、
上記符号化コードストリームを少なくとも算術符号及び所定のパラメータに分解する逆フォーマット工程と、
上記算術符号を復号する復号工程と、
ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロック毎の量子化係数を復元する符号ブロック復元工程と、
上記符号ブロック復元工程にて復元された各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数とを加算する加算工程と、
上記加算結果の量子化係数で上記メモリに記憶されていた上記先行フレームの同一位置の符号ブロックにおける量子化係数を更新する更新工程と、
上記所定のパラメータに基づいて、上記符号ブロック毎の量子化係数及び上記加算結果の量子化係数の何れか一方を符号ブロック毎に切り換えて出力する切換工程と、
上記切換工程にて出力された量子化係数を集めてフレーム毎の量子化係数を生成する符号ブロック合成工程と、
上記フレーム毎の量子化係数を逆量子化してフレーム毎のウェーブレット変換係数を生成する逆量子化工程と、
上記フレーム毎のウェーブレット変換係数に対してウェーブレット逆変換を施し、復号画像を生成するウェーブレット逆変換工程と
を有することを特徴とする画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばＪＰＥＧ２０００方式により、動画像を構成する複数のフレームを順次圧縮符号化して符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号して動画像を復元する画像復号装置及びその方法に関する。
【背景技術】
【０００２】
従来の代表的な画像圧縮方式として、ＩＳＯ（International Standards Organization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）方式がある。これは、離散コサイン変換（Descrete Cosine Transform；ＤＣＴ）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
一方、近年では画像をフィルタバンクと呼ばれる低域フィルタと高域フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴのように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。２００１年１月に国際標準化が完了したＪＰＥＧ２０００方式は、このウェーブレット変換と、量子化及び高能率なエントロピー符号化（ビットプレーン単位のビットモデリング及び算術符号化）とを組み合わせた方式を採用しており、ＪＰＥＧ方式に比べて符号化効率の大きな改善を実現している。
【０００４】
さらに、２００２年１月には、ＪＰＥＧ２０００方式の拡張版のＰａｒｔ−３規格として、動画像符号化及びファイルフォーマットの規格であるＭｏｔｉｏｎ−ＪＰＥＧ２０００方式が規格化された。また、本件発明者らにより、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式により、動画像を効率よく符号化する技術が提案されている（特許文献１参照）。
【０００５】
【特許文献１】特開２００１−１９７４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このＭｏｔｉｏｎ−ＪＰＥＧ２０００方式は、動画像符号化の規格であるが、動画像を構成する各フレームについてフレーム内で完結した符号化（フレーム内符号化）を行うものであり、ＭＰＥＧ（Moving Picture Experts Group）方式のように前後のフレームやフィールドとの相関を利用して符号化を行うものではない。このため、動画像符号化に際して、ＭＰＥＧ方式よりもＭｏｔｉｏｎ−ＪＰＥＧ２０００方式の方が圧縮効率が悪いという問題があった。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えばＪＰＥＧ２０００方式により、動画像を構成する複数のフレームをフレーム間の相関を利用して順次圧縮符号化し、符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号して動画像を復元する画像復号装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的を達成するために、本発明に係る画像符号化装置及びその方法では、動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施すことによりウェーブレット変換係数を生成し、上記入力フレームのウェーブレット変換係数とメモリに記憶されていた先行フレームのウェーブレット変換係数との差分を計算して差分フレームのウェーブレット変換係数を生成し、上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を量子化して量子化係数を生成する。そして、上記量子化係数を逆量子化してウェーブレット変換係数を生成し、上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する。また、上記量子化係数を分割して所定の大きさの複数の符号ブロックを生成し、上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開し、上記ビットプレーン毎にビットモデリングを行って符号化パスを生成し、生成された上記符号化パスを算術符号化し、生成された算術符号をフォーマット化して符号コードストリームを生成する。
【０００９】
このような画像符号化装置及びその方法では、動画像を構成する各フレームを符号化する際に、例えば入力フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和と、差分フレームのウェーブレット変換係数の当該フレーム全体に亘る絶対値和とを比較し、フレーム毎にフレーム内符号化及びフレーム間符号化の何れかに切り換える。
【００１０】
また、上述した目的を達成するために、本発明に係る画像符号化装置及びその方法では、動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施すことによりウェーブレット変換係数を生成し、上記ウェーブレット変換係数を分割して所定の大きさの複数の符号ブロックを生成し、上記入力フレームの各符号ブロックにおけるウェーブレット変換係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数との差分を符号ブロック毎に計算して差分フレームのウェーブレット変換係数を符号ブロック毎に生成し、符号ブロック毎に上記入力フレームのウェーブレット変換係数及び上記差分フレームのウェーブレット変換係数の何れか一方を量子化して量子化係数を生成する。そして、上記量子化係数を逆量子化してウェーブレット変換係数を生成し、上記逆量子化後のウェーブレット変換係数と上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数とを加算し、加算後のウェーブレット変換係数で上記メモリに記憶されていた上記先行フレームのウェーブレット変換係数を更新する。また、上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開し、上記ビットプレーン毎にビットモデリングを行って符号化パスを生成し、生成された上記符号化パスを算術符号化し、生成された算術符号をフォーマット化して符号化コードストリームを生成する。
【００１１】
このような画像符号化装置及びその方法では、動画像を構成する各フレームを符号化する際に、例えば入力フレームの各符号ブロックにおけるウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和と、差分フレームの各符号ブロックにおけるウェーブレット変換係数の当該符号ブロック全体に亘る絶対値和とを比較し、符号ブロック毎にフレーム内符号化及びフレーム間符号化の何れかに切り換える。
【００１２】
また、上述した目的を達成するために、本発明に係る画像符号化装置及びその方法では、動画像を構成する複数フレームのうちの１つである入力フレームに対してウェーブレット変換を施すことによりウェーブレット変換係数を生成し、上記ウェーブレット変換係数を量子化して量子化係数を生成し、上記量子化係数を分割して所定の大きさの複数の符号ブロックを生成し、上記入力フレームの各符号ブロックにおける量子化係数と、メモリに記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数との差分を符号ブロック毎に計算して差分フレームの量子化係数を符号ブロック毎に生成し、上記入力フレームの量子化係数及び上記差分フレームの量子化係数の何れか一方を符号ブロック毎に切り換える。そして、上記入力フレームの量子化係数又は上記差分フレームの量子化係数と上記メモリに記憶されていた上記先行フレームの量子化係数とを加算し、加算後の量子化係数で上記メモリに記憶されていた上記先行フレームの量子化係数を更新する。また、上記符号ブロック毎の量子化係数を最上位ビットから最下位ビットに至る複数のビットプレーンに展開し、上記ビットプレーン毎にビットモデリングを行って符号化パスを生成し、生成された上記符号化パスを算術符号化し、生成された算術符号をフォーマット化して符号化コードストリームを生成する。
【００１３】
このような符号化装置及びその方法では、動画像を構成する各フレームを符号化する際に、例えば入力フレームの各符号ブロックにおける量子化係数の当該符号ブロック全体に亘る絶対値和と、差分フレームの各符号ブロックにおける量子化係数の当該符号ブロック全体に亘る絶対値和とを比較し、符号ブロック毎にフレーム内符号化及びフレーム間符号化の何れかに切り換える。
【００１４】
また、本発明に係る画像復号装置及びその方法は、上述した画像符号化装置及びその方法によって生成された符号化コードストリームを復号して復号画像を生成するものであり、各フレーム又は各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示す所定のパラメータに従って復号処理を行う。
【発明の効果】
【００１５】
本発明に係る画像符号化装置及びその方法によれば、動画像を構成する先頭フレーム以外の各フレームについて、フレーム毎又は符号ブロック毎にフレーム間符号化を選択することができるため、フレーム内符号化のみを行う場合と比較して、圧縮効率を向上させることができる。特に、フレーム間符号化を行う場合であっても差分計算のみを行うのみでよいため、ＭＰＥＧ方式よりも符号化処理を高速化することができる。
【００１６】
また、本発明に係る画像復号装置及びその方法によれば、各フレーム又は各符号ブロックに対してフレーム内符号化及びフレーム間符号化の何れが行われたかを示す所定のパラメータに従って復号処理を行うことで、復号画像を生成することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＪＰＥＧ２０００方式により、動画像を構成する複数のフレームをフレーム間の相関を利用して順次圧縮符号化し、符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号して動画像を復元する画像復号装置及びその方法に適用したものである。
【００１８】
（１）第１の実施の形態
先ず、第１の実施の形態における画像符号化装置の概略構成を図１に示す。図１に示すように、画像符号化装置１０は、ウェーブレット変換部１１と、差分器１２と、切換部１３と、量子化部１４と、逆量子化部１５と、加算器１６と、メモリ１７と、符号ブロック化部１８と、ビットモデリング部２０と、算術符号化部２１と、レート制御部２２と、フォーマット部２３とから構成されている。ここで、ビットモデリング部２０と算術符号化部２１とにより、ＥＢＣＯＴ（Embedded Coding with Optimized Truncation）部１９が構成される。
【００１９】
ウェーブレット変換部１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像を予めバッファリングしておく必要があるが、簡単のため、図１では図示を省略する。
【００２０】
ウェーブレット変換部１１は、フィルタリングに必要な最低限の画像信号Ｄ１０に対してウェーブレット変換を行うフィルタリング処理を行ってウェーブレット変換係数Ｄ１１を生成し、生成したウェーブレット変換係数Ｄ１１を差分器１２及び切換部１３に供給する。
【００２１】
このウェーブレット変換では、通常図２に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。このことは、図３（Ａ）に示す分割レベル＝１から図３（Ｂ）に示す分割レベル＝３のように、分割レベルを進めていくに従って、同図のようにサブバンドが形成されていくことからも分かる。ここで、図２におけるウェーブレット変換の分割レベルは３であり、この結果計１０個のサブバンドが形成されている。なお、図２においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの後の数字は分割レベルを表す。すなわち、例えばＬＨ−１は、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンドを表す。
【００２２】
差分器１２は、後述するメモリ１７から供給されたウェーブレット変換係数Ｄ１７をウェーブレット変換係数Ｄ１１から減算し、得られた差分係数Ｄ１２を切換部１３に供給する。
【００２３】
切換部１３は、ウェーブレット変換部１１から供給されたウェーブレット変換係数Ｄ１１と差分器１２から供給された差分係数Ｄ１２との何れか一方を選択し、選択されたウェーブレット変換係数又は差分係数Ｄ１３を量子化部１４に供給する。具体的に、切換部１３は、ウェーブレット変換係数Ｄ１１のフレーム全体に亘る絶対値和と差分係数Ｄ１２のフレーム全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択する。
【００２４】
量子化部１４は、切換部１３から供給されたウェーブレット変換係数又は差分係数Ｄ１３に対して非可逆圧縮を施し、量子化係数Ｄ１４を逆量子化部１５及び符号ブロック化部１８に供給する。量子化手段としては、ウェーブレット変換係数又は差分係数Ｄ１３を量子化ステップサイズで除算するスカラ量子化を用いることができる。
【００２５】
ここで、量子化ステップサイズΔは、ＪＰＥＧ２０００規格の規格書のＥ．３式として、以下の式（１）のように与えられている。なお、この式（１）において、Δｂはサブバンドｂに割り当てられる量子化ステップサイズを示し、Ｒｂはサブバンドｂに割り当てられるダイナミックレンジを示す。また、εｂはサブバンドｂに割り当てられる量子化の指数（exponent）を示し、μｂはサブバンドｂに割り当てられる量子化の仮数（mantissa）を示す。
【００２６】
【数１】
2005229441.tif 000003
【００２７】
量子化部１４は、上述の式（１）で求まった量子化ステップサイズΔｂを用いて、以下の式（２）に従って量子化係数ｑｂ（ｕ，ｖ）を算出する。なお、式（２）において、ｄｗｔｂ（ｕ，ｖ）は座標（ｕ，ｖ）の位置におけるウェーブレット変換係数を示す。また、ｓign（ｘ）はｘが正の場合にはｘ、負の場合には−ｘを示す。また、floor（ｘ）はｘの整数値への切り捨て処理を示し、例えばfloor（２．５）＝２である。
【００２８】
【数２】
2005229441.tif 000004
【００２９】
符号ブロック化部１８は、量子化部１４から供給された量子化係数Ｄ１４を、エントロピー符号化の処理単位である所定の大きさの符号ブロックに分割する。ここで、サブバンド中の符号ブロックの位置関係を図４に示す。通常、例えば６４×６４程度のサイズの符号ブロックが、分割後の全てのサブバンド中に生成される。したがって、サブバンドの大きさが６４０×３２０であった場合には、６４×６４の符号ブロックは、水平方向に１０個、垂直方向に５個、合計５０個存在することになる。符号ブロック化部１８は、符号ブロック毎の量子化係数Ｄ１９をＥＢＣＯＴ部１９に供給し、後段の符号化処理は、これらの符号ブロック毎に行われる。
【００３０】
ＥＢＣＯＴ部１９は、符号ブロック毎の量子化係数Ｄ１９をビットプレーンに展開し、ビットプレーン単位にビットモデリング及び算術符号化を行う。なお、このＥＢＣＯＴについては、例えば文献「IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system」等に詳細に記載されている。
【００３１】
ＥＢＣＯＴについての説明の前に、ビットプレーンの概念について図５を用いて説明する。図５（Ａ）は、縦４個、横４個の計１６個の係数からなる量子化係数を仮定したものである。この１６個の量子化係数のうち絶対値が最大のものは「１３」であり、２進数表示では「１１０１」となる。したがって、係数の絶対値のビットプレーンは、図５（Ｂ）に示すような４つのビットプレーンから構成される。なお、各ビットプレーンにおける係数ビットは、全て「０」又は「１」の数をとる。一方、量子化係数の符号は、「−６」が唯一負の値であり、それ以外は「０」又は正の値である。したがって、符号のビットプレーンは、図５（Ｃ）に示すようになる。
【００３２】
ここで、ＥＢＣＯＴは、所定の大きさのブロック毎にそのブロック内の係数ビットの統計量を測定しながら符号化する手段であり、符号ブロック単位に量子化係数をエントロピー符号化する。符号ブロックは、最上位ビット（MSB）から最下位ビット（LSB）方向にビットプレーン毎に独立して符号化される。また、符号ブロックの縦横のサイズは、４から２５６までの２の冪乗で、通常は３２×３２、６４×６４、１２８×３２等の大きさが使用される。量子化係数は、ｎビットの符号付き２進数で表されており、ｂｉｔ０からｂｉｔ(ｎ−２)が最下位ビット（LSB）から最上位ビット（MSB）までのそれぞれのビットを表す。なお、残りの１ビットは符号である。符号ブロックの符号化は、最上位ビット（MSB）側のビットプレーンから順番に、以下の（ａ）〜（ｃ）に示す３種類の符号化パスによって行われる。
(a) Significance Propagation Pass
(b) Magnitude Refinement Pass
(c) Clean Up Pass
【００３３】
３つの符号化パスの用いられる順序を図６に示す。図６に示すように、先ずビットプレーン（ｎ−２）（MSB）がClean Up Pass（以下、適宜ＣＵパスという。）によって符号化される。続いて、順次最下位ビット（LSB）側に向かい、各ビットプレーンが、Significance Propagation Pass（以下、適宜ＳＰパスという。）、Magnitude Refinement Pass（以下、適宜ＭＲパスという。）、ＣＵパスの順序で用いられて符号化される。
【００３４】
但し、実際には最上位ビット（MSB）側から何個目のビットプレーンで初めて１が出てくるかをヘッダに書き、ゼロ係数のみから構成されるビットプレーン（ゼロビットプレーン）は符号化しない。ＥＢＣＯＴでは、この順序で３種類の符号化パスを繰返し用いて符号化する。
【００３５】
ここで、係数ビットの走査（スキャニング）について図７を用いて説明する。符号ブロックは、高さ４個の係数ビット毎にストライプ（stripe）に分けられる。ストライプの幅は、符号ブロックの幅に等しい。スキャン順とは１個の符号ブロック内の全ての係数ビットを辿る順番であり、符号ブロック中では上のストライプから下のストライプへの順序、各ストライプ中では左の列から右の列への順序、各列中では上から下への順序でスキャニングされる。なお、各符号化パスにおいて符号ブロック中の全ての係数ビットがこのスキャン順で処理される。
【００３６】
以下、上述した３つの符号化パスについて説明する。なお、この３つの符号化パスについては、何れも上述した文献「IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system」に記載されている。
【００３７】
(a) Significance Propagation Pass
あるビットプレーンを符号化するＳＰパスでは、８近傍の少なくとも１つの係数ビットが有意（significant）であるような非有意（non-significant）な係数ビットが算術符号化される。その符号化した係数ビットの値が「１」である場合には、符号の正負が続けて算術符号化される。
【００３８】
ここで「significance」とは、各係数ビットに対して符号化器が持つ状態である。「significance」の初期値は非有意を表す「０」であり、係数ビットとして「１」が符号化されたときに有意を表す「１」へと変化し、以降常に「１」であり続ける。例えば図８に示すように量子化係数「−２２」を２進数表示した「０００１０１１０」を符号化する場合、最上位ビット（MSB）のビットプレーンから符号化を始めるが、最上位ビット（MSB）から３個目のビットプレーンまでは係数ビットの値が「０」であるため非有意の状態が続き、係数ビットの値が「１」である４個目のビットプレーンを符号化した際に、非有意から有意へと変化する。これ以降は係数ビットの値が「０」であるか「１」であるかに関わらず有意の状態が続く。したがって、「significance」とは、有効桁の情報を既に符号化したか否かを示すフラグともいえる。あるビットプレーンでＳＰパスが発生すれば、以降のビットプレーンではＳＰパスは発生しない。
【００３９】
(b) Magnitude Refinement Pass
ビットプレーンを符号化するＭＲパスでは、ビットプレーンを符号化するＳＰパスで符号化していない有意な係数ビットが算術符号化される。
【００４０】
(c) Clean Up Pass
ビットプレーンを符号化するＣＵパスでは、ビットプレーンを符号化するＳＰパスで符号化していない非有意な係数ビットが算術符号化される。その符号化した係数ビットの値が「１」である場合には、符号の正負が続けて算術符号化される。
【００４１】
なお、以上の３つの符号化パスでの算術符号化では、ケースに応じてＺＣ（Zero Coding）、ＲＬＣ（Run-Length Coding）、ＳＣ（Sign Coding）、ＭＲ（Magnitude Refinement）が使い分けられて係数のコンテキストが選択される。そして、ＭＱ符号化と呼ばれる算術符号によって、係数ビットのシンボルと選択されたコンテキストとが符号化される。このＭＱ符号化は、ＪＢＩＧ２で規定された学習型の２値算術符号である。ＭＱ符号化については、例えば、文献「ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000」等に記載されている。ＪＰＥＧ２０００規格では、全ての符号化パスで合計１９種類のコンテキストがある。
【００４２】
以上のようにして、ビットモデリング部２０は、符号ブロック毎の量子化係数Ｄ１９をビットプレーンに展開し、ビットプレーン毎の係数ビットを３つの符号化パスで処理し、係数ビット毎のシンボル及びコンテキストＤ２０を生成する。そして、算術符号化部２１は、この係数ビット毎のシンボル及びコンテキストＤ２０に対して算術符号化を施し、得られた算術符号Ｄ２１をレート制御部２２に供給する。
【００４３】
レート制御部２２は、全体の符号量が目標符号量となり且つ復号したときの画質が最適となるように、最下位ビット（LSB）側から不要なビットプレーンを切り捨て、又は最上位ビット（MSB）側からビットプレーンを選択し、結果的に不要なビットプレーンを切り捨てることでレート制御を行い、レート制御後の算術符号列Ｄ２２をフォーマット部２３に供給する。また、レート制御部２２は、符号ブロック毎に切り捨てられた切り捨てビットプレーン数Ｄ１８を逆量子化部１５に供給する。
【００４４】
フォーマット部２３は、レート制御部２２から供給された算術符号列Ｄ２２に各種ヘッダを付加し、ＪＰＥＧ２０００規格に準拠するようにフォーマット化した後、符号化コードストリームＤ２３として出力する。
【００４５】
逆量子化部１５は、量子化部１４から供給された量子化係数Ｄ１４を逆量子化してウェーブレット変換係数Ｄ１５を生成し、このウェーブレット変換係数Ｄ１５を加算器１６に供給する。ここで、上述したようにレート制御部２２では、最下位ビット（LSB）側のビットプレーンが切り捨てられるが、ある符号ブロックにおいてＴｃ個のビットプレーンを切り捨てることは、その符号ブロックの量子化係数を２のＴｃ乗で除算することと等価である。つまり、レート制御の結果としての量子化ステップサイズΔｃは、以下の式（３）のように与えられる。
【００４６】
【数３】
2005229441.tif 000005
【００４７】
そこで、逆量子化部１５では、このレート制御後の結果を反映させる必要がある。具体的に、逆量子化部１５は、レート制御部２２から供給された符号ブロック毎の切り捨てビットプレーン数Ｄ１８を用いて、ＪＰＥＧ２０００規格の規格書のＥ．６式として与えられる以下の式（４）を用いて、逆量子化後のウェーブレット変換係数Ｄ１５を求める。なお、式（４）において、Ｒｑｂ（ｕ，ｖ）は逆量子化後のウェーブレット変換係数を示し、ｒは逆量子化用のパラメータを示す。
【００４８】
【数４】
2005229441.tif 000006
【００４９】
加算器１６は、逆量子化部１５から供給されたウェーブレット変換係数Ｄ１５とメモリ１７に記憶されていた先行フレームのウェーブレット変換係数Ｄ１６とを加算し、得られたウェーブレット変換係数Ｄ１７を差分器１２に供給する。また、加算器１６は、ウェーブレット変換係数Ｄ１７をメモリ１７にも供給し、以前に記憶されていたウェーブレット変換係数を上書き更新する。但し、先頭フレームの場合にはメモリ１７に何も記憶されていないため、逆量子化後のウェーブレット変換係数Ｄ１５がそのままメモリ１７に書き込まれることになる。
【００５０】
このように、画像符号化装置１０では、動画像を構成する複数のフレームが順次入力されると、先頭フレームについては必ずフレーム内符号化（イントラ符号化）を行い、後続のフレームについてはフレーム内符号化又はフレーム間符号化（インター符号化）を行う。但し、量子化・逆量子化の誤差拡散を防止するため、図９に示すように、Ｎフレーム（例えば１５フレーム）毎にフレーム内符号化を行うフレームを設けておくことが好ましい。
【００５１】
なお、フレーム内符号化を行ったかフレーム間符号化を行ったかについての切換情報を画像復号装置に伝達するため、この切換情報を符号化コードストリームＤ２３に含める必要がある。そこで、フォーマット部２３では、切換情報をＪＰＥＧ２０００規格における汎用のマーカコードであるコメントマーカ（ＣＯＭ）に記述するようにしている。
【００５２】
以上のように、第１の実施の形態における画像符号化装置１０では、動画像を構成する先頭フレーム以外の各フレームについて、フレーム間符号化を選択することができるため、フレーム内符号化のみを行う場合と比較して、圧縮効率を向上させることができる。特に、この画像符号化装置１０では、ＭＰＥＧ（Moving Picture Experts Group）方式のような動き予測を行うのではなく、差分計算のみを行っているため、ＭＰＥＧ方式よりも符号化処理を高速化することができる。
【００５３】
また、これはＪＰＥＧ２０００方式のＰａｒｔ−１規格に準拠しているため、この画像符号化装置１０に対応した画像復号装置ではなく従来の汎用の画像復号装置を用いた場合であっても、最低限の復号画像を得ることが可能である。
【００５４】
（２）第２の実施の形態
次に、第２の実施の形態における画像符号化装置の概略構成を図１０に示す。図１０に示す画像符号化装置３０は、基本構造を図１に示した画像符号化装置１０と同様とするが、ウェーブレット変換部１１の直後に符号ブロック化部１８が配置され、符号ブロック毎にフレーム内符号化又はフレーム間符号化を切り換える点に特徴を有している。したがって、先に図１に示した画像符号化装置１０と同様の構成については同一符号を付して詳細な説明を省略する。
【００５５】
画像符号化装置３０において、符号ブロック化部１８は、ウェーブレット変換部１１から供給されたウェーブレット変換係数Ｄ１１を符号ブロックに分割し、符号ブロック毎のウェーブレット変換係数Ｄ３０を差分器１２及び切換部１３に供給する。
【００５６】
差分器１２は、メモリ１７から供給されたウェーブレット変換係数Ｄ３５をウェーブレット変換係数Ｄ３０から減算し、得られた差分係数Ｄ３１を切換部１３に供給する。なお、ウェーブレット変換係数Ｄ３５は、符号ブロック化部１８から供給されたウェーブレット変換係数Ｄ３０と同一位置の符号ブロックにおける係数である。
【００５７】
切換部１３は、ウェーブレット変換部１１から供給されたウェーブレット変換係数Ｄ３０と差分器１２から供給された差分係数Ｄ３１との何れか一方を選択し、選択されたウェーブレット変換係数又は差分係数Ｄ３２を量子化部１４に供給する。具体的に、切換部１３は、ウェーブレット変換係数Ｄ３０の当該符号ブロック全体に亘る絶対値和と差分係数Ｄ３１の当該符号ブロック全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択する。
【００５８】
量子化部１４は、切換部１３から供給されたウェーブレット変換係数又は差分係数Ｄ３２に対して非可逆圧縮を施し、量子化係数Ｄ１９を逆量子化部１５及び符号ブロック化部１８に供給する。
【００５９】
逆量子化部１５は、レート制御部２２から供給された符号ブロック毎の切り捨てビットプレーン数Ｄ１８を用いて、上述と同様に逆量子化後のウェーブレット変換係数Ｄ３３を求める。
【００６０】
加算器１６は、逆量子化部１５から供給されたウェーブレット変換係数Ｄ３３とメモリ１７に記憶されていた先行フレームの同一位置の符号ブロックにおけるウェーブレット変換係数Ｄ３４とを加算し、得られたウェーブレット変換係数Ｄ３５を差分器１２に供給する。また、加算器１６は、ウェーブレット変換係数Ｄ３５をメモリ１７にも供給し、以前に記憶されていたウェーブレット変換係数を上書き更新する。
【００６１】
以上のように、第２の実施の形態における画像符号化装置３０では、フレーム毎ではなく符号ブロック毎にフレーム内符号化又はフレーム間符号化を切り換えることができるため、フレーム毎の処理と比較して処理が複雑になるものの、圧縮効率を向上させ、また復号画像の画質を向上させることができる。
【００６２】
（３）第３の実施の形態
次に、第３の実施の形態における画像符号化装置の概略構成を図１１に示す。図１１に示す画像符号化装置５０は、基本構造を図１，１０に示した画像符号化装置１０，３０と同様とするが、ウェーブレット変換部１１の直後に量子化部１４が配置され、量子化係数同士の差分計算を行う点に特徴を有している。したがって、先に図１，１０に示した画像符号化装置１０，３０と同様の構成については同一符号を付して詳細な説明を省略する。
【００６３】
画像符号化装置５０において、量子化部１４は、ウェーブレット変換部１１から供給されたウェーブレット変換係数Ｄ１１に対して非可逆圧縮を施し、量子化係数Ｄ５０を符号ブロック化部１８に供給する。
【００６４】
符号ブロック化部１８は、量子化部１４から供給された量子化係数Ｄ５０を符号ブロックに分割し、符号ブロック毎の量子化係数Ｄ５１を差分器１２及び切換部１３に供給する。
【００６５】
差分器１２は、メモリ１７から供給された量子化係数Ｄ５４を量子化係数Ｄ５１から減算し、得られた差分係数Ｄ５２を切換部１３に供給する。なお、ウェーブレット変換係数Ｄ５４は、符号ブロック化部１８から供給されたウェーブレット変換係数Ｄ５１と同一位置の符号ブロックにおける係数である。
【００６６】
切換部１３は、符号ブロック化部１８から供給された符号ブロック毎の量子化係数Ｄ５１と差分器１２から供給された差分係数Ｄ５２との何れか一方を選択し、選択された量子化係数又は差分係数Ｄ１９をＥＢＣＯＴ部１９に供給する。具体的に、切換部１３は、量子化係数Ｄ５１の符号ブロック全体に亘る絶対値和と差分係数Ｄ５２の符号ブロック全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択する。
【００６７】
加算器１６は、切換部１３から供給された符号ブロック毎の量子化係数又は差分係数Ｄ１９とメモリ１７に記憶されていた先行フレームの同一位置の符号ブロックにおける量子化係数Ｄ５３とを加算し、得られた量子化係数Ｄ５４を差分器１２に供給する。また、加算器１６は、量子化係数Ｄ５４をメモリ１７にも供給し、以前に記憶されていた量子化係数を上書き更新する。
【００６８】
ここで、上述と同様に、この画像符号化装置５０においても、量子化にレート制御後の結果を反映させる必要がある。そこで、レート制御部２２は、符号ブロック毎の切り捨てビットプレーン数Ｄ１８をメモリ１７に供給する。メモリ１７は、レート制御部２２から供給された切り捨てビットプレーン数Ｄ１８を用いて、レート制御の結果としての量子化ステップサイズΔｃを上述した式（３）のように求め、この量子化ステップサイズΔｃを用いて、記憶されている量子化係数を修正する。上述した加算器１６では、この修正後の量子化係数Ｄ５３と量子化係数又は差分係数Ｄ１９とを加算する。
【００６９】
以上のように、第３の実施の形態における画像符号化装置５０では、上述した第１，第２の実施の形態のようにウェーブレット変換係数をメモリ１７に記憶しておくのではなく、量子化係数を記憶しておくようにしている。量子化係数の方がウェーブレット変換係数よりもビット精度が小さくて済むため、ハードウェア、ソフトウェアで実現した場合の規模を小さくすることができる。
【００７０】
なお、上述の説明では、切換部１３は、量子化係数Ｄ５１の符号ブロック全体に亘る絶対値和と差分係数Ｄ５２の符号ブロック全体に亘る絶対値和とを計算し、何れか小さい方の係数を選択するものとしたが、これに限定されるものではない。
【００７１】
例えば、量子化係数Ｄ５１の符号ブロック毎の有効ビットプレーン数と差分係数Ｄ５２の符号ブロック毎の有効ビットプレーン数とを計算し、何れか小さい方の係数を選択するようにしても構わない。なお、有効ビットプレーンとは、符号ブロック毎のビットプレーンのうち符号化されないゼロビットプレーンとレート制御部２２で切り捨てられるビットプレーンとを除いたもの、すなわち最終的な符号化コードストリームＤ２３に含まれることになるビットプレーンを示す。
【００７２】
この場合、ビットモデリング部２０よりも前段で量子化係数Ｄ５１又は差分係数Ｄ５２をビットプレーンに展開する必要があるが、有効ビットプレーン数は発生符号量と深い関係にあるため、フレーム内符号化を行うかフレーム間符号化を行うかの判断を高精度に行うことが可能となり、その結果、発生符号量を抑制することができる。
【００７３】
また、量子化係数Ｄ５１の符号ブロック毎のビットプレーンと差分係数Ｄ５２の符号ブロック毎のビットプレーンとについて、各ビットプレーンで初めて有意となる係数ビット、すなわちそのビットプレーンにおける値が「１」であり、それより上位のビットプレーンにおける値が「０」である係数ビットの個数を重み付け加算し、得られた計算結果が小さい方の係数を選択するようにしても構わない。
【００７４】
具体的には、図１２に示すように、有意係数個数算出部６０，６１において、それぞれ量子化係数Ｄ５１及び差分係数Ｄ５２の各ビットプレーンで初めて有意となる係数ビットの個数を計算し、有意係数の個数Ｄ６０，Ｄ６１をそれぞれパラメータ値計算部６２，６３に供給する。パラメータ値計算部６２，６３は、有意係数の個数Ｄ６０，Ｄ６１に所定のパラメータＤ６４を乗算した値Ｄ６２，Ｄ６３を比較部６４に供給し、比較部６４は、これらの値Ｄ６２，Ｄ６３の何れか小さい方の係数を出力する。
【００７５】
この場合、量子化係数Ｄ５１又は差分係数Ｄ５２をビットプレーンに展開し、さらにビットモデリングを行う必要があるが、フレーム内符号化を行うかフレーム間符号化を行うかの判断をさらに高精度に行うことが可能となり、その結果、発生符号量を抑制することができる。
【００７６】
（４）第４の実施の形態
次に、第４の実施の形態における画像復号装置の概略構成を図１３に示す。図１３に示す画像復号装置７０は、逆フォーマット部７１と、算術復号部７３と、ビットデモデリング部７４と、符号ブロック合成部７５と、逆量子化部７６と、加算部７７と、メモリ７８と、切換部７９と、ウェーブレット逆変換部８０とから構成されている。ここで、算術復号部７３とビットデモデリング部７４とにより、ＥＢＣＯＴ復号部７２が構成される。なお、この画像復号装置７０は、第１の実施の形態における画像符号化装置１０に対応するものである。
【００７７】
逆フォーマット部７１は、符号化コードストリームＤ７０を入力して各種符号化情報に分解し、符号ブロック毎の算術符号列Ｄ７１をＥＢＣＯＴ復号部７２を構成する算術復号部７３に供給する。
【００７８】
算術復号部７３は、算術符号列Ｄ７１を算術復号して係数ビット毎のシンボル及びコンテキストＤ７２を生成し、ビットデモデリング部７４は、この係数ビット毎のシンボル及びコンテキストＤ７２からビットプレーン単位のバイナリデータを復元する。これは、実際には量子化係数Ｄ７３になっている。ビットデモデリング部７４は、この量子化係数Ｄ７３を符号ブロック合成部７５に供給する。
【００７９】
符号ブロック合成部７５は、符号ブロック毎の量子化係数Ｄ７３を合成してフレーム毎の量子化係数Ｄ７４を生成し、このフレーム毎の量子化係数Ｄ７４を逆量子化部７６に供給する。
【００８０】
逆量子化部７６は、符号ブロック合成部７５から供給されたフレーム毎の量子化係数Ｄ７４を逆量子化してウェーブレット変換係数Ｄ７５に変換し、このウェーブレット変換係数Ｄ７５を加算部７７及び切換部７９に供給する。
【００８１】
加算部７７は、逆量子化部７６から供給されたウェーブレット変換係数Ｄ７５とメモリ７８に記憶されていたウェーブレット変換係数Ｄ７６とを加算し、加算係数Ｄ７７を切換部７９に供給する。
【００８２】
切換部７９は、符号化コードストリームＤ７０の例えばコメントマーカ（ＣＯＭ）に含まれていた切換情報に基づいて、ウェーブレット変換係数Ｄ７５と加算係数Ｄ７７とを切り換え、ウェーブレット変換係数又は加算係数Ｄ７８をウェーブレット逆変換部８０に供給する。なお、このウェーブレット変換係数又は加算係数Ｄ７８はメモリ７８にも供給され、メモリ７８で記憶される。
【００８３】
ウェーブレット逆変換部８０は、ウェーブレット変換係数又は加算係数Ｄ７８を逆変換して最終的な復号画像Ｄ７９を生成し、この復号画像Ｄ７９を外部に出力する。
【００８４】
以上のように、第４の実施の形態における画像復号装置７０では、画像符号化装置において先行フレームのウェーブレット変換係数と現フレームのウェーブレット変換係数との差分を計算し、フレーム内符号化とフレーム間符号化とをフレーム毎に切り換えて行った場合であっても、符号化コードストリームＤ７０に含まれる切換情報を参照することで、元の復号画像を復元することができる。特に、この画像符号化装置７０では、ＭＰＥＧ方式のような動き予測を行うのではなく、加算計算のみを行っているため、ＭＰＥＧ方式よりも復号処理を高速化することができる。
【００８５】
（５）第５の実施の形態
次に、第５の実施の形態における画像復号装置の概略構成を図１４に示す。図１４に示す画像復号装置９０は、基本構造を図１３に示した画像復号装置７０と同様とするが、ウェーブレット逆変換部８０の直前に符号ブロック合成部７５が配置され、符号ブロック毎に加算計算を行う点に特徴を有している。したがって、先に図１３に示した画像復号装置７０と同様の構成については同一符号を付して詳細な説明を省略する。なお、この画像復号装置９０は、第２の実施の形態における画像符号化装置３０に対応するものである。
【００８６】
画像復号装置９０において、逆量子化部７６は、ビットデモデリング部７４から供給された符号ブロック毎の量子化係数Ｄ７３を逆量子化して符号ブロック毎のウェーブレット変換係数Ｄ９０に変換し、このウェーブレット変換係数Ｄ９０を加算部７７及び切換部７９に供給する。
【００８７】
加算部７７は、逆量子化部７６から供給されたウェーブレット変換係数Ｄ９０とメモリ７８に記憶されていたウェーブレット変換係数Ｄ９１とを加算し、加算係数Ｄ９２を切換部７９に供給する。なお、ウェーブレット変換係数Ｄ９１は、逆量子化部７６から供給されたウェーブレット変換係数Ｄ９０と同一位置の符号ブロックにおける係数である。
【００８８】
切換部７９は、符号化コードストリームＤ７０の例えばコメントマーカ（ＣＯＭ）に含まれていた切換情報に基づいて、ウェーブレット変換係数Ｄ９０と加算係数Ｄ９２とを切り換え、ウェーブレット変換係数又は加算係数Ｄ９３を符号ブロック合成部７５に供給する。なお、このウェーブレット変換係数又は加算係数Ｄ９３はメモリ７８にも供給され、メモリ７８で記憶される。
【００８９】
符号ブロック合成部７５は、符号ブロック毎のウェーブレット変換係数又は加算係数Ｄ９３を合成してフレーム毎のウェーブレット変換係数Ｄ９４を生成し、このフレーム毎のウェーブレット変換係数Ｄ９４をウェーブレット変換部８０に供給する。
【００９０】
ウェーブレット逆変換部８０は、フレーム毎のウェーブレット変換係数Ｄ９４を逆変換して最終的な復号画像Ｄ７９を生成し、この復号画像Ｄ７９を外部に出力する。
【００９１】
以上のように、第５の実施の形態における画像復号装置９０では、画像符号化装置において先行フレームのウェーブレット変換係数と現フレームのウェーブレット変換係数との差分を計算し、フレーム内符号化とフレーム間符号化とを符号ブロック毎に切り換えて行った場合であっても、符号化コードストリームＤ７０に含まれる切換情報を参照することで、元の復号画像を復元することができる。
【００９２】
（６）第６の実施の形態
次に、第６の実施の形態における画像復号装置の概略構成を図１５に示す。図１５に示す画像復号装置１１０は、基本構造を図１３，１４に示した画像復号装置７０，９０と同様とするが、切換部７９の直後に逆量子化部７６が配置され、量子化係数同士の加算計算を行う点に特徴を有している。したがって、先に図１３，１４に示した画像復号装置７０．９０と同様の構成については同一符号を付して詳細な説明を省略する。なお、この画像復号装置１１０は、第３の実施の形態における画像符号化装置５０に対応するものである。
【００９３】
画像復号装置１１０において、ビットデモデリング部７４は、符号ブロック毎の量子化係数Ｄ７３を加算部７７及び切換部７９に供給する。
【００９４】
加算部７７は、ビットデモデリング部７４から供給された符号ブロック毎の量子化係数Ｄ７３とメモリ７８に記憶されていた量子化係数Ｄ１１０とを加算し、加算係数Ｄ１１１を切換部７９に供給する。なお、量子化係数Ｄ１１０は、ビットデモデリング部７４から供給された量子化係数Ｄ７３と同一位置の符号ブロックにおける係数である。
【００９５】
切換部７９は、符号化コードストリームＤ７０の例えばコメントマーカ（ＣＯＭ）に含まれていた切換情報に基づいて、量子化係数Ｄ７３と加算係数Ｄ１１１とを切り換え、量子化係数又は加算係数Ｄ１１２を符号ブロック合成部７５に供給する。なお、この量子化係数又は加算係数Ｄ１１２はメモリ７８にも供給され、メモリ７８で記憶される。
【００９６】
符号ブロック合成部７５は、符号ブロック毎の量子化係数又は加算係数Ｄ１１２を合成してフレーム毎の量子化係数Ｄ１１３を生成し、このフレーム毎の量子化係数Ｄ１１３を逆量子化部７６に供給する。
【００９７】
逆量子化部７６は、符号ブロック合成部７５から供給されたフレーム毎の量子化係数Ｄ１１３を逆量子化してウェーブレット変換係数Ｄ７８に変換し、このウェーブレット変換係数Ｄ７８をウェーブレット逆変換部８０に供給する。
【００９８】
ウェーブレット逆変換部８０は、ウェーブレット変換係数Ｄ７８を逆変換して最終的な復号画像Ｄ７９を生成し、この復号画像Ｄ７９を外部に出力する。
【００９９】
以上のように、第６の実施の形態における画像復号装置１１０では、画像符号化装置において先行フレームの量子化係数と現フレームの量子化係数との差分を計算し、フレーム内符号化とフレーム間符号化とを符号ブロック毎に切り換えて行った場合であっても、符号化コードストリームＤ７０に含まれる切換情報を参照することで、元の復号画像を復元することができる。
【０１００】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１０１】
例えば、上述の画像符号化装置１０，３０，５０では、ビットプレーン単位でレート制御を行うものとして説明したが、これに限定されるものではなく、符号化パス単位でレート制御を行うようにしても構わない。
【図面の簡単な説明】
【０１０２】
【図１】第１の実施の形態における画像符号化装置の概略構成を示す図である。
【図２】３回ウェーブレット変換した場合のサブバンドを説明する図である。
【図３】実際の画像をウェーブレット変換した場合のサブバンドを説明する図である。
【図４】符号ブロックとサブバンドとの関係を説明する図である。
【図５】ビットプレーンを説明する図であり、同図（Ａ）は、計１６個の係数から成る量子化係数を示し、同図（Ｂ）は、係数の絶対値のビットプレーンを示し、同図（Ｃ）は、符号のビットプレーンを示す。
【図６】符号ブロック内の符号化パスの処理手順を説明する図である。
【図７】符号ブロック内の係数のスキャン順序を説明する図である。
【図８】係数ビットの有意、非有意を説明する図である。
【図９】１５フレーム毎にフレーム内符号化を行うフレームを設けた例を示す図である。
【図１０】第２の実施の形態における画像符号化装置の概略構成を示す図である。
【図１１】第３の実施の形態における画像符号化装置の概略構成を示す図である。
【図１２】同画像符号化装置において、各ビットプレーンの有意係数の個数によってフレーム内符号化又はフレーム間符号化を切り換える場合における切換部の概略構成を示す図である。
【図１３】第４の実施の形態における画像復号装置の概略構成を示す図である。
【図１４】第５の実施の形態における画像復号装置の概略構成を示す図である。
【図１５】第６の実施の形態における画像復号装置の概略構成を示す図である。
【符号の説明】
【０１０３】
１０，３０，５０  画像符号化装置、１１  ウェーブレット変換部、１２  差分器、１３  切換部、１４  量子化部、１５  逆量子化部、１６  加算器、１７  メモリ、１８  符号ブロック化部、１９  ＥＢＣＯＴ部、２０  ビットモデリング部、２１  算術符号化部、２２  レート制御部、２３  フォーマット部、７０，９０，１１０  画像復号装置、７１  逆フォーマット部、７２  ＥＢＣＯＴ復号部、７３  算術復号部、７４  ビットデモデリング部、７５  符号ブロック合成部、７６  逆量子化部、７７  加算部、７８  メモリ、７９  切換部、８０  ウェーブレット逆変換部
【図１】
2005229441.tif 000007
【図２】
2005229441.tif 000008
【図３】
2005229441.tif 000009
【図４】
2005229441.tif 000010
【図５】
2005229441.tif 000011
【図６】
2005229441.tif 000012
【図７】
2005229441.tif 000013
【図８】
2005229441.tif 000014
【図９】
2005229441.tif 000015
【図１０】
2005229441.tif 000016
【図１１】
2005229441.tif 000017
【図１２】
2005229441.tif 000018
【図１３】
2005229441.tif 000019
【図１４】
2005229441.tif 000020
【図１５】
2005229441.tif 000021