(57)【要約】【課題】非可逆符号化された画像情報を復号した画像Ａを利用し，その原画像Ｂの画像情報を，高周波成分を含む符号量の制御が可能な方式で効率よく符号化／復号する。【解決手段】差分作成部１０３により，画像Ａの画像情報からの画像Ｂの画像情報の差分画像を作成する。ビット抽出部１０５により，差分画像の各画素位置における差分情報の絶対値を２進数で表現してその上位第Ｍ番目のビットから第Ｎ番目のビットまでを抽出し，ビット符号化部１０６により符号化する。また，抽出したビットが有意である場合に，正負符号化部１０８により差分情報の正負情報を符号化する。多重化部１０９でこれらの符号化情報を多重化して画像Ｂの符号化データとする。【選択図】          図１
2004356960.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の画像情報からの，第２の画像の画像情報の差分を符号化することにより，前記第２の画像を符号化する画像符号化方法であって，
前記第１の画像と前記第２の画像の各画素位置における差分情報の絶対値を２進数で表現して上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでを抽出するビット抽出ステップと，
前記ビット抽出ステップで抽出したビットの値を符号化するビット符号化ステップと，
該画素位置において差分情報の正負情報を符号化したかどうかを示す正負記録情報を蓄積する正負記録ステップと，
前記ビット抽出ステップで抽出したビットの値が予め設定した値に等しい場合であり，該画素位置の正負情報を符号化していない場合に，差分情報の正負情報を符号化する正負符号化ステップとを有する
ことを特徴とする画像符号化方法。
【請求項２】
既にフレームを分割した領域毎に動き補償符号化されている第１の動画像のフレームの画像情報を使って作成された画像情報と，第２の動画像のフレームの画像情報の差分を符号化することにより，前記第２の動画像を符号化する画像符号化方法であって，
前記第１の動画像の画像情報と過去の差分画像情報から中間画像を作成する中間画像作成ステップと，
前記第２の動画像のフレームの各画素位置に対応した前記第１の動画像のフレームの画素位置における，前記第１の動画像の参照画像と動きベクトルとに対応した，中間画像中の画像情報を取得する予測画像作成ステップと，
前記予測画像作成ステップで得た画像情報と前記第１の動画像のフレームの画像情報から，差分画像情報を作成する差分作成ステップと，
前記第２の動画像のフレームの各画素位置における，前記差分作成ステップで作成した差分情報の絶対値を２進数で表現して上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでを抽出するビット抽出ステップと，
前記ビット抽出ステップで抽出したビットの値を符号化するビット符号化ステップと，
前記第２の動画像のフレームの該画素位置における，差分情報の正負情報を符号化したかどうかを示す正負記録情報を蓄積する正負記録ステップと，
前記ビット抽出ステップで抽出したビットの値が予め設定した値に等しい場合であり，該画素位置の正負情報を符号化していない場合に，差分情報の正負情報を符号化する正負符号化ステップと，
差分画像情報を蓄積する差分蓄積ステップとを有する
ことを特徴とする画像符号化方法。
【請求項３】
請求項１または請求項２に記載の画像符号化方法において，
前記第２の画像または動画像を分割した領域毎に，前記ビット符号化ステップと前記正負符号化ステップとを実行する
ことを特徴とする画像符号化方法。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の画像符号化方法において，
前記ビット符号化ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して確率テーブルを変更し，算術符号化を行う
ことを特徴とする画像符号化方法。
【請求項５】
第１の画像の画像情報と，それに関連する第２の画像の差分に基づく符号化データとがある場合に，前記第２の画像を復号する画像復号方法であって，
前記第２の画像の差分に基づく符号化データからＫビット固定長ビット列を復号するビット復号ステップと，
前記ビット復号ステップで得た各ビットを，該画素位置の暫定画像情報の上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでに設定するビット設定ステップと，
該画素位置における正負情報を復号したかどうかを示す正負記録情報を蓄積する正負記録ステップと，
前記ビット設定ステップで設定した値が予め設定した値に等しい場合であり，該画素位置の正負情報を復号していない場合に，設定した値の正負情報を復号する正負復号ステップと，
該画素位置の暫定画像情報と正負情報から差分画像情報を作成する差分作成ステップと，
前記第１の画像の画像情報と前記差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成ステップとを有する
ことを特徴とする画像復号方法。
【請求項６】
既にフレームを分割した領域毎に動き補償復号されている第１の動画像の画像情報と，それに関連する第２の動画像の差分に基づく符号化データとがある場合に，前記第２の動画像を復号する画像復号方法であって，
前記第２の動画像のフレームの各画素位置に対応した前記第１の動画像のフレームの画素位置における，前記第１の動画像の参照画像と動きベクトルとに対応した，前記第２の動画像の復号画像中の画像情報を取得する予測画像作成ステップと，
前記第２の動画像の差分に基づく符号化データからＫビット固定長ビット列を復号するビット復号ステップと，
前記ビット復号ステップで得た各ビットを，該画素位置の暫定画像情報の上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでに設定するビット設定ステップと，
該画素位置における正負情報を復号したかどうかを示す正負記録情報を蓄積する正負記録ステップと，
前記ビット設定ステップで設定した値が予め設定した値に等しい場合であり，該画素位置の正負情報を復号していない場合に，設定した値の正負情報を復号する正負復号ステップと，
該画素位置の暫定画像情報と正負情報から差分画像情報を作成する差分作成ステップと，
前記第１の画像の画像情報と前記差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成ステップと，
前記画像作成ステップで作成された復号画像を蓄積する復号画像蓄積ステップとを有する
ことを特徴とする画像復号方法。
【請求項７】
請求項５または請求項６に記載の画像復号方法であって，
前記第２の画像または動画像を分割した領域毎に，前記ビット復号ステップと前記正負復号ステップとを実行する
ことを特徴とする画像復号方法。
【請求項８】
請求項５から請求項７までのいずれか１項に記載の画像復号方法であって，
前記ビット復号ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して確率テーブルを変更し，算術復号を行う
ことを特徴とする画像復号方法。
【請求項９】
第１の画像の画像情報からの，第２の画像の画像情報の差分を符号化することにより，前記第２の画像を符号化する画像符号化装置であって，
前記第１の画像と前記第２の画像の各画素位置の差分情報の絶対値を２進数で表現して上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでを抽出するビット抽出部と，
前記ビット抽出部で抽出したビットの値を符号化するビット符号化部と，
該画素位置において差分情報の正負情報を符号化したかどうかを示す正負記録情報を蓄積する正負記録メモリと，
前記ビット抽出部で抽出したビットの値と予め設定した値とを比較する抽出ビット比較部と，
前記抽出ビット比較部の比較結果に従って前記差分情報の正負情報を符号化する正負符号化部とを備える
ことを特徴とする画像符号化装置。
【請求項１０】
既にフレームを分割した領域毎に動き補償符号化されている第１の動画像のフレームの画像情報を使って作成された画像情報と，第２の動画像のフレームの画像情報の差分を符号化することにより，前記第２の動画像を符号化する画像符号化装置であって，
前記第１の動画像の参照画像指定情報と動きベクトルとを入力する動きベクトル入力部と，
前記第１の動画像の画像情報と過去の差分画像情報から中間画像を作成する中間画像作成部と，
前記第２の動画像のフレームの各画素位置に対応した前記第１の動画像のフレームの画素位置における，前記第１の動画像の参照画像と動きベクトルとに対応した，中間画像中の画像情報を取得する予測画像作成部と，
前記予測画像作成部で得た画像情報と前記第１の動画像のフレームの画像情報とから，差分画像情報を作成する差分作成部と，
該画素位置における差分情報の絶対値を２進数で表現して上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでを抽出するビット抽出部と，
前記ビット抽出部で抽出したビットの値を符号化するビット符号化部と，
該画素位置において差分情報の正負情報を符号化したかどうかを示す正負記録情報を蓄積する正負記録メモリと，
前記ビット抽出部で抽出したビットの値と予め設定した値とを比較する抽出ビット比較部と，
該画素位置の差分情報の正負情報を符号化する正負符号化部と，
差分画像情報を蓄積する差分蓄積メモリとを備える
ことを特徴とする画像符号化装置。
【請求項１１】
第１の画像の画像情報と，それに関連する第２の画像の差分に基づく符号化データとがある場合に，前記第２の画像を復号する画像復号装置であって，
前記第２の画像の差分に基づく符号化データからＫビット固定長ビット列を復号するビット復号部と，
前記ビット復号部で得た各ビットを，該画素位置の暫定画像情報の上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでに設定するビット設定部と，
該画素位置における正負情報を復号したかどうかを示す正負記録情報を蓄積する正負記録メモリと，
前記ビット設定部で設定した値と予め設定した値とを比較する設定ビット比較部と，
前記ビット設定部で設定した値の正負情報を復号する正負復号部と，
該画素位置の暫定画像情報と正負情報とから差分画像情報を作成する差分作成部と，
前記第１の画像の画像情報と前記差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成部とを備える
ことを特徴とする画像復号装置。
【請求項１２】
既にフレームを分割した領域毎に動き補償復号されている第１の動画像の画像情報と，それに関連する第２の動画像の差分に基づく符号化データとがある場合に，前記第２の動画像を復号する画像復号装置であって，
前記第１の動画像の参照画像指定情報と動きベクトルとを入力する動きベクトル入力部と，
各画素位置に対応した前記第１の動画像のフレームの画素位置における，前記第１の動画像の参照画像と動きベクトルとに対応した，前記第２の動画像の復号画像中の画像情報を取得する予測画像作成部と，
前記第２の動画像の差分に基づく符号化データからＫビット固定長ビット列を復号するビット復号部と，
前記ビット復号部で得た各ビットを，該画素位置の暫定画像情報の上位第Ｍ番目のビットから第Ｎ番目（１≦Ｍ≦Ｎ）のビットまでに設定するビット設定部と，
該画素位置における正負情報を復号したかどうかを示す正負記録情報を蓄積する正負記録メモリと，
前記ビット設定部で設定した値の正負情報を復号する正負復号部と，
該画素位置の暫定画像情報と正負情報から差分画像情報を作成する差分作成部と，
前記第１の画像の画像情報と前記差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成部と，
前記画像作成部で作成された復号画像を蓄積する復号画像蓄積部とを備える
ことを特徴とする画像復号装置。
【請求項１３】
請求項１から請求項４までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
【請求項１４】
請求項５から請求項８までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。
【請求項１５】
請求項１から請求項４までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるためのプログラムを記録した画像符号化プログラム記録媒体。
【請求項１６】
請求項５から請求項８までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるためのプログラムを記録した画像復号プログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，画像符号化／復号技術に関し，特に，第１の画像と第２の画像との差分情報を符号化／復号することにより，第２の画像の近似画像を適当な符号量のもとで効率よく得ることができる画像符号化／復号方法，装置，プログラムおよびその記録媒体に関する。
【０００２】
【従来の技術】
画像情報の高周波成分は，低周波成分よりも損失した際の主観品質の低下が小さい。特に画像情報の輪郭を表現するエッジが少ないところでは，元々低周波成分が多いこともあり，高周波成分を低減することによる品質劣化が少ない。そこで非可逆画像符号化では，符号化効率を向上するために，一般的に量子化等により画像の高周波成分情報が失われるような符号化が行なわれている。
【０００３】
ＤＣＴ等の直交変換を行う場合には，ＤＣＴの低次係数を保存して高次係数を削除する非線形量子化により主観品質の低下を防ぎつつ符号化効率を向上する。またサブバンド符号化では，画像情報を低域成分と高域成分に分割し，高域成分を削除することにより量子化を行う。この方法でも，低域成分を保存するため主観品質の低下を防ぐことができる。
【０００４】
画像の低周波成分は，高周波成分よりも隣接画素間で相関が大きいため，このような直交変換やサブバンド分割により高い効率で符号化できる。より積極的に高周波成分を低減するためには，直交変換やサブバンド分割を行う前に，適切なローパスフィルタを用いて，画像情報から高周波成分を取り除いて情報量を減らす前処理フィルタ方法も好適である。
【０００５】
他方，画像のエッジ部分では，高周波成分が主観品質上で重要である。しかし，このような高周波成分は，直交変換では高符号化効率を得られない。そこで高周波成分が多い画像に対しては，別の符号化方法を適用する手法が提案されている。高周波成分が多い画像に対しては，多値ロスレス符号化ＪＰＥＧ−ＬＳや２値画像符号化ＪＢＩＧに採用されている手法のように，対象画素の画像情報を，上または左の画素の画像情報から予測した値を符号化する方法が提案されている。
【０００６】
例えば，画像情報を２値で近似する領域と近似しない領域とに分割し，２値で近似する領域をＪＢＩＧで符号化し，近似しない領域を，ＤＣＴを適用するＪＰＥＧで符号化する手法が考えられる。
【０００７】
また例えば，下記の非特許文献１では，画像のエッジ情報を抽出してエッジ部分の高周波成分を低減した画像を，ＤＣＴを適用するＭＰＥＧで符号化し，エッジの位置情報をＪＢＩＧで符号化する方法を提案している。特にこの方法の復号側では，ＪＢＩＧで復号したエッジの位置情報に基づいて，エッジ位置を中心に画像をシャープにする画像処理を行う。
【０００８】
【非特許文献１】
Ｓｈｕｎ−ｉｃｈ  Ｓｅｋｉｇｕｃｈｉ  ａｎｄ  Ｍｉｎｏｒｕ  Ｅｔｏｈ，  ”ＥＤＧＥ−ＢＡＳＥＤ  ＬＡＹＥＲＥＤ  ＣＯＤＩＮＧ  ＯＦ  ＩＭＡＧＥＳ，”  ＰＣＳ２００１，ｐｐ．１７９−１８２，２００１
【０００９】
【発明が解決しようとする課題】
エッジ情報の符号化に２値画像符号化を使用する場合には，２値画像情報を可逆符号化する必要がある。そのため，エッジ情報の符号量を特定の帯域に合わせて制御することができない問題がある。
【００１０】
また，エッジ部分の画像情報を符号化する方法として，エッジ部分の画像情報を多値画像（グレースケール）で表現し，グレースケール画像情報を２値にビットプレーン展開して，プレーン毎に２値画像符号化を適用する方法も考えられる。この方法によれば，エッジ部分の画像情報の符号量を制御できる。
【００１１】
しかしながら，エッジ部分に多く存在する高周波成分のみの画像情報をビットプレーン展開することはできず，低周波成分も含めてビットプレーン展開するため，直交変換を適用する方法よりも符号化効率が低下する問題がある。
【００１２】
本発明は，上記従来技術の問題点を解決し，エッジ部分のような高周波数成分が重要となる画像情報の符号量の制御を可能とし，画像情報を高周波成分を含めて効率よく符号化／復号することができるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
以上の課題を解決するため，第１の発明は，画像Ａと画像Ｂがある場合に，画像Ａの画像情報からの，画像Ｂの画像情報の差分を符号化することにより画像Ｂを符号化する画像符号化方法であって，各画素位置における差分情報の絶対値を２進数で表現して上位第Ｍ番目のビットから第Ｎ番目のビットまでを抽出するビット抽出ステップと，ビット抽出ステップで抽出した値を符号化するビット符号化ステップと，該画素位置において差分情報の正負情報を符号化したかどうかを示す正負記録情報を蓄積する正負記録ステップと，ビット抽出ステップで抽出した値が予め設定した値に等しい場合であり，該画素位置の正負情報を符号化していない場合に，差分情報の正負情報を符号化する正負符号化ステップと，を実行することを特徴とする。
【００１４】
第２の発明は，動画像Ａと動画像Ｂがあり，動画像Ａは既にフレームを分割した領域毎に動き補償符号化されている場合に，動画像Ａのフレームａの画像情報を使って作成された画像情報と，動画像Ｂのフレームｂの画像情報との差分を符号化することにより，動画像Ｂを符号化する画像符号化方法であって，動画像Ａの画像情報と過去の差分画像情報から中間画像を作成する中間画像作成ステップと，フレームｂの各画素位置に対応したフレームａの画素位置における，動画像Ａの参照画像と動きベクトルに対応した，中間画像中の画像情報を取得する予測画像作成ステップと，予測画像作成ステップで得た画像情報と動画像Ａのフレームａの画像情報から，差分画像情報を作成する差分作成ステップと，フレームｂの各画素位置における，差分作成ステップで作成した差分情報の絶対値を２進数で表現して上位第Ｍ番目のビットから第Ｎ番目のビットまでを抽出するビット抽出ステップと，ビット抽出ステップで抽出した値を符号化するビット符号化ステップと，フレームｂの該画素位置における，差分情報の正負情報を符号化したかどうかを示す正負記録情報を蓄積する正負記録ステップと，ビット抽出ステップで抽出した値が予め設定した値に等しい場合であり，該画素位置の正負情報を符号化していない場合に，差分情報の正負情報を符号化する正負符号化ステップと，差分画像情報を蓄積する差分蓄積ステップと，を実行することを特徴とする。
【００１５】
第３の発明は，第１または第２の発明の画像符号化方法であって，画像Ｂを分割した領域毎に，ビット符号化ステップと正負符号化ステップを実行することを特徴とする。
【００１６】
第４の発明は，第１または第２または第３の発明の画像符号化方法であって，ビット符号化ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して確率テーブルを変更し，算術符号化を行うことを特徴とする。
【００１７】
第１の発明によれば，復号側で画像Ａに対する画像Ｂの差分画像情報の一部と画像Ａの画像情報から画像Ｂに近い画像情報を得るような，画像Ｂの符号化データを作成することができる。第１の発明では，差分画像情報の絶対値をビットプレーン展開し，２値または多値の画像情報として符号化する。
【００１８】
例えば，差分情報の絶対値が１００である場合には，２進数表現で０１１００１００であり，これを４ビットずつ分割して０１１０，０１００となるため，２プレーンある１６値の画像情報として符号化することができる。上位レベルのプレーン０１１０は大きな差分の変化を表しているため，より低周波成分を表していることに相当する。そのため例えば復号側で上位レベルのプレーンのみ復号するだけでも，主観的には，比較的原画像に近い画像を得ることができる。
【００１９】
第１の発明では差分画像情報を符号化するため，マイナスの値の差分情報もあり，差分画像情報の正負情報も符号化する必要がある。正負情報は，プレーンの値が予め設定した有意な値（例えば０以外）となる場合のみ符号化するように設定できる。これにより，例えば上位プレーンが有意でない場合に正負情報を符号化する必要がなくなる。
【００２０】
また，プレーンの値が予め設定した有意な値（例えば０以外）にならない場合に，正または負の値として符号化してもよい。プレーンの値が予め設定した有意な値かどうかは，プレーンの符号化データを復号することにより判定できるため，有意な値にならない場合の正負情報を復号側で削除することができる。この場合には，正負情報は画像サイズと同じだけ符号化する必要がある。正負情報は取りうる状態が２種類あるので，２値の情報として符号化することができる。
【００２１】
以上の説明から分かるように，第１の発明によれば，画像Ｂを一旦直交変換を使った非可逆符号化で符号化した場合の復号画像を画像Ａに設定することにより，画像Ａの復号画像に対して，エッジなどの高周波成分が多い画素位置に高周波成分を徐々に加えることができる符号化方法を実現することができる。画像の低周波成分は画像Ａの復号画像に多く含まれているため，エッジ部分の画像情報を多値画像とみなして符号化するよりも，低周波成分と高周波成分をより効率よく符号化することができる。
【００２２】
分割するプレーンの数や各プレーンのビット深度（階調）は，予め設定しておけば任意に設定することができる。動画像の場合には，フレーム毎にプレーン数やプレーンのビット深度を変更してもよい。プレーンのビット深度を画像情報のビット深度と同じにしてもよい。なお，プレーン毎にビット深度（階調）を変えてもよい。例えば，８ビットの画像情報を上位レベルから４ビット，２ビット，１ビット，１ビットというように４プレーンで構成してもよい。
【００２３】
第１の発明と，正負情報を別に符号化しない方法を組み合わせてもよい。正負情報を別に符号化せずに差分情報を符号化する方法としては，例えば，１つの差分情報の絶対値（プレーン）に対して，正負情報が正（値が０）の場合のみ有意な情報として符号化したプレーンと，正負情報が負（値が１）の場合のみ有意な情報として符号化したプレーンを定義して，２プレーンで符号化する方法が考えられる。
【００２４】
第１の発明の方法では，１プレーンと正負情報（２値１プレーンに相当）を符号化するが，この方法では，２プレーンを符号化することになる。この方法を組み合わせると，例えば上位プレーンを第１の発明の方法で符号化し，下位プレーンを正負情報を使わない方法で符号化することも可能である。動画像の場合には，フレーム毎に，第１の発明と正負情報を使わない方法を選択して使用してもよい。
【００２５】
また，第１の発明では，画像Ａと画像Ｂの画像サイズが異なっていてもよい。画像Ａが画像Ｂよりも小さい場合には，画像Ａの画像情報をアップサンプリングして画像Ｂと同じ画像サイズにしてから差分情報を作成する。逆に画像Ａが画像Ｂよりも大きい場合には，画像Ａの画像情報をダウンサンプリングして画像Ｂと同じ画像サイズにしてから差分情報を作成する。
【００２６】
例えば，ＹＣｒＣｂ色空間を使った符号化において，Ｃｒ成分とＣｂ成分の画像サイズをＹ成分の画像サイズの半分にして符号化する方法がある。この方法によって符号化された画像に対して，Ｃｒ成分とＣｂ成分をアップサンプリングして本発明の符号化方法を適用すれば，Ｃｒ成分とＣｂ成分の画像サイズがＹ成分の画像サイズに等しい画像を得る符号化データを作成することができる。
【００２７】
また，第１の発明では，画像Ａと画像Ｂの画像情報のビット深度（階調）が異なっていてもよい。画像Ａのビット深度が画像Ｂのビット深度と異なる場合には，画像Ａの画像情報を画像Ｂと同じビット深度に変換してから差分情報を作成する。例えば，ＹＣｒＣｂ色空間やＲＧＢ色空間において各色コンポーネントを８ビットで表現した画像情報に対して，各色コンポーネントを１０ビットや１２ビットで表現した画像情報を得るような符号化データを作成することができる。
【００２８】
第１の発明における各プレーン中の２値または多値の符号化方法としては，ロスレスであればどのような符号化方法を使ってもよい。例えば，２値符号化方法としてはＪＢＩＧやＪＢＩＧ２，多値の符号化方法としてはＪＰＥＧ−ＬＳが挙げられる。また，特に多値の場合には，ロスレスの直交変換やサブバンド分割方法を使用してもよい。この符号化方法はプレーン毎に選択しても好適である。
【００２９】
第２の発明によれば，動画像Ａが動き補償を使って符号化されている場合に，動き補償に使用された参照画像指定情報と動きベクトル情報を，画像Ｂと画像Ａの差分画像情報の符号化に利用することができる。画像Ｂの動き情報が画像Ａの動き情報に等しい場合，画像Ｂと画像Ａの差分情報の動き情報も画像Ａの動き情報に等しい場合がある。
【００３０】
そこで画像Ａの既に符号化されたフレームの画像情報と差分画像情報の一部から，動き補償を使って予測画像を作成して，この予測画像と画像Ｂとの差分を符号化対象にすることにより，有意な値の予測誤差情報の数を減らすことができる。例えば画像Ａと画像Ｂが共に静止している場合には，現フレームの差分情報は，前フレームの差分情報に等しいため，有意な値の予測誤差情報は存在しなくなる。
【００３１】
符号化対象を，動き情報を使用した予測誤差にするのか，あるいは，第１の発明によって得られる差分画像情報にするのかをフレーム毎に切り替えても好適である。この第２の発明により，画像Ａと画像Ｂが動画像の場合には，第１の発明に対して，さらにエッジ部分の画像情報の高周波成分を効率よく符号化することができる。
【００３２】
第３の発明によれば，画面を分割した領域毎に，差分画像情報または予測誤差情報を符号化することができる。領域としてはマクロブロックのような矩形のブロックも好適であるし，任意形状の領域も好適である。これにより特定領域のみ高周波成分を符号化して主観品質を向上することや，すべての領域の高周波成分を符号化しておき，伝送レートに合わせて高品質化する領域を選択し，選択された領域のみ復号側で復号して主観品質を向上することができる。特に，任意形状の場合には，特定の画像オブジェクトやエッジ周辺部分のみ高周波成分を符号化することができる。
【００３３】
領域の指定方法は，領域分割情報を２値符号化等で明示的に指定してもよい。復号側でエッジを抽出して領域分割してもよい。ただし，この場合にはエッジ抽出用のパラメータも符号化する必要がある。あるいは，単純に領域外を非有意な値とみなして画面全体を符号化してもよい。なお，この場合には，同じ領域に対して同じレベルのプレーンが複数存在することになる。分割するプレーンの数や各プレーンのビット深度（階調）を領域毎に変更してもよい。
【００３４】
第４の発明によれば，プレーンに分割された２値または多値の情報を符号化する際に，周囲の画素位置の情報を使って確率テーブルを変更しながら，算術符号化を適用することができる。これより，単純に各値を算術符号化するよりも，似た領域毎に適応的に算術符号化を適用することができるため，符号化効率を向上することができる。
【００３５】
【発明の実施の形態】
図面を用いて本発明の実施の形態を説明する。第１の実施の形態として，８ビットで表現された縦３２０横２４０画素の画像Ａと，１０ビットで表現された縦６４０横４８０の画像Ｂとの差分情報を符号化する方法を示す。復号側では画像Ａと符号化データから画像Ｂの近似画像を得る方法を示す。差分情報は２ビット毎にプレーン化し符号化するものとする。
【００３６】
まず，本発明の第１の実施の形態に係る画像符号化装置の説明を行う。図１に装置概要を示す。画像符号化装置１は，符号化対象画像の画像Ｂを入力する画像Ｂ入力部１０２と，参照画像の画像Ａを入力する画像Ａ入力部１０１と，画像Ａと画像Ｂの差分画像情報を作成する差分作成部１０３と，差分情報を蓄積する差分蓄積メモリ１０４と，各画素位置における差分情報の絶対値のビット列を上位から２ビット毎に抽出するビット抽出部１０５と，ビット抽出部１０５で抽出された２ビットを符号化するビット符号化部１０６と，２ビットの値と予め設定した値との比較を行い，その２ビットが有意かどうかを判定する抽出ビット比較部１０７と，正負情報を符号化する正負符号化部１０８と，正負情報を符号化したかどうかを示す情報を蓄積する正負記録メモリ１１０と，ビット符号化部１０６からの符号化データと正負符号化部１０８からの符号化データを多重化する多重化部１０９と，符号化するプレーン数を指定するプレーン指定部１１１とを備える。
【００３７】
抽出ビット比較部１０７では２ビットの値が０以外の場合に，その値が有意であると判定するものとする。差分作成部１０３では，差分画像情報を作成するにあたり，画像Ａの画像情報を８ビットから１０ビットへ，また画像サイズを２倍に拡大する。まず画像サイズを２倍に拡大した後で，階調を増やす。
【００３８】
２倍に拡大するには隣接画素間の線形補間を使用する。線形補間の模式図を図２に示す。“＞＞１”は右へ１ビットシフトすることを表す。また階調を増やすときは，式（１）に従って行うものとする。Ｉは画像Ａの画像情報を示し，Ｏは１０ビットに変更された値を示す。
【００３９】
Ｏ＝Ｉ×４    ……式（１）
差分作成部１０３は，このようにして画像Ａを１０ビットで縦６４０横４８０の画像サイズとした後で，画像Ｂとの差分を計算する。ビット符号化部１０６は，左上の画素からラスタスキャン方向で，ＪＢＩＧ方式のグレースケール符号化を使用して，２ビットを符号化するものとする。また，正負符号化部１０８は，２ビットが有意でないと判定された画素位置においても，情報を符号化するものとする。このとき，正負符号化部１０８は，図３に示す動作フローに従って符号化する情報の値（０か１か）を判定するものとする。
【００４０】
多重化部１０９は，プレーン毎に，先頭の３ビットにプレーンの番号を，その後にビット符号化部１０６の符号化データを，次に正負符号化部１０８の符号化データとなるように並ベ，上位プレーンから順に下位プレーンまで多重化するものとする。
【００４１】
このような前提で画像Ｂの画像情報を次のように符号化する。まず，画像Ａ入力部１０１と画像Ｂ入力部１０２は，それぞれ画像Ａ，Ｂを入力する。差分作成部１０３は，これらの画像情報から差分画像情報を作成し，差分蓄積メモリ１０４に蓄積する。続いて上位レベルの２ビットから下位レベルヘ，プレーン毎に次のようにして符号化する。
【００４２】
まず，最上位レベルの第１プレーンを左上の画素から次のように符号化する。該画素位置の差分情報に対して，ビット抽出部１０５はプレーンに含まれる２ビットを抽出する。ビット符号化部１０６は，２ビットの値を符号化する。抽出ビット比較部１０７は，２ビットの値からその値が有意かどうかを判定する。
【００４３】
正負符号化部１０８は，図３に示す動作フローに従って得られる値を符号化し，正負情報を符号化した場合には，正負記録メモリ１１０に符号化したことを示す情報を蓄積する。すなわち，正負記録メモリ１１０に正負情報が蓄積されていないかどうかを判定し（ステップＳ１０１），蓄積されている場合には値０を符号化する（ステップＳ１０２）。蓄積されていない場合には抽出されたビットが有意であるかどうかを判定する（ステップＳ１０３）。抽出された値が有意でない場合にはステップＳ１０２に進み，値０を符号化する。抽出された値が有意である場合には，抽出されたビットが正の値であるかどうかを判定する（ステップＳ１０４）。抽出されたビットが正の値でない場合には値０を符号化し（ステップＳ１０５），抽出されたビットが正の値である場合には値１を符号化し（ステップＳ１０６），値を正負記録メモリ１１０に記録し蓄積する（ステップＳ１０７）。
【００４４】
以上の操作を右下の画素位置を符号化するまで繰り返す。その後，多重化部１０９はプレーン番号と，ビット符号化部１０６から得られる符号化データと，正負符号化部１０８から得られる符号化データとを多重化して出力する。
【００４５】
続いて次の上位レベルとなる第２プレーンについて，左上の画素から上記と同様な手順に従って符号化する。プレーン指定部１１１で指定されたプレーン数まで符号化を繰り返す。１０ビットの画像情報を２ビットのプレーンで符号化するので，最大５プレーン符号化することができる。
【００４６】
次に，本発明の第１の実施の形態に係る画像復号装置の説明を行う。図４に装置概要を示す。画像復号装置２は，符号化データを，プレーン番号と差分画像情報の符号化データと正負情報の符号化データとに分離する分離部２０９と，差分画像情報の符号化データから２ビット固定長ビット列を復号するビット復号部２０１と，ビット復号部２０１で得た２ビットを暫定画像情報の適切なビットに設定するビット設定部２０２と，正負情報を復号したかどうかを示す正負記録情報を蓄積する正負記録メモリ２０７と，ビット設定部２０２で設定した値と予め設定した値とを比較する設定ビット比較部２０５と，ビット設定部２０２で設定した値の正負情報を復号する正負復号部２０６と，画像Ａの画像情報を蓄積する参照画像メモリ２０８と，暫定画像情報と正負情報から差分画像情報を作成する差分作成部２１０と，差分画像情報を蓄積する差分蓄積メモリ２０３と，画像Ａの画像情報と差分画像情報を加えることにより，画像Ｂの画像情報を作成する画像作成部２０４とを備える。
【００４７】
設定ビット比較部２０５では，ビット設定部２０２で設定した２ビットの値が０以外の場合に，その値が有意であると判定するものとする。画像作成部２０４では，復号画像を作成するにあたり，画像Ａの画像情報を８ビットから１０ビットヘ，また画像サイズを２倍に拡大する。まず画像サイズを２倍に拡大した後で，階調を増やす。２倍に拡大するには隣接画素間の線形補間を使用する。線形補間の模式図を図２に示す。また，階調を増やすときには，上述した式（１）に従って行うものとする。
【００４８】
ビット復号部２０１は，ＪＢＩＧ方式のグレースケール復号を使用して，２ビットを復号するものとする。正負復号部２０６は，２ビットが有意でないと判定された画素位置においても，情報を復号するものとする。また，正負復号部２０６は，図５に示す動作フローに従って，復号した値から正負情報を計算するものとする。
【００４９】
このような前提で，画像復号装置２は，符号化データを次のように復号する。まず，分離部２０９は，符号化データを各プレーンに分離し，さらにプレーン毎に，プレーン番号と差分画像情報の符号化データと正負情報の符号化データとに分離する。
【００５０】
次に，上位プレーンから下位プレーンヘ，各プレーンを次のように復号する。左上の画素について，ビット復号部２０１は，差分画像情報の符号化データから２ビットの値を復号する。設定ビット比較部２０５は，復号した２ビットの値からその値が有意かどうかを判定する。
【００５１】
正負復号部２０６は，正負情報の符号化データを復号し，図５に示す動作フローに従って正負情報を計算する。正負情報を復号した場合には，正負記録メモリ２０７に復号したことを示す情報を蓄積する。すなわち，正負記録メモリ２０７に正負情報が蓄積されていないかを判定し（ステップＳ１１１），蓄積されている場合には処理を終了し，蓄積されていない場合には抽出されたビットが有意であるかどうかを判定する（ステップＳ１１２）。抽出された値が有意でない場合には処理を終了する。抽出された値が有意である場合には，復号した値が１であるかを判定する（ステップＳ１１３）。復号した値が１でない場合には正負情報を負に設定し（ステップＳ１１４），復号した値が１である場合には正負情報を正に設定し（ステップＳ１１５），値を正負記録メモリ２０７に記録し蓄積する（ステップＳ１１６）。
【００５２】
ビット設定部２０２は，差分蓄積メモリ２０３に差分画像情報が蓄積されている場合には，差分画像情報を差分蓄積メモリ２０３から読み出して，暫定画像情報に設定する。そして，ビット復号部２０１が復号した値を暫定画像情報における，プレーンのレベルに対応した位置のビットに設定する。差分作成部２１０は，正負復号部２０６で正負情報が得られた場合には，値を正か負に設定して暫定画像情報を差分蓄積メモリ２０３に蓄積する。以上の操作を右下の画素位置を復号するまで繰り返す。
【００５３】
続いて次の上位レベルとなる第２プレーンについて，左上の画素から上記と同様な手順に従って復号する。以上の処理を画像復号装置２に入力されるプレーン数に対して行う。全プレーンを復号した後で，画像作成部２０４は，参照画像メモリ２０８に蓄積された画像Ａの画像情報と，差分蓄積メモリ２０３に蓄積された差分画像情報とから復号画像を作成する。
【００５４】
本実施の形態では全プレーンを復号したが，途中のプレーンまでで，各プレーンから差分画像情報を作成する手順を終了し，復号画像を作成してもよい。
【００５５】
また，特定の領域のみ符号化／復号する，あるいは復号する領域を選択できるようにすることも可能である。これは，図６に示すように，図１に示した画像符号化装置１に，符号化する領域を指定する領域指定部３１５を追加して画像符号化装置３とすることにより実現可能である。図６は，領域指定部３１５を追加した画像符号化装置３の装置概要を示している。領域指定部３１５は，画素単位で符号化する領域を指定する。
【００５６】
特定の領域のみ符号化／復号する場合には，例えば，画像符号化装置３において，各プレーンを符号化する際に，差分蓄積メモリ３０４に蓄積された差分画像情報のうち，符号化を指定しない領域の情報を０として符号化すればよい。指定されない領域の差分画像情報は，画像復号装置２では０として復号されるため，画像Ａの画像情報のみから得られる画像情報が出力される。
【００５７】
領域毎に順次復号するようにすることもできる。上記のように符号化を指定しない領域の情報を０として符号化したデータを，画面中の領域毎に用意して復号を行う順序に多重化すればよい。復号側では，まず第１の領域の符号化データを復号することにより，第１の領域の画像Ｂが得られ，次に第２の領域の符号化データを復号することにより，第２の領域の画像Ｂが得られる。これを繰り返せば，符号化側で並べた順序で，復号側で領域毎に復号される。
【００５８】
復号側で復号する領域を指定するようにするには，例えば次のようにすればよい。画像符号化装置３の多重化部３０９でプレーン番号と符号化データの他に領域番号も多重化するようにし，画像復号装置２の分離部２０９で領域番号も分離するようにする。画像符号化装置３で領域毎に符号化データを多重化しておけば，復号側では，復号したい領域について，符号化データ中の領域番号により符号化データを選択して，復号することができる。
【００５９】
上記の例では，全ての差分画像情報を正負情報と差分画像情報に分けて符号化／復号したが，正負情報を使用しない方法と組み合わせて符号化してもよい。１０ビットの画像情報の差分に対して，最上位レベルのプレーンのみ正負情報と差分画像情報を符号化し，それ以外のレベルのプレーンは正負情報を使用しないで符号化する場合の例を次に示す。
【００６０】
各プレーンを２ビットで分割すると，正負情報を使用しないで符号化する方法としては，各プレーンを正または負の値ごとに，サブプレーンとしてさらに分割するものとする。各サブプレーンは２ビットで表現され，最上位以外の４プレーン毎に２種類あるので，合計８サブプレーンとなる。
【００６１】
この場合の画像符号化装置４の構成例を図７に示す。画像符号化装置４には，図１の構成に加えて，ビット抽出部４０５で得られる値を正負情報と組み合わせて符号化するビット正負符号化部４１４と，ビット抽出部４０５で得られる値をビット符号化部４０６で符号化するのかビット正負符号化部４１４で符号化するのかを切り替える正負スイッチ切り替え部４１２と，ビット抽出部４０５で得られる値をビット符号化部４０６で符号化したのかビット正負符号化部４１４で符号化したのかを示す正負スイッチ情報を符号化する正負スイッチ符号化部４１３とを備える。
【００６２】
正負スイッチ切り替え部４１２は，最上位プレーンを符号化する際にはビット符号化部４０６を選択し，その他のプレーンを符号化する際にはビット正負符号化部４１４を選択するものとする。ビット正負符号化部４１４では，サブプレーン毎に２ビットの値を符号化する。多重化部４０９は，プレーン番号と符号化データの他に，正負スイッチ符号化部４１３により符号化した正負スイッチ情報を多重化する。ビット正負符号化部４１４からの符号化データを多重化する場合には，正のサブプレーンの符号化データ，負のサブプレーンの符号化データの順に並べる。
【００６３】
また，この場合の画像復号装置５の構成例を図８に示す。画像復号装置５には，図４の構成に加えて，正負スイッチ情報を復号する正負スイッチ復号部５１２と，サブプレーンの符号化データを復号するビット正負復号部５１１と，各プレーンの符号化データをビット復号部５０１で復号するのかビット正負復号部５１１で復号するのかを切り替える正負スイッチ切り替え部５１３とを備える。
【００６４】
分離部５０９は，プレーン番号と符号化データの他に，正負スイッチ情報を分離する。正負スイッチ情報に従って，正負スイッチ切り替え部５１３は，符号化データをビット復号部５０１で復号するかビット正負復号部５１１で復号するかのスイッチを切り替える。ビット正負復号部５１１では，プレーン毎に，まず正のサブプレーンを復号し，続いて負のサブプレーンを復号して，差分画像情報を得る。
【００６５】
このようにプレーン毎に正負情報を別に符号化するかどうかを選択する仕組みを取り入れることより，プレーン毎に，どちらか符号化効率のよい方法を選択することができる。なお，復号側で予め正負情報を別に符号化しないプレーンが分かっている場合には，正負スイッチ情報を符号化／復号する必要はない。この場合には図７の装置構成で正負スイッチ符号化部４１３を備えず，図８の装置構成で正負スイッチ復号部５１２を備えなくてもよい。
【００６６】
次に，第２の実施の形態として，８ビットで表現された縦３２０横２４０画素の動画像の原画像を画像Ｂとし，画像Ｂを動き補償を使って符号化して復号した復号画像を画像Ａとして，画像Ａと画像Ｂの差分情報を符号化する方法を示す。復号側では画像Ａと符号化データから画像Ｂの近似画像を得る方法を示す。
【００６７】
差分情報は，１ビット毎にプレーン化して符号化するものとする。画像Ｂは８ビット画像であるため，８プレーンに分割されて符号化される。本実施の形態では，全プレーンを符号化するものとする。画像Ａを作成する際に使用された動き補償では，１０フレーム分の参照画像メモリを備え，画面を縦横１６画素のマクロブロックに分割し，マクロブロック毎に動き情報と参照画像指定情報を変更したものとする。復号側は画像Ａの符号化データと復号画像とを予め備えているものとする。
【００６８】
まず，第２の実施の形態に係る画像符号化装置の説明を行う。図９に装置概要を示す。画像符号化装置６は，符号化対象画像の画像Ｂを入力する画像Ｂ入力部６０２と，参照画像の画像Ａを入力する画像Ａ入力部６０１と，画像Ａを符号化した際の動きベクトルと参照画像指定情報を入力する動きベクトル入力部６１８と，画像Ａに各プレーンの差分画像情報を加えた中間画像を作成する中間画像作成部６１６と，各プレーンに対応した中間画像を１０フレーム分蓄積する中間参照画像メモリ６１７と，中間参照画像メモリ６１７に蓄積された画像のうち，動きベクトルと参照画像指定情報により指定された画像情報を予測画像に設定する予測画像作成部６１９と，画像Ａと画像Ｂの差分画像情報または予測画像と画像Ｂの差分画像情報を作成する差分作成部６０３と，差分情報を蓄積する差分蓄積メモリ６０４と，各画素位置における差分情報の絶対値を表すビット列の上位から１ビット毎にビットを抽出するビット抽出部６０５と，ビット抽出部６０５で抽出された１ビットを符号化するビット符号化部６０６と，１ビットの値と予め設定した値との比較を行い，その１ビットが有意かどうかを判定する抽出ビット比較部６０７と，正負情報を符号化する正負符号化部６０８と，正負情報を符号化したかどうかを示す情報を蓄積する正負記録メモリ６１０と，ビット符号化部６０６からの符号化データと正負符号化部６０８からの符号化データとを多重化する多重化部６０９とを備える。
【００６９】
中間画像作成部６１６では，差分画像情報のうち各レベルとその上位レベルのプレーンに該当する情報を抽出して，それを画像Ａに加算して中間画像を作成するものとする。中間参照画像メモリ６１７には，８プレーンで各１０フレーム分の中間画像を蓄積するため，合計８０フレーム分の画像メモリを備える。中間参照画像メモリ６１７に画像情報を蓄積する際に，既に８０フレーム分の画像情報が蓄積されている場合には，最も過去に蓄積された画像情報を廃棄してから，中間画像を蓄積する。
【００７０】
抽出ビット比較部６０７では，１ビットの値が０以外の場合に，その値が有意であると判定するものとする。ビット符号化部６０６は，左上の画素からラスタスキャン方向で，ＪＢＩＧ方式の２値符号化方法を使用して，１ビットを符号化するものとする。正負符号化部６０８は，１ビットが有意でないと判定された画素位置においても，情報を符号化するものとする。また，正負符号化部６０８は，図３に示す動作フローに従って符号化する情報の値（０か１か）を判定するものとする。
【００７１】
差分作成部６０３では，予測画像作成部６１９で作成された画像情報と，画像Ｂとの間の差分を作成する場合には，予測画像作成部６１９で使用されたプレーン数と，同じプレーン数だけ差分画像情報を作成するものとする。すなわち，差分蓄積メモリ６０４には，８種類の画像情報を蓄積する。また，正負記録メモリ６１０にも，８種類の正負情報を蓄積するメモリを備える。
【００７２】
多重化部６０９は，どの差分画像情報を使用したのかを示す情報（最大プレーン指定情報）と，異なる差分画像情報ごとに，先頭の３ビットにプレーンの番号を，その後にビット符号化部６０６の符号化データを，次に正負符号化部６０８の符号化データとなるように並べ，上位プレーンから順に下位プレーンまで多重化するものとする。
【００７３】
このような前提で，画像符号化装置６では，画像Ｂの画像情報を次のように符号化する。まず，第１フレームについては次のように符号化する。画像Ａ入力部６０１と画像Ｂ入力部６０２は，それぞれ画像Ａ，Ｂを入力する。差分作成部６０３は，これらの画像情報から差分画像情報を作成し，差分蓄積メモリ６０４に蓄積する。
【００７４】
続いて上位レベルの１ビットから下位レベルへ，プレーン毎に次のようにして符号化する。まず，最上位レベルの第１プレーンを左上の画素から次のように符号化する。該画素位置の差分情報に対して，ビット抽出部６０５は，プレーンに含まれる１ビットを抽出する。ビット符号化部６０６は，１ビットの値を符号化する。抽出ビット比較部６０７は，１ビットの値からそれが有意かどうかを判定する。正負符号化部６０８は，図３に示す動作フローに従って得られる値を符号化し，正負情報を符号化した場合には，正負記録メモリ６１０に符号化したことを示す情報を蓄積する。
【００７５】
以上の操作を右下の画素位置を符号化するまで繰り返す。その後，多重化部６０９は，最大プレーン指定情報と，プレーン番号と，ビット符号化部６０６から得られる符号化データと，正負符号化部６０８から得られる符号化データとを多重化し出力する。続いて次の上位レベルとなる第２プレーンについて，左上の画素から上記と同様な手順に従って符号化する。以上の処理を全プレーン数繰り返す。
【００７６】
次に，第２フレームについては次のように符号化する。画像Ａ入力部６０１と画像Ｂ入力部６０２は，それぞれ画像Ａ，Ｂを入力する，動きベクトル入力部６１８は，動きべクトルと参照画像指定情報を入力する。中間画像作成部６１６は，前フレームの画像Ａと差分画像情報から，各プレーンに対応した中間画像を作成し，中間参照画像メモリ６１７に蓄積する。
【００７７】
予測画像作成部６１９は，マクロブロック毎に指定された動きベクトルと参照画像指定情報によって指定される画像情報を，中間参照画像メモリ６１７から読み込み予測画像に設定する。
【００７８】
続いて，差分作成部６０３は，画像Ｂと予測画像とから差分画像情報を作成し，差分蓄積メモリ６０４に蓄積する。このとき，差分作成部６０３は，予測画像作成部６１９で使用されたプレーン数と，同じプレーン数だけ差分画像情報を作成する。例えば，上位３プレーンまでを予測画像作成部６１９が使用する場合には，差分作成部６０３も上位３プレーンまでの差分情報を作成する。この処理を上位レベルのプレーンから下位レベルのプレーンへ繰り返し実行する。このようにして８種類の差分画像情報を作成する。第ｉ（１≦ｉ≦８）の差分画像情報は，上位ｉプレーンまでを予測画像が使用した場合の画像とする。
【００７９】
続いて，第１の差分画像情報について，第１プレーンを左上の画素から次のように符号化する。該画素位置の差分情報に対して，ビット抽出部６０５は，プレーンに含まれる１ビットを抽出する。ビット符号化部６０６は，１ビットの値を符号化する。抽出ビット比較部６０７は，１ビットの値からそれが有意かどうかを判定する。正負符号化部６０８は，図３に示す動作フローに従って得られる値を符号化し，正負情報を符号化した場合には，正負記録メモリ６１０における第１の差分画像用に対応したメモリに，符号化したことを示す情報を蓄積する。以上の操作を右下の画素位置を符号化するまで繰り返す。
【００８０】
次に，第２の差分画像情報について，第１プレーンを左上の画素から次のように符号化する。該画素位置の差分情報に対して，ビット抽出部６０５は，プレーンに含まれる１ビットを抽出する。ビット符号化部６０６は，１ビットの値を符号化する。抽出ビット比較部６０７は，１ビットの値からそれが有意かどうかを判定する。正負符号化部６０８は，図３に示す動作フローに従って得られる値を符号化し，正負情報を符号化した場合には，正負記録メモリ６１０における第２の差分画像用に対応したメモリに，符号化したことを示す情報を蓄積する。以上の操作を右下の画素位置を符号化するまで繰り返す。
【００８１】
続いて，第２の差分画像情報について，第２プレーンを左上の画素から右下の画素まで同様に符号化する。
【００８２】
同様に，第ｉの差分画像情報に対して，上位第ｉプレーンまでについて，ビット抽出部６０５でビットを抽出して符号化する。このとき，正負情報を符号化したことを示す情報を蓄積する際には，正負記録メモリ６１０の第ｉの差分画像用に対応したメモリに蓄積する。
【００８３】
多重化部６０９は，最大プレーン指定情報と，プレーン番号と，ビット符号化部６０６から得られる符号化データと，正負符号化部６０８から得られる符号化データとを多重化し出力する。
【００８４】
第２フレームと同じ処理を以後のフレームに対して繰り返す。
【００８５】
次に，復号装置の説明を行う。図１０にその装置概要を示す。ここでは，上位３プレーンのみ復号する例を示す。画像復号装置７は，符号化データを，プレーン番号と差分画像情報の符号化データと正負情報の符号化データとに分離する分離部７０９と，画像Ａを符号化した際の動きベクトルと参照画像指定情報を入力する動きベクトル入力部７１４と，差分画像情報の符号化データから１ビット固定長ビット列を復号するビット復号部７０１と，ビット復号部７０１で得た１ビットを暫定画像情報の適切なビットに設定するビット設定部７０２と，正負情報を復号したかどうかを示す正負記録情報を蓄積する正負記録メモリ７０７と，ビット設定部７０２で設定した値と予め設定した値とを比較する設定ビット比較部７０５と，ビット設定部７０２で設定した値の正負情報を復号する正負復号部７０６と，画像Ａの画像情報を蓄積する参照画像メモリ７０８と，復号画像を蓄積する復号画像メモリ７１６と，復号画像から予測画像を作成する予測画像作成部７１５と，暫定画像情報と正負情報から差分画像情報を作成する差分作成部７１０と，差分画像情報を蓄積する差分蓄積メモリ７０３と，画像Ａの画像情報と差分画像情報を加えることにより，画像Ｂの復号画像を作成する画像作成部７０４とを備える。
【００８６】
設定ビット比較部７０５では，ビット設定部７０２で設定した１ビットの値が０以外の場合に，その値が有意であると判定するものとする。ビット復号部７０１は，ＪＢＩＧ方式の２値復号を使用して，１ビットを復号するものとする。
【００８７】
また，正負復号部７０６は，１ビットが有意でないと判定された画素位置においても，情報を復号するものとする。正負復号部７０６は，図５に示す動作フローに従って復号した値から正負情報を計算するものとする。復号画像メモリ７１６には，８プレーンで各１０フレーム分の復号画像を蓄積するため，合計８０フレーム分の画像メモリを備える。復号画像メモリ７１６に画像情報を蓄積する際に，既に８０フレーム分の画像情報が蓄積されている場合には，最も過去に蓄積された画像情報を廃棄してから，復号画像を蓄積する。
【００８８】
このような前提で，画像復号装置７は，符号化データを次のように復号する。まず第１フレームについては次のように復号する。分離部７０９は，符号化データのうち最大プレーン指定情報が３である符号化データを各プレーンに分離し，さらにプレーン毎に，プレーン番号と差分画像情報の符号化データと正負情報の符号化データとに分離する。
【００８９】
最初に最上位の第１プレーンについて，次のように復号する。左上の画素について，ビット復号部７０１は，差分画像情報の符号化データから１ビットの値を復号する。設定ビット比較部７０５は，１ビットの値からその値が有意かどうかを判定する。正負復号部７０６は，符号化データを復号し図５に示す動作フローに従って正負情報を計算する。
【００９０】
正負情報を復号した場合には，正負記録メモリ７０７に復号したことを示す情報を蓄積する。ビット設定部７０２は，差分蓄積メモリ７０３に差分画像情報が蓄積されている場合には，差分画像情報を差分蓄積メモリ７０３から読み出して，暫定画像情報に設定する。そしてビット復号部７０１が復号した値を暫定画像情報における，プレーンのレベルに対応した位置のビットに設定する。
【００９１】
差分作成部７１０は，正負復号部７０６で正負情報が得られた場合には，値を正か負に設定して暫定画像情報を差分蓄積メモリ７０３に蓄積する。以上の操作を右下の画素位置を復号するまで繰り返す。
【００９２】
同様な処理を第２プレーンと第３プレーンについても行う。
【００９３】
画像作成部７０４は，参照画像メモリ７０８に蓄積された画像Ａの画像情報と，差分蓄積メモリ７０３に蓄積された差分画像情報とから復号画像を作成し，復号画像メモリ７１６に蓄積する。
【００９４】
次に，第２フレームについては，次のように復号する。分離部７０９は，符号化データを各プレーンに分離し，さらにプレーン毎に，プレーン番号と差分画像情報の符号化データと正負情報の符号化データとに分離する。動きベクトル入力部７１４は動きベクトルと参照画像指定情報を入力する。
【００９５】
次に最も上位の第１プレーンについて，次のように復号する。予測画像作成部７１５は，マクロブロック毎に指定された動きベクトルと参照画像指定情報によって指定される画像情報を，復号画像メモリ７１６から読み込み予測画像に設定する。
【００９６】
左上の画素について，ビット復号部７０１は，差分画像情報の符号化データから１ビットの値を復号する。設定ビット比較部７０５は，１ビットの値から有意かどうかを判定する。正負復号部７０６は符号化データを復号し，図５に示す動作フローに従って正負情報を計算する。正負情報を復号した場合には，正負記録メモリ７０７に復号したことを示す情報を蓄積する。
【００９７】
ビット設定部７０２は，差分蓄積メモリ７０３に差分画像情報が蓄積されている場合には，差分画像情報を差分蓄積メモリ７０３から読み出して，暫定画像情報に設定する。そしてビット復号部７０１が復号した値を暫定画像情報における，プレーンのレベルに対応した位置のビットに設定する。
【００９８】
差分作成部７１０は，正負復号部７０６で正負情報が得られた場合には，値を正か負に設定して暫定画像情報を差分蓄積メモリ７０３に蓄積する。以上の操作を右下の画素位置を復号するまで繰り返す。
【００９９】
同様な処理を第２プレーンと第３プレーンについても行う。
【０１００】
画像作成部７０４は，予測画像作成部７１５で作成された画像情報と，差分蓄積メモリ７０３に蓄積された差分画像情報とから復号画像を作成し，復号画像メモリ７１６に蓄積する。
【０１０１】
本実施の形態では，全３プレーンを復号したが，３プレーンに限らず，復号側が設定するプレーン数だけ復号すればよい。また，途中のプレーンまでで，各プレーンから差分画像情報を作成する手順を終了し，復号画像を作成してもよい。また復号するプレーン数を途中のフレームから変更してもよい。
【０１０２】
また，予測画像からの差分画像情報を符号化／復号せずに，予測画像をそのまま出力するようにすることも可能である。これは図９に示した画像符号化装置６に，差分画像情報を符号化するかどうかを判断するビット符号化判断部８２０を追加して画像符号化装置８とすることにより実現可能である。画像符号化装置８の装置概要を，図１１に示す。
【０１０３】
例えば差分画像情報が少ない場合には，差分画像情報を符号化／復号しなくても，画像Ｂのよい近似画像を得ることができるため，より符号化効率を向上することができる。
【０１０４】
さらにプレーンの復号情報を０にリセットするようなリセット情報を符号化側で多重化し，復号側で分離するような構成を採用してもよい。このような機能を加えると，復号側では，既に復号した差分画像情報の各プレーンを０リセットとし，再度該プレーンの差分情報を復号して，より良い近似画像情報を得ることができる。
【０１０５】
特に図１１の画像符号化装置８についてリセット機能を加えることにより，画像符号化装置８は，差分画像情報を符号化しないようにして符号化データを作成した後で，リセット情報を符号化し，同じフレームで同じプレーンについて，さらに差分画像情報を符号化した符号化データを作成してもよい。これにより復号側で，一旦画像Ｂの近似画像を得た後に，さらに同じプレーンの符号化データを復号することにより，より良い近似画像を得ることができる。
【０１０６】
この第２の実施の形態においても，第１の実施の形態に関して示したような，領域指定部を画像符号化装置に備えることにより，領域毎に主観品質を向上するような符号化データを作成することもできる。ある領域で差分情報を符号化／復号せずに，予測画像をそのまま出力する場合には，画面中の領域情報を符号化／復号する必要がある。この場合には，ブロックやマクロブロック単位に領域を指定してもよい。または画素単位に指定してもよい。領域情報を符号化するには２値の符号化を使っても好適である。
【０１０７】
また本実施の形態では，第２フレーム以後で復号画像メモリ７１６から作成される予測画像からの差分画像情報を符号化／復号したが，第２フレーム以後でも，画像Ａの画像情報からの差分画像情報を符号化／復号してもよい。
【０１０８】
また，予測画像作成部７１５は，復号画像メモリ７１６から作成される予測画像と画像Ａの画像情報から，さらに新たな予測画像を作成してもよい。この場合，新たな予測画像には，下記の式（２）を用いて計算されるＯ（ｉ，ｊ）を用いても好適である。Ｐ（ｉ，ｊ）は画素（ｉ，ｊ）における復号画像メモリ７１６から作成される予測画像を，Ｒ（ｉ，ｊ）は画像Ａの画像情報を示す。
【０１０９】
ｓ（ｉ，ｊ）とａ（ｉ，ｊ）とｂ（ｉ，ｊ）は，整数の値（正または負または０）である。ｓ（ｉ，ｊ）とａ（ｉ，ｊ）とｂ（ｉ，ｊ）の値を画素位置（ｉ，ｊ）に対して異なる値を用いてもよいし，同じ値を用いてもよい。
【０１１０】
Ｏ（ｉ，ｊ）＝（ａ（ｉ，ｊ）×Ｐ（ｉ，ｊ）＋ｂ（ｉ，ｊ）×Ｒ（ｉ，ｊ））／ｓ（ｉ，ｊ）  …式（２）
この選択を領域やフレームやプレーン毎に選択してもよい。特に，ブロック毎に，予測画像からの差分か，画像Ａからの差分かを選択してもよい。この場合には，どちらからの差分なのかを指定するフラグを符号化する必要がある。
【０１１１】
差分画像情報の符号化については，予測画像からの差分を使う領域の差分情報と，画像Ａからの差分を使う領域の差分情報をまとめて差分蓄積メモリ６０４，８０４に蓄積しておき，符号化してもよい。
【０１１２】
本実施の形態では，各プレーンの予測画像を作成する際に，そのレベルより上位のプレーンの，既に復号したフレームの画像情報を用いていたが，使用するプレーンの最下位のレベルは異なっていてもよい。たとえば，差分画像情報を３つのプレーンに分割して符号化する場合に，現フレームの第２プレーンの符号化データを作成する際に，既に復号したフレームの第１プレーンのみ使用した予測画像を使用してもよいし，第１と第２プレーンを使用した予測画像を使用してもよいし，第１と第２と第３プレーンを使用した予測画像を使用してもよい。
【０１１３】
画像符号化装置６または８側では，中間参照画像メモリ６１７，８１７に，異なるプレーン間で参照する組み合わせ分のメモリを備え，多重化部６０９，８０９では，差分画像情報を作成する際に使用した最下位レベルのプレーンを指定する情報（参照プレーン番号）を符号化する。
【０１１４】
画像復号装置７側では，復号画像メモリ７１６に，異なるプレーン間で参照する組み合わせ分のメモリを備え，分離部７０９では，参照プレーン番号を復号する。参照プレーン番号に従って使用する予測画像を選択する。画像符号化装置６または８は，参照するプレーンの全ての組み合わせ数の符号化データを作成せずに，予め設定した組み合わせの符号化データを作成するようにしてもよい。
【０１１５】
また符号化データを蓄積した送信側から通信して受信側が符号化データを復号する場合，または送信側で符号化データを作成して通信して受信側が符号化データを復号する場合には，受信側は予測画像として使用するプレーンを送信側に指定してもよい。
【０１１６】
例えば通信中に伝送エラーが発生し，下位のプレーンの符号化データを復号できなくなった時に，受信側では正しく復号された予測画像を得られないため，そのフレーム以後に伝送エラーが波及して画像品質が劣化する場合がある。そこで伝送エラーが発生した時に，受信側が受信したプレーンまで使用して作成される画像を予測画像にするように指定する。
【０１１７】
指定したプレーンで作成された符号化データを復号することにより，正しく復号されている予測画像を使って復号できるため，エラーの波及がなくなり画像品質の劣化を停止することができる。
【０１１８】
また本実施の形態では，画像復号装置７の復号画像メモリ７１６に，８プレーンで各１０フレーム分の復号画像を蓄積するための，合計８０フレーム分の画像メモリを備えてもよいが，入力された符号化データを全て復号することを予め設定している場合には，プレーン毎に用意する必要はなく，合計１０フレーム分の画像メモリを備えればよい。
【０１１９】
以上の第１および第２の実施の形態において，ビット符号化部１０６〜８０６によりプレーンに分割された２値または多値の情報を符号化する際に，周囲の画素位置の情報を使って確率テーブルを変更しながら，算術符号化を適用することができる。これより，単純に各値を算術符号化するよりも，似た領域毎に適応的に算術符号化を適用することができるため，符号化効率を向上することができる。復号の場合にも同様に算術復号を適用することができる。
【０１２０】
以上説明した画像符号化装置および画像復号装置が行う処理は，コンピュータとソフトウェアプログラムとによっても実現することができることは，画像処理分野の技術者には明らかである。そのソフトウェアプログラムは，コンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【０１２１】
【発明の効果】
本発明によれば，画像Ａと画像Ｂの差分画像情報をビットプレーン展開して符号化／復号し，画像Ａに復号した画像情報を加えることにより画像Ｂの近似画像を得ることができる。画像Ｂを原画像，画像Ａを非可逆符号化による復号画像に設定すると，画像Ａのエッジ部分の画像情報のみ，高周波成分を符号化することができ，符号化効率を向上することができる。
【０１２２】
ビットプレーン展開された符号化データを復号するため，復号する符号化データ量を復号側で判断することができ，高周波成分を徐々に復号するような制御をすることも可能である。
【図面の簡単な説明】
【図１】画像符号化装置の構成例を示す図である。
【図２】線形補間の例を示す図である。
【図３】正負情報の符号化処理フローを示す図である。
【図４】画像復号装置の構成例を示す図である。
【図５】正負情報の設定フローを示す図である。
【図６】画像符号化装置の構成例を示す図である。
【図７】画像符号化装置の構成例を示す図である。
【図８】画像復号装置の構成例を示す図である。
【図９】画像符号化装置の構成例を示す図である。
【図１０】画像復号装置の構成例を示す図である。
【図１１】画像符号化装置の構成例を示す図である。
【符号の説明】
１，３，４，６，８  画像符号化装置
２，５，７  画像復号装置
１０１，３０１，４０１，６０１，８０１  画像Ａ入力部
１０２，３０２，４０２，６０２，８０２  画像Ｂ入力部
１０３，３０３，４０３，６０３，８０３  差分作成部
１０４，３０４，４０４，６０４，８０４  差分蓄積メモリ
１０５，３０５，４０５，６０５，８０５  ビット抽出部
１０６，３０６，４０６，６０６，８０６  ビット符号化部
１０７，３０７，４０７，６０７，８０７  抽出ビット比較部
１０８，３０８，４０８，６０８，８０８  正負符号化部
１０９，３０９，４０９，６０９，８０９  多重化部
１１０，３１０，４１０，６１０，８１０  正負記録メモリ
１１１，４１１  プレーン指定部
２０１，５０１，７０１  ビット復号部
２０２，５０２，７０２  ビット設定部
２０３，５０３，７０３  差分蓄積メモリ
２０４，５０４，７０４  画像作成部
２０５，５０５，７０５  設定ビット比較部
２０６，５０６，７０６  正負復号部
２０７，５０７，７０７  正負記録メモリ
２０８，５０８，７０８  参照画像メモリ
２０９，５０９，７０９  分離部
２１０，５１０，７１０  差分作成部
３１５  領域指定部
４１２，５１３  正負スイッチ切り替え部
４１３  正負スイッチ符号化部
４１４  ビット正負符号化部
５１１  ビット正負復号部
５１２  正負スイッチ復号部
６１６，８１６  中間画像作成部
６１７，８１７  中間参照画像メモリ
６１８，７１４，８１８  動きベクトル入力部
６１９，７１５，８１９  予測画像作成部
７１６  復号画像メモリ
８２０  ビット符号化判断部
【図１】
2004356960.tif 000003
【図２】
2004356960.tif 000004
【図３】
2004356960.tif 000005
【図４】
2004356960.tif 000006
【図５】
2004356960.tif 000007
【図６】
2004356960.tif 000008
【図７】
2004356960.tif 000009
【図８】
2004356960.tif 000010
【図９】
2004356960.tif 000011
【図１０】
2004356960.tif 000012
【図１１】
2004356960.tif 000013