(57)【要約】【課題】画面を分割した領域毎に予測符号化を用いて符号化する際の予測画像の作成処理における重み付け係数の計算に必要な演算処理負荷を軽減する。【解決手段】現領域の予測画像を作成するときに，直接予測画像作成部１０６は，既に符号化し復号した領域の復号画像情報から予測画像作成対象画素の予測画像を作成する。準直接予測画像作成部１０５は，既に符号化し復号した領域の復号画像情報と予測画像情報とから予測画像を作成する。間接予測画像作成部１０４は，予測画像情報から予測画像を作成する。予測画像作成選択部１０１は，予測画像作成対象画素について，近接する画素位置に復号画像があるか否か予測画像があるか否かを判断し，直接予測画像作成部１０６と準直接予測画像作成部１０５と間接予測画像作成部１０４のうちいずれかを選択する。【選択図】    図３
2004200991.tif 000002
【特許請求の範囲】
【請求項１】
画面を分割した領域毎に予測符号化を用いて符号化する画像符号化方法であって，現領域の予測画像を作成するときに，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成ステップと，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成ステップで作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成ステップと，
前記直接予測画像作成ステップまたは前記準直接予測画像作成ステップで作成した画像情報から予測画像の画像情報を作成する間接予測画像作成ステップとを有し，
前記直接予測画像作成ステップ，前記準直接予測画像作成ステップおよび前記間接予測画像作成ステップのいずれかを選択して予測画像の作成を実行することを特徴とする画像符号化方法。
【請求項２】
画面を分割した領域毎に予測符号化を用いて復号する画像復号方法であって，現領域の予測画像を作成するときに，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成ステップと，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成ステップで作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成ステップと，
前記直接予測画像作成ステップまたは前記準直接予測画像作成ステップで作成した画像情報から予測画像の画像情報を作成する間接予測画像作成ステップとを有し，
前記直接予測画像作成ステップ，前記準直接予測画像作成ステップおよび前記間接予測画像作成ステップのいずれかを選択して予測画像の作成を実行することを特徴とする画像復号方法。
【請求項３】
画面を分割した領域毎に，既に符号化した領域の復号画像との間の予測誤差を用いて符号化する画像符号化装置であって，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成部と，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成部で作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成部と，
前記直接予測画像作成部または前記準直接予測画像作成部で作成した画像情報から予測画像の画像情報を作成する間接予測画像作成部と，
前記直接予測画像作成部と前記準直接予測画像作成部と前記間接予測画像作成部のうちいずれかを選択する予測画像作成選択部と，
予測画像を蓄積する予測画像メモリと，
予測画像と現画像から予測誤差を求める予測誤差作成部と，
予測誤差を符号化する予測誤差符号化部と，
予測誤差符号化データを復号し予測誤差情報を求める予測誤差復号部と，
予測画像と予測誤差から復号画像を作成する復号画像作成部と，
復号画像を蓄積する復号画像メモリとを備えることを特徴とする画像符号化装置。
【請求項４】
画面を分割した領域毎に，既に復号した領域の復号画像を用いて復号する画像復号装置であって，
既に復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成部と，
既に復号した領域の復号画像情報と，前記直接予測画像作成部で作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成部と，
前記直接予測画像作成部または前記準直接予測画像作成部で作成した画像情報から予測画像の画像情報を作成する間接予測画像作成部と，
前記直接予測画像作成部と前記準直接予測画像作成部と前記間接予測画像作成部のうちいずれかを選択する予測画像作成選択部と，
予測誤差符号化データを復号し予測誤差情報を求める予測誤差復号部と，
予測画像を蓄積する予測画像メモリと，
予測画像と予測誤差から復号画像を作成する復号画像作成部と，
復号画像を蓄積する復号画像メモリとを備えることを特徴とする画像復号装置。
【請求項５】
コンピュータにより，画面を分割した領域毎に予測符号化を用いて画像を符号化するための画像符号化プログラムであって，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成処理と，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成処理で作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成処理と，
前記直接予測画像作成処理または前記準直接予測画像作成処理で作成した画像情報から予測画像の画像情報を作成する間接予測画像作成処理と，
現領域の予測画像を作成するときに，前記直接予測画像作成処理，前記準直接予測画像作成処理および前記間接予測画像作成処理のいずれかを選択する処理とを，
コンピュータに実行させるための画像符号化プログラム。
【請求項６】
コンピュータにより，画面を分割した領域毎に予測符号化を用いて画像を復号するための画像復号プログラムであって，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成処理と，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成処理で作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成処理と，
前記直接予測画像作成処理または前記準直接予測画像作成処理で作成した画像情報から予測画像の画像情報を作成する間接予測画像作成処理と，
現領域の予測画像を作成するときに，前記直接予測画像作成処理，前記準直接予測画像作成処理および前記間接予測画像作成処理のいずれかを選択する処理とを，
コンピュータに実行させるための画像復号プログラム。
【請求項７】
コンピュータにより，画面を分割した領域毎に予測符号化を用いて画像を符号化するための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成処理と，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成処理で作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成処理と，
前記直接予測画像作成処理または前記準直接予測画像作成処理で作成した画像情報から予測画像の画像情報を作成する間接予測画像作成処理と，
現領域の予測画像を作成するときに，前記直接予測画像作成処理，前記準直接予測画像作成処理および前記間接予測画像作成処理のいずれかを選択する処理とを，
コンピュータに実行させるための画像符号化プログラムを記録した記録媒体。
【請求項８】
コンピュータにより，画面を分割した領域毎に予測符号化を用いて画像を復号するための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
既に符号化し復号した領域の復号画像情報から予測画像の画像情報を作成する直接予測画像作成処理と，
既に符号化し復号した領域の復号画像情報と，前記直接予測画像作成処理で作成した画像情報とから予測画像の画像情報を作成する準直接予測画像作成処理と，
前記直接予測画像作成処理または前記準直接予測画像作成処理で作成した画像情報から予測画像の画像情報を作成する間接予測画像作成処理と，
現領域の予測画像を作成するときに，前記直接予測画像作成処理，前記準直接予測画像作成処理および前記間接予測画像作成処理のいずれかを選択する処理とを，
コンピュータに実行させるための画像復号プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，画像符号化，復号に関する技術であり，特に，画面を分割した領域毎に，既に符号化し復号した領域の復号画像から予測する符号化方式において，周囲の領域の画像情報からの重み付け計算によって予測画像を作成する際における，重み付け係数の計算に必要な演算処理負荷を軽減することを可能とした画像符号化方法，画像復号方法，画像符号化装置および画像復号装置に関する。
【０００２】
【従来の技術】
画像の符号化では一般的に，画面を複数の領域に分割し，領域毎に直交変換を行う。例えば静止画像の国際標準符号化方式ＪＰＥＧでは，画面を縦横１６画素のマクロブロックに分割して，マクロブロック毎にＤＣＴを行い，ＤＣＴ係数を量子化しエントロピー符号化する。さらに，静止画像の符号化の場合と，動画像において領域をフレーム内符号化する場合には，現マクロブロックの画像情報と周囲のマクロブロックの画像情報との間の相関を利用した予測符号化が適用される。
【０００３】
この予測方法は，一般的に２種類に分類できる。第１の方法では，マクロブロック等の領域でＤＣＴしたＤＣＴ係数を，周囲の既に符号化した領域のＤＣＴ係数から予測する。現領域の符号化対象となるＤＣＴ係数値は，予測値からの差分となる。例えば動画像符号化方式Ｈ．２６３のフレーム内符号化では，縦横８画素のブロックをＤＣＴし，そのＤＣ成分とＡＣ成分を上または左のブロックのＤＣＴ係数から予測する（例えば，非特許文献１参照）。
【０００４】
第２の方法では，マクロブロック等の領域内の画像情報を，周囲の既に符号化した領域の復号画像から予測する。現領域の符号化対象となるＤＣＴ係数値は，予測値からの差分の画像情報をＤＣＴした際のＤＣＴ係数となる。例えば動画像符号化方式Ｈ．２６Ｌのフレーム内符号化では，縦横４画素のブロック内の画像情報を，周囲の既に符号化し復号したブロックの復号画像の画像情報から予測し，予測値との差分をＤＣＴする。
【０００５】
第２の方法では周囲の復号画像から画像情報を予測するため，フレーム間予測符号化方式と同様な予測誤差の符号化方法を用いることができる。例えばＤＣＴ係数を量子化する方法やエントロピー符号化方法を共通化することができる。例えばＨ．２６Ｌでは，縦横１６画素のマクロブロックを縦横４画素の４×４ブロックに分割し，４×４ブロック毎に周囲の復号画像から予測画像を作成する。そして予測誤差をＤＣＴする。
【０００６】
周囲の復号画像から予測画像を作成する方法としては，４×４ブロック毎に図１に示すような８方向から１方向を選択して，選択した方向における各画素に対応した位置の復号画像を使用する。図２に示すように，現４×４ブロックに対して復号画像が配置しているとすると，例えば方向１では，ブロック内各画素の復号画像を式（１）に従って求める。また例えば方向４では，式（２）に従って求める。
【０００７】
なお，演算記号＞＞は，右へのビットシフトを示す。この方法では，図１におけるどの方向から予測するのかを示すイントラ予測モード情報をさらに符号化する必要がある。
【０００８】
ａ，ｅ，ｉ，ｍ＝Ａ
ｂ，ｆ，ｊ，ｎ＝Ｂ
ｃ，ｇ，ｋ，ｏ＝Ｃ
ｄ，ｈ，ｌ，ｐ＝Ｄ                                    ……式（１）
ｍ＝（Ｊ＋２Ｋ＋Ｌ＋２）＞＞２
ｉ，ｎ＝（Ｉ＋２Ｊ＋Ｋ＋２）＞＞２
ｅ，ｊ，ｏ＝（Ｑ＋２Ｉ＋Ｊ＋２）＞＞２
ａ，ｆ，ｋ，ｐ＝（Ａ＋２Ｑ＋Ｉ＋２）＞＞２
ｂ，ｇ，ｌ＝（Ｑ＋２Ａ＋Ｂ＋２）＞＞２
ｃ，ｈ＝（Ａ＋２Ｂ＋Ｃ＋２）＞＞２
ｄ＝（Ｂ＋２Ｃ＋Ｄ＋２）＞＞２                        ……式（２）
周囲のブロックの復号画像から直接予測値を求める第２の予測方法では，周囲のブロックと現ブロックにまたがって鋭いエッジ等の急激な輝度の変化がある場合に，エッジの位置に合わせて予測画像を作成できるため，第１の予測方法よりも符号化効率を向上することができる。
【０００９】
【非特許文献１】
"Joint Committee Draft (CD) of Joint Video Specification (ITU-T Rec. H.264｜ISO/IEC 14496-10)", Joint Video Team (JVT) of ISO/IEC MPEG &ITU-T VCEG Meeting, 2002.
【００１０】
【発明が解決しようとする課題】
ある画素と周囲の画素との間の画像情報の相関の大きさは，一般的に画素間の距離に依存しており，距離が大きくなるほど相関が小さくなると考えられる。従って，周囲のブロックの復号画像から予測する方法では，予測に使用する周囲のブロックの，復号画像の画像情報の重み付け平均を，現ブロック内の各画素の予測値に使用すると予測効率が高くなると考えられる。
【００１１】
この重み付け平均の方法は，現ブロック内画素位置と，予測に使用する復号画像の画素位置との距離に従って重み付けすればよい。例えば，図２に示す縦横４画素のブロック内画素ｏを画素ｏよりも上または左に位置する画素Ａ〜Ｃ，Ｉ〜Ｌ，Ｑ，から予測する場合には，式（３）によって計算できる。ここでαj （ｊ＝１，…，８）は画素ｏと周囲の各画素との距離に応じた重み付け係数であり，式（３）の場合には実数で与えられる。
【００１２】
ｏ＝α1 Ａ＋α2 Ｂ＋α3 Ｃ＋α4 Ｉ＋α5 Ｊ＋α6 Ｋ＋α7 Ｌ＋α8 Ｑ      ……式（３）
現ブロック内画素と周囲の復号画像の画素との間の距離を，実数を使用せずに分数で表現して，図２に示すブロック内画素ｐを予測する場合には，式（４）のようになる。式（４）の場合には，乗算が８回，加算が８回，除算が１回必要となる。
【００１３】
ｐ＝（β1 Ａ＋β2 Ｂ＋β3 Ｃ＋β4 Ｉ＋β5 Ｊ＋β6 Ｋ＋β7 Ｌ＋β8 Ｑ）／γ    ……式（４）
この重み付け係数は，画像中の最初の４×４ブロックの予測画像を作成するときに１度だけ計算を行うか，あるいは予め計算しておいた値を記憶しておけばよい。しかしながら，式（４）に示されるような，重み付け計算と復号画像情報との乗算と，それらの加算については，画面内のすべての画素に対して行う必要がある。
【００１４】
このように周囲の画像情報からの重み付け計算では，各画素間の距離に依存した重み付け係数の計算と，重み付け係数と画像情報の乗算と加算を多く実行する必要があり，演算処理負荷が非常に大きくなる問題がある。
【００１５】
本発明は上記問題点の解決を図り，画面を分割した領域毎に，既に符号化し復号した領域の復号画像から予測する符号化方式において，周囲の領域の画像情報からの重み付け計算によって予測画像を作成する際における，重み付け係数の計算に必要な演算処理負荷を軽減することを目的とする。
【００１６】
【課題を解決するための手段】
以上の課題を解決するため，本発明は以下の方法を用いる。
【００１７】
第１の発明は，画面を分割した領域毎に予測符号化を用いて符号化する画像符号化方法であって，現領域の予測画像を作成するときに，既に符号化し復号した領域の復号画像情報から画像情報を作成する直接予測画像作成ステップと，既に符号化し復号した領域の復号画像情報と，直接予測画像作成ステップで作成した画像情報とから画像情報を作成する準直接予測画像作成ステップと，直接予測画像作成ステップまたは準直接予測画像作成ステップで作成した画像情報から画像情報を作成する間接予測画像作成ステップとのうち，いずれかを選択して実行することを特徴とする。
【００１８】
第２の発明は，画面を分割した領域毎に予測符号化を用いて復号する画像復号方法であって，現領域の予測画像を作成するときに，既に符号化し復号した領域の復号画像情報から画像情報を作成する直接予測画像作成ステップと，既に符号化し復号した領域の復号画像情報と，直接予測画像作成ステップで作成した画像情報とから画像情報を作成する準直接予測画像作成ステップと，直接予測画像作成ステップまたは準直接予測画像作成ステップで作成した画像情報から画像情報を作成する間接予測画像作成ステップとのうち，いずれかを選択して実行することを特徴とする。
【００１９】
本発明によれば，領域外周以外の位置の予測画像を復号画像からではなく，隣接した画素位置の予測画像から作成することができる。これにより領域内の，すべての画素の予測画像を直接復号画像から作成する必要がなくなり，演算処理負荷を軽減することができる。例えば図２に示す４×４ブロックで，画素の予測画像を上と左の画素位置の画像情報から作成する場合には次のように動作する。いずれの画素の予測画像ｔも式（５）に従って計算する。ここでＳは，上の画素位置の復号画像情報または予測画像情報を示し，Ｔは左の画素位置の復号画像情報または予測画像情報を示す。
【００２０】
ｔ＝（β1 Ｓ＋β2 Ｔ）／γ                            ……式（５）
（ステップ１）画素ａの予測画像を復号画像ＡとＩから作成する。
（ステップ２）画素ｂの予測画像を上に隣接する復号画像Ｂと，左に隣接する画素ａの予測画像から作成する。同様な処理を画素ｃ，ｄに対しても行い，予測画像を作成する。
（ステップ３）画素ｅの予測画像を上に隣接する画素ａの予測画像と，左に隣接する復号画像Ｊから作成する。同様な処理を画素ｉ，ｍに対しても行い，予測画像を作成する。
（ステップ４）画素ｆの予測画像を上に隣接する画素ｂの予測画像と，左に隣接する画素ｅの予測画像から作成する。同様な処理を画素ｇ，ｈ，ｊ，ｋ，ｌ，ｎ，ｏ，ｐに対しても行い，予測画像を作成する。
【００２１】
このような手順で予測画像を作成すると，結果的に距離に応じて復号画像を重み付けして求めた予測画像を得ることができる。変数β1 とβ2 とγを適当に設定することにより，異なる重み付けを行うことが可能である。単純な線形の平均の場合には，式（５）の代わりに，以下の式（６）を使うことによりさらに演算処理負荷を軽減することが可能である。
【００２２】
ｔ＝（Ｓ＋Ｔ＋１）＞＞１                              ……式（６）
【００２３】
【発明の実施の形態】
以下，図面を用いて本発明の実施の形態を説明する。上と左の画像情報から予測画像を作成する場合の例を示す。縦横８画素の画面の画像を４×４ブロックに分割し，ブロック毎に予測誤差を求めてＤＣＴするものとする。画面の左上，右上，左下，右下の順序でブロックを符号化するものとする。
【００２４】
まず，画像符号化装置の説明を行う。図３に本発明の実施の形態に係る画像符号化装置の概要を示す。画像符号化装置１００は，復号画像を蓄積する復号画像メモリ１１０と，予測画像を蓄積する予測画像メモリ１０３と，復号画像メモリ１１０に蓄積されている画像情報から予測画像情報を作成する直接予測画像作成部１０６と，復号画像メモリ１１０に蓄積されている画像情報と，予測画像メモリ１０３に蓄積されている画像情報とから予測画像情報を作成する準直接予測画像作成部１０５と，予測画像メモリ１０３に蓄積されている画像情報から予測画像情報を作成する間接予測画像作成部１０４と，直接予測画像作成部１０６と準直接予測画像作成部１０５と間接予測画像作成部１０４のうちいずれかを選択する予測画像作成選択部１０１と，予測画像と現画像から予測誤差を求める予測誤差作成部１０２と，予測誤差を符号化する予測誤差符号化部１０７と，予測誤差符号化データを復号し予測誤差情報を求める予測誤差復号部１０８と，予測画像と予測誤差から復号画像を作成する復号画像作成部１０９とを備える。
【００２５】
直接予測画像作成部１０６では，予測する画素の上に位置する画像情報Ｓと左に位置する画像情報Ｔを復号画像メモリ１１０から読み込み，式（６）に従って予測画像を作成する。そして，作成した予測画像を予測画像メモリ１０３に蓄積する。復号画像メモリ１１０に上または左に位置する画像情報が蓄積されていない場合には，直接予測画像作成部１０６において，ＳまたはＴを１２８の値に設定して式（６）の計算を行う。
【００２６】
準直接予測画像作成部１０５では，予測する画素の上に位置する画像情報Ｓを復号画像メモリ１１０または予測画像メモリ１０３から読み込む。復号画像メモリ１１０に復号画像がある場合には復号画像メモリ１１０から読み込み，復号画像メモリ１１０に復号画像がない場合には予測画像メモリ１０３から読み込む。予測する画素の左に位置する画像情報Ｔについても同様にして画像情報を読み込む。そして，式（６）に従って予測画像を作成し，作成した予測画像を予測画像メモリ１０３に蓄積する。復号画像メモリ１１０と予測画像メモリ１０３のどちらにも，上または左に位置する画像情報が蓄積されていない場合には，準直接予測画像作成部１０５において，ＳまたはＴを１２８の値に設定して式（６）の計算を行う。
【００２７】
間接予測画像作成部１０４では，予測する画素の上に位置する画像情報Ｓと左に位置する画像情報Ｔを予測画像メモリ１０３から読み込み，式（６）に従って予測画像を作成する。そして，作成した予測画像を予測画像メモリ１０３に蓄積する。
【００２８】
ブロック内画素の予測画像は，図２におけるａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐの順序で作成するものとする。予測画像作成選択部１０１は，図４に示す動作フローに従って，直接予測画像作成部１０６か，準直接予測画像作成部１０５か，間接予測画像作成部１０４のいずれかを選択する。
【００２９】
すなわち，予測画像作成選択部１０１は，図４に示すように，上と左の双方に復号画像があるかを判断し（ステップＳ１１），復号画像がある場合には，直接予測画像作成部１０６を選択し（ステップＳ１２），復号画像から対象画素の予測画像を作成する（ステップＳ１３）。上と左に復号画像がない場合には，上と左の双方に予測画像があるかを判断し（ステップＳ１４），予測画像がある場合には，間接予測画像作成部１０４を選択し（ステップＳ１５），予測画像から対象画素の予測画像を作成する（ステップＳ１６）。
【００３０】
また，上と左に予測画像がない場合には，上と左のいずれかに復号画像があり，上と左のいずれかに予測画像があるかを判断し（ステップＳ１７），上と左のいずれかに復号画像があり，上と左のいずれかに予測画像がある場合には，準直接予測画像作成部１０５を選択し（ステップＳ１８），復号画像と予測画像から対象画素の予測画像を作成する（ステップＳ１９）。
【００３１】
そうでない場合には，上と左のいずれかに復号画像があるかを判断し（ステップＳ２０），上と左のいずれかに復号画像がある場合には，直接予測画像作成部１０６を選択し（ステップＳ２１），復号画像と値１２８から対象画素の予測画像を作成する（ステップＳ２２）。
【００３２】
上と左のいずれにも復号画像がない場合には，上と左のいずれかに予測画像があるかを判断する（ステップＳ２３）。上と左のいずれかに予測画像がある場合には，準直接予測画像作成部１０５を選択し（ステップＳ２４），予測画像と値１２８から対象画素の予測画像を作成する（ステップＳ２５）。上と左のいずれにも予測画像がない場合には，直接予測画像作成部１０６を選択し（ステップＳ２６），値１２８から対象画素の予測画像を作成する（ステップＳ２７）。
【００３３】
本発明においては，例えば，図２に示す画素位置ａに対して直接予測画像作成部１０６を選択し，画素位置ｂ，ｃ，ｄ，ｅ，ｉ，ｍに対して準直接予測画像作成部１０５を選択し，画素位置ｆ，ｇ，ｈ，ｊ，ｋ，ｌ，ｎ，ｏ，ｐに対して間接予測画像作成部１０４を選択することになる。予測誤差符号化部１０７は，予測誤差をＤＣＴし量子化するものとする。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴするものとする。
【００３４】
このような前提で，図５に示すように縦横８画素画面の画像を分割した縦横４画素の各ブロックＢ１，Ｂ２，Ｂ３，Ｂ４の符号化を，図５に従って説明する。まず，図５（Ａ）に示す左上のブロックＢ１の符号化を行う。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６は，ＳとＴの値を１２８に設定して予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００３５】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴの値を１２８に設定し，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００３６】
以上により作成された予測画像と現画像との間で，予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し，復号画像メモリ１１０に蓄積する。
【００３７】
次に，図５（Ｂ）に示す右上のブロックＢ２の符号化を行う。左上のブロックＢ１については，復号画像メモリ１１０に復号画像が存在する。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６はＳの値を１２８に設定し，Ｔの値を復号画像メモリ１１０から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００３８】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴを復号画像メモリ１１０から読み込み，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。
【００３９】
次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００４０】
以上により作成された予測画像と現画像との間で予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ１１０に蓄積する。
【００４１】
次に図５（Ｃ）に示す左下のブロックＢ３の符号化を行う。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６はＴの値を１２８に設定し，Ｓの値を復号画像メモリ１１０から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５は，Ｓを復号画像メモリ１１０から読み込み，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００４２】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴの値を１２８に設定し，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００４３】
以上により作成された予測画像と現画像との間で，予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ１１０に蓄積する。
【００４４】
次に，図５（Ｄ）に示す右下のブロックＢ４の符号化を行う。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６はＴとＳの値を復号画像メモリ１１０から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＳを復号画像メモリ１１０から読み込み，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００４５】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴを復号画像メモリ１１０から読み込み，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００４６】
以上により作成された予測画像と現画像との間で，予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ１１０に蓄積する。以上により縦横８画素の画像の符号化が完了する。
【００４７】
次に画像復号装置の説明を行う。図６に本発明の実施の形態に係る画像復号装置の概要を示す。画像復号装置２００は，復号画像を蓄積する復号画像メモリ２０８と，予測画像を蓄積する予測画像メモリ２０３と，復号画像メモリ２０８に蓄積されている画像情報から予測画像情報を作成する直接予測画像作成部２０６と，復号画像メモリ２０８に蓄積されている画像情報と，予測画像メモリ２０３に蓄積されている画像情報から予測画像情報を作成する準直接予測画像作成部２０５と，予測画像メモリ２０３に蓄積されている画像情報から予測画像情報を作成する間接予測画像作成部２０４と，直接予測画像作成部２０６と準直接予測画像作成部２０５と間接予測画像作成部２０４のうちいずれかを選択する予測画像作成選択部２０１と，予測誤差符号化データを復号し予測誤差情報を求める予測誤差復号部２０２と，予測画像と予測誤差から復号画像を作成する復号画像作成部２０７とを備える。各部の動作は画像符号化装置１００と同様である。
【００４８】
このような前提で縦横８画素の画面の画像を分割した縦横４画素の各ブロックの符号化データを次のように復号する。まず図５（Ａ）に示す左上のブロックＢ１の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＳとＴの値を１２８に設定して予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００４９】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴの値を１２８に設定し，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５０】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。
【００５１】
次に図５（Ｂ）に示す右上のブロックＢ２の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＳの値を１２８に設定し，Ｔの値を復号画像メモリ２０８から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００５２】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴを復号画像メモリ２０８から読み込み，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５３】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。
【００５４】
次に図５（Ｃ）に示す左下のブロックＢ３の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＴの値を１２８に設定し，Ｓの値を復号画像メモリ２０８から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＳを復号画像メモリ２０８から読み込み，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００５５】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴの値を１２８に設定し，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５６】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。
【００５７】
次に図５（Ｄ）に示す右下のブロックＢ４の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＴとＳの値を復号画像メモリ２０８から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＳを復号画像メモリ２０８から読み込み，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００５８】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴを復号画像メモリ２０８から読み込み，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５９】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。以上により縦横８画素の画像の復号が完了する。
【００６０】
以上の画像符号化装置１００，画像復号装置２００が行う処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００６１】
なお，本実施の形態では，上と左の画像情報から式（６）に従って予測画像を求めたが，式（５）を使って予測画像を求めてもよい。変数β1 とβ2 とγを予め適切に設定しておくことにより，自由度の高い重み付けを行うことが可能である。また上と左だけではなく，例えば左上や右上の画素位置の画像情報を予測画像の作成に利用してもよい。
【００６２】
また，従来のイントラ予測モード情報を符号化する予測画像作成方法と本発明を組み合わせるのも好適である。例えば鋭いエッジが存在するようなブロックではイントラ予測モードを同時に符号化する方法を使い，滑らかに輝度情報が変化するブロックでは本発明の予測方法を使うと，より予測効率を向上させ符号化効率を向上させることができる。この場合には，本発明の方法を使用するのか，従来のイントラ予測モードを使う方法を使用するのかを指定する情報も合わせて符号化する必要がある。
【００６３】
以上のように本発明によれば，周囲の画像情報からの重み付け計算によって予測画像を作成する際に，重み付け係数の計算に必要な演算処理負荷を軽減することができる。
【００６４】
【発明の効果】
本発明によれば，画面を分割した領域毎に，既に符号化し復号した領域の復号画像から予測する符号化方式において，周囲の領域の画像情報からの重み付け計算によって予測画像を作成する際における，重み付け係数の計算に必要な演算処理負荷を軽減することができる。
【図面の簡単な説明】
【図１】イントラ予測モードの予測方向の例を示す図である。
【図２】縦横４画素ブロック内の画像配置を示す図である。
【図３】画像符号化装置の構成例を示す図である。
【図４】予測画像作成選択部の動作フローを示す図である。
【図５】本実施の形態による画像符号化，復号の例を説明する図である。
【図６】画像復号装置の構成例を示す図である。
【符号の説明】
１００  画像符号化装置
１０１  予測画像作成選択部
１０２  予測誤差作成部
１０３  予測画像メモリ
１０４  間接予測画像作成部
１０５  準直接予測画像作成部
１０６  直接予測画像作成部
１０７  予測誤差符号化部
１０８  予測誤差復号部
１０９  復号画像作成部
１１０  復号画像メモリ
２００  画像復号装置
２０１  予測画像作成選択部
２０２  予測誤差復号部
２０３  予測画像メモリ
２０４  間接予測画像作成部
２０５  準直接予測画像作成部
２０６  直接予測画像作成部
２０７  復号画像作成部
２０８  復号画像メモリ
【図１】
2004200991.tif 000003
【図２】
2004200991.tif 000004
【図３】
2004200991.tif 000005
【図４】
2004200991.tif 000006
【図５】
2004200991.tif 000007
【図６】
2004200991.tif 000008