(57)【要約】【課題】周囲の復号済み画素とより相関性の高い予測信号を生成し，符号化効率を向上させる。【解決手段】符号化または復号対象の予測ブロックについて，インター予測またはイントラ予測における予測モードに従って，参照画像または近傍の復号済み画素から予測信号を抽出し（Ｓ１０２），抽出した予測信号に対して，符号化または復号対象ブロックの属性情報と，当該予測モード情報と，近傍の復号済み画素と，それらの復号済み画素が所属する隣接ブロックの属性情報の少なくともいずれかをもとに，あらかじめ定められた一つの補正方法または複数の補正方法の中の一つの補正方法に従って補正を加えた予測信号を生成する（Ｓ１０３−Ｓ１１０）。【選択図】図１
2011066569.tif 000002
【特許請求の範囲】
【請求項１】
インター予測またはイントラ予測により生成された予測信号を用いて映像を符号化または復号する映像符号化方式における予測信号生成方法であって，
符号化または復号対象の予測ブロックについて，インター予測またはイントラ予測における予測モードに従って，参照画像または近傍の復号済み画素から予測信号を抽出する過程と，
前記抽出した予測信号に対して，符号化または復号対象ブロックの属性情報と，当該予測モード情報と，近傍の復号済み画素と，それらの復号済み画素が所属する隣接ブロックの属性情報の少なくともいずれかをもとに，あらかじめ定められた一つの補正方法または複数の補正方法の中の一つの補正方法に従って補正を加えた予測信号を生成する過程とを有する
ことを特徴とする予測信号生成方法。
【請求項２】
請求項１記載の予測信号生成方法において，
符号化時に，前記補正を加えた予測信号を用いて符号化したときの符号化コストが最小となる予測モードまたは予測モードと補正方法との組を選択して予測信号を生成する
ことを特徴とする予測信号生成方法。
【請求項３】
請求項１または請求項２記載の予測信号生成方法において，
前記補正方法が複数ある場合に，前記補正を加えた予測信号の生成に用いた補正方法を特定するパラメータを符号化データとする
ことを特徴とする予測信号生成方法。
【請求項４】
請求項１，請求項２または請求項３記載の予測信号生成方法において，
前記補正方法は，符号化もしくは復号対象ブロックに隣接する復号済み画素が所属するブロックの属性情報によってフィルタ強度が定められる平滑化フィルタによる補正，または符号化もしくは復号対象ブロックの近傍の復号済み画素の平均値を用いた予測信号の直流成分の補正，または隣接する復号済み画素との間をブロック境界とするデブロッキングフィルタによる補正である
ことを特徴とする予測信号生成方法。
【請求項５】
インター予測またはイントラ予測により生成された予測信号を用いて映像を符号化または復号する映像符号化方式における予測信号生成装置であって，
符号化または復号対象の予測ブロックについて，インター予測またはイントラ予測における予測モードに従って，参照画像または近傍の復号済み画素から予測信号を抽出する手段と，
前記抽出した予測信号に対して，符号化または復号対象ブロックの属性情報と，当該予測モード情報と，近傍の復号済み画素と，それらの復号済み画素が所属する隣接ブロックの属性情報の少なくともいずれかをもとに，あらかじめ定められた一つの補正方法または複数の補正方法の中の一つの補正方法に従って補正を加えた予測信号を生成する手段とを備える
ことを特徴とする予測信号生成装置。
【請求項６】
請求項５記載の予測信号生成装置において，
符号化時に，前記補正を加えた予測信号を用いて符号化したときの符号化コストが最小となる予測モードまたは予測モードと補正方法との組を選択して予測信号を生成する
ことを特徴とする予測信号生成装置。
【請求項７】
請求項５または請求項６記載の予測信号生成装置において，
前記補正方法が複数ある場合に，前記補正を加えた予測信号の生成に用いた補正方法を特定するパラメータを符号化データとする
ことを特徴とする予測信号生成装置。
【請求項８】
請求項５，請求項６または請求項７記載の予測信号生成装置において，
前記補正方法は，符号化もしくは復号対象ブロックに隣接する復号済み画素が所属するブロックの属性情報によってフィルタ強度が定められる平滑化フィルタによる補正，または符号化もしくは復号対象ブロックの近傍の復号済み画素の平均値を用いた予測信号の直流成分の補正，または隣接する復号済み画素との間をブロック境界とするデブロッキングフィルタによる補正である
ことを特徴とする予測信号生成装置。
【請求項９】
請求項１から請求項４までのいずれか１項に記載の予測信号生成方法を，コンピュータに実行させるための予測信号生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，映像符号化技術における予測画像の精度向上に関するものである。
【背景技術】
【０００２】
現在の映像符号化は，フレームをブロック単位に分割し，ブロック毎に予測モードを選択し，選択した予測画像信号との差分信号に直交変換，量子化を施した後，可変長符号化を行う方式が主流となっている。
【０００３】
この予測画像信号としては，例えば現在広く使用されているＨ．２６４映像符号化規格（以下，Ｈ．２６４という）の場合，参照フレームの中から動きベクトルの指し示す領域を取り出すインター(Inter) 予測と，符号化対象ブロックに隣接する復号済み画素を並べて予測画像信号を生成するイントラ(Intra) 予測の２つに大別される（非特許文献１参照）。
【０００４】
ここで一例として，Ｈ．２６４のインター予測方式に関する符号化処理フローを，図１６に示す。
【０００５】
処理が始まると，マクロブロックについて以下の処理を反復する（ステップＳ５００）。まず，インター予測信号の決定処理を行い（図１７により後述），インター予測信号を決定する（ステップＳ５０１）。決定したインター予測信号と原信号との差分の予測残差を算出し（ステップＳ５０２）。予測残差信号に対してＤＣＴ，量子化を施し（ステップＳ５０３），量子化後の直交変換係数を可変長符号化して符号化ストリームとして出力する（ステップＳ５０４）。
【０００６】
また，量子化後の直交変換係数に対して逆量子化，ＩＤＣＴ（逆ＤＣＴ）を施すことにより予測残差復号信号を求め（ステップＳ５０５），予測残差復号信号に予測信号を加算することにより復号画像を生成する（ステップＳ５０６）。以上の処理を符号化対象のマクロブロックに対して繰り返し（ステップＳ５０７），復号画像については，デブロッキングフィルタをかけた後，後の画像のインター予測に用いるために参照画像保存メモリに保存する（ステップＳ５０８）。
【０００７】
図１７は，インター予測信号決定処理のフローチャートである。図１６のステップＳ５０１では，図１７に示す処理によって，インター予測信号を決定する。
【０００８】
まず，コストｃｏｓｔmin を十分に大きな数で初期化する（ステップＳ６００）。次に，全インター予測モードについて以下の処理を反復する（ステップＳ６０１）。この全インター予測モードとは，例えば動きベクトル，動き補償ブロックサイズ，参照フレームなど，インター予測で指定できるパラメータの全組み合わせを意味する。ただし，必ずしも全組み合わせを試行する必要はなく，高速化などの目的で組み合わせ数を制限してもよい。ここでは，各インター予測モードＰｒｅｄtmp に対応するインター予測画像信号とする参照画像Ｒｅｆtmp を，保存している参照画像から抽出する（ステップＳ６０２）。
【０００９】
次に，インター予測画像信号（参照画像）Ｒｅｆtmp に関するコストｃｏｓｔtmp を計算する（ステップＳ６０３）。このコストは，一般的には符号化対象マクロブロックの原画像とインター予測画像信号Ｒｅｆtmp との間の差分電力Ｄと，動きベクトルの符号量Ｒとの線形和が用いられる。
【００１０】
ｃｏｓｔtmp ＝Ｄ＋λＲ
ここで，λは量子化パラメータで決まる係数である。このコストｃｏｓｔtmp とｃｏｓｔmin との大小を比較し（ステップＳ６０４），このコストｃｏｓｔtmp がｃｏｓｔmin より小さい場合には，Ｐｒｅｄmin の値を当該インター予測モードＰｒｅｄtmp に，ｃｏｓｔmin をｃｏｓｔtmp に，インター予測画像信号Ｒｅｆを当該予測モードＰｒｅｄtmp が指定するＲｅｆtmp に置き換える（ステップＳ６０５）。
【００１１】
以上の処理を全インター予測モードについて反復し（ステップＳ６０６），反復終了後に得られた予測モードＰｒｅｄmin を当該ブロックのインター予測モード，Ｒｅｆをインター予測画像信号に決定する（ステップＳ６０７）。
【００１２】
以上の処理を実現するための従来の符号化装置のブロック図の一例を図１８に示す。この符号化装置は，減算器３０１，ＤＣＴ部３０２，量子化部３０３，可変長符号化部３０４，有意係数判定部３０５，ブロック属性情報保存部３０６，逆量子化部３０７，ＩＤＣＴ部３０８，加算器３０９，復号画像保存メモリ３１０，デブロッキングフィルタ部３１１，参照画像保存メモリ３１２，ＭＥ部３１３，ＭＣ部３１４，符号量制御部３１５から構成される。
【００１３】
減算器３０１は，入力信号と予測信号との差分から予測残差信号を求めて出力する。ＤＣＴ部３０２は，予測残差信号にＤＣＴ（離散コサイン変換）を施す。量子化部３０３は，符号量制御部３１５から送られる量子化パラメータをもとに直交変換係数に量子化を施す。有意係数判定部３０５は，量子化後の直交変換係数に０以外の有意係数が存在するかどうかを調べ，その結果を有意係数情報としてブロック属性情報保存部３０６に送る。
【００１４】
逆量子化部３０７は，符号量制御部３１５から送られる量子化パラメータをもとに量子化後の直交変換係数に逆量子化を施す。ＩＤＣＴ部３０８は，直交変換係数にＩＤＣＴ（逆離散コサイン変換）を施す。加算器３０９は，予測残差信号と予測信号との加算結果から復号画像信号を求めて出力する。復号画像保存メモリ３１０は，復号画像信号を受信して保存し，デブロッキングフィルタ部３１１に送る。デブロッキングフィルタ部３１１は，ブロック属性情報保存部３０６から送られるブロック属性情報をもとに，復号画像保存メモリ３１０の復号画像にフィルタを施し，参照画像保存メモリ３１２に送る。参照画像保存メモリ３１２は，デブロッキングフィルタ部３１１から送られるフィルタ後の復号画像信号を参照画像として保存する。また，ＭＥ部３１３とＭＣ部３１４に参照画像信号として出力する。
【００１５】
ＭＥ部３１３は，参照画像信号と入力された画像信号との間で動き探索とインター予測モード選択を行い，選択された動きベクトルとインター予測モードをインター予測情報として，ＭＣ部３１４，可変長符号化部３０４，ブロック属性情報保存部３０６に送る。また，予測モード選択には符号量制御部３１５から送られる量子化パラメータを用いる。ＭＣ部３１４は，ＭＥ部３１３から送られるインター予測情報をもとに，参照画像保存メモリ３１２から送られる参照画像信号の中から予測画像信号を抽出し，出力する。
【００１６】
ブロック属性情報保存部３０６は，有意係数判定部３０５から送られる有意係数情報，ＭＥ部３１３から送られるインター予測情報，符号量制御部３１５から送られる量子化パラメータをブロック属性情報として保持するとともに，デブロッキングフィルタ部３１１に送る。
【００１７】
可変長符号化部３０４は，量子化部３０３から送られる量子化後の直交変換係数と，有意係数判定部３０５から送られる有意係数情報と，ＭＥ部３１３から送られるインター予測情報を可変長符号化し，ストリームとして出力する。符号量制御部３１５は，可変長符号化部３０４から送られるストリームをもとに量子化パラメータを決定し，出力する。
【００１８】
図１８に示すＭＥ部３１３の構成例を図１９に示す。このＭＥ部３１３は，減算器３２０，コスト計算部３２１，ＭＣ部３２４，インター予測モード生成部３２３，予測モード選択部３２６から構成される。このうち減算器３２０とＭＣ部３２４は，前述の同名のものと同等の機能を有する。
【００１９】
コスト計算部３２１は，減算器３２０から送られる予測残差信号と，インター予測モード生成部３２３から送られるインター予測モード情報と量子化パラメータを用いて当該予測モードにおけるコストを計算し，予測モード選択部３２６に送る。インター予測モード生成部３２３は，インター予測モードとして選択可能な全ての動きベクトル，動き補償ブロックサイズなどの組み合わせを順に生成し，ＭＣ部３２４とコスト計算部３２１，予測モード選択部３２６に送る。
【００２０】
予測モード選択部３２６は，コスト計算部３２１から送られる予測モードのコストとインター予測モード生成部３２３から送られるインター予測モード情報を対にして保持し，最もコストが小さいインター予測モードを，決定したインター予測モード情報として出力する。
【００２１】
以上のような仕組みを用いることで，図１６に示す処理フローを実現できる。
【００２２】
一方，このようにして生成されたストリームを復号する復号処理フローの一例を，図２０に示す。デコードが開始すると，下記の処理をマクロブロック毎に反復する（ステップＳ７００）。まず，可変長符号を復号する（ステップＳ７０１）。次に，量子化後の予測残差直交変換係数に逆量子化とＩＤＣＴを施し，予測残差の復号信号を生成する（ステップＳ７０２）。次に，予測モード情報をもとにインター予測画像信号を生成し（ステップＳ７０３），予測残差信号と加算して復号画像を生成する（ステップＳ７０４）。この処理を全マクロブロックについて繰り返す（ステップＳ７０５）。その後，復号画像にデブロッキングフィルタを施し，復号画像として出力する（ステップＳ７０６）。
【００２３】
このような手順により，図１６に示す処理で生成したストリームを復号できる。
【００２４】
この処理を実現するための復号装置のブロック図の一例を，図２１に示す。この復号装置は，可変長符号復号部４０１，逆量子化部４０２，ＩＤＣＴ部４０３，加算器４０４，復号画像保存メモリ４０５，デブロッキングフィルタ部４０６，参照画像保存メモリ４０７，ＭＣ部４０８，ブロック属性情報保存部４０９から構成される。
【００２５】
このうち，逆量子化部４０２，ＩＤＣＴ部４０３，加算器４０４，復号画像保存メモリ４０５，デブロッキングフィルタ部４０６，参照画像保存メモリ４０７，ＭＣ部４０８，ブロック属性情報保存部４０９は，前述の同名のものと同等の機能を有する。
【００２６】
可変長符号復号部４０１は，入力されたストリームの可変長符号を復号し，量子化後の直交変換係数を逆量子化部４０２に，予測モード情報をブロック属性情報保存部４０９に送信する。以上のような構成を用いることで，図２０に示す処理フローを実現できる。
【先行技術文献】
【非特許文献】
【００２７】
【非特許文献１】大久保榮, 角野眞也, 菊池義浩, 鈴木輝彦, 「Ｈ．２６４／ＡＶＣ教科書」, p.113-118 , インプレス (2004) ．
【発明の概要】
【発明が解決しようとする課題】
【００２８】
以上のような仕組みにより，複数の候補の中から符号化効率の最も高い予測画像信号を選択し，符号化することができる。しかし，前述した従来の方法によって必ずしも符号化効率の高い予測画像信号が得られるとは限らない。符号化対象画像信号と予測画像信号との差が大きい場合，隣接する符号化済み画素との間に境界が現れるなどの問題がある。
【００２９】
本発明は，この問題を解決し，予測画像の予測精度を向上させることにより，従来技術よりもさらに符号化効率を向上させることができるようにすることを目的とする。
【課題を解決するための手段】
【００３０】
以上の問題を解決するため，本発明では，符号化対象の予測ブロックに関して，選択した予測モードの予測画像信号に対して，符号化対象ブロックの属性情報と，当該予測モードの情報と，近傍の復号済み画素と，それらの復号済み画素が所属する隣接ブロックの属性情報をもとに，補正を加える仕組みを有することを特徴とする。
【００３１】
符号化対象ブロックの属性情報としては，例えばブロックの座標，量子化パラメータの値，フレーム番号などが含まれる。
【００３２】
当該予測モードの情報としては，例えば予測モードの種別や番号，動きベクトル，参照画像情報などが含まれる。
【００３３】
隣接ブロックの属性情報としては，例えば予測モードの識別や番号，動きベクトル，参照画像情報，有意係数の有無，量子化パラメータの値などが含まれる。
【００３４】
補正の方法は，例えば近傍の復号済み画素と当該予測画像信号との間に平滑化フィルタを適用し，予測画像信号を補正する方法が考えられる。この平滑化フィルタの強度や動作は，符号化対象ブロックの属性情報，当該予測モードの情報，隣接ブロックの属性情報をもとに変えてもよい。
【００３５】
具体的には，例えば以下の例が考えられる。
・隣接復号済みブロックの動きベクトルと当該ブロックの動きベクトルが一致しているか否か
・当該ブロックの動きベクトルの大きさ
・隣接復号済みブロックの動きベクトルと当該ブロックの動きベクトルの差分
・フィルタ処理対象の画素がブロックの境界に位置するか否か
・隣接復号済みブロックの有意係数の有無
・隣接復号済みブロック予測モード
・隣接復号済みブロック及び当該ブロックの量子化パラメータ
これらの条件は排他的ではなく，組み合わせて使用してもよい。
【００３６】
これらの条件に対し，平滑化フィルタの強度や動作が一意に定まるような参照テーブルなどを予め用意してもよい。この場合，符号化装置，復号装置の双方で同じテーブルを用意し，それに従って当該フィルタの強度や動作を決定することで，特に付加情報を送らなくても，双方で同じ平滑化フィルタを適用することができる。
【００３７】
あるいは，フィルタの強度や種類を予め複数パターン用意し，ブロック毎にどのパターンを用いるかを切り替えてもよい。パターンの決定は，ユーザーがブロック毎に逐次指定してもよいし，前述の条件やそれ以外の条件をもとに，符号化装置内部で自動決定するようにしてもよい。ブロック毎に選択したパターンは，符号化情報として送信する必要がある。
【００３８】
復号時には，指定された符号化情報により，ブロック毎にフィルタの強度や種類のパターンが一意に決定される。
【００３９】
また，例えば近傍の復号済み画素の平均値を用いて，予測画像信号の直流成分を変更してもよい。変更は，当該予測画像信号のもともとの直流成分をＤＣP ，変更後の値をＤＣP ′，近傍復号済み画素の平均値ＤＣN とおくと，ＤＣP ′がＤＣP とＤＣN の内分値を取るようにしてもよい。この内分値は，例えば定数α（０＜α＜１）を用いて，
ＤＣP ′＝α×ＤＣP ＋（１−α）×ＤＣN 
のように計算できる。
【００４０】
直流成分の補正は，当該予測画像信号の全画素値に対して，ＤＣP ′−ＤＣP を加算することで実現できる。
【００４１】
なお，本発明が補正の対象とする予測画像信号に関しては，インター予測の予測画像信号はもとより，イントラ予測の予測画像信号に対しても有効である。
【発明の効果】
【００４２】
本発明によれば，周囲の復号済み画素と，より相関性の高い予測信号を生成でき，符号化効率を向上させることができる。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態によるインター予測信号決定処理のフローチャートである。
【図２】本発明の実施形態に係る符号化装置のブロック図である。
【図３】補正付きＭＥ部の構成例を示すブロック図である。
【図４】補正付きＭＣ部の構成例を示すブロック図である。
【図５】復号時のインター予測信号生成に関する復号フローチャートである。
【図６】本発明の実施形態に係る復号装置のブロック図である。
【図７】フィルタ処理対象の画素の位置関係を示す図である。
【図８】インター予測信号決定処理の一例を示すフローチャートである。
【図９】第１の例の補正付きＭＥ部の構成図である。
【図１０】第１の例の補正付きＭＣ部の構成図である。
【図１１】第１の例の復号時のインター予測信号生成フローチャートである。
【図１２】４×４ブロックにおける予測画像信号と近傍画素の例を示す図である。
【図１３】第３の例の補正付きＭＥ部の構成図である。
【図１４】第３の例の補正付きＭＣ部の構成図である。
【図１５】符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。
【図１６】従来のインター予測方式に関する符号化処理フローチャートである。
【図１７】従来のインター予測信号決定処理のフローチャートである。
【図１８】従来の符号化装置のブロック図である。
【図１９】従来のＭＥ部の構成例を示す図である。
【図２０】従来の復号処理フローチャートである。
【図２１】従来の復号装置のブロック図である。
【発明を実施するための形態】
【００４４】
以下，図面を用いながら，本発明の実施形態について詳細に説明する。
【００４５】
本発明を用いて符号化する場合の処理フローについては，全体の流れは図１６と同一で，図１６に示すステップＳ５０１のインター予測信号決定に関する処理のみが異なる。そこで，本発明の一実施形態に係るインター予測信号決定処理に関するフローの一例を，図１に示す。
【００４６】
処理が始まると，コストｃｏｓｔmin を十分大きな数で初期化する（ステップＳ１００）。次に，全インター予測モードについて以下の処理を反復する（ステップＳ１０１）。この全インター予測モードとは，例えば動きベクトル，動き補償ブロックサイズ，参照フレームなど，インター予測で指定できるパラメータの全組み合わせを意味する。ただし，必ずしも全組み合わせを試行する必要はなく，高速化などの目的で組み合わせ数を制限してもよい。
【００４７】
各インター予測モードＰｒｅｄtmp に対応するインター予測画像信号とする参照画像Ｒｅｆtmp を抽出する（ステップＳ１０２）。
【００４８】
次に，抽出した参照画像について補正を施す。なお，補正処理は前述に示した通りの処理とする。本例では，補正処理に関して，パラメータＰを用いて複数のパターンの中からブロック毎に選択する処理例を示している。この場合，参照画像Ｒｅｆtmp に対して，全てのパラメータＰを試行し，適切なものを選択する。
【００４９】
具体的には，補正のパラメータＰを一つずつ変え，以下の処理を反復する（ステップＳ１０３）。まず，参照画像Ｒｅｆtmp にパラメータＰに関する補正を施し，補正済み参照画像ＲｅｆP を得る（ステップＳ１０４）。なお，パラメータＰの中には補正しないことも選択肢の一つとして加えることができる。
【００５０】
次に，補正済み参照画像ＲｅｆP と入力画像との間でコストｃｏｓｔtmp を計算する（ステップＳ１０５）。この計算は，例えば図１６で用いた次のコスト計算；
ｃｏｓｔtmp ＝Ｄ＋λＲ
において，ＲにパラメータＰの符号化コストを加味したものを用いる。このコストｃｏｓｔtmp とｃｏｓｔmin との大小を比較し（ステップＳ１０６），このコストｃｏｓｔtmp がｃｏｓｔmin より小さければ，当該インター予測モードＰｒｅｄtmp をＰｒｅｄmin に，ｃｏｓｔtmp をｃｏｓｔmin に，補正済み参照画像ＲｅｆP をＲｅｆに，パラメータＰをＰａｒａｍにそれぞれ代入する（ステップＳ１０７）。
【００５１】
上記の操作を，補間に関する全パラメータＰについて反復し（ステップＳ１０８），さらに全インター予測モードについて反復する（ステップＳ１０９）。
【００５２】
反復終了後，Ｐｒｅｄmin に代入されている予測モードを当該ブロックのインター予測モード，Ｒｅｆを参照信号，Ｐａｒａｍを補正パラメータに決定する（ステップＳ１１０）。
【００５３】
なお，補間処理を切り換える必要がなく，従ってパラメータＰが存在しない場合には，本フローにあるパラメータＰに関する反復処理は，一度だけ行えばよい。また，この場合，補正パラメータＰａｒａｍを出力する必要はない。
【００５４】
本処理を実現させるための符号化装置のブロック図の一例を，図２に示す。この符号化装置は，減算器１０１，ＤＣＴ部１０２，量子化部１０３，可変長符号化部１０４，有意係数判定部１０５，ブロック属性情報保存部１０６，逆量子化部１０７，ＩＤＣＴ部１０８，加算器１０９，復号画像保存メモリ１１０，デブロッキングフィルタ部１１１，参照画像保存メモリ１１２，補正付きＭＥ部１１３，補正付きＭＣ部１１４，符号量制御部１１５から構成される。
【００５５】
このうち，減算器１０１，ＤＣＴ部１０２，量子化部１０３，可変長符号化部１０４，有意係数判定部１０５，ブロック属性情報保存部１０６，逆量子化部１０７，ＩＤＣＴ部１０８，加算器１０９，復号画像保存メモリ１１０，デブロッキングフィルタ部１１１，参照画像保存メモリ１１２，符号量制御部１１５は，従来技術として説明した図１８中の同名のものと同等の機能を有する。
【００５６】
補正付きＭＥ部１１３は，入力映像信号，参照画像信号，量子化パラメータに加えて，ブロック属性情報，隣接ブロックの復号画像信号を入力し，補正付きのインター予測モードを決定して，それを補正付きインター予測情報として補正付きＭＣ部１１４に送る。
【００５７】
補正付きＭＣ部１１４では，補正付きＭＥ部１１３から送られる補正付きインター予測情報をもとに，入力される参照画像信号，量子化パラメータ，ブロック属性情報，隣接ブロックの復号画像信号をもとに，補正を施した予測信号を出力する。
【００５８】
補正付きＭＥ部１１３の構成図の一例を，図３に示す。補正付きＭＥ部１１３は，図３に示すように，減算器１２０，コスト計算部１２１，補正パラメータ生成部１２２，インター予測モード生成部１２３，ＭＣ部１２４，補正部１２５，補正付き予測モード選択部１２６から構成される。
【００５９】
このうち，減算器１２０，コスト計算部１２１，インター予測モード生成部１２３，ＭＣ部１２４は，前述した図１９に示す従来のＭＥ部３１３における同名のものと同等の機能を有する。
【００６０】
なお，コスト計算部１２１では，コストの計算に補正パラメータ生成部１２２から送られる補正パラメータもコストの計算に加味する。
【００６１】
補正パラメータ生成部１２２は，予測信号の補正に関して選択可能な複数のパラメータに関して，全パラメータの組み合わせを生成し，順に補正部１２５と補正付き予測モード選択部１２６に送る。補正部１２５は，ＭＣ部１２４から送られる予測信号に対し，補正パラメータ生成部１２２から指定されるパラメータを用いて予測信号に補正を施し，減算器１２０に出力する。
【００６２】
補正付き予測モード選択部１２６は，コスト計算部１２１から送られる予測モードのコスト，インター予測モード生成部１２３から送られるインター予測モード情報，補正パラメータ生成部１２２から送られる補正パラメータを組にして保持し，最もコストが小さいインター予測モードと補正パラメータを，補正付きインター予測モード情報として出力する。
【００６３】
次に，補正付きＭＣ部１１４の構成図の一例を，図４に示す。補正付きＭＣ部１１４は，図４に示すように，予測モード情報分離部１３０，ＭＣ部１３１，補正部１３２からなる。このうち，ＭＣ部１３１，補正部１３２は，前述の同名のものと同等の機能を有する。
【００６４】
予測モード情報分離部１３０は，入力された補正付きインター予測モード情報を，予測画像信号の補正に関する補正パラメータとインター予測モード情報の二つに分離し，補正パラメータを補正部１３２に，インター予測モード情報をＭＣ部１３１に入力する。このような構成を用いることで，図１に示す処理を実現することができる。
【００６５】
次に，本発明のエンコーダで生成したストリームを復号するための手順について示す。全体的な処理フローは，図２０に示す従来例のフローと同等である。ただし，インター予測信号生成の処理が異なる。この例を図５に示す。
【００６６】
本処理がスタートすると，まずインター予測モードＰｒｅｄが指し示す参照画像Ｒｅｆを取得する（ステップＳ２００）。次に，この参照画像Ｒｅｆに対し，補正パラメータＰが指定する補正を用い，参照画像Ｒｅｆから補正済み参照画像ＲｅｆP を生成する（ステップＳ２０１）。そして，この補正済み参照画像ＲｅｆP を予測信号として出力する（ステップＳ２０２）。このようなフローにより，ストリームの復号が可能となる。
【００６７】
本処理を実現するためのデコーダのブロック図を，図６に示す。この復号装置は，図６に示すように，可変長符号復号部２０１，逆量子化部２０２，ＩＤＣＴ部２０３，加算器２０４，復号画像保存メモリ２０５，デブロッキングフィルタ部２０６，参照画像保存メモリ２０７，補正付きＭＣ部２０８，ブロック属性情報保存部２０９から構成される。
【００６８】
これらはいずれも前述の同名のものと同等の機能を有するものとする。このような構成を用いることで，図５に示す復号処理が実現できる。
【００６９】
以下，本発明の実施例について説明する。
【００７０】
〔第１の例〕
本例では，インター予測信号に対して平滑化フィルタを用いる方法について述べる。まず，平滑化フィルタの動作について述べる。
【００７１】
フィルタ処理対象の画素の位置関係を，図７に示す。図７（Ａ）に示すように，予測信号の一番左側の画素値をＡｎ（ｎ＝０，１，…），Ａｎの左側に隣接する復号済み隣接画素をＬｎ（ｎ＝０，１，…）とおくと，平滑化フィルタの適用により予測信号Ａｎの値はＡ′ｎへと変化する。
【００７２】
Ａ′ｎ＝β×Ａｎ＋（１−β）×Ｌｎ  （ｎ＝０，１，…）
ここで，係数βは，以下の条件により各ｎ毎に個別に決定するものとする。なお，以下に示すβの値は一例であり，０＜β≦１の範囲内で他の値を用いてもよい。
・｜Ｌｎ−Ａｎ｜＞１０ならば，β＝１
・当該ブロックのインター予測の動きベクトルと左隣接画素Ｌｎが所属する左隣接ブロックの動きベクトルが等しいならば，β＝１
・当該ブロックの量子化パラメータと左隣接画素Ｌｎが所属する左隣接ブロックの量子化パラメータが異なるならば，β＝１
・左隣接画素Ｌｎが所属する左隣接ブロックに有意係数が存在しないならば，β＝１
・上記の全ての項目に該当しない場合には，β＝０．５
一番左側の画素値に対する平滑化フィルタ処理が終了後，図７（Ｂ）に示すように，一番上側の画素値Ｂｎ（ｎ＝０，１，…）と，Ｂｎの上側に隣接する復号済み隣接画素Ｔｎとの間で，図７（Ａ）の場合と同様の平滑化フィルタを適用する。なお，Ｂ０はＡ′０と等しい。フィルタの結果，予測信号Ｂｎの値がＢ′ｎへと変化する。
【００７３】
Ｂ′ｎ＝β×Ｂｎ＋（１−β）×Ｔｎ  （ｎ＝０，１，…）
係数βの決定基準も，図７（Ａ）の場合と同様とする。ただし，左隣接画素Ｌｎを上隣接画素Ｔｎに置き換える。
【００７４】
なお，この平滑化フィルタは常に上述の条件で動作するものとし，パラメータなどで外部から動作を切り換えることはしないものとする。したがって，本補正処理に関するパラメータは送信する必要がない。
【００７５】
第１の例の全体の処理フローは図１６と同一で，インター予測信号決定の部分のみ異なる。この部分の処理フローの一例を図８に示す。
【００７６】
処理が始まると，コストｃｏｓｔmin を十分に大きな数で初期化する（ステップＳ３００）。次に，全インター予測モードについて以下の処理を反復する（ステップＳ３０１）。この全予測モードとは，動きベクトルと動き補償ブロックサイズの全組み合わせを意味する。
【００７７】
各インター予測モードＰｒｅｄtmp に対応する参照画像Ｒｅｆtmp を，保存している参照画像から抽出する（ステップＳ３０２）。次に，抽出した参照画像Ｒｅｆtmp について補正を施し，フィルタ後の参照画像ＲｅｆF を生成する（ステップＳ３０３）。補正処理は上記に示した平滑化フィルタとし，最初に左側，次に上側予測画素信号に対してフィルタ処理を施す。
【００７８】
次に，フィルタ後の参照画像ＲｅｆF と入力画像との間でコストｃｏｓｔtmp を計算する（ステップＳ３０４）。この計算は，例えば図１６で用いた計算式をそのまま用いることが考えられる。このコストｃｏｓｔtmp とｃｏｓｔmin の大小を比較し（ステップＳ３０５），このコストｃｏｓｔtmp がｃｏｓｔmin より小さければ，当該インター予測モードＰｒｅｄtmp をＰｒｅｄmin に，ｃｏｓｔtmp をｃｏｓｔmin に，フィルタ後の参照画像ＲｅｆF をＲｅｆに代入する（ステップＳ３０６）。上記の処理を全インター予測モードについて反復する（ステップＳ３０７）。
【００７９】
反復終了後，Ｐｒｅｄmin に代入されている予測モードを当該ブロックのインター予測モード，Ｒｅｆを参照信号として決定する（ステップＳ３０８）。
【００８０】
本処理を実現させるためのブロック図について，全体の構成図は，図２と等しいが，補正付きＭＥ部１１３と補正付きＭＣ部１１４の内部の構成が異なる。
【００８１】
なお，本例の平滑化フィルタでは，補正に関するパラメータが不要となるため，補正付きＭＥ部１１３から出力される補正付きインター予測情報には，補正に関する情報は含まれない。
【００８２】
本例による補正付きＭＥ部１１３の構成図の一例を，図９に示す。本装置は，減算器１２０，コスト計算部１２１，ＭＣ部１２４，インター予測モード生成部１２３，平滑化補正部１２５１，予測モード選択部１２６１から構成される。
【００８３】
このうち，減算器１２０，コスト計算部１２１，ＭＣ部１２４，インター予測モード生成部１２３は，前述の同名のものと同等の機能を有する。
【００８４】
平滑化補正部１２５１は，隣接ブロックの復号画像信号，ブロック属性情報，インター予測モード情報をもとに，予測信号に対して前述の平滑化フィルタを施し，補正後の予測信号を出力する。なお，この補正付きＭＥ部１１３の出力では，前述の通り補正に関するパラメータが不要なため，予測モード選択部１２６１からは，選択されたインター予測モード情報が出力され，パラメータは出力されない。
【００８５】
次に，補正付きＭＣ部１１４の構成図の一例を，図１０に示す。本装置は，平滑化補正部１３２１とＭＣ部１３１から構成されており，どちらも前述の同名のものと同等の機能を有する。なお，この補正付きＭＣ部１１４の入力では，前述の通り補正に関するパラメータが不要なため，インター予測モード情報が入力となる。このような装置を用いることで，図８に示す処理が実現できる。
【００８６】
次に，本処理で生成したストリームを復号する方法について示す。全体の処理フローは，図２０と等しく，インター予測信号生成の処理が異なる。この部分の処理を図１１に示す。
【００８７】
処理が始まると，まずインター予測画像Ｐｒｅｄが指し示す参照画像Ｒｅｆを取得する（ステップＳ４００）。次に，参照画像Ｒｅｆに対して前述の平滑化フィルタを適用し，フィルタ後の参照画像ＲｅｆF を生成する（ステップＳ４０１）。その後，このＲｅｆF を予測信号として出力する（ステップＳ４０２）。
【００８８】
本処理を実現するための構成図の一例は図６の通りとなり，補正付きＭＣ部１１４は図１０に示すものとなる。なお，本例の補正（平滑化フィルタ）では，補正に関するパラメータが不要となるため，補正付きＭＣ部１１４の入力の補正付きインター予測情報には補正情報は含まれない。このような構成を用いることで，ストリームのデコードが可能となる。
【００８９】
〔第２の例〕
第２の例では，符号化対象ブロックに隣接する復号済み画素の平均値を用いて，インター予測画像信号の直流成分を補正する。
【００９０】
補正の方法は以下の通りとする。予測画像信号の平均値をＤＣP ，予測画像に隣接する近傍画素をＤＣN とすると，補正は予測画像信号の全画素値に対して補正値Ｄを加算することで行う。
【００９１】
Ｄ＝（α−１）×ＤＣP ＋（１−α）×ＤＣN 
図１２に，４×４ブロックにおける予測画像信号と近傍画素の例を示す。以下の条件のいずれかに該当する場合には，αを１とする。
・｜ＤＣP −ＤＣN ｜＞１０
・当該ブロックのインター予測の動きベクトルと左，上隣接画素が所属する隣接ブロックの動きベクトルが全て等しい
・当該ブロックの量子化パラメータと左，上隣接画素が所属する隣接ブロックの量子化パラメータが全て異なる
・左，上隣接ブロック共に有意係数が存在しない
それ以外の場合，αの値は，０．１から１まで０．１刻みでブロックごとに明示的に指定できるものとし，指定した値を補正のパラメータとしてインター予測モード情報とともに符号化して送信する。
【００９２】
このような補正を用いた符号化処理のフローの一例では，全体のフローについては図１６と同一で，インター予測信号決定処理に関するフローは前述の図１となる。補正のパラメータＰは，上述のα，０．１から１まで０．１刻みで全ての補正を試行するものとする。
【００９３】
本フローを実現するためのブロック図の一例は，前述の図２で実現できる。このうち，補正付きＭＥ部１１３の構成図は，前述の図３，補正付きＭＣ部１１４の構成図は，前述の図４に示したものと同じものとする。また，これらの図３，図４中にある補正部では上述のＤＣ補正を行うものとし，補正パラメータＰはαとする。このような構成を用いることで，第２の例を用いたエンコードを行うことができる。
【００９４】
次に，第２の例を用いて生成したストリームをデコードする方法について述べる。まず，処理フローであるが，全体の処理フローは前述の図２０と等しく，この中のインター予測信号生成の処理は，前述の図５に示す処理と等しい。なお，図５中の補正は上述のＤＣ補正を行うものとし，補正に関するパラメータＰはαとする。このような処理により，ストリームのデコードが可能となる。
【００９５】
本処理を実現するための構成図の一例は前述の図６の通りとなり，補正付きＭＣ部１１４は，前述の図４の通りとなる。このうち，図４中の補正部では上述のＤＣ補正を行うものとし，補正パラメータＰはαとする。このような構成を用いることで，前述の処理フローを実現することができる。
【００９６】
〔第３の例〕
第３の例では，補正の方法として，Ｈ．２６４に導入されているデブロッキングフィルタを用いる。すなわち，インター予測画像信号と隣接する復号済み画素の間をブロック境界とし，デブロッキングフィルタを用いてインター予測画像信号を補正する。なお，デブロッキングフィルタでは符号化対象ブロックの有意係数情報を用いるが，補正処理時点では未定のため有意係数はないものとする。
【００９７】
本例の全体の処理フローは前述の図１６と同一で，インター予測信号決定の処理は，前述の図８の通りとなる。なお，図８中のフィルタはデブロッキングフィルタとなる。
【００９８】
本フローを実現するためのブロック図に関して，全体の構成図は，図２と等しいが，補正付きＭＥ部１１３と補正付きＭＣ部１１４の内部の構成は，それぞれ図１３と図１４のの通りとなる。
【００９９】
なお，本例の補正処理では補正に関するパラメータが不要となるため，補正付きＭＥ部１１３から出力される補正付きインター予測情報には補正に関する情報は含まれない。
【０１００】
図１３に示す補正付きＭＥ部１１３は，減算器１２０，コスト計算部１２１，ＭＣ部１２４，デブロッキングフィルタ部１２５２，予測モード選択部１２６１から構成されており，前述の同名のものと同等の機能を有する。
【０１０１】
ただし，デブロッキングフィルタ部１２５２において，符号化対象ブロックの有意係数はないものとして処理するとする。
【０１０２】
また，図１４に示す補正付きＭＣ部１１４は，デブロッキングフィルタ部１３２２とＭＣ部１３１から構成されており，いずれも前述の同名のものと同等の機能を有する。ただし，デブロッキングフィルタ部１３２２において，符号化対象ブロックの有意係数はないものとして処理するとする。このような装置を用いることで，図８に示す処理が実現できる。
【０１０３】
次に，本処理で生成したストリームをデコードする方法について述べる。まず処理フローに関して，全体の処理フローは前述の図２０と等しく，この中のインター予測信号生成の処理は前述の図１１と等しい。なお，図１１中のフィルタは上述のデブロッキングフィルタを施すものとする。
【０１０４】
本処理を実現するための構成図の一例は図６の通りとなり，補正付きＭＣ部１１４は，図１４に示すものとなる。なお，本例の補正（デブロッキングフィルタ）では補正に関するパラメータが不要となるため，補正付きＭＣ部１１４の入力の補正付きインター予測情報には補正情報は含まれない。このような構成を用いることで，ストリームのデコードが可能となる。
【０１０５】
なお，いずれの例でも補正対象の予測モードとしてインター予測モードを挙げたが，イントラ予測モードの予測画像信号に対しても同様に用いることができる。
【０１０６】
以上の映像符号化，映像復号における予測信号を補正する処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【０１０７】
図１５に，符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ１０と，ＣＰＵ１０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ１１と，カメラ等からの符号化対象の映像信号を入力する映像信号入力部１２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，前述した映像符号化の処理をＣＰＵ１０に実行させるソフトウェアプログラムである映像符号化プログラム１４が格納されたプログラム記憶装置１３と，ＣＰＵ１０がメモリ１１にロードされた映像符号化プログラム１４を実行することにより生成された符号化ストリームを，例えばネットワークを介して出力する符号化ストリーム出力部１６（ディスク装置等による符号化ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
【０１０８】
映像符号化プログラム１４には，本発明に従って予測信号を生成する予測信号生成プログラム１５が含まれている。
【０１０９】
復号装置についても，ソフトウェアプログラムを用いて実現する場合には，例えば図１５に示すようなハードウェア構成の装置が用いられる。
【符号の説明】
【０１１０】
１０１  減算器
１０２  ＤＣＴ部
１０３  量子化部
１０４  可変長符号化部
１０５  有意係数判定部
１０６  ブロック属性情報保存部
１０７  逆量子化部
１０８  ＩＤＣＴ部
１０９  加算器
１１０  復号画像保存メモリ
１１１  デブロッキングフィルタ部
１１２  参照画像保存メモリ
１１３  補正付きＭＥ部
１１４  補正付きＭＣ部
１１５  符号量制御部
【図１】
2011066569.tif 000003
【図２】
2011066569.tif 000004
【図３】
2011066569.tif 000005
【図４】
2011066569.tif 000006
【図５】
2011066569.tif 000007
【図６】
2011066569.tif 000008
【図７】
2011066569.tif 000009
【図８】
2011066569.tif 000010
【図９】
2011066569.tif 000011
【図１０】
2011066569.tif 000012
【図１１】
2011066569.tif 000013
【図１２】
2011066569.tif 000014
【図１３】
2011066569.tif 000015
【図１４】
2011066569.tif 000016
【図１５】
2011066569.tif 000017
【図１６】
2011066569.tif 000018
【図１７】
2011066569.tif 000019
【図１８】
2011066569.tif 000020
【図１９】
2011066569.tif 000021
【図２０】
2011066569.tif 000022
【図２１】
2011066569.tif 000023