(57)【特許請求の範囲】
【請求項１】
符号化対象画像における符号化対象ブロックに対し画面間予測を行うことによって符号化する動画像符号化装置であって、
前記符号化対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、
前記符号化対象画像の複数のブロックのうち前記符号化対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記符号化対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、
前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、
前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成し、前記合成画像を画面間予測の予測画像として出力する合成部と、
を備える動画像符号化装置。
【請求項２】
符号化対象画像における符号化対象ブロックに対し画面間予測を行うことによって符号化する動画像符号化装置であって、
前記符号化対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、
前記符号化対象画像の複数のブロックのうち前記符号化対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記符号化対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、
前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、
前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成する合成部と、
前記合成画像と原画像との誤差を表す第１誤差が、前記第１画像と前記原画像との誤差を表す第２誤差よりも小さい場合、前記合成画像を予測画像として判定し、前記第１誤差が前記第２誤差以上である場合に前記第１画像を前記予測画像として判定する判定部と、
を備える動画像符号化装置。
【請求項３】
前記第１画像と前記第２画像とが一致する場合、前記合成部が前記合成画像を生成せず、前記第１画像又は前記第２画像を前記予測画像として判定する出力判定部をさらに備える、請求項２に記載の動画像符号化装置。
【請求項４】
復号対象画像における復号対象ブロックに対し画面間予測を行うことによって、請求項１に記載の動画像符号化装置によって符号化された動画像を復号する動画像復号装置であって、
前記復号対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、
前記復号対象画像の複数のブロックのうち前記復号対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記復号対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、
前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、
前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成し、前記合成画像を画面間予測の予測画像として出力する合成部と、
を備える動画像復号装置。
【請求項５】
復号対象画像における復号対象ブロックに対し画面間予測を行うことによって、請求項２に記載の動画像符号化装置によって符号化された動画像を復号する動画像復号装置であって、
前記復号対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、
前記復号対象画像の複数のブロックのうち前記復号対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記復号対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、
前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、
前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成する合成部と、
前記動画像符号化装置における判定結果に基づいて、前記第１画像又は前記合成画像を予測画像として判定する判定部と、
を備える動画像復号装置。
【請求項６】
前記第１画像と前記第２画像とが一致する場合、前記合成部が前記合成画像を生成せず、前記第１画像又は前記第２画像を前記予測画像として判定する出力判定部をさらに備える、請求項５に記載の動画像復号装置。
【請求項７】
請求項１〜３のいずれか一項に記載の動画像符号化装置としてコンピュータを機能させるためのコンピュータプログラム。
【請求項８】
請求項４〜６のいずれか一項に記載の動画像復号装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化・復号方式に関する。
【背景技術】
【０００２】
ＨＥＶＣは、Ｈ．２６４の次世代の映像符号化標準方式として策定された。ＨＥＶＣは、Ｈ．２６４を上回る符号化効率を実現する符号化方式である。ＨＥＶＣでは、画面間予測符号化において、小数画素フィルタの改良や種類の増加などより精度のよい予測画像を生成する手法が取り入れられている。このように、ＨＥＶＣでは、Ｈ．２６４よりも予測効率を向上させる手法が導入されている。
【０００３】
ＨＥＶＣの画面間予測符号化では次のような予測画像の生成手法が用いられている（非特許文献１参照）。
符号化対象ブロックについて、復号済みの画像から誤差が最小となる領域を探索することによって予測画像が得られる。このとき、探索する領域全体に小数画素フィルタと呼ばれる数種類の固定フィルタが施される。固定フィルタにより、復号済みの画像から実際には存在しない画素を生成して探索することが可能とある。また、符号化対象ブロックが存在するフレームから時間方向の距離に応じた重み付け予測が用いられる場合もある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Recommendation ITU-T H.265: High efficiency video coding,2013.
【非特許文献２】P. Perez, M. Gangnet, and A. Blake, Poisson Image Editing, Proc. SIGGRAPH’03, pp.313-318, 2003
【非特許文献３】山崎 俊彦，“100 行で書く画像処理最先端 勾配ベースの画像編集： Poisson Image Editing”映像情報メディア学会誌，Vol.64, No.5, pp.729-737, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の手法では、予測画像の生成に際して、復号済みの画像に実際には存在しない画素を用いることも可能である。しかし、画像の性質を考慮せずに一定のフィルタが施されるため、適切な予測画像が生成されない場合がある。例えば、動きがある物体と動きがない背景とが混在するブロックでは、物体の位置と背景とのずれが生じる。そのため、物体と背景との両方が一致するような参照画像が抽出されにくい。小数画素フィルタでは、全体を一斉にずらしてしまうため、このような問題を解決することが難しい。また、重みづけ予測では、全体に対して同一比の重みづけによる線形和を予測画像として用いることになる。そのため、上述した問題を解決することが難しい。
【０００６】
このような問題に対し、符号化対象ブロックの背景に類似する画像（背景画像）と、動き補償処理によって得られた画像（勾配画像）とに対してポワソン画像合成（Poisson Image Editing（ＰＩＥ））を行い適切な予測画像を生成する手法が考えられる（非特許文献２，非特許文献３）。この手法を用いることにより、符号化対象ブロックにおいて動きがある物体と動きがない背景とが混在していたとしても、より精度の高い予測画像を取得する事が可能となる。
【０００７】
上述したような処理を行うためには、背景画像の位置を動画像符号化装置と動画像復号装置との間で同期させる必要がある。このような同期の手法のひとつとして、動画像符号化装置において取得された背景画像の位置を表す情報が符号化ストリームに含められる手法がある。より具体的には、背景画像の周囲に位置する４つの境界部分の画像の位置を表す情報が符号化ストリームに含められる手法が考えられる。
しかしながら、このような手法ではオーバーヘッドを大きく増大させてしまうおそれがある。
【０００８】
上記事情に鑑み、本発明は、符号化された動画像データのオーバーヘッドの増大を抑制しつつ、より精度の高い予測画像の取得を可能とする技術の提供を目的としている。
【課題を解決するための手段】
【０００９】
本発明の一態様は、符号化対象画像における符号化対象ブロックに対し画面間予測を行うことによって符号化する動画像符号化装置であって、前記符号化対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、前記符号化対象画像の複数のブロックのうち前記符号化対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記符号化対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成し、前記合成画像を画面間予測の予測画像として出力する合成部と、を備える動画像符号化装置である。
【００１０】
本発明の一態様は、符号化対象画像における符号化対象ブロックに対し画面間予測を行うことによって符号化する動画像符号化装置であって、前記符号化対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、前記符号化対象画像の複数のブロックのうち前記符号化対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記符号化対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成する合成部と、前記合成画像と原画像との誤差を表す第１誤差が、前記第１画像と前記原画像との誤差を表す第２誤差よりも小さい場合、前記合成画像を予測画像として判定し、前記第１誤差が前記第２誤差以上である場合に前記第１画像を前記予測画像として判定する判定部と、を備える動画像符号化装置である。
【００１１】
本発明の一態様は、上記の動画像符号化装置であって、前記第１画像と前記第２画像とが一致する場合、前記合成部が前記合成画像を生成せず、前記第１画像又は前記第２画像を前記予測画像として判定する出力判定部をさらに備える。
【００１２】
本発明の一態様は、復号対象画像における復号対象ブロックに対し画面間予測を行うことによって、上記の動画像符号化装置によって符号化された動画像を復号する動画像復号装置であって、前記復号対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、前記復号対象画像の複数のブロックのうち前記復号対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記復号対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成し、前記合成画像を画面間予測の予測画像として出力する合成部と、を備える動画像復号装置である。
【００１３】
本発明の一態様は、復号対象画像における復号対象ブロックに対し画面間予測を行うことによって、上記の動画像符号化装置によって符号化された動画像を復号する動画像復号装置であって、前記復号対象ブロックについて推定された動きベクトルを用いて動き補償処理を行う事によって第１画像を取得する動き補償部と、前記復号対象画像の複数のブロックのうち前記復号対象ブロックよりも先に復号されるブロックである復号済みブロック内に位置し、前記復号対象ブロックから所定の距離に位置する境界画像と類似する画像の位置を参照画像内で取得する境界画像動き推定部と、前記境界画像動き推定部によって取得された画像の位置に基づいて、前記復号済みブロックに応じた第２画像を取得する第２画像選択部と、前記第１画像の画素値勾配を維持して前記第１画像を前記第２画像に合成することによって合成画像を生成する合成部と、前記動画像符号化装置における判定結果に基づいて、前記第１画像又は前記合成画像を予測画像として判定する判定部と、を備える動画像復号装置である。
【００１４】
本発明の一態様は、上記の動画像復号装置であって、前記第１画像と前記第２画像とが一致する場合、前記合成部が前記合成画像を生成せず、前記第１画像又は前記第２画像を前記予測画像として判定する出力判定部をさらに備える。
【００１５】
本発明の一態様は、上記いずれかの動画像符号化装置としてコンピュータを機能させるためのコンピュータプログラムである。
【００１６】
本発明の一態様は、上記いずれかの動画像復号装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１７】
本発明により、符号化された動画像データのオーバーヘッドの増大を抑制しつつ、より精度の高い予測画像の取得が可能となる。
【図面の簡単な説明】
【００１８】
【図１】符号化対象画像の具体例（符号化対象画像１０）を示す図である。
【図２】符号化対象画像の具体例（符号化対象画像１０）を示す図である。
【図３】参照画像の具体例（参照画像２０）を示す図である。
【図４】第１実施形態における動画像符号化装置１００の機能を表す概略ブロック図である。
【図５】第１実施形態における画面間予測部１０６の処理の具体例を示すフローチャートである。
【図６】第１実施形態における動画像復号装置２００の機能を表す概略ブロック図である。
【図７】第１実施形態における画面間予測部２０４の処理の具体例を示すフローチャートである。
【図８】第２実施形態における動画像符号化装置１００ａの機能を表す概略ブロック図である。
【図９】第２実施形態における画面間予測部１０６ａの処理の具体例を示すフローチャートである。
【図１０】第２実施形態における動画像復号装置２００ａの機能を表す概略ブロック図である。
【図１１】第２実施形態における画面間予測部２０４ａの処理の具体例を示すフローチャートである。
【図１２】第３実施形態における動画像符号化装置１００ｂの機能を表す概略ブロック図である。
【図１３】第３実施形態における画面間予測部１０６ｂの処理の具体例を示すフローチャートである。
【図１４】第３実施形態における動画像復号装置２００ｂの機能を表す概略ブロック図である。
【図１５】第３実施形態における画面間予測部２０４ｂの処理の具体例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
（符号化対象画像及び参照画像）
本願発明の実施形態について説明する前に、本願発明における処理に用いられる画像について説明する。
【００２０】
本願発明の実施形態である動画像符号化装置及び動画像復号装置は、時間軸上で連続している複数の画像（フレーム）で構成された動画像を取り扱う。動画像符号化装置は、動画像のデータ（以下「動画像データ」という。）を符号化することによって、より小さいデータサイズの動画像データ（以下「符号化ストリーム」という。）を生成する。動画像復号装置は、動画像符号化装置によって符号化された符号化動画像データを復号することによって、再生可能な動画像データを生成する。
【００２１】
符号化処理の対象となっている画像を符号化対象画像という。同様に、復号処理の対象となっている画像を復号対象画像という。以下、符号化対象画像を例に説明を行うが、復号対象画像も符号化対象画像と構成は同じである。
【００２２】
図１及び図２は、符号化対象画像の具体例（符号化対象画像１０）を示す図である。符号化対象画像１０は、複数のブロックに分割される。図１の例では、符号化対象画像１０は縦４個×横４個の計１６個のブロックに分割されている。動画像符号化装置は、符号化対象画像１０を構成する各ブロックを符号化する。符号化処理の対象となっているブロックを符号化対象ブロックという。同様に、復号処理の対象となっているブロックを復号対象ブロックという。
【００２３】
図１において、符号化対象ブロックは符号１１によって示されるブロックである。
動画像符号化装置において符号化処理が行われる際に、符号化対象ブロック１１よりも先に符号化されるブロックを符号化済みブロックという。本実施形態では、左上のブロックから右下方向に向けて上段から順に符号化処理が実行される。そのため、図１において符号１２によって示されている５個のブロックが符号化済みブロックである。
【００２４】
動画像符号化装置において符号化処理が行われる際に、符号化対象ブロック１１よりも後に符号化されるブロックを未符号化ブロックという。本実施形態では、左上のブロックから右下方向に向けて上段から順に符号化処理が実行される。そのため、図１において符号１３によって示されている１０個のブロックが未符号化ブロックである。
【００２５】
更に、復号処理の場合についても同様に図１を用いて説明する。図１において、復号対象ブロックは符号１１によって示されるブロックである。
動画像復号装置において復号処理が行われる際に、復号対象ブロック１１よりも先に復号されるブロックを復号済みブロックという。本実施形態では、左上のブロックから右下方向に向けて上段から順に復号処理が実行される。そのため、図１において符号１２によって示されている５個のブロックが復号済みブロックである。
【００２６】
動画像復号装置において復号処理が行われる際に、復号対象ブロック１１よりも後に復号されるブロックを未復号ブロックという。本実施形態では、左上のブロックから右下方向に向けて上段から順に復号処理が実行される。そのため、図１において符号１３によって示されている１０個のブロックが未復号ブロックである。
尚、以下の文中では、符号化済みブロックはすなわち復号済みブロックでもあることから、符号化処理における符号化済みブロックを復号済みブロックとも呼ぶものとする。
【００２７】
図２において符号１４によって示される帯状の領域の画像を境界画像と呼ぶ。境界画像１４は、符号化対象ブロック１１から所定の距離に位置する符号化済みブロック１２の境界部分の画像である。本実施形態では、境界画像１４は、符号化対象ブロック１１に隣接する符号化済みブロック１２に位置する。境界画像１４は、長さＸ、幅Ｎ１の領域の画像である。長さＸは、各ブロック（符号化対象ブロック１１、符号化済みブロック１２及び未符号化ブロック１３）の長さと同じである。幅Ｎ１は、長さＸよりも短い。幅Ｎ１は、例えば１画素分の幅であってもよいし、１画素未満の幅であってもよいし、複数画素分の幅であってもよいし、画素とは異なる単位で設けられてもよい。
図２において、符号１５によって表されるベクトルは、境界画像１４の左上画素から符号化対象ブロック１１の左上画素までの向き及び長さを表すベクトルである。ベクトル１５は、後述する背景画像２３の位置を決定する際に用いられる。
【００２８】
図３は、参照画像の具体例（参照画像２０）を示す図である。参照画像２０は、動画像復号装置において復号対象画像１０が復号される際に、既に各画素の値が取得されている画像である。例えば、参照画像２０は、復号対象画像１０が復号される際に既に復号処理が終了している画像である。
【００２９】
図３において、符号２１によって示される矩形は、勾配画像である。勾配画像２１の四辺の外側には、境界画像２２が設けられている。境界画像２２の大きさは、符号化対象画像１０に対して設けられる境界画像１４と同じ大きさである。勾配画像２１は、動き補償処理によって得られる画像（従来、予測画像として用いられた画像）である。
【００３０】
図３において、符号２３によって示される矩形は、背景画像である。背景画像２３の四辺の外側には、境界画像２４が設けられている。境界画像２４の大きさは、符号化対象画像１０に対して設けられる境界画像１４と同じ大きさである。境界画像２４の大きさは、勾配画像２１に対して設けられる境界画像２２と同じ大きさである。背景画像２３は、符号化対象ブロック１１の境界画像１４に対して、参照画像２０から誤差最小となる境界画像２４を境界として有する画像として設定される。
【００３１】
図３において、符号２５によって示されるベクトルは、勾配画像２１の左上画素と、背景画像２３の左上画素とを結ぶベクトルである。
（ＰＩＥ）
次に、ＰＩＥについて説明する。ＰＩＥでは、一方の画像が他方の画像に合成される際に、一方の画像の画素値（例えば輝度、色差）勾配を維持しつつ他方の画像を背景として用いた合成が行われる。ＰＩＥでは、このような合成処理によって、合成された画像において自然な見た目が実現される。本実施形態では、勾配画像２１の画素値勾配が維持される。
【００３２】
ＰＩＥは、以下に示す式１の方程式の解を求めることによって実現される。
【数１】
0006294810.tif 000002
【００３３】
式１について説明する。第一式は、領域Ω上では、ある画像上での画素値勾配divvと解fの画素値勾配Δfとが一致することを示す。第二式は、領域Ωの境界∂Ωにおいて、背景画像f*とfの画素値とが一致することを示す。この方程式の解を求めることで、合成画像が得られる。
【００３４】
符号化対象ブロック１１の周囲４辺それぞれについて、誤差が小さい領域が参照画像２０において探索される。探索された４つの領域に囲まれた領域が背景画像２３として用いられる。このような背景画像２３に対して勾配画像２１がＰＩＥで合成される。このような処理により、従来の画面間予測符号化で用いられた処理（例えば重みづけ予測）では適切な予測画像の生成が困難な場合であっても、自然な予測画像を生成することが可能となる。
【００３５】
（第１実施形態：動画像符号化装置）
図４は、第１実施形態における動画像符号化装置１００の機能を表す概略ブロック図である。動画像符号化装置１００は、符号化制御部１０１、ＤＣＴ／量子化部１０２、逆量子化／逆ＤＣＴ部１０３、ループフィルタ１０４、動きベクトル推定部１０５、画面間予測部１０６、画面内予測部１１１、選択部１１２、エントロピー符号化部１１３を備える。符号化制御部１０１、ＤＣＴ／量子化部１０２、逆量子化／逆ＤＣＴ部１０３、ループフィルタ１０４、動きベクトル推定部１０５、画面内予測部１１１、選択部１１２及びエントロピー符号化部１１３は、それぞれ従来からある画像符号化処理の機能の一部を行う機能部である。そのため、これらの機能について述べる以下の説明は一例に過ぎず、動画像符号化が実現可能であれば他の構成が採用されてもよい。
【００３６】
符号化制御部１０１は、入力された画像（以下「入力画像」という。）に対する符号化処理を制御する。例えば、符号化制御部１０１は、ＤＣＴ／量子化部１０２及び画面内予測部１１１を制御する。なお、入力画像は、符号化処理の対象となっている動画像の個々のフレームである。
【００３７】
ＤＣＴ／量子化部１０２は、入力画像に対して離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）及び量子化処理を行う。逆量子化／逆ＤＣＴ部１０３は、ＤＣＴ／量子化部１０２によって量子化された入力画像のデータに対し、逆量子化処理及び逆ＤＣＴ処理を行う。ループフィルタ１０４は、逆量子化／逆ＤＣＴ部１０３の出力に対してループフィルタリングを行う。動きベクトル推定部１０５は、ループフィルタ１０４の出力に基づいて動きベクトル探索（Motion Estimation）を実行する。
【００３８】
画面間予測部１０６は、ループフィルタ１０４の出力に基づいて画面間予測処理を行うことによって予測画像を生成する。画面間予測部１０６は、予測画像を生成するに際して、ＰＩＥを行う。
【００３９】
画面内予測部１１１は、画面内予測処理を実行することによって、予測画像を生成する。選択部１１２は、画面間予測部１０６によって生成された予測画像と、画面内予測部１１１によって生成された予測画像と、のどちらかを選択する。選択部１１２によって選択された予測画像と、符号化対象ブロック１１との差分がＤＣＴ／量子化部１０２に入力される。エントロピー符号化部１１３は、ＤＣＴ／量子化部１０２によって量子化されたデータに対しエントロピー符号化処理を行う。
【００４０】
次に画面間予測部１０６の詳細について説明する。画面間予測部１０６は、動き補償部１０７、境界画像動き推定部１０８、背景画像選択部１０９及びＰＩＥ部１１０を備える。
【００４１】
動き補償部１０７は、参照画像に対して動き補償処理を行う事によって勾配画像２１を取得する。勾配画像２１は、符号化対象ブロック１１に対して従来の動き探索処理をもちいることによって得られる動きベクトルで定められる画像（従来の予測画像に相当）である。例えば、動き補償部１０７は、動きベクトル推定部１０５によって推定された動きベクトルに基づいて勾配画像２１を取得する。
【００４２】
境界画像動き推定部１０８は、符号化対象画像１０の境界画像１４をテンプレートとして用いて参照画像２０をテンプレートマッチングする。境界画像動き推定部１０８が行うテンプレートマッチングでは、テンプレートのサイズや角度は変更されない。境界画像動き推定部１０８は、テンプレートマッチングによって、参照画像２０内において、境界画像１４に最も似た画像の位置を取得する。言い換えると、境界画像動き推定部１０８は、符号化対象画像１０と参照画像２０との間における境界画像１４の動きを推定する。
【００４３】
背景画像選択部１０９は、境界画像動き推定部１０８によって取得された位置（境界画像１４の動き）に基づいて、背景画像２３の位置を選択する。すなわち、背景画像選択部１０９は、境界画像動き推定部１０８によって取得された位置に境界画像２４が存在すると仮定した場合に得られる背景画像２３の位置を、実際の背景画像２３の位置として取得する。図２の例では、境界画像１４は符号化対象ブロック１１の左及び上に隣接している。この場合、背景画像選択部１０９は、境界画像動き推定部１０８によって得られた２つの境界画像２４の右下に位置する縦横ともにＸの矩形を背景画像２３の位置として取得する。背景画像選択部１０９は、参照画像２０において、取得された位置の画像を背景画像２３として取得する。
【００４４】
ＰＩＥ部１１０は、動き補償部１０７によって取得された勾配画像２１と、背景画像選択部１０９によって取得された背景画像２３とに対しＰＩＥを行うことによって合成画像を生成する。第１実施形態の動画像符号化装置１００では、ＰＩＥ部１１０によって生成された合成画像が原則として常に予測画像として使用される。そのため、第１実施形態の説明では、合成画像を予測画像と呼ぶ。
【００４５】
なお、ＰＩＥ処理において、勾配画像２１の境界画像２２と、背景画像２３の境界画像２４とを用いる必要がある場合には、勾配画像２１の境界画像２２として勾配画像２１に隣接する画素値がそのまま用いられてもよい。また、背景画像２３の右又は下に位置する境界画像２４として、背景画像２３に隣接する画素値がそのまま用いられてもよい。さらに、背景画像２３の右又は下に位置する境界画像２４として、勾配画像２１に隣接する画素値がそのまま用いられてもよい。この場合、背景画像２３の探索方法から、このように構成される場合、境界上の歪の発生を抑制することが可能となる。一方、背景画像２３の左及び上に位置する境界画像２４としては、背景画像２３に隣接する画素値ではなく、符号化対象ブロック１１の近傍の画素値（例えば、境界画像１４の画素値）が用いられてもよい。このように構成される場合、境界上の歪の発生を抑制することが可能となる。
【００４６】
図５は、第１実施形態における画面間予測部１０６の処理の具体例を示すフローチャートである。まず、動き補償部１０７が、符号化対象ブロック１１について参照画像２０において動き探索処理を行うことによって動きベクトルを推定する。動き補償部１０７は、推定された動きベクトルに基づいて勾配画像２１を取得する（ステップＳ１０１）。
【００４７】
次に、境界画像動き推定部１０８が、符号化対象ブロック１１の境界画像１４と同一サイズの画像であって境界画像１４に特徴量が近い（画素値の誤差が小さい）画像を参照画像２０内で探索する。境界画像動き推定部１０８は、探索された画像の位置を取得する（ステップＳ１０２）。
【００４８】
なお、境界画像動き推定部１０８が探索する領域は、勾配画像２１を中心とする所定の大きさの領域に限定されてもよい。この場合、境界画像動き推定部１０８において勾配画像２１の位置を取得する必要がある。そのため、動き補償部１０７から境界画像動き推定部１０８に対し、動きベクトルが通知される。参照画像２０内の探索領域は、符号化及び復号で共通していれば十分である。上述のように限定されることによって、探索に要する計算コストを制限しつつ適切な背景画像２３を取得できることが可能となる。このような効果は、勾配画像２１と背景画像２３とが共に同一の符号化対象ブロック１１の予測画像生成に用いられるものであるため、互いの距離が著しく大きく離れる可能性が小さいために得られる。
【００４９】
次に、背景画像選択部１０９が、境界画像動き推定部１０８によって取得された位置に基づいて、勾配画像２１と同一サイズの背景画像２３を取得する（ステップＳ１０３）。より具体的には、境界画像動き推定部１０８によって取得された位置の左上画素を起点としてベクトル１５によって表される位置に、背景画像２３の左上画素が位置するように、背景画像２３の位置が取得される。なお、境界画像動き推定部１０８が探索する領域と、探索に用いられるブロックのサイズを表す情報は符号化される。一方、ベクトル１５は符号化されない。
次に、ＰＩＥ部１１０が、勾配画像２１及び背景画像２３を用いてＰＩＥを行い予測画像を生成する（ステップＳ１０４）。具体的には、勾配画像２１と同様の画素値勾配を有し、背景画像２３と同様の画素値を有する画像が予測画像として生成される。
【００５０】
なお、ＰＩＥの演算時に用いられる背景画像２３の境界の画素としては、実際の背景画像２３に隣接する画素ではなく、境界画像２４の画素が用いられてもよい。この場合、復号処理においても同様の処理が行われる。
【００５１】
（第１実施形態：動画像復号装置）
図６は、第１実施形態における動画像復号装置２００の機能を表す概略ブロック図である。動画像復号装置２００は、エントロピー復号部２０１、逆量子化／逆ＤＣＴ部２０２、ループフィルタ２０３、画面間予測部２０４、画面内予測部２０９及び選択部２１０を備える。エントロピー復号部２０１、逆量子化／逆ＤＣＴ部２０２、ループフィルタ２０３、画面内予測部２０９及び選択部２１０は、それぞれ従来からある画像復号処理の機能の一部を行う機能部である。そのため、これらの機能について述べる以下の説明は一例に過ぎず、動画像復号が実現可能であれば他の構成が採用されてもよい。
【００５２】
エントロピー復号部２０１は、動画像符号化装置１００によって符号化された動画像データ（符号化ストリーム）に対し、エントロピー復号処理を行う。逆量子化／逆ＤＣＴ部２０２は、エントロピー復号部２０１によって復号されたデータに対し、逆量子化処理及び逆ＤＣＴ処理を行う。ループフィルタ２０３は、逆量子化／逆ＤＣＴ部２０２の出力と選択部２１０によって選択された画像との合成結果に対してループフィルタリングを行う。
【００５３】
画面間予測部２０４は、ループフィルタ２０３の出力に基づいて画面間予測処理を行う事によって予測画像を生成する。画面間予測部２０４は、予測画像の生成に際して、ＰＩＥを行う。
【００５４】
画面内予測部２０９は、画面内予測処理を実行することによって、予測画像を生成する。選択部２１０は、画面間予測部２０４によって生成された予測画像と、画面内予測部２０９によって生成された予測画像と、のどちらかを選択する。選択部２１０によって選択された予測画像と、逆量子化／逆ＤＣＴ部２０２の出力とが合成されることによって、復号画像が生成される。
【００５５】
次に画面間予測部２０４の詳細について説明する。画面間予測部２０４は、動き補償部２０５、境界画像動き推定部２０６、背景画像選択部２０７及びＰＩＥ部２０８を備える。
【００５６】
動き補償部２０５は、符号化ストリームを復号することによって得られる動きベクトル及び参照画像インデックスを取得する。動き補償部２０５は、参照画像に対して動きベクトルを用いた動き補償処理を行う事によって勾配画像２１を取得する。動き補償部２０５が実行する動き補償処理は、動画像符号化装置１００の動き補償部１０７によって実行される動き補償処理と同じである。そのため、動き補償部１０７の動き補償処理に用いられる符号化対象ブロック１１、参照画像及び動きベクトルと、動き補償部２０５の動き補償処理に用いられる復号対象ブロック１１、参照画像及び動きベクトルとが同一であれば、同じ勾配画像２１が得られる。
【００５７】
境界画像動き推定部２０６は、動画像符号化装置１００の境界画像動き推定部２０６と同様の処理を行う。すなわち、境界画像動き推定部２０６は、復号対象画像１０の境界画像１４をテンプレートとして用いて参照画像２０をテンプレートマッチングする。境界画像動き推定部２０６は、テンプレートマッチングによって、参照画像２０内において、境界画像１４に最も似た画像の位置を取得する。
【００５８】
背景画像選択部２０７は、動画像符号化装置１００の背景画像選択部１０９と同様の処理を行う。すなわち、背景画像選択部２０７は、境界画像動き推定部２０６によって取得された位置（境界画像１４の動き）に基づいて、背景画像２３の位置を選択する。
【００５９】
動画像符号化装置１００の境界画像動き推定部１０８及び背景画像選択部１０９の処理に用いられる符号化対象ブロック１１及び参照画像と、境界画像動き推定部２０６及び背景画像選択部２０７の処理に用いられる復号対象ブロック１１及び参照画像とが同一であれば、同じ背景画像２３が取得される。
【００６０】
ＰＩＥ部２０８は、動画像符号化装置１００のＰＩＥ部１１０と同様の処理を行う。すなわち、ＰＩＥ部２０８は、動き補償部２０５によって取得された勾配画像２１と、背景画像選択部２０７によって取得された背景画像２３とに対しＰＩＥを行うことによって予測画像を生成する。
【００６１】
図７は、第１実施形態における画面間予測部２０４の処理の具体例を示すフローチャートである。まず、動き補償部２０５が、動画像符号化装置１００の動きベクトル推定部１０５によって推定された動きベクトルを符号化ストリームから取得する。動き補償部２０５は、取得された動きベクトルに基づいて勾配画像２１を取得する（ステップＳ１１１）。
【００６２】
次に、境界画像動き推定部２０６が、復号対象ブロック１１の境界画像１４と同一サイズの画像であって境界画像１４に特徴量が近い（画素値の誤差が小さい）画像を参照画像２０内で探索する。境界画像動き推定部２０６は、探索された画像の位置を取得する。次に、背景画像選択部２０７が、境界画像動き推定部２０６によって取得された位置に基づいて、勾配画像２１と同一サイズの背景画像２３を取得する（ステップＳ１１２）。
【００６３】
次に、ＰＩＥ部２０８が、勾配画像２１及び背景画像２３を用いてＰＩＥを行い予測画像を生成する（ステップＳ１１３）。具体的には、勾配画像２１と同様の画素値勾配を有し、背景画像２３と同様の画素値を有する画像が予測画像として生成される。
【００６４】
（第１実施形態：まとめ）
以上のように構成された動画像符号化装置１００及び動画像復号装置２００によれば、符号化された動画像データのオーバーヘッドの増大を抑制しつつ、より精度の高い予測画像の取得が可能となる。具体的には以下のとおりである。
【００６５】
動画像符号化装置１００では、画面間予測部１０６において予測画像が取得される際に、符号化対象ブロック１１の境界画像１４に対する動き推定に基づいて得られた背景画像２３と、動き補償処理によって得られた勾配画像２１とに対してＰＩＥが行われる。そのため、符号化対象ブロック１１において動きがある物体と動きがない背景とが混在していたとしても、動きがある物体については動いた後の画像が勾配画像２１として推定され、動きがない背景については背景画像２３として推定される。そして、背景画像２３に対して勾配画像２１がＰＩＥにより合成されることによって予測画像が取得される。そのため、より精度の高い予測画像を取得する事が可能となる。
【００６６】
また、上述したような処理を行うためには、背景画像２３の位置を動画像符号化装置１００と動画像復号装置２００との間で同期させる必要がある。このような同期の手法のひとつとして、動画像符号化装置１００において取得された背景画像２３の位置を表す情報が符号化ストリームに含められてもよい。より具体的には、背景画像２３の周囲に位置する４つの境界画像２４の位置を表す情報が符号化ストリームに含められてもよい。
【００６７】
しかしながら、このような手法ではオーバーヘッドを大きく増大させてしまうおそれがある。このような問題に対し、動画像符号化装置１００では、境界画像動き推定部１０８が復号済みブロック１２に位置する境界画像１４の画像を用いて参照画像２０においてマッチングすることによって、背景画像２３の位置を決定している。また、動画像復号装置２００の境界画像動き推定部２０６も同様に、復号済みブロック１２に位置する境界画像１４の画像を用いて参照画像２０においてマッチングすることによって、背景画像２３の位置を決定している。このように、動画像符号化装置１００及び動画像復号装置２００において、既に復号化されているブロックの画像を用いて同じ処理を行うことによって背景画像２３が取得される。そのため、背景画像２３の位置の同期に際して、動画像符号化装置１００において取得された背景画像２３の位置を符号化ストリームに含める必要が無い。したがって、背景画像２３の位置によるオーバーヘッドの増大を抑制することが可能となる。
【００６８】
（第２実施形態：動画像符号化装置）
図８は、第２実施形態における動画像符号化装置１００ａの機能を表す概略ブロック図である。動画像符号化装置１００ａは、画面間予測部１０６に代えて画面間予測部１０６ａを備える点で、第１実施形態の動画像符号化装置１００と異なる。その他の構成については、第２実施形態の動画像符号化装置１００ａと第１実施形態の動画像符号化装置１００とは同じである。以下、第２実施形態の動画像符号化装置１００ａについて、第１実施形態の動画像符号化装置１００と異なる点について説明する。
【００６９】
第２実施形態の画面間予測部１０６ａは、フラグ判定部１１４をさらに備える点で第１実施形態の画面間予測部１０６と異なる。その他の構成については、第２実施形態の画面間予測部１０６ａと第１実施形態の画面間予測部１０６とは同じである。以下、第２実施形態の画面間予測部１０６ａについて、第１実施形態の画面間予測部１０６と異なる点について説明する。
【００７０】
フラグ判定部１１４は、ＰＩＥによって生成された合成画像を予測画像として用いるか否かについて、符号化対象ブロック１１毎に判定する。具体的には以下のとおりである。フラグ判定部１１４は、ＰＩＥ部１１０によって生成された合成画像と原画像との誤差（以下「第１誤差」という。）を取得する。また、フラグ判定部１１４は、ＰＩＥを行わずに取得される予測画像（従来の動き補償処理に基づいて取得される予測画像）と原画像との誤差（以下「第２誤差」という。）を取得する。なお、原画像とは、符号化対象ブロック１１がその後のフレームにおいて実際になる画像であり、予測画像の正解の画像を表す。フラグ判定部１１４は、第１誤差と第２誤差とを比較する。第１誤差の方が小さい場合、フラグ判定部１１４はＰＩＥによって生成された合成画像を予測画像として用いると判定する。一方、第１誤差の方が大きい場合、フラグ判定部１１４はＰＩＥによって生成された合成画像を予測画像として用いない（すなわち、他の処理（例えば従来の動き補償処理）によって生成された画像を予測画像として用いる）と判定する。フラグ判定部１１４は、判定結果を表す情報（以下「ＰＩＥフラグ」という）を生成する。フラグ判定部１１４によって生成された情報は、符号化ストリームに含められる。
【００７１】
図９は、第２実施形態における画面間予測部１０６ａの処理の具体例を示すフローチャートである。図９のフローチャートにおいて、図５のフローチャートと同じ処理については同じ符号を付している。このような処理については説明を省略する。
【００７２】
ステップＳ１０４の処理の後、フラグ判定部１１４は、第１誤差及び第２誤差をそれぞれ算出する。フラグ判定部１１４は、第１誤差及び第２誤差のどちらが大きいかを判定する（ステップＳ２０１）。
【００７３】
第２誤差が第１誤差よりも大きい場合（ステップＳ２０１−ＹＥＳ）、フラグ判定部１１４は、ＰＩＥフラグに“ＹＥＳ”の値を代入する（ステップＳ２０２）。この代入によって、ＰＩＥによって生成された合成画像が予測画像として用いられることが設定される。その後、ＰＩＥフラグの値は符号化される。
【００７４】
一方、第２誤差が第１誤差以下である場合（ステップＳ２０１−ＮＯ）、フラグ判定部１１４は、ＰＩＥフラグに“ＮＯ”の値を代入する（ステップＳ２０３）。この代入によって、ＰＩＥによって生成された合成画像とは異なる画像が予測画像として用いられることが設定される。例えば、上述した勾配画像２１が予測画像として用いられることが設定される。その後、ＰＩＥフラグの値は符号化される。
【００７５】
（第２実施形態：動画像復号装置）
図１０は、第２実施形態における動画像復号装置２００ａの機能を表す概略ブロック図である。動画像復号装置２００ａは、画面間予測部２０４に代えて画面間予測部２０４ａを備える点で、第１実施形態の動画像復号装置２００と異なる。その他の構成については、第２実施形態の動画像復号装置２００ａと第１実施形態の動画像復号装置２００とは同じである。以下、第２実施形態の動画像復号装置２００ａについて、第１実施形態の動画像復号装置２００と異なる点について説明する。
【００７６】
第２実施形態の画面間予測部２０４ａは、フラグ判定部２１１をさらに備える点、境界画像動き推定部２０６に代えて境界画像動き推定部２０６ａを備える点、背景画像選択部２０７に代えて背景画像選択部２０７ａを備える点、ＰＩＥ部２０８に代えてＰＩＥ部２０８ａを備える点、で第１実施形態の画面間予測部２０４と異なる。その他の構成については、第２実施形態の画面間予測部２０４ａと第１実施形態の画面間予測部２０４とは同じである。以下、第２実施形態の画面間予測部２０４ａについて、第１実施形態の画面間予測部２０４と異なる点について説明する。
【００７７】
フラグ判定部２１１は、符号化ストリームから取得されるＰＩＥフラグの値に基づいて、ＰＩＥによって生成された合成画像を予測画像として用いるか否かについて、符号化対象ブロック１１毎に判定する。フラグ判定部２１１は、判定結果を境界画像動き推定部２０６ａ、背景画像選択部２０７ａ及びＰＩＥ部２０８ａに出力する。
【００７８】
境界画像動き推定部２０６ａ及び背景画像選択部２０７ａは、フラグ判定部２１１によってＰＩＥの合成画像が予測画像として用いられると判定された場合に処理を実行し背景画像２３を取得する。境界画像動き推定部２０６ａ及び背景画像選択部２０７ａは、フラグ判定部２１１によってＰＩＥの合成画像が予測画像として用いられないと判定された場合、処理を実行しなくてもよい。
【００７９】
ＰＩＥ部２０８ａは、フラグ判定部２１１によってＰＩＥの合成画像が予測画像として用いられると判定された場合に処理を実行し合成画像を取得する。ＰＩＥ部２０８ａは、フラグ判定部２１１によってＰＩＥの合成画像が予測画像として用いられないと判定された場合、処理を実行しなくてもよい。この場合、ＰＩＥ部２０８ａは、動き補償部２０５によって生成された勾配画像２１をそのまま出力してもよい。
【００８０】
図１１は、第２実施形態における画面間予測部２０４ａの処理の具体例を示すフローチャートである。図１１のフローチャートにおいて、図７のフローチャートと同じ処理については同じ符号を付している。このような処理については説明を省略する。
【００８１】
ステップＳ１１１の処理の後、フラグ判定部２１１は、ＰＩＥフラグの値に基づき、合成画像が予測画像として用いられるか否か判定する（ステップＳ２１１）。合成画像が予測画像として用いられると判定された場合（ステップＳ２１２−ＹＥＳ）、ステップＳ１１２及びＳ１１３の処理が実行される。一方、合成画像が予測画像として用いられないと判定された場合（ステップＳ２１２−ＮＯ）、ＰＩＥ部２０８ａは、動き補償部２０５によって生成された勾配画像２１を予測画像として出力する（ステップＳ２１３）。なお、上述したように、合成画像が予測画像として用いられないと判定された場合に予測画像として用いられる画像は勾配画像２１に限定される必要は無い。
【００８２】
（第２実施形態：まとめ）
以上のように構成された第２実施形態の動画像符号化装置１００ａ及び動画像復号装置２００ａによれば、ＰＩＥによって生成される合成画像及び他の画像（例えば勾配画像２１）のうち、より原画像との誤差が小さい画像が選択される。そして、合成画像が用いられるか否かを表す情報（ＰＩＥフラグ）が符号化されて動画像復号装置２００ａに伝えられる。そのため、ＰＩＥフラグ分のオーバーヘッドは生じてしまうものの、予測画像と原画像との間の誤差が小さくなるため、結果として符号化効率を向上させることが可能となる。
【００８３】
（第２実施形態：適用例）
動き探索の処理において、符号化対象ブロック１１に対して予測ブロック単位で動き探索が行われてもよい。その結果として得られる予測画像が勾配画像２１として用いられてもよい。
【００８４】
背景画像２３を取得する処理において、符号化対象ブロック１１の左又は上に隣接する符号化済みの画素の列が境界画像１４として用いられてもよい。また、この境界画像１４とサイズが同一であって且つ二乗和が最小となる画素の列が探索されてもよい。このとき、探索の領域は、勾配画像２１の周囲の所定の範囲（例えば、整数Ｎ×整数Ｍ（Ｎ＝Ｍであってもよい））に限定されてもよい。この場合、探索範囲は符号化されて動画像復号装置２００に伝えられる。また、探索に用いられるブロックのサイズ情報も符号化される。
【００８５】
ＰＩＥ部１１０におけるPoisson方程式の合成方法としては、例えば上述した非特許文献３に記載されたガウスザイデル法が適用されてもよいし、他の手法が適用されてもよい。
フラグ判定部１１４が取得する誤差は、例えば二乗誤差和として取得されてもよい。
【００８６】
（第３実施形態：動画像符号化装置）
図１２は、第３実施形態における動画像符号化装置１００ｂの機能を表す概略ブロック図である。動画像符号化装置１００ｂは、画面間予測部１０６ａに代えて画面間予測部１０６ｂを備える点で、第２実施形態の動画像符号化装置１００ａと異なる。その他の構成については、第３実施形態の動画像符号化装置１００ｂと第２実施形態の動画像符号化装置１００ａとは同じである。以下、第３実施形態の動画像符号化装置１００ｂについて、第２実施形態の動画像符号化装置１００ａと異なる点について説明する。
【００８７】
第３実施形態の画面間予測部１０６ｂは、出力判定部１１５をさらに備える点、ＰＩＥ部１１０に代えてＰＩＥ部１１０ｂを備える点、フラグ判定部１１４ａに代えてフラグ判定部１１４ｂを備える点、で第２実施形態の画面間予測部１０６ａと異なる。その他の構成については、第３実施形態の画面間予測部１０６ｂと第２実施形態の画面間予測部１０６ａとは同じである。以下、第３実施形態の画面間予測部１０６ｂについて、第２実施形態の画面間予測部１０６ａと異なる点について説明する。
【００８８】
出力判定部１１５は、動き補償部１０７によって取得された勾配画像２１と、背景画像選択部１０９によって取得された背景画像２３とが一致するか否か判定する。画像間の差を評価する手法には、どのような手法が適用されてもよい。例えば、勾配画像２１と背景画像２３とが完全に一致するか否かを評価する際に、図３に示されるベクトル２５がゼロベクトルであるか否かに基づいて評価がなされてもよい。すなわち、ベクトル２５がゼロベクトルである場合に、勾配画像２１と背景画像２３とが完全に一致すると判定されてもよい。
【００８９】
また、勾配画像２１と背景画像２３とが一致する場合、出力判定部１１５は、合成画像の生成が不要であると判定する。一方、勾配画像２１と背景画像２３とが一致しない場合、出力判定部１１５は、合成画像の生成が必要であると判定する。
【００９０】
ＰＩＥ部１１０ｂは、出力判定部１１５によって合成画像の生成が必要であると判定された場合に、勾配画像２１及び背景画像２３に基づいて合成画像を生成する。ＰＩＥ部１１０ｂは、出力判定部１１５によって合成画像の生成が不要であると判定された場合、合成画像を生成しなくてもよい。
【００９１】
フラグ判定部１１４ｂは、出力判定部１１５によって合成画像の生成が必要であると判定された場合に、フラグ判定部１１４と同様の処理を実行する。フラグ判定部１１４ｂは、出力判定部１１５によって合成画像の生成が不要であると判定された場合、処理を実行しなくてもよい。
【００９２】
第３実施形態の動画像符号化装置１００ｂでは、出力判定部１１５によって合成画像の生成が不要であると判定された場合、ＰＩＥフラグの値が符号化されない。そのため、オーバーヘッドを低減することが可能となる。
【００９３】
図１３は、第３実施形態における画面間予測部１０６ｂの処理の具体例を示すフローチャートである。図１３のフローチャートにおいて、図９のフローチャートと同じ処理については同じ符号を付している。このような処理については説明を省略する。
【００９４】
ステップＳ１０３の処理の後、出力判定部１１５は、背景画像２３と勾配画像２１との差が所定の閾値以下であるか否か判定する（ステップＳ３０１）。背景画像２３と勾配画像２１との差が所定の閾値以下である場合（ステップＳ３０１−ＹＥＳ）、ＰＩＥ部１１０ｂは合成画像を生成する処理を実行しない。この場合、また、フラグ判定部１１４ｂはＰＩＥフラグの値を生成しない。この場合、フラグ判定部１１４ｂは、勾配画像２１（又は背景画像２３）を予測画像として選択部１１２に出力する。ＰＩＥフラグの値は符号化ストリームに含められない。
【００９５】
一方、背景画像２３と勾配画像２１との差が所定の閾値よりも大きい場合（ステップＳ３０１−ＮＯ）、ステップＳ１０４以降の処理が実行される。この場合、合成画像が生成され、ＰＩＥフラグの値は符号化ストリームに含められる。
【００９６】
（第３実施形態：動画像復号装置）
図１４は、第３実施形態における動画像復号装置２００ｂの機能を表す概略ブロック図である。動画像復号装置２００ｂは、画面間予測部２０４ａに代えて画面間予測部２０４ｂを備える点で、第２実施形態の動画像復号装置２００ａと異なる。その他の構成については、第３実施形態の動画像復号装置２００ｂと第２実施形態の動画像復号装置２００ａとは同じである。以下、第３実施形態の動画像復号装置２００ｂについて、第２実施形態の動画像復号装置２００ａと異なる点について説明する。
【００９７】
第３実施形態の画面間予測部２０４ｂは、出力判定部２１２をさらに備える点、ＰＩＥ部２０８ａに代えてＰＩＥ部２０８ｂを備える点、フラグ判定部２１１に代えてフラグ判定部２１１ｂを備える点、で第２実施形態の画面間予測部２０４ａと異なる。その他の構成については、第３実施形態の画面間予測部２０４ｂと第２実施形態の画面間予測部２０４ａとは同じである。以下、第３実施形態の画面間予測部２０４ｂについて、第２実施形態の画面間予測部２０４ａと異なる点について説明する。
【００９８】
出力判定部２１２は、動画像符号化装置１００ｂの出力判定部１１５と同じ閾値を用いて、背景画像選択部２０７ａによって取得された背景画像２３と、動き補償部２０５によって取得された勾配画像２１とが一致するか否か判定する。出力判定部２１２は、一致する場合、合成画像の生成が不要であると判定する。一方、一致しない場合、出力判定部２１２は、合成画像の生成が必要であると判定する。
【００９９】
フラグ判定部２１１ｂは、出力判定部２１２によって合成画像の生成が必要であると判定された場合に処理を行う。すなわち、合成画像の生成が必要であると判定された場合、フラグ判定部２１１ｂは、ＰＩＥによって生成された合成画像を予測画像として用いるか否かについて、符号化対象ブロック１１毎にＰＩＥフラグの値に基づいて判定する。
【０１００】
ＰＩＥ部２０８ｂは、出力判定部２１２によって合成画像の生成が必要であると判定された場合に、勾配画像２１及び背景画像２３に基づいて合成画像を生成する。ＰＩＥ部２０８ｂは、出力判定部２１２によって合成画像の生成が不要であると判定された場合、合成画像を生成しなくてもよい。
【０１０１】
図１５は、第３実施形態における画面間予測部２０４ｂの処理の具体例を示すフローチャートである。図１５のフローチャートにおいて、図１１のフローチャートと同じ処理については同じ符号を付している。このような処理については説明を省略する。
ステップＳ１１２の処理の後、出力判定部２１２は背景画像２３と勾配画像２１とが一致するか否か判定する（ステップＳ３１１）。背景画像２３と勾配画像２１とが一致する場合（ステップＳ３１１−ＹＥＳ）、ＰＩＥフラグは復号されず、ＰＩＥ部２０８ｂは勾配画像２１を予測画像として選択部２１０へ出力する（ステップＳ３１２）。一方、背景画像２３と勾配画像２１とが一致しない場合（ステップＳ３１１−ＮＯ）、ステップＳ２１１以降の処理が実行される。
【０１０２】
（第３実施形態：まとめ）
以上のように構成された第３実施形態の動画像符号化装置１００ｂ及び動画像復号装置２００ｂによれば、背景画像２３と勾配画像２１とが一致する場合、ＰＩＥは実行されず、ＰＩＥフラグは符号化されない。そのため、ＰＩＥに要する処理コストを削減し、ＰＩＥフラグに要するデータ量を削減することが可能となる。特に、背景画像２３と勾配画像２１とが一致していることが条件とされた場合には、予測画像の精度を低減させることなく、符号化及び復号に要するＰＩＥの演算量を削減し、ＰＩＥフラグに要するデータ量を削減することが可能となる。
【０１０３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、勾配画像２１と背景画像２３とを合成する処理は、ＰＩＥに限定される必要は無い。すなわち、勾配画像２１の画素値勾配を維持して背景画像２３の画素値に基づいた合成処理が行われるのであれば、どのような合成処理が実施されてもよい。
また、上記の説明においては、符号化対象ブロックを予測画像の生成単位と同一として扱ったが、符号化対象ブロック内においては予測画像の生成単位はそれより小さいものを用いてもよい。
【０１０４】
上述した実施形態における動画像符号化装置１００（１００ａ，１００ｂ）又は動画像復号装置２００（２００ａ，２００ｂ）をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【符号の説明】
【０１０５】
１０…符号化対象画像（復号対象画像），  １１…符号化対象ブロック（復号対象ブロック），  １２…復号済みブロック（符号化済みブロック），  １３…未復号ブロック（未符号化ブロック），  １４…境界画像，  ２１…勾配画像，  ２２…境界画像，  ２３…背景画像，  ２４…境界画像，  １０６…画面間予測部，  １０７…動き補償部，  １０８…境界画像動き推定部，  １０９…背景画像選択部，  １１０…ＰＩＥ部，  ２０４…画面間予測部，  ２０５…動き補償部，  ２０６…境界画像動き推定部，  ２０７…背景画像選択部，  ２０８…ＰＩＥ部，  １１４，２１１…フラグ判定部，  １１５，２１２…出力判定部
【図１】
0006294810.tif 000003
【図２】
0006294810.tif 000004
【図３】
0006294810.tif 000005
【図４】
0006294810.tif 000006
【図５】
0006294810.tif 000007
【図６】
0006294810.tif 000008
【図７】
0006294810.tif 000009
【図８】
0006294810.tif 000010
【図９】
0006294810.tif 000011
【図１０】
0006294810.tif 000012
【図１１】
0006294810.tif 000013
【図１２】
0006294810.tif 000014
【図１３】
0006294810.tif 000015
【図１４】
0006294810.tif 000016
【図１５】
0006294810.tif 000017