(57)【要約】【課題】  オブジェクトベース符号化方式の画像符号化装置では、各フレームについての形状情報が存在しない動画像、オブジェクトの隠蔽関係が大きく変化する動画像については符号化が困難である。【解決手段】  動き補償予測の基本となるキーフレームを領域分割して初期領域を作成し、その初期領域をキーフレームとは異なる複数のフレームにおける対応位置上に配置する（Ｓ１,Ｓ３）。配置された初期領域のテクスチャの特性と、周辺近傍のテクスチャの特性とをそれぞれ比較照合し（Ｓ４）、閾値より近い比較結果が得られたときに、周辺近傍のテクスチャの領域を初期領域に追加・統合して新たな領域を形成する（Ｓ５，Ｓ６）。これにより、動き補償の精度の向上を図り、動き補償のされない領域を縮小できる。【選択図】            図１
2005333569.tif 000002
【特許請求の範囲】
【請求項１】
シーンを示す画像信号を被写体の形状に応じた任意形状に分割し、その分割結果の相対的位置関係を変更してから前記分割結果を再構成する動き補償を行うオブジェクトベース符号化方式の画像符号化装置において、
動き補償予測の基本となるキーフレームを領域分割して初期領域を作成する初期領域作成手段と、
前記初期領域を前記キーフレームとは異なる複数のフレームにおける対応位置上に配置して、配置された初期領域のテクスチャの特性と周辺近傍のテクスチャの特性とを、それぞれ予め設定された類似の判断基準に基づいて類似するか否か比較照合する比較手段と、
前記比較手段により類似の比較結果が得られたときに、前記周辺近傍のテクスチャの領域を前記初期領域に統合して新たな領域を形成する統合手段と
を有し、前記統合手段により形成された前記新たな領域の信号を、画像符号化の動き補償の際に参照画像信号として利用することを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置で得られた動き補償予測の基本となるキーフレームの前記新たな領域の信号と、復号化対象のフレームのオブジェクト形状データ及び動きベクトルと、前記キーフレームと前記復号化対象のフレームとの差分である残差信号とが入力され、これらの信号から元のシーンの画像信号を復元する画像復号化装置であって、
前記復号化対象のフレームのオブジェクトの動きベクトルを基に、前記キーフレームの新たな領域の信号を移動し、前記復号化対象のフレームのオブジェクト形状データに基づいて、移動後の前記キーフレームの新たな領域の信号を切り出すことにより、前記キーフレームの新たな領域の信号のテクスチャを用いて、復号化対象のフレームの動き補償済みの復号信号を得る動き補償手段と、
前記動き補償手段により得られた前記復号化対象のフレームの復号信号と、前記残差信号とを加算する残差処理を行い、復号画像信号を得る残差処理手段と
を有することを特徴とする画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置及び画像復号化装置に係り、特にシーンを示す画像信号を被写体の形状に応じた任意形状に分割し、それらの相対的位置関係を変更してから再構成するような動き補償を行う画像符号化（以下、オブジェクトベース符号化という）方式の画像符号化装置及び画像復号化装置に関する。
【背景技術】
【０００２】
現在の動画像信号の高能率圧縮符号化方法は、ＭＰＥＧ（Moving Picture Experts Group）に代表される、離散コサイン変換（ＤＣＴ;Discrete Cosine Transform）による画像フレーム内の冗長度の削減と、動き補償を用いた画像間予測による画像フレーム間の冗長性の削減を組み合わせた波形符号化が主流であるということができる。この波形符号化方式の符号化の大部分においては、フレーム内・フレーム間の処理のどちらにおいても処理単位をブロックとしている。このため、“ブロックベース符号化”と呼ばれることも多い。
【０００３】
一方、別の動画像信号の高能率圧縮符号化方法として、一般的に、シーンを被写体の形状に応じた任意形状に分割し、それらの相対的位置関係を変更してから再構成することにより動き補償を行う方法を基本とするオブジェクトベース符号化も知られている（例えば、非特許文献１及び非特許文献２参照）。このオブジェクトベース符号化では、一般的に、類似のテクスチャ特性を持つ部分や一つの閉輪郭に囲まれた部分をオブジェクト（セグメントともいう）として扱っている。
【０００４】
オブジェクトベース符号化は被写体の形状に即した領域単位で動き推定・補償を行うため、符号化効率に優れ、従来のＭＰＥＧ１〜４などのブロックベース符号化で発生する、モスキート雑音やブロック歪の問題が回避できることを特徴とする。
【０００５】
しかし、このオブジェクトベース符号化では、あるフレーム内符号化画像（イントラ符号化画像；キーフレーム）が複数のオブジェクトに分割されており、このフレームを用いて他のフレームの動き補償を行おうとする場合、オブジェクトの移動に伴い、隠されていた背景が動き補償のされない空隙部分であるアンカバードエリア（uncovered area（uncovered background））として現れる。
【０００６】
これを図１７〜図２０と共に説明する。図１７は縦長の長方形のオブジェクト１０１と、横長の長方形のオブジェクト１０２ａとが接する大略Ｌ字状の画像であるキーフレームであり、オブジェクト単位のセグメンテーションがなされているとし、図１８の画像を予測対象画像とする。ここでは、図１８に示すように、縦長の長方形のオブジェクト１０１は静止し、これに一部が隠蔽された横長の長方形のオブジェクトが右側に移動して２ｂで示す如くになっているものとする。
【０００７】
キーフレームにおける横長の長方形に相当するオブジェクト１０２ａは図１９に示す形状であるので、これを用いて動き補償が行われ、その結果は図２０に示すように、縦長の長方形のオブジェクト１０１と横長の長方形のオブジェクト１０２ｃと黒く示された部分１０３とからなる画像のようになる。図２０において、黒く示された部分１０３は動き補償のされなかった空隙部分（アンカバードエリア）である。
【０００８】
このような動き補償がされずに予測値（テクスチャ）が存在しない空隙部分１０３は、予測値と実際の画素値の差分を符号化するという予測符号化が基本的に適用できない部分ということになり、実際の画素値をそのまま符号化する必要がある。ゆえに補償のされない部分が大きな面積を占めることは符号化効率の悪化につながる。そこで、比較的単純なオブジェクトと背景からなるシーンについて、形状情報を利用して背景予測の効率の向上を図るようにした従来の画像符号化装置も知られている（例えば、特許文献１参照）。
【０００９】
【非特許文献１】H.G.Musmann,M.Hotter,J.Ostermann,“Object-Oriented Analysis Synthesis Coding of Moving Images”,Signal Process,Image Commun.,1,2,pp.117-138（Oct.1989）．
【非特許文献２】J.Y.A.Wang,et.Al,“Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”,M.I.T.Media Lab.Tech.Report No.263,(Feb.1994)．（http://www-bcs.mit.edu/people/adelson/pub_pdfs/wang_tr263.pdf）
【特許文献１】特開平９−９８４２５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかるに、特許文献１記載の従来の画像符号化装置は、比較的大きな面積を持ち、かつ、時間的に大きな変化のない明示的に決定された背景に動き補償を用いて、アンカバードエリア（uncovered area(uncovered background)）を予測するものであり、各フレームについての形状情報が存在しない動画像、オブジェクトの隠蔽関係が大きく変化する動画像については適用が困難である。
【００１１】
本発明は以上の点に鑑みなされたもので、各フレームについての形状情報が存在しない動画像、オブジェクトの隠蔽関係が大きく変化する動画像についても符号化効率を向上し得る画像符号化装置及び画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の画像符号化装置は、シーンを示す画像信号を被写体の形状に応じた任意形状に分割し、その分割結果の相対的位置関係を変更してから分割結果を再構成する動き補償を行うオブジェクトベース符号化方式の画像符号化装置において、動き補償予測の基本となるキーフレームを領域分割して初期領域を作成する初期領域作成手段と、初期領域をキーフレームとは異なる複数のフレームにおける対応位置上に配置して、配置された初期領域のテクスチャの特性と周辺近傍のテクスチャの特性とを、それぞれ予め設定された類似の判断基準に基づいて類似するか否か比較照合する比較手段と、比較手段により類似の比較結果が得られたときに、周辺近傍のテクスチャの領域を初期領域に統合して新たな領域を形成する統合手段とを有し、統合手段により形成された新たな領域の信号を、画像符号化の動き補償の際に参照画像信号として利用することを特徴とする。
【００１３】
この発明では、従来のオブジェクトベース符号化の動き補償で用いられるような、画像を領域分割した状態のオーバーラップ部分を持たないような領域でなく、動き補償予測の基本となるキーフレームを領域分割して作成した初期領域をキーフレームとは異なる複数のフレームにおける対応位置上に配置して、配置された初期領域のテクスチャの特性と、周辺近傍のテクスチャの特性とをそれぞれ予め設定された類似の判断基準に基づいて類似するか否か比較照合し、類似の比較結果が得られたときに、その周辺近傍のテクスチャの領域を初期領域に統合して新たな領域を形成するようにしたため、動き補償の精度の向上と施される領域の拡大が可能になる。
【００１４】
また、上記の目的を達成するため、本発明の画像復号化装置は、本発明の画像符号化装置で得られた動き補償予測の基本となるキーフレームの新たな領域の信号と、復号化対象のフレームのオブジェクト形状データ及び動きベクトルと、キーフレームと復号化対象のフレームとの差分である残差信号とが入力され、これらの信号から元のシーンの画像信号を復元する画像復号化装置であって、復号化対象のフレームのオブジェクトの動きベクトルを基に、キーフレームの新たな領域の信号を移動し、復号化対象のフレームのオブジェクト形状データに基づいて、移動後のキーフレームの新たな領域の信号を切り出すことにより、そのキーフレームの新たな領域の信号のテクスチャを用いて、復号化対象のフレームの動き補償済みの復号信号を得る動き補償手段と、動き補償手段により得られた復号化対象のフレームの復号信号と、残差信号とを加算する残差処理を行い、復号画像信号を得る残差処理手段とを有することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、キーフレームを領域分割して作成した初期領域をキーフレームとは異なる複数のフレームにおける対応位置上に配置して、配置された初期領域のテクスチャの特性と、周辺近傍のテクスチャの特性とをそれぞれ比較照合して閾値より近い比較結果が得られたときに、その周辺近傍のテクスチャの領域を初期領域に統合して新たな領域を形成することにより、動き補償の精度の向上を図り、動き補償のされない領域を縮小でき、その結果、各フレームについての形状情報が存在しない動画像、オブジェクトの隠蔽関係が大きく変化する動画像についても符号化効率を向上することができる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施の形態について図面と共に説明する。本発明では、複数フレームを参照することによって拡張した、オーバーラップのあるレイヤ状の領域を用いて動き補償の精度の向上と施される領域の拡大を実現した。
【００１７】
図１は本発明になる画像符号化方法の一実施の形態の概略説明用フローチャートを示す。同図において、まず、動き補償予測の基本となるキーフレームを、例えば輝度の平均・分散に基づき領域分割して初期領域を作成する（ステップＳ１）。なお、キーフレームの画像信号は通常、フレーム内符号化信号である。輝度の平均・分散に基づく領域分割の公知の手法の一例として、例えば文献（S.C.Zhu and A.Yuille:“Region competition:unifying snakes,region growing,and Bayes/MDL for multiband image segmentation".IEEE Transactions On Pattern Analysis and Machine Intelligence.Vol.18,No.9(1996)）に記載されている領域競合法が存在する。
【００１８】
この領域競合法は、エネルギー汎関数最適化法の一種であり、輝度の平均・分散といった正規分布統計量が似通った部分が一括りになるような領域の成長・競合を行う。また、この際に領域境界に不自然な凹凸が発生しないように、自動的に競合が調整される。
【００１９】
ここで、分割された領域を初期領域と呼ぶことにする。各初期領域につき、前後それぞれ２フレームずつについて以下のステップＳ３〜Ｓ５の処理を行う（ステップＳ２）。すなわち、初期領域をフレーム（frame）Ｍ（ただし、ＭはＮを任意の自然数とすると、Ｎー２，Ｎ−１，Ｎ＋１，Ｎ＋２で表わされる４つの自然数）における対応位置上に配置した後（ステップＳ３）、配置された初期領域のテクスチャの特性と周辺近傍のテクスチャの特性を、予め設定された類似の判断基準に基づいて類似するか否か比較照合し（ステップＳ４）、テクスチャの特性が近い類似のテクスチャであると判定された場合、その近傍部分を同一領域として新たに初期領域に追加して統合する（ステップＳ５）。その後、統合により拡張された領域をレイヤとして保存する（ステップＳ６）。
【００２０】
ここで、上記のステップＳ４のテクスチャ解析の手段の一例としては、各領域の輝度値の平均と標準偏差を用いる手法が挙げられる。また、このときのテクスチャの類似性の判断基準の一例として、例えば画像が８ビット（数値では０〜２５５）の場合、平均の差の絶対値が１０以内、標準偏差の差の絶対値が３５以内という数値を挙げることができる。
【００２１】
このように、本実施の形態では、分割されたキーフレームの各初期領域についてキーフレームの前後各２フレーム、計４フレームを参照して、上記の初期領域に対応する領域が最初に領域分割された初期領域とは別形状であり、かつ、その最初の領域分割で決定された初期領域に含まれなかった同質のテクスチャを含む場合には、この初期領域に含まれなかった部分を最初の領域分割で決定された初期領域と融合した新たな領域を形成し、この新たな領域を動き補償で利用するようにしたため、動き補償されない部分を減少させることができる。
【００２２】
次に、上記のステップＳ５での統合について、図１７で示した２つの長方形のオブジェクト１０１及び１０２ａからなるシーンについて図２のシーケンスのようなオブジェクトの移動が行われるという前提で説明する。図２に示すフレーム（Ｆｒａｍｅ）０をキーフレームとすると、キーフレームの長方形のオブジェクト１０２ａの初期領域は前記図１９のような形状になる。この初期領域を図２に示すＦｒａｍｅ１の対応する部分に重ねたものが図３になる。
【００２３】
図２に示すＦｒａｍｅ１の長方形のオブジェクト１０２ｂは、図３に示すように初期領域の部分１０２ａと、これに接する類似と評価された長方形のオブジェクトの部分１０４とからなる。ここで、上記のオブジェクトの部分１０４は、テクスチャの平均・標準偏差を評価すると、前記の基準で類似と評価された部分である。そして、これらの部分１０２ａと１０４とを統合したレイヤとし、次のＦｒａｍｅ２で同様の操作を行う。
【００２４】
ここで、前記１０２ａと１０４とを統合したレイヤを１０２ｂとして、図２に示すＦｒａｍｅ２の相当部分１０２ｄに重ねると、図４に示すように、長方形のオブジェクトの部分１０５が類似と評価されるので、これら１０２ｂと１０５を統合したレイヤとする。この例では、キーフレ−ム後の２フレームについて示しているが、同様の操作を過去についても行う。これを初期領域すべてについて繰り返して得られたレイヤを動き補償に使用する。
【００２５】
次に、上記の画像符号化方法に基づく、本発明になる画像符号化装置について説明する。図５は本発明になる画像符号化装置の一実施の形態のブロック図を示す。本実施の形態は、シーンを示す画像信号を被写体の形状に応じた任意形状に分割し、その分割結果の相対的位置関係を変更してから分割結果を再構成する動き補償を行うオブジェクトベース符号化方式の画像符号化装置である。
【００２６】
図５において、動き補償予測の基本となるキーフレームをＮ番目のフレーム（frame N）とすると、フレームメモリ１、２、３、４には、キーフレームよりも２フレーム前（過去）のＮ−２番目のフレーム（frame N-2）、１フレーム前のＮ−１番目のフレーム（frame N-1）、１フレーム後（未来）のＮ＋１番目のフレーム（frame N+1）、２フレーム後のＮ＋２番目のフレーム（frame N+2）の画像信号がそれぞれ記憶されている。入力されたキーフレームの画像信号は、セグメンテーション手段５によりセグメンテーション（領域分割）され、そのセグメンテーション結果のある領域は、フレームメモリ６にレイヤの初期状態、すなわち初期レイヤとして保存される。
【００２７】
フレームメモリ６から読み出された初期レイヤの画像は、フレームメモリ１、２、３、４から読み出されたframe N-2、frame N-1、frame N+1、frame N+2の各画像との間の動きが、それぞれ動き推定手段７、８、９、１０で評価され、それにより得られた各動き推定結果が、対応して設けられたテクスチャ照合手段１１、１２、１３、１４で、対応部分周辺のテクスチャと照合され、それらの各照合結果がそれぞれ追加・統合領域決定手段１５、１６、１７、１８に供給され、ここで照合結果に基づき初期レイヤに追加して統合すべきか否か互いに独立して決定される。
【００２８】
追加・統合領域決定手段１５により得られた追加・統合する領域のframe N-2の画像信号はフレームメモリ１９内の追加・統合部２０で初期レイヤの画像に追加・統合される。同様に、追加・統合領域決定手段１６により得られた追加・統合する領域のframe N-1の画像信号はフレームメモリ１９内の追加・統合部２１で追加・統合部２０からの画像に追加・統合される。また、追加・統合領域決定手段１７により得られた追加・統合する領域のframe N+1の画像信号はフレームメモリ１９内の追加・統合部２２で追加・統合部２１からの画像に追加・統合され、追加・統合領域決定手段１８により得られた追加・統合する領域のframe N+2の画像信号はフレームメモリ１９内の追加・統合部２３で追加・統合部２２からの画像に追加・統合される。
【００２９】
これにより、追加・統合部２３からデコード動き補償用レイヤ２４が得られ、これは画像符号化装置での動き補償に用いられる。なお、追加・統合部２０〜２３における追加・統合動作は、ハードウェア的には、初期レイヤを記憶しているフレームメモリ１９を書き換えるという処理により実現される。
【００３０】
次に、更に具体的な例を挙げて、画像符号化装置の動作について詳細に説明する。いま、図６のような長方形２０１と六角形２０２の背後を三角形が２０３ａ〜２０３ｅに示すように平行移動するような動画の一部を考え、上記と同様に、ｆｒａｍｅ Ｎを領域分割されるカレントフレーム、かつ、キーフレームとする。
【００３１】
このとき、ｆｒａｍｅ Ｎを領域分割した結果得られた三角形部分２０３ｃの初期領域は、長方形２０１と六角形２０３によって隠蔽されたことにより、図７に示すような形状になる。この三角形部分２０３ｃの初期領域をもとに動き補償した結果が図８であり、移動する三角形部分２０３ａ’〜２０３ｅ’のうちの黒く示された部分は、実質上動き補償されなかった部分である。
【００３２】
これを防ぐため、上記の実施の形態の画像符号化装置では、過去及び未来のフレームを参照し、図９に示すようにキーフレームの初期領域の画像２０３ｃに対し、キーフレームに対し過去のｆｒａｍｅ Ｎ−２、ｆｒａｍｅ Ｎ−１の画像を初期レイヤ（初期領域の画像）との間の動き推定、テクスチャ照合、統合領域決定を行うことで、図９に２０４で示す類似のテクスチャを持つ統合（融合）候補領域の画像を生成すると共に、キーフレームに対し未来のｆｒａｍｅ Ｎ＋１、ｆｒａｍｅ Ｎ＋２の画像を初期レイヤ（初期領域の画像）との間の動き推定、テクスチャ照合、統合領域決定を行うことで、図９に２０５で示す類似のテクスチャを持つ統合（融合）候補領域の画像を生成し、これらを初期領域の画像と統合する。
【００３３】
これにより、図１０に示すような、欠けのない三角形の形状を持つレイヤをデコード動き補償用レイヤ２４として構成する。このデコード動き補償用レイヤ２４は、画像符号化装置内での動き補償に参照画像として用いることにより、図６の入力シーケンスと同様に穴のない動き補償が実現される。なお、上記の動き補償用レイヤ２４は、例えば通常のキーフレームとは別にイントラ符号化して画像復号化装置へ伝送される。
【００３４】
なお、この共通テクスチャ部分を統合するにあたり、セグメンテーションエラーのため、図１１に３０１、３０２で示すように隣の領域の一部が残っている場合には、共通テクスチャ部分の統合後にも図１２に示すように偽輪郭４０１、４０２が発生する。これを抑圧するため、図１３に５０１、５０２で示すように、追加・統合部分（融合候補領域）をセグメンテーションエラー部分３０１、３０２を含むように大きく取り、混合度合いを連続的に変化させる方法が考えられる。この方法によれば、隣の領域の一部が残った初期領域５０３の混合率が少なくなり、結果的に偽輪郭が目立たなくなることが期待できる。
【００３５】
このように、複数フレーム参照の結果、初期領域に含まれなかった部分を初期領域と融合するにあたり、境界近傍で両テクスチャを連続的に変化する比率でブレンド（混合）することにより、領域分割のエラーなどによる偽輪郭などを軽減させることができる。
【００３６】
次に、本発明の画像符号化装置に対応する画像符号化方法の一例について図１４と共に説明する。エンコーダにおいて、キーフレーム（ｆｒａｍｅ Ｎ）はセグメンテーション（領域分割）され（ステップＳ１１）、そのセグメンテーション結果のある領域は、まずレイヤの初期状態、即ち初期レイヤとして保存される（ステップＳ１２）。
【００３７】
一方で、上記のセグメンテーション結果とｆｒａｍｅ Ｎ−２，ｆｒａｍｅ Ｎ−１，ｆｒａｍｅ Ｎ＋１，ｆｒａｍｅ Ｎ＋２との間の動きがそれぞれ別々に推定される（ステップＳ１３、Ｓ１４、Ｓ１５、Ｓ１６）。これは図１のステップＳ３に相当し、初期領域をｆｒａｍｅ Ｍにおける対応位置上に配置したことと同じである。
【００３８】
続いて、配置された初期領域のテクスチャの特性と対応部分周辺のテクスチャとの特性を比較するテクスチャ照合が行われ（ステップＳ１７、Ｓ１８、Ｓ１９、Ｓ２０）、その結果、追加・統合すべきかどうかの決定が、例えばテクスチャの特性の比較結果が閾値より近い場合、追加・統合すべきと決定される（ステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２４）。これらは、図１のステップＳ４、Ｓ５に相当する。
【００３９】
続いて、追加・統合の決定がなされた領域については、順次初期レイヤに追加・統合する（ステップＳ２５、Ｓ２６、Ｓ２７、Ｓ２８）。初期レイヤに追加・統合された領域を、一つのレイヤとし、デコーダでの動き補償に用いるためのデコード動き補償用レイヤとして出力する（ステップＳ２９）。これは図１のステップＳ６に相当する。
【００４０】
このように、本実施の形態によれば、従来のオブジェクトベース符号化の動き補償で用いられるような、画像を領域分割した領域をそのまま使うのでなく、各初期領域単位に複数フレームを参照することによって、その領域を拡張したレイヤ構成し、これを利用することにより、動き補償の精度の向上を図り、動き補償のされない領域を縮小し、その結果、符号化効率を向上することができる。
【００４１】
次に、本発明になる画像復号化装置について説明する。図１５は本発明になる画像復号化装置の一実施の形態のブロック図を示す。この画像復号化装置は、上記の画像符号化装置で得られた符号化信号を復号化する装置であり、上記の画像符号化装置で得られた動き補償予測の基本となるキーフレームのデコード動き補償用レイヤと、復号化対象のフレーム（カレントフレーム）のオブジェクト形状データ及び動きベクトルと、キーフレームと復号化対象のフレームとの差分である残差信号とが、伝送媒体を介して入力される。
【００４２】
ここで、キーフレームのデコード動き補償用レイヤは、キーフレームの情報の一部として、例えば通常のキーフレームとは別にイントラ符号化して伝送されてフレームメモリ３１に格納される。また、非キーフレームの復号化対象のフレーム（カレントフレーム）の対応するオブジェクトの形状情報がフレームメモリ３２に格納される。
【００４３】
すなわち、非キーフレームのカレントフレームは、カレントフレームの画像がセグメンテーションされた後、ＭＰＥＧ−４の２値任意形状符号化などと同様に、算術符号化して伝送されており、これがフレームメモリ３２に格納される。更に、カレントフレームのオブジェクト動きベクトルはフレームメモリ３３に格納される。
【００４４】
これらフレームメモリ３１及び３２から読み出されたデコード動き補償用レイヤとカレントフレームのオブジェクト形状情報とは、それぞれカレントフレームのオブジェクトの動きベクトル３３と共に動き補償手段３４に供給され、ここでカレントフレームのオブジェクト動きベクトルを基に、キーフレームのデコード動き補償用レイヤを移動し、カレントフレームのオブジェクト形状情報に基づいて移動後のデコード動き補償用レイヤを切り出すことによって、キーフレームのデコード動き補償用レイヤのテクスチャを用いて、カレントフレームの動き補償済みの信号が復号される。
【００４５】
動き補償手段３４により得られた動き補償済みの復号信号は、残差処理手段３５に供給される。一方、画像符号化装置では、上記のフレームと実際のカレントフレームの差をとり、この差（残差）信号をＤＣＴして伝送するようにしているため、画像復号化装置では、この信号をＩＤＣＴして残差信号を得るようにしている。上記の残差処理手段３５では、この残差信号と動き補償手段３４により得られた動き補償済みの復号信号とに基づいて、ＭＰＥＧ等と同様の両信号を加算する残差処理が施されて、フレームメモリ３６に元のシーンの復号画像信号として格納され、復号化処理は終了する。
【００４６】
次に、図１５に示した本発明の画像復号化装置の一実施の形態に対応する画像復号化方法について図１６と共に説明する。デコーダにおいて、キーフレームの情報の一部として入力されたデコード動き補償用レイヤは、非キーフレームのカレントフレームの対応するオブジェクトの形状情報及びカレントフレームのオブジェクト動き情報を基に、図１５に示した動き補償手段３４と同様の動き補償が行われる（ステップＳ３１）。その後、動き補償済みの復号信号に残差信号を加算するＭＰＥＧ等と同様の残差処理が施され（ステップＳ３２）、その残差処理結果が復号画像信号としてメモリに格納される（ステップＳ３３）。
【００４７】
なお、本発明は以上の実施の形態に限定されるものではなく、本発明は、例えば、上記の実施の形態の画像符号化装置の各手段や画像復号化装置の各手段を、コンピュータにより実行させるコンピュータプログラムも含むものである。すなわち、符号化のコンピュータプログラムと復号化のコンピュータプログラムを含む。これらのプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００４８】
【図１】本発明の画像符号化方法の一実施の形態の概略説明用フローチャートである。
【図２】オブジェクトの移動が行われる２つの長方形からなるシーケンスの一例を示す図である。
【図３】図２のＦｒａｍｅ１におけるレイヤ統合の説明図である。
【図４】図２のＦｒａｍｅ２におけるレイヤ統合の説明図である。
【図５】本発明の画像符号化装置の一実施の形態のブロック図である。
【図６】オブジェクトの移動が行われる図５の入力シーケンスの一例を示す図である。
【図７】図６中の三角形部分の初期領域である。
【図８】従来法による動き補償の結果の説明図である。
【図９】本発明装置による複数フレームを参照した追加・統合結果を示す図である。
【図１０】本発明装置により得られる欠けのない三角形レイヤを示す図である。
【図１１】セグメンテーションのエラーの一例を示す図である。
【図１２】偽輪郭の一例を示す図である。
【図１３】ブレンディングによる偽輪郭抑圧の説明図である。
【図１４】本発明の画像符号化方法の一実施の形態の説明図である。
【図１５】本発明の画像復号化装置の一実施の形態のブロック図である。
【図１６】本発明の画像符号化方法の一実施の形態の説明図である。
【図１７】キーフレームの画像の一例を示す図である。
【図１８】予測対象のフレームの画像の一例を示す図である。
【図１９】予測に用いられるオブジェクトの一例を示す図である。
【図２０】従来の画像符号化方法による予測結果の一例を示す図である。
【符号の説明】
【００４９】
１〜４、６、１９、３１、３２、３６  フレームメモリ
５  セグメンテーション手段
７〜１０  動き推定手段
１１〜１４  テクスチャ照合手段
１５〜１８  追加・統合領域決定手段
２０〜２３  追加・統合部
２４  デコード動き補償用レイヤ
３４  動き補償手段
３５  残差処理手段
【図１】
2005333569.tif 000003
【図２】
2005333569.tif 000004
【図３】
2005333569.tif 000005
【図４】
2005333569.tif 000006
【図５】
2005333569.tif 000007
【図６】
2005333569.tif 000008
【図７】
2005333569.tif 000009
【図８】
2005333569.tif 000010
【図９】
2005333569.tif 000011
【図１０】
2005333569.tif 000012
【図１１】
2005333569.tif 000013
【図１２】
2005333569.tif 000014
【図１３】
2005333569.tif 000015
【図１４】
2005333569.tif 000016
【図１５】
2005333569.tif 000017
【図１６】
2005333569.tif 000018
【図１７】
2005333569.tif 000019
【図１８】
2005333569.tif 000020
【図１９】
2005333569.tif 000021
【図２０】
2005333569.tif 000022