(57)【要約】【課題】  オブジェクト符号化におけるフレーム間予測において動き補償結果に発生するテクスチャが存在しない空隙部分（アンカバードエリア；Uncovered Area）をそのままにして残差処理等を行うと、非効率的な符号化となってしまう。【解決手段】  ブロック領域分割手段８は、アンカバードエリアを含む動き補償結果をブロック分割する。動き推定手段９は、ブロック内のアンカバードエリアの画素数がブロック内の画素数の半数程度以下の場合は、最初とは逆に非補償側（予測される側）のフレームから補償側（分割されて予測に使われる側）のフレームに対する動き予測を行う。アンカバードエリア補填手段１０は、上記の動き予測によりアンカバードエリアに最も類似する部分の補償側のフレームのテクスチャを探索し、そのテクスチャでアンカバードエリアを補填する。【選択図】            図１
2005323252.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像を任意形状領域に分割し、その領域分割結果の相対的位置関係を変更してから再構成することにより動き補償を行うオブジェクトベース符号化方式の画像符号化装置において、
動画像における第１及び第２のフレームのうち、時間的に過去の第１のフレームの画像信号を任意形状領域に分割する第１の分割手段と、
前記第１の分割手段により得られた任意形状領域の分割結果と、前記第１及び第２のフレームの画像信号とに基づき、前記任意形状領域の分割結果毎に前記第２のフレームを予測する動きベクトルを推定し、その動きベクトルから前記第２のフレームについての動き補償を行う動き推定・補償手段と、
前記動き推定・補償手段により得られた、テクスチャが存在しない空隙部分を含む動き補償結果を、予め定められた特定形状のブロック毎に分割する第２の分割手段と、
前記第２の分割手段により分割された前記動き補償結果の各ブロック毎に、そのブロック内の前記空隙部分について前記第１のフレーム内で最も類似したテクスチャ部分を、フレーム間予測により探索して、前記空隙部分を当該探索したテクスチャ部分で補填する補填手段と、
前記補填手段から出力された補填後の画像信号と前記第２のフレームの画像信号との残差信号と、前記動き推定・補償手段により得られた前記動きベクトルとを符号化ビットストリームとして出力する符号化手段と
を有することを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置により得られた前記符号化ビットストリームと、動画像における第１及び第２のフレームのうち、既に復号済みの時間的に過去の第１のフレームの画像信号とから前記第２のフレームの画像信号を復号する画像復号化装置であって、
前記符号化ビットストリームを入力として受け、その符号化ビットストリームを構成する前記第２のフレームの動きベクトルと残差信号とを復号化する復号化手段と、
前記第１のフレームの画像信号を任意形状領域に分割する第１の分割手段と、
前記第１の分割手段により分割して得られた前記任意形状領域結果毎に、前記復号化手段からの前記動きベクトルと前記第１のフレームの画像信号とから、前記第２のフレームの動き補償を行う動き補償手段と、
前記動き補償手段により得られた、テクスチャが存在しない空隙部分を含む動き補償結果を、予め定められた特定形状のブロック毎に分割する第２の分割手段と、
前記第２の分割手段により分割された前記動き補償結果の各ブロック毎に、そのブロック内の前記空隙部分について前記第１のフレーム内で最も類似したテクスチャ部分を、フレーム間予測により探索して、前記空隙部分を当該探索したテクスチャ部分で補填する補填手段と、
前記補填手段から出力された補填後の画像信号と、前記復号化手段により得られた前記残差信号とに基づき、前記第２のフレームの復号化映像信号を出力する残差処理手段と
を有することを特徴とする画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置及び画像復号化装置に係り、特にディジタル動画像信号を圧縮符号化するに際し、現フレームのセグメンテーションを行った後、その分割結果（セグメント）を用いて、次のフレームを予想する形態の画像符号化手法（以下“オブジェクトベース符号化”と呼ぶ）を採用した画像符号化装置及び画像復号化装置に関する。
【背景技術】
【０００２】
現在の動画像信号の高能率圧縮符号化方法は、ＭＰＥＧ（Moving Picture Experts Group）に代表される、離散コサイン変換（ＤＣＴ）による画像フレーム内の冗長度の削減と、動き補償を用いた画像間予測による画像フレーム間の冗長性の削減を組み合わせた波形符号化が主流であるということができる。この波形符号化方式の符号化の大部分においては、フレーム内・フレーム間の処理のどちらにおいても処理単位をブロックとしている。このため、“ブロックベース符号化”と呼ばれることも多い。
【０００３】
一方、別の動画像信号の高能率圧縮符号化方法として、一般的に、シーンを被写体の形状に応じた任意形状に分割し、それらの相対的位置関係を変更してから再構成することにより動き補償を行う方法を基本とするオブジェクトベース符号化も知られている（例えば、非特許文献１及び非特許文献２参照）。このオブジェクトベース符号化では、一般的に、類似のテクスチャ特性を持つ部分や一つの閉輪郭に囲まれた部分をオブジェクト（セグメントともいう）として扱っている。
【０００４】
オブジェクトベース符号化は被写体の形状に即した領域単位で動き推定・補償を行うため、符号化効率に優れ、従来のＭＰＥＧ１〜４などのブロックベース符号化で発生する、モスキート雑音やブロック歪の問題が回避できることを特徴とする。
【０００５】
【非特許文献１】H.G.Musmann,M.Hotter,J.Ostermann：“Object-Oriented Analysis Synthesis Coding of Moving Images”,Signal Process：Image Commun.,1,2,pp.117-138（Oct.1989）．
【非特許文献２】J.Y.A.Wang,et.Al.“Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”,M.I.T.Media Lab.Tech.Report No.263,(Feb.1994)．（http://www-bcs.mit.edu/people/adelson/pub_pdfs/wang_tr263.pdf）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
オブジェクトベース符号化における動き補償は、現在のフレームの各ブロックと最も類似する過去のフレームの一部分を選択することによって行われ、どのような形であれ、フレーム全域に亘って漏れのない予測が行われるといって差し支えない。
【０００７】
しかし、このオブジェクトベース符号化では、あるフレーム内符号化画像（イントラ符号化画像；キーフレーム）が複数のオブジェクトに分割されており、このフレームを用いて他のフレームの動き補償を行おうとする場合、オブジェクトの移動に伴い、隠されていた背景が動き補償のされない空隙部分（uncovered area（uncovered background））として現れる。この部分をそのままにして後の残差処理等を行うと非効率的な符号化になってしまうという問題がある。
【０００８】
本発明は上記の点に鑑みなされたもので、精度の高い予測を実現し、その結果、残差処理の負担が軽減されて、全体の符号化効率を改善し得る画像符号化装置及び符号化信号を復号化する画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、第１の発明の画像信号符号化装置は、フレーム画像を任意形状領域に分割し、その領域分割結果の相対的位置関係を変更してから再構成することにより動き補償を行うオブジェクトベース符号化方式の画像符号化装置において、動画像における第１及び第２のフレームのうち、時間的に過去の第１のフレームの画像信号を任意形状領域に分割する第１の分割手段と、第１の分割手段により得られた任意形状領域の分割結果と、第１及び第２のフレームの画像信号とに基づき、任意形状領域の分割結果毎に第２のフレームを予測する動きベクトルを推定し、その動きベクトルから第２のフレームについての動き補償を行う動き推定・補償手段と、動き推定・補償手段により得られた、テクスチャが存在しない空隙部分を含む動き補償結果を、予め定められた特定形状のブロック毎に分割する第２の分割手段と、第２の分割手段により分割された動き補償結果の各ブロック毎に、そのブロック内の空隙部分について第１のフレーム内で最も類似したテクスチャ部分を、フレーム間予測により探索して、空隙部分を当該探索したテクスチャ部分で補填する補填手段と、補填手段から出力された補填後の画像信号と第２のフレームの画像信号との残差信号と、動き推定・補償手段により得られた動きベクトルとを符号化ビットストリームとして出力する符号化手段とを有することを特徴とする。
【００１０】
また、上記の目的を達成するため、第２の発明の画像復号化装置は、第１の発明の画像符号化装置により得られた符号化ビットストリームと、動画像における第１及び第２のフレームのうち、既に復号済みの時間的に過去の第１のフレームの画像信号とから第２のフレームの画像信号を復号する画像復号化装置であって、符号化ビットストリームを入力として受け、その符号化ビットストリームを構成する第２のフレームの動きベクトルと残差信号とを復号化する復号化手段と、第１のフレームの画像信号を任意形状領域に分割する第１の分割手段と、第１の分割手段により分割して得られた任意形状領域結果毎に、復号化手段からの動きベクトルと第１のフレームの画像信号とから、第２のフレームの動き補償を行う動き補償手段と、動き補償手段により得られた、テクスチャが存在しない空隙部分を含む動き補償結果を、予め定められた特定形状のブロック毎に分割する第２の分割手段と、第２の分割手段により分割された動き補償結果の各ブロック毎に、そのブロック内の空隙部分について第１のフレーム内で最も類似したテクスチャ部分を、フレーム間予測により探索して、空隙部分を当該探索したテクスチャ部分で補填する補填手段と、補填手段から出力された補填後の画像信号と、復号化手段により得られた残差信号とに基づき、第２のフレームの復号化映像信号を出力する残差処理手段とを有することを特徴とする。
【００１１】
第１の発明の画像符号化装置及び第２の発明の画像復号化装置では、動画像シーケンスの第１及び第２のフレームのうち、時間的に未来の第２のフレームの動き補償結果をブロック毎に分割し、その各ブロック内のテクスチャが存在しない空隙部分について第１のフレーム内で最も類似したテクスチャ部分をフレーム間予測により探索し、上記の空隙部分を当該探索したテクスチャ部分で補填するようにしたため、被補償側（予測される側）の第２のフレームから補償側（分割されて予測に使われる側）の第１のフレームに対する動き予測を行う逆方向の動き推定の導入により、上記の動き補償結果に含まれるテクスチャの存在しない空隙部分を、ベストマッチとなる部分の補償側の第１のフレームのテクスチャを用いて補填することができる。
【発明の効果】
【００１２】
本発明によれば、オブジェクトベース符号化でのフレーム間予測において、被補償側（予測される側）の第２のフレームから補償側（分割されて予測に使われる側）の第１のフレームに対する動き予測を行う逆方向の動き推定の導入により、第２のフレームの動き補償結果に含まれるテクスチャの存在しない空隙部分を、ベストマッチとなる部分の補償側の第１のフレームのテクスチャを用いて補填するようにしたため、精度の高い予測をそのために新たにビット量を消費することなく実現でき、その結果、残差処理の負担が軽減されて、全体の符号化効率を改善することができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の各実施の形態について図面と共に説明する。なお、本発明は動画像信号をオブジェクトベース符号化方式により符号化するものであるが、基本的にフレーム間予測が関わる部分に関するので、以下の各実施の形態ではフレーム内符号化画像信号（以下、キーフレームという）との間のフレーム間順方向予測符号化画像である所謂Ｐフレーム（Ｐピクチャ）の符号化方式を基本に考えるものとする。
【００１４】
図１は本発明になる画像符号化装置の一実施の形態のブロック図を示す。同図において、フレームメモリ１及び２には、それぞれ動画像シーケンス中の２つのフレーム（動画像における２つのフレーム）の各々の動画像のディジタル画像信号が格納されるが、フレームメモリ１には、フレームメモリ２より１フレーム過去の、前フレームのディジタル画像信号が格納され、フレームメモリ２には現フレームのディジタル画像信号が格納される。ここで、フレームメモリ１に格納される前フレームのディジタル画像信号が、キーフレームでない場合以外は、この図の一連のプロセスを経た時間的に１フレーム前の画像信号が入力するものとする。
【００１５】
フレームメモリ１から読み出された前フレームの画像信号は、任意形状領域分割手段３に供給され、ここで前フレームの画像が任意形状に分割される。分割の規範については画像の画素値の統計的な性質を利用する、エッジの検出を行うなど基本的に自由である。任意形状領域分割手段３により分割された任意形状の分割画像信号（領域分割結果）は、フレームメモリ４により一時記憶される。
【００１６】
動き推定手段５は、フレームメモリ４から読み出された領域分割結果の各セグメントについて、フレームメモリ２から読み出した現フレームのディジタル画像信号を予測するような動きベクトルの推定を行う。この動き推定手段５で推定された動きベクトルは、ビットストリームとして伝送されるために、ビットストリーム符号化手段１２に供給されて後述する残差信号とのビットストリームを生成する処理を施されるほか、符号化器内での動き補償手段６に供給されて、任意形状領域分割結果と共に利用される。
【００１７】
動き補償手段６は、動き推定手段５からの動きベクトルと、フレームメモリ４からの領域分割結果とに基づき、各領域分割結果毎に動き補償結果を得る。この動き補償結果には上記のように実質上の予測もれである、テクスチャが存在しない空隙部分（以下、アンカバードエリア（Uncovered Area）という）を含む。このアンカバードエリアを含む動き補償結果は、フレームメモリ７に一時記憶される。
【００１８】
ブロック領域分割手段８は、フレームメモリ７から読み出されたアンカバードエリアを含む動き補償結果を、例えば縦横それぞれ８画素のブロックに分割し、その各ブロックを動き推定手段９に供給する。なお、通常は任意形状領域分割手段３で分割された任意形状の大きさが、ブロック領域分割手段８により分割されたブロック以上であるが、任意形状の方がブロックよりも小さいこともある。また、上記のブロックは縦横それぞれ８画素の矩形形状であるが、ブロックはこの形状に限定されるものではなく、予め定められた特定形状であればよく、三角形等他の形状でもよい。
【００１９】
動き推定手段９は、ブロック領域分割手段８により分割された各ブロックについて、アンカバードエリアの画素数がブロック内の画素数の半数程度以下の場合には、フレームメモリ１から読み出された前フレームの画像信号に対して、前記動き補償結果に基づき動き推定を行う。
【００２０】
これは、前述したように、アンカバードエリアは、実質上の予測もれであるテクスチャが存在しない空隙部分であるため、アンカバードエリアの画素数がブロック内の画素数の半数程度以下の場合のみ、ブロック内のテクスチャの信頼性を認めて動き推定するが、アンカバードエリアの画素数がブロック内の画素数の半数程度よりも多数あると、ブロック内のテクスチャの信頼性がないから、動き推定しない（動きベクトル（０，０）として処理する。）ことにより誤差の発生を防止するためである。
【００２１】
また、動き推定手段９は、上記のように、各ブロック毎に前フレームから現フレームの画像情報の動き推定を行う通常の方向とは逆方向の、すなわち、被補償側の現フレームの動き補償結果に基づき補償側の前フレームへのフレーム間予測による動き推定をする。なお、ここでの動き推定の結果である動きベクトルについては、ビットストリームとして伝送する必要はない。
【００２２】
アンカバードエリア補填手段１０は、動き推定手段９による各ブロック毎の動き推定結果と、フレームメモリ７からの動き補償結果と、フレームメモリ１からの前フレームの画像信号とに基づき、各ブロック毎に動き推定結果でベストマッチである前フレームの画像の一部を補填に用いる。
【００２３】
ここで、例えば、上記のアンカバードエリア補填手段１０に供給される、動き補償され、かつ、ブロック分割されたある一ブロックの画像信号が図２（Ａ）に１４で模式的に示すように、円形と推定される画像１５中にアンカバードエリア１６が存在するフレーム画像であるものとすると、アンカバードエリア補填手段１０は、図２（Ｂ）に模式的に示すように、逆方向の動き推定を行うことにより得られるアンカバードエリア１６の部分に最も類似した前フレームの画像１５ｂを補填することにより、予測側のフレームの画像１５ａと補填された前フレームの画像１５ｂとにより、ほぼ現フレームの予測画像を得ることができる。
【００２４】
このように、アンカバードエリア補填手段１０によりアンカバードエリア補填された画像信号は、残差処理手段１１に供給され、ここで、フレームメモリ２から読み出された現フレームの画像信号との差分が計算され、その差分値が残差信号としてビットストリーム符号化手段１２に入力される。ビットストリーム符号化手段１２は、動き推定手段５で推定された動きベクトルと、フレームメモリ２から読み出された上記残差信号とからビットストリームを生成して出力する。
【００２５】
次に、以上の一連の処理の詳細について、実際の画像を例にして説明する。画像のサイズは６４０×４８０画素とする。図３に示す画像を前フレームの画像、図４に示す画像を現フレームの画像としたとき、任意形状領域分割手段３から出力される前フレームの任意形状領域分割結果は図５に示す画像のようになる。なお、図４に示す現フレームの画像中の左下の画像部分が、図３に示す前フレームの画像に比較して若干右へ移動している。
【００２６】
動き補償手段６は、図５に示す画像の任意形状領域分割結果をもとに図３に示す前フレームの画像（テクスチャ）を用いて、図４に示す現フレームの画像を予測した動きベクトルに基づき動き補償を行うが、その動き補償結果が図６に示す動き補償画像である。図６に示す画像中、黒く亀裂状になっているのがアンカバードエリアである。
【００２７】
この図６に示す動き補償画像をブロック領域分割手段８にて８×８画素のブロックで分割し、更にアンカバードエリア補填手段１０により逆方向の動き推定を行ってアンカバードエリアの補填を行った結果の画像が図７である。この図７に示すアンカバードエリア補填後の画像は、図４に示した現フレームの画像とかなり近い予測がなされており、残差も小さくすることができたということができる。
【００２８】
このように、本実施の形態によれば、オブジェクトベース符号化でのフレーム間予測において、アンカバードエリア補填のために逆方向の動き推定を導入し、これによって、精度の高い予測をそのために新たにビット量を消費することなく実現し、その結果、残差処理の負担が軽減されて、全体の符号化効率を改善することができる。
【００２９】
次に、本発明の画像符号化方法について説明する。図８は本発明になる画像符号化方法の一実施の形態のフローチャートを示す。この実施の形態は、図１に示した画像符号化装置と同様のオブジェクトベース符号化方式によるフレーム間予測符号化動作を行う。まず、前フレームの画像が任意形状に分割される（ステップＳ１）。分割の規範については画像の画素値の統計的な性質を利用する、エッジの検出を行うなど基本的に自由である。
【００３０】
次に、任意形状の領域分割結果の各セグメントについて、現フレームのディジタル画像信号を予測するような動きベクトルの推定を行う（ステップＳ２）。この動きベクトルはビットストリームとして伝送される一方、前フレーム画像、任意形状領域分割結果と共に利用されて動き補償結果が得られる（ステップＳ３）。この動き補償結果は上記のように実質上の予測もれであるアンカバードエリアを含む。
【００３１】
続いて、この動き補償結果は、例えば８×８画素のブロックに分割された後（ステップＳ４）、各ブロックについてアンカバードエリアの画素数がブロック内の画素数の半数程度以下かどうか判定され（ステップＳ５）、アンカバードエリアの画素数がブロック内の画素数の半数程度以下のブロックについてのみ、前フレームに対して動き推定を行う（ステップＳ６）。アンカバードエリアの画素数がブロック内の画素数の半数程度より多いブロックについては、動き推定は行わず、動きベクトル（０，０）として処理する（ステップＳ７）。
【００３２】
ステップＳ６又はＳ７の処理に続いて、動き補償結果であるブロック内の、ステップＳ６での動き推定でベストマッチである部分の前フレームの画像の一部を、アンカバードエリアに補填するアンカバードエリア補填処理が行われる（ステップＳ８）。すなわち、アンカバードエリアは、前フレーム内の類似部分のテクスチャに挿げ替えられる。なお、ここでの動き推定の結果である動きベクトルについてはビットストリームとして伝送する必要はない。
【００３３】
アンカバードエリア補填された画像は、現フレームとの差分が計算される残差処理が行われた後、ステップＳ２での動き推定で得られた動きベクトルと共にビットストリームとして出力される（ステップＳ９）。
【００３４】
この符号化方法においても、図１に示した符号化装置と同様に、オブジェクトベース符号化でのフレーム間予測において、アンカバードエリア補填のために逆方向の動き推定を導入しているので、精度の高い予測をそのために新たにビット量を消費することなく実現し、その結果、残差処理の負担が軽減されて、全体の符号化効率を改善することができる。
【００３５】
次に、本発明になる画像復号化装置の一実施の形態について説明する。図９は本発明になる画像復号化装置の一実施の形態のブロック図を示す。ここでは、基本的にフレーム間予測が関わる部分であるので、所謂Ｐフレームの復号化方式を基本に考えるものとする。図９において、フレームメモリ２１においては、前フレームがキーフレームでない場合以外は、この図の一連のプロセスを経た時間的に１フレーム前の画像が保持される。
【００３６】
一方、ビットストリーム復号化手段２２には、図１に示したビットストリーム符号化手段１２で生成されたビットストリームが、任意の伝送媒体を介して入力され、ここで、図１の動き推定手段５で得られた動きベクトルと、図１の残差処理手段１１で生成された残差信号とに復号され、動きベクトルは動き補償手段２５に供給され、残差信号は残差処理手段３０に供給される。
【００３７】
任意形状領域分割手段２３は、フレームメモリ２１から読み出された前フレームの画像信号を任意形状に分割し、その分割結果をフレームメモリ２４に格納する。分割の規範については画像の画素値の統計的な性質を利用する、エッジの検出を行うなど基本的に自由である。
【００３８】
動き補償手段２５は、フレームメモリ２４から読み出された任意形状領域分割結果と、ビットストリーム復号化手段２２により復号された各セグメントの動きベクトルと、フレームメモリ２１から読み出された前フレームの画像信号とを入力として受け、各任意形状領域分割結果毎に、前フレームの画像の動き補償がなされる。これにより得られた動き補償結果は、前述した実質上の予測もれであるアンカバードエリアを含む。この動き補償結果は、フレームメモリ２６に一時保持される。
【００３９】
ブロック領域分割手段２７は、フレームメモリ２６から読み出されたアンカバードエリアを含む動き補償結果を、例えば縦横それぞれ８画素のブロックに分割し、その各ブロックを動き推定手段２８に供給する。なお、通常は任意形状領域分割手段２３で分割された任意形状の大きさが、ブロック領域分割手段２７により分割されたブロック以上であるが、任意形状の方がブロックよりも小さいこともある。
【００４０】
動き推定手段２８は、ブロック領域分割手段２７により分割された各ブロックについて、アンカバードエリアの画素数がブロック内の画素数の半数程度以下の場合には、フレームメモリ２１から読み出された前フレームの画像信号に対して、上記動き補償結果に基づき動き推定を行う。前記動き推定手段９と同様の理由による。ここでも、アンカバードエリアの画素数がブロック内の画素数の半数程度より多いブロックについては、動き推定は行わず、動きベクトル（０，０）として処理する。
【００４１】
アンカバードエリア補填手段２９は、動き推定手段２８からの動き推定結果と、フレームメモリ２６からの動き補償結果と、フレームメモリ２１からの前フレームの画像信号とに基づき、動き推定結果でベストマッチである部分の前フレームの画像の一部を補填に用いる。すなわち、このアンカバードエリア補填手段２９は、前フレームから現フレームの画像情報の動き推定を行う通常の方向とは逆方向の、すなわち、現フレームの動き補償結果に基づき前フレームの動き推定してその結果に基づき、アンカバードエリアを前フレームの画像信号で補填する動作を行う。
【００４２】
アンカバードエリア補填手段２９によりアンカバードエリア補填された画像信号は、残差処理手段３０に供給され、ここでビットストリーム復号化手段２２で受信ビットストリームから復号化された残差成分と加算されることにより、画像信号が再構成される。この再構成された画像信号は、復号化画像信号として出力されると共に、フレームメモリ２１に前フレームの画像信号として供給されて格納される。
【００４３】
次に、本発明の画像復号化方法について説明する。図１０は本発明になる画像復号化方法の一実施の形態のフローチャートを示す。この実施の形態は、図９に示した画像復号化装置と同様のオブジェクトベース符号化方式によるフレーム間予測復号化動作を行う。まず、図１に示したビットストリーム符号化手段１２で生成されたビットストリームが、任意の伝送媒体を介して入力され、ここで、図１の動き推定手段５で得られた動きベクトルと、図１の残差処理手段１１で生成された残差信号とに復号される（ステップＳ１１）。  一方、前フレームの画像が任意形状に分割される（ステップＳ１２）。分割の規範については画像の画素値の統計的な性質を利用する、エッジの検出を行うなど基本的に自由である。
【００４４】
次に、任意形状の領域分割結果の各セグメントについて、現フレームのディジタル画像信号を予測するような動きベクトルの推定を行う（ステップＳ１３）。この動きベクトルは、前フレーム画像、任意形状領域分割結果と共に利用されて動き補償結果が得られる（ステップＳ１４）。この動き補償結果は上記のように実質上の予測もれであるアンカバードエリアを含む。
【００４５】
続いて、この動き補償結果は、例えば８×８画素のブロックに分割された後（ステップＳ１５）、各ブロックについてアンカバードエリアの画素数がブロック内の画素数の半数程度以下かどうか判定され（ステップＳ１６）、アンカバードエリアの画素数がブロック内の画素数の半数程度以下のブロックについてのみ、前フレームに対して動き推定を行う（ステップＳ１７）。アンカバードエリアの画素数がブロック内の画素数の半数程度より多いブロックについては、動き推定は行わず、動きベクトル（０，０）として処理する（ステップＳ１８）。
【００４６】
ステップＳ１７又はＳ１８の処理に続いて、動き補償結果であるブロック内の、ステップＳ１３での動き推定でベストマッチである部分の前フレームの画像の一部を、アンカバードエリアに補填するアンカバードエリア補填処理が行われる（ステップＳ１９）。すなわち、アンカバードエリアは、前フレーム内の類似部分のテクスチャに挿げ替えられる。
【００４７】
アンカバードエリア補填された画像信号は、ステップＳ１１で受信ビットストリームから復号化された残差成分と加算されることにより、画像信号が再構成される（ステップＳ２０）。この再構成された画像信号は、復号化画像信号として出力されると共に、前フレームの画像信号として次のステップＳ１２で用いられる。
【００４８】
なお、本発明は以上の実施の形態に限定されるものではなく、以上の実施の形態の装置及び方法を、コンピュータにより実現するコンピュータプログラムも含む。すなわち、符号化のコンピュータプログラムと復号化のコンピュータプログラムを含む。このコンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワークを通して配信されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の画像符号化装置の一実施の形態のブロック図である。
【図２】図１中のアンカバードエリア補填手段の動作説明用の一例の画像模式図である。
【図３】前フレームの画像の一例を示す図である。
【図４】現フレームの画像の一例を示す図である。
【図５】図１における前フレームの任意形状領域分割結果の一例の画像を示す図である。
【図６】図１における動き補償結果の一例の画像を示す図である。
【図７】図１におけるアンカバードエリア補填後の画像の一例を示す図である。
【図８】本発明の画像符号化方法の一実施の形態のフローチャートである。
【図９】本発明の画像復号化装置の一実施の形態のブロック図である。
【図１０】本発明の画像復号化方法の一実施の形態のフローチャートである。
【符号の説明】
【００５０】
１、２、４、７、２１、２４、２６  フレームメモリ
３、２３  任意形状領域分割手段
５、９、２８  動き推定手段
６、２５  動き補償手段
８、２７  ブロック領域分割手段
１０、２９  アンカバードエリア補填手段
１１、３０  残差処理手段
１２  ビットストリーム符号化手段
１４  ブロック
１５ａ  予測されたフレームの画像
１５ｂ  補填された前フレームの画像
１６  アンカバードエリア
２２  ビットストリーム復号化手段
【図１】
2005323252.tif 000003
【図２】
2005323252.tif 000004
【図３】
2005323252.tif 000005
【図４】
2005323252.tif 000006
【図５】
2005323252.tif 000007
【図６】
2005323252.tif 000008
【図７】
2005323252.tif 000009
【図８】
2005323252.tif 000010
【図９】
2005323252.tif 000011
【図１０】
2005323252.tif 000012