(57)【要約】【課題】動画像のフレームにおいて補間された欠損画素ブロックとその周辺画素ブロックの境界での画質の劣化を低減する。【解決手段】帯域圧縮伝送された動画像情報を復号する復号化装置１０２と、復号されたフレームを格納するフレームメモリ１０３と、上記復号されたフレームに生じた欠損画素ブロックの近傍画素集合を格納する近傍画素メモリ１０４と、補間処理後のフレームを格納するフレームメモリ１０７と、上記近傍画素集合の画素値および補間処理後の前フレームの画素値を用いて、上記近傍画素集合とテクスチャが類似する前フレーム内の位置を参照位置として捜索する捜索装置１０６と、捜索装置１０６で得られた前フレーム内の参照位置の画素ブロックを用いて、現フレームの欠損画素ブロックを補間し、補間後の現フレームの画素情報をフレームメモリ１０７に格納する補間装置１０５とを備える。【選択図】図１ 
2005203939.tif 000002
【特許請求の範囲】
【請求項１】
帯域圧縮伝送された動画像情報を復号する動画像復号化装置において、
入力された上記動画像情報を復号する復号化手段と、
上記復号化手段で復号されたフレームの画素情報を格納する第１のメモリと、
上記復号されたフレームに生じた欠損画素ブロックの近傍の所定の画素集合である近傍画素集合の画素情報を格納する第２のメモリと、
補間処理後のフレームの画素情報を格納する第３のメモリと、
上記第２のメモリに格納された現フレームの上記近傍画素集合の画素値と上記第３のメモリに格納された補間処理後の前フレームの画素値とを用いて、上記近傍画素集合とテクスチャが類似する上記前フレーム内の位置を参照位置として捜索する捜索手段と、
上記捜索手段で得られた上記前フレーム内の上記参照位置の画素ブロックを用いて、上記現フレームの欠損画素ブロックを補間し、補間後の現フレームの画素情報を上記第２のメモリに格納する補間手段と
を備えた
ことを特徴とする動画像復号化装置。
【請求項２】
請求項１に記載の動画像復号化装置において、
上記復号において得られた動きベクトル情報を格納する第４のメモリをさらに備え、
上記捜索手段は、上記欠損画素ブロックの周辺画素ブロックの動きベクトル情報をさらに用いて、上記参照位置を捜索する
ことを特徴とする動画像復号化装置。
【請求項３】
請求項２に記載の動画像復号化装置において、
上記第１のメモリに格納された現フレームと上記第３のメモリに格納された補間処理後の前フレーム間のテクスチャの変形を検知する変形検知手段をさらに備え、
上記捜索手段は、上記変形検知手段で得られた上記フレーム間のテクスチャの変形情報をさらに用いて、上記参照位置を捜索する
ことを特徴とする動画像復号化装置。
【請求項４】
請求項３に記載の動画像復号化装置において、
上記復号化手段は、上記第２のメモリに格納された補間処理後の現フレームを参照して、次フレームを復号する
ことを特徴とする動画像復号化装置。
【請求項５】
動画像の第１のフレームに生じた欠損画素ブロックを補間処理後の第２のフレームから補間する動画像の欠損画素補間方法において、
上記欠損画素ブロックの近傍の所定の画素集合である近傍画素集合の画素値を上記第２のフレームの画素値と比較することによって、上記近傍画素集合とテクスチャが類似する上記第２のフレーム内の位置を参照位置として捜索するステップと、
上記第２のフレーム内の上記参照位置の画素ブロックを用いて、上記欠損画素ブロックを補間するステップと
を含む
ことを特徴とする動画像の欠損画素補間方法。
【請求項６】
動画像の第１のフレームに生じた欠損画素ブロックを補間するために参照する補間処理後の第２のフレーム内の参照位置を捜索する動画像の参照位置捜索方法において、
上記欠損画素ブロックの近傍の所定の画素集合である近傍画素集合を設定するステップと、
上記第２のフレーム内に上記近傍画素集合と同様のサイズの類似画素集合候補を複数設定するステップと、
上記近傍画素集合のそれぞれの画素値と上記類似画素集合候補の対応する画素値の差分の総和が最小となる類似画素集合候補の位置を上記参照位置として捜索するステップと
を含む
ことを特徴とする動画像の参照位置捜索方法。
【請求項７】
請求項６に記載の動画像の参照位置捜索方法において、
上記欠損画素ブロックの周辺画素ブロックの動きベクトルから上記欠損画素ブロックの動きベクトルを予測し、その予測した動きベクトルを用いて、上記総和を最初に求める類似画素集合候補を決定する
ことを特徴とする動画像の参照位置捜索方法。
【請求項８】
請求項６に記載の動画像の参照位置捜索方法において、
上記総和が所定のしきい値を下回った場合は、その時点で捜索を終了し、その下回った類似画素集合候補の位置を上記類似位置として決定する
ことを特徴とする動画像の参照位置捜索方法。
【請求項９】
請求項６に記載の動画像の参照位置捜索方法において、
上記総和が所定のしきい値を越えた場合は、その時点で捜索を終了し、それまでで上記総和が最小であった類似画素集合候補の位置を上記類似位置として決定する
ことを特徴とする動画像の参照位置捜索方法。
【請求項１０】
請求項６に記載の動画像の参照位置捜索方法において、
上記第１のフレームと上記第２のフレーム間のテクスチャの変形を検知し、その変形に応じて、上記類似画素集合候補の位置や範囲を変更して上記参照位置を捜索する
ことを特徴とする動画像の参照位置捜索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帯域圧縮伝送された動画像情報を復号する動画像復号化装置、ならびに動画像の第１のフレームに生じた欠損画素ブロックを動画像の第２のフレームから補間する動画像の欠損画素補間方法、および動画像の第１のフレームに生じた欠損画素ブロックにテクスチャが類似する第２のフレーム内の参照位置を捜索する動画像の参照位置捜索方法に関する。
【背景技術】
【０００２】
従来、動画像の現フレームにおいての欠損画素ブロックを前フレームを用いて補間する場合には、欠損ブロックの周辺画素ブロックの動きベクトルから欠損画素ブロックの動きベクトルを推測し、その推測した動きベクトルに従って前フレーム内の参照画素ブロックの位置（参照位置）を決定し、その参照画素ブロックで欠損画素ブロックを補間していた（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平６−２００５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記従来の技術では、前フレームおよび現フレームの画素値のいかんに関わらず、動きベクトルの推測のみで前フレーム内の参照位置を決定しているため、補間された欠損画素ブロックとその周辺画素ブロックの境界でテクスチャのずれが目立つ場合が多かった。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであり、動画像のフレームにおいて補間された欠損画素ブロックとその周辺画素ブロックの境界での画質の劣化を低減できる動画像復号化装置ならびに動画像の欠損画素補間方法および動画像の類似位置捜索方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の動画像復号化装置は、
帯域圧縮伝送された動画像情報を復号する動画像復号化装置において、
入力された上記動画像情報を復号する復号化手段と、
上記復号化手段で復号されたフレームの画素情報を格納する第１のメモリと、
上記復号されたフレームに生じた欠損画素ブロックの近傍の所定の画素集合である近傍画素集合の画素情報を格納する第２のメモリと、
補間処理後のフレームの画素情報を格納する第３のメモリと、
上記第２のメモリに格納された現フレームの上記近傍画素集合の画素値と上記第３のメモリに格納された補間処理後の前フレームの画素値とを用いて、上記近傍画素集合とテクスチャが類似する上記前フレーム内の位置を参照位置として捜索する捜索手段と、
上記捜索手段で得られた上記前フレーム内の上記参照位置の画素ブロックを用いて、上記現フレームの欠損画素ブロックを補間し、補間後の現フレームの画素情報を上記第２のメモリに格納する補間手段と
を備えた
ことを特徴とする。
【０００７】
また、本発明の動画像の欠損画素補間方法は、
動画像の第１のフレームに生じた欠損画素ブロックを補間処理後の第２のフレームから補間する動画像の欠損画素補間方法において、
上記欠損画素ブロックの近傍の所定の画素集合である近傍画素集合の画素値を上記第２のフレームの画素値と比較することによって、上記近傍画素集合とテクスチャが類似する上記第２のフレーム内の位置を参照位置として捜索するステップと、
上記第２のフレーム内の上記参照位置の画素ブロックを用いて、上記欠損画素ブロックを補間するステップと
を含む
ことを特徴とする。
【０００８】
また、本発明の動画像の参照位置捜索方法は、
動画像の第１のフレームに生じた欠損画素ブロックを補間するために参照する補間処理後の第２のフレーム内の参照位置を捜索する動画像の参照位置捜索方法において、
上記欠損画素ブロックの近傍の所定の画素集合である近傍画素集合を設定するステップと、
上記第２のフレーム内に上記近傍画素集合と同様のサイズの類似画素集合候補を複数設定するステップと、
上記近傍画素集合のそれぞれの画素値と上記類似画素集合候補の対応する画素値の差分の総和が最小となる類似画素集合候補の位置を上記参照位置として捜索するステップと
を含む
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、現フレームに生じた欠損画素ブロックの近傍画素集合にテクスチャが類似する前フレーム内の位置を、上記欠損画素ブロックを補間するために参照する前フレーム内の参照位置として捜索し、得られた前フレーム内の参照位置の画素ブロックで上記欠損画素ブロックを補間することにより、補間された欠損画素ブロックとその周辺画素ブロックの境界での画質の劣化を低減できるという効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１
図１は本発明の実施の形態１の動画像復号化装置のブロック構成図である。図１の実施の形態１の動画像復号化装置は、入力端子１０１と、復号化装置１０２と、フレームメモリ１０３と、近傍画素メモリ１０４と、補間装置１０５と、捜索装置１０６と、フレームメモリ１０７と、出力端子１０８とを備えている。
【００１１】
復号化装置１０２は、入力端子１０１から入力された帯域圧縮伝送された動画像情報を復号し、復号したフレームのフレーム情報（画素値やその他の画素情報等のそのフレームに関する情報）をフレームメモリ１０３に格納する。また、復号化装置１０２は、復号したフレームに欠損画素ブロックを生じた場合には、その欠損画素ブロックの近傍の復号された画素集合である近傍画像集合を決定し、その近傍画素集合の画素情報を近傍画素メモリ１０４に格納する。
【００１２】
補間装置１０５は、フレームメモリ１０３に格納された復号された現フレームが欠損画素ブロックを生じた場合と生じなかった場合とで、以下に説明する異なる補間処理をする。上記復号された現フレームが欠損画素ブロックを生じなかった場合には、フレームメモリ１０３から出力された現フレームのフレーム情報を、そのまま出力端子１０８から出力するとともに、そのままフレームメモリ１０７に格納する。また、復号されたフレームが欠損画素ブロックを生じた場合には、捜索装置１０６で得られた前フレーム内の参照位置の画素ブロック（参照画素ブロック）で上記欠損画素ブロックを補間し、この補間した現フレームのフレーム情報を、出力端子１０８から出力するとともに、フレームメモリ１０７に格納する。
【００１３】
捜索装置１０６は、近傍画素メモリ１０４に格納された現フレームのの近傍画素集合の画素値と、フレームメモリ１０７に格納された補間処理後の前フレームの画素値とを用いて、上記近傍画素集合とテクスチャが類似する前フレーム内の位置を、上記欠損画素ブロックを補間するために参照する前フレーム内の参照位置として捜索し、その参照位置および上記補間のための参照画素ブロックとして必要な前フレームの画素情報を補間装置１０５に送る。
【００１４】
復号された現フレームに欠損を生じ、その欠損画素ブロックが８ピクセル×８ピクセルの場合の実施の形態１の動画像復号化装置の動作について以下に説明する。
【００１５】
図２のように、上記現フレームにおいての欠損位置を、上記欠損画素ブロックの左上角の位置である（ｘ，ｙ）とすると、上記欠損画素ブロックの右上角の位置は（ｘ＋７，ｙ）、左下角の位置は（ｘ，ｙ＋７）、右下角の位置は（ｘ＋７，ｙ＋７）となる。
【００１６】
欠損位置（ｘ，ｙ）についての近傍画素集合としては、例えば、欠損画素ブロックから上下左右に幅１ピクセルずつ延長したピクセルの集合である、（ｘ−１，ｙ＋β）（０≦β≦７）の８ピクセル、（ｘ＋α，ｙ−１）（０≦α≦７）の８ピクセル、（ｘ＋８，ｙ＋β）（０≦β≦７）の８ピクセル、（ｘ＋α，ｙ＋８）（０≦α≦７）の８ピクセルの合計３２ピクセルを設定する。
【００１７】
また、前フレームについて、それぞれが上記欠損画素ブロックと同様の８ピクセル×８ピクセルの画素ブロックである複数の参照画素ブロック候補を考える。そして、参照画素ブロック候補のそれぞれについて、上記欠損画素ブロックの近傍画素集合と同様のサイズの類似画素集合候補を考える。
【００１８】
図３のように、複数の参照位置候補の内の１つの位置を（ｘ’，ｙ’）とすると、その参照画素ブロック候補の左上角の位置は（ｘ’，ｙ’）、右上角の位置は（ｘ’＋７，ｙ’）、左下角の位置は（ｘ’，ｙ’＋７）、右下角の位置は（ｘ’＋７，ｙ’＋７）となる。
【００１９】
また、参照位置候補（ｘ’，ｙ’）についての類似画素集合候補としては、上記欠損画素ブロックの近傍画素集合と同様に、参照画素ブロック候補から上下左右に幅１ピクセルずつ延長したピクセルの集合である、（ｘ’−１，ｙ’＋β）（０≦β≦７）の８ピクセル、（ｘ’＋α，ｙ’−１）（０≦α≦７）の８ピクセル、（ｘ’＋８，ｙ’＋β）（０≦β≦７）の８ピクセル、（ｘ’＋α，ｙ’＋８）（０≦α≦７）の８ピクセルの合計３２ピクセルを設定する。
【００２０】
また、現フレームの位置（Ｘ，Ｙ）の画素値をＶ（Ｘ，Ｙ）、前フレームの位置（Ｘ’，Ｙ’）の画素値をＶ’（Ｘ’，Ｙ’）として、以下の（１）式を定義する。
【数１】
2005203939.tif 000003
【００２１】
そして、例えば、前フレームにおいての参照位置候補集合を、
｛（ｘ’，ｙ’）｜ｘ−８＜ｘ’＜ｘ＋８，ｙ−８＜ｙ’＜ｙ＋８｝…（２）
とし、捜索装置１０６において、上記参照位置候補集合の条件を満足する複数の参照位置候補から、上記（１）式によって定義された関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値を最小とする参照位置候補を捜索し、この関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値を最小とする参照位置候補を参照位置（ｘｐ，ｙｐ）とする。このとき、参照画素ブロックの左上角の位置は（ｘｐ，ｙｐ）、右上角の位置は（ｘｐ＋７，ｙｐ）、左下角の位置は（ｘｐ，ｙｐ＋７）、右下角の位置は（ｘｐ＋７，ｙｐ＋７）となる。
【００２２】
補間装置１０５では、現フレームの欠損画素ブロックの位置（ｘ＋α，ｙ＋β）（０≦α≦７，０≦β≦７）の画素値が、前フレームの位置（ｘｐ＋α，ｙｐ＋β）の画素値で補間される。
【００２３】
以上のように実施の形態１によれば、現フレームの欠損画素ブロックの近傍画素集合の画素値と前フレームの画素値とを用いて、上記近傍画素集合とテクスチャが類似する前フレーム内の位置を、上記欠損画素ブロックを補間するために参照する前フレーム内の参照位置として捜索し、得られた前フレーム内の参照位置の画素ブロックで上記欠損画素ブロックを補間することにより、補間された欠損画素ブロックとその周辺画素ブロックの境界が滑らかにつながりやすくなり、画質の劣化を高い確率で抑えることができる。
【００２４】
なお、上記実施の形態１では、欠損画素ブロックが８ピクセル×８ピクセルの場合について説明したが、欠損画素ブロックの形状および近傍画素集合の形状は、いずれも任意で差し支えない。さらに、近傍画素集合が欠損画素ブロックと隣接している必要はない。
【００２５】
実施の形態２
図４は本発明の実施の形態２の動画像復号化装置のブロック構成図である。図４の実施の形態２の動画像復号化装置は、入力端子４０１と、復号化装置４０２と、フレームメモリ４０３と、近傍画素メモリ４０４と、補間装置４０５と、捜索装置４０６と、フレームメモリ４０７と、出力端子４０８と、動きベクトルメモリ４０９とを備えている。
【００２６】
この実施の形態２の動画像復号化装置において、入力端子４０１，復号化装置４０２，フレームメモリ４０３，近傍画素メモリ４０４，補間装置４０５，フレームメモリ４０７，出力端子４０８の構成および動作は、それぞれ上記図１の実施の形態１の入力端子１０１，復号化装置１０２，フレームメモリ１０３，近傍画素メモリ１０４，補間装置１０５，フレームメモリ１０７，出力端子１０８と同様である。
【００２７】
動きベクトルメモリ４０９には、入力端子に入力された動画像情報が復号化装置４０２で復号されるときに、この復号によって一緒に得られる動きベクトル情報が格納される。
【００２８】
上記実施の形態１の捜索装置１０６（図１参照）では、現フレームの欠損画素ブロックの近傍画素集合の画素値と、補間処理後の前フレームの画素値とを用いて、前フレームの参照位置を捜索したが、この実施の形態２の捜索装置４０６は、これらの画素値に加え、動きベクトルメモリ４０９に格納された現フレームの欠損画素ブロックに隣接するマクロブロックの動きベクトル情報や前フレームの動きベクトル情報を用いて、前フレームの参照位置を捜索する。
【００２９】
例えば、現フレームにおいて欠損画素ブロックの上隣に隣接するマクロブロックの動きベクトル（ｘＵ，ｙＵ）と、現フレームにおいて欠損画素ブロックの左隣に隣接するマクロブロックの動きベクトル（ｘＬ，ｙＬ）とを用いて、欠損画素ブロックの動きベクトル（ｘＵＬ，ｙＵＬ）を、
ｘＵＬ＝（ｘＵ＋ｘＬ）／２…（３）
ｙＵＬ＝（ｙＵ＋ｙＬ）／２…（４）
によって予測する。
【００３０】
そして、参照位置候補集合を、上記予測した欠損画素ブロックの動きベクトル（ｘＵＬ，ｙＵＬ）を用いて、
｛（ｘ’，ｙ’）｜ｘ−ｘＵＬ−８＜ｘ’＜ｘ−ｘＵＬ＋８，ｙ−ｙＵＬ−８＜ｙ’＜ｙ−ｙＵＬ＋８｝…（５）
とし、この参照位置候補集合の中心位置（ｘ−ｘＵＬ，ｙ−ｙＵＬ）を、上記（１）式の関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値の最初の計算位置とし、この中心位置（ｘ−ｘＵＬ，ｙ−ｙＵＬ）からうずまきを描くように次の計算位置を決める。
【００３１】
上記関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値の計算による参照位置（ｘｐ，ｙｐ）の捜索において、上記関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値が適切に設定されたしきい値AllowDifferenceを下回った場合には、その時点で捜索を終了し、その位置を参照位置（ｘｐ，ｙｐ）として決定する。
【００３２】
また、上記関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値が、計算を続けるにつれて増加していき、適切に設定されたしきい値AbortDifferenceを越えた場合には、その時点で捜索を終了し、それまでで上記関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値が最小となった位置を参照位置（ｘｐ，ｙｐ）として決定する。
【００３３】
以上のように実施の形態２によれば、欠損画素ブロックの周辺画素ブロックの動きベクトル情報から欠損画素画素ブロックの動きベクトルを予測し、その予測した動きベクトルを参照位置候補集合の中心位置とするとともに、上記（１）式の関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値について、適切なしきい値AllowDifference，AbortDifferenceを設定することにより、余分な捜索を割愛できるので、前フレームの参照位置を高速に求めることができる。
【００３４】
なお、上記実施の形態２では、現フレームの欠損画素ブロックに隣接する上隣のマクロブロックの動きベクトルの成分と左隣のマクロブロックの動きベクトルの成分の平均値から、欠損画素ブロックの動きベクトルを予測し、その分だけ修正した位置を中心にうずまき状に捜索したが、参照する動きベクトル情報は、２つとは限らないし、同じフレーム内の動きベクトルとも限らない。また、計算する順番も、うずまき状だけとは限らず、その他の順番でも構わない。
【００３５】
また、しきい値AllowDifference，AbortDifferenceも固定された定数とは限らず、探索ステップ数の増加に応じて、しきい値AllowDifferenceは増加し、しきい値AbortDiffereneceは減少するような値とする等のように、適応的に決定されても構わない。このように、しきい値AllowDifference，AbortDifferenceを適応的に決定するような構成としては、例えば以下のような処理アルゴリズムが考えられる。まず、しきい値AllowDifferenceの初期値AllowDifferenceStartおよびしきい値AbortDiffereneceの初期値AbortDifferenceStartを、
AllowDifferenceStart≦AbortDifferenceStart
となるように決定する。また、初期値が０で探索ステップ数の増加ごとに所定値ずつ増加する探索ステップ変数をStepCountとし、上記（１）式の関数ｆ（ｘ，ｙ）（ｘ’，ｙ’）の値をValueとして、
Value≦AllowDifferenceStart＋StepCount
であれば、それまでで最小を取る値を決定値として処理終了し、
Value≧AbortDifference−StepCount
であれば、その値を決定値として処理終了する。この処理アルゴリズムによれば、探索すればするほど、どちらかのしきい値条件を満たし処理を中断する可能性が高くなるようにしきい値が変化していくことになる。
【００３６】
実施の形態３
図５は本発明の実施の形態３の動画像復号化装置のブロック構成図である。図５の実施の形態３の動画像復号化装置は、入力端子５０１と、復号化装置５０２と、フレームメモリ５０３と、近傍画素メモリ５０４と、補間装置５０５と、捜索装置５０６と、フレームメモリ５０７と、出力端子５０８と、動きベクトルメモリ５０９と、変形検知装置５１０とを備えている。
【００３７】
この実施の形態３の動画像復号化装置において、入力端子５０１，復号化装置５０２，フレームメモリ５０３，近傍画素メモリ５０４，補間装置５０５，フレームメモリ５０７，出力端子５０８，動きベクトルメモリ５０９の構成および動作は、それぞれ上記図４の実施の形態２の入力端子４０１，復号化装置４０２，フレームメモリ４０３，近傍画素メモリ４０４，補間装置４０５，フレームメモリ４０７，出力端子４０８，動きベクトルメモリ４０９と同様である。
【００３８】
この実施の形態３では、復号化装置５０２で復号された現フレームのフレーム情報をフレームメモリ５０３に格納した後、捜索装置５０６で参照位置の捜索を開始する前に、フレームメモリ５０３に格納された現フレームのフレーム情報とフレームメモリ５０７に格納された前フレームのフレーム情報とを変形検知装置５１０に送る。
【００３９】
変形検知装置５１０は、現フレームと前フレームのフレーム情報を用いて、現フレームのテクスチャが前フレームと比較してどのように変形しているかを検知し、その検知した倍率や向き、基準点や中心点等の変形情報を捜索装置５０６に送る。上記変形とは、例えば拡大または縮小等である。
【００４０】
上記実施の形態２の捜索装置４０６（図４参照）では、現フレームの欠損画素ブロックの近傍画素集合の画素値と、補間処理後の前フレームの画素値と、動きベクトル情報とを用いて、前フレームの参照位置を捜索したが、この実施の形態３の捜索装置６０６は、これらの画素値および動きベクトル情報に加え、変形検知装置５１０からの変形情報を用いて、前フレームの参照位置を捜索する。
【００４１】
例えば、欠損画素ブロックの中心位置を変形の中心位置として、現フレームのテクスチャが前フレームと比較して縮小されている場合には、捜索装置５０６において、上記中心位置から見て前フレームの拡大倍率分だけ前フレームの類似画素集合候補の位置を拡大移動して設定し、その拡大移動して設定した類似画素集合候補の画素値を用いて、上記（１）式の値を計算し、上記実施の形態２の捜索装置４０６と同様に、参照位置を捜索する。従って、現フレームの近傍画素集合の画素と上記（１）式によって画素値の差分がとられる前フレームの類似画素集合候補の画素は、現フレームの縮小変形がない場合と比較して、上記中心位置から見て外側の画素となる。
【００４２】
さらに、この場合には、参照位置において欠損画素ブロックよりも前フレームの拡大倍率分だけ拡大した画素ブロックを参照画素ブロックとし、この参照画素ブロックを現フレームの縮小倍率分だけ縮小して上記欠損画素ブロックを補間する。
【００４３】
また、例えば、欠損画素ブロックの中心位置を変形の中心位置として、現フレームのテクスチャが前フレームと比較して拡大されている場合には、捜索装置５０６において、上記中心位置から見て前フレームの縮小倍率分だけ前フレームの類似画素集合候補の位置を縮小移動して設定し、その縮小移動して設定した類似画素集合候補の画素値を用いて、上記（１）式の値を計算し、上記実施の形態２の捜索装置４０６と同様に、参照位置を捜索する。従って、現フレームの近傍画素集合の画素と上記（１）式によって画素値の差分がとられる前フレームの類似画素集合候補の画素は、現フレームの拡大変形がない場合と比較して、上記中心位置から見て内側の画素となる。
【００４４】
さらに、この場合には、参照位置において現フレームの欠損画素ブロックよりも前フレームの縮小倍率分だけ縮小した画素ブロックを参照画素ブロックとし、この参照画素ブロックを現フレームの拡大倍率分だけ拡大して上記欠損画素ブロックを補間する。
【００４５】
以上のように実施の形態３によれば、変形検知装置５１０で得られた縮小または拡大等のテクスチャの変形情報に応じて、前フレームの類似画素集合候補の位置や範囲を変更して前フレームの参照位置を捜索するとともに、欠損画素ブロックを補間する参照画素ブロックの位置や範囲を変更することにより、テクスチャの平行移動の他に、縮小または拡大等のテクスチャの変形についても、補間された欠損画素ブロックとその周辺画素ブロックとの境界が滑らかにつながりやすくなり、画質の劣化を高い確率で抑えることができる。
【００４６】
なお、上記実施の形態３では、縮小変形および拡大変形について説明したが、一般的な幾何変形にも応用が可能である。
【００４７】
実施の形態４
図６は本発明の実施の形態４の動画像復号化装置のブロック構成図である。図６の実施の形態４の動画像復号化装置は、入力端子６０１と、復号化装置６０２と、フレームメモリ６０３と、近傍画素メモリ６０４と、補間装置６０５と、捜索装置６０６と、フレームメモリ６０７と、出力端子６０８と、動きベクトルメモリ６０９と、変形検知装置６１０とを備えている。
【００４８】
この実施の形態４の動画像復号化装置において、入力端子６０１，フレームメモリ６０３，近傍画素メモリ６０４，補間装置６０５，捜索装置６０６，出力端子６０８，動きベクトルメモリ６０９，変形検知装置６１０の構成および動作は、それぞれ上記図５の実施の形態３の入力端子５０１，復号化装置５０２，フレームメモリ５０３，近傍画素メモリ５０４，補間装置５０５，捜索装置５０６，出力端子５０８，動きベクトルメモリ５０９，変形検知装置５１０と同様である。
【００４９】
この実施の形態４では、復号化装置６０２で復号された現フレームのフレーム情報をフレームメモリ５０３に格納し、補間装置６０５で上記現フレームを補間処理し、この処理した現フレームのフレーム情報をフレームメモリ６０７に格納した後、復号化装置６０２で次フレームの復号を開始する前に、フレームメモリ６０７に格納された補間処理後の現フレームのフレーム情報を復号化装置６０２に送る。
【００５０】
上記実施の形態３の復号化装置５０２では、欠損画素ブロックを生じたままの補間処理前の現フレームを参照フレームとして（補間処理前の現フレームのフレーム情報を使用して）、次フレームを復号するが、この実施の形態４の復号化装置６０２は、フレームメモリ６０７に格納された補間処理後の現フレームを参照フレームとして（補間処理後の現フレームのフレーム情報を使用して）、次フレームを復号する。
【００５１】
以上のように実施の形態４によれば、補間処理後の現フレームを参照フレームとして、次フレームを復号することにより、欠損画素ブロックの伝播を抑え、画質劣化を効果的に抑えることができる。
【００５２】
なお、上記実施の形態４では、前フレームを用いて現フレームの欠損画素ブロックを補間し、補間処理後の現フレームを次フレームの復号時の参照フレームとしたが、参照フレームは補間処理後の現フレームには限らず、上記次フレームよりも前に復号および補間処理後の後方フレームを参照フレームとしても構わない。また、参照フレームは、上記次フレームに隣接している必要はなく、複数フレーム分離れていても構わない。
【００５３】
また、上記それぞれの実施の形態では、本発明を帯域圧縮伝送された動画像情報を復号する動画像復号化装置に適用した例を説明したが、本発明は一般の動画像処理装置等において動画像のフレームに生じた欠損画素ブロックの補間にも適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態１の動画像復号化装置のブロック構成図である。
【図２】現フレームのおいての位置を説明する図である。
【図３】前フレームのおいての位置を説明する図である。
【図４】本発明の実施の形態２の動画像復号化装置のブロック構成図である。
【図５】本発明の実施の形態３の動画像復号化装置のブロック構成図である。
【図６】本発明の実施の形態４の動画像復号化装置のブロック構成図である。
【符号の説明】
【００５５】
１０１，４０１，５０１  入力端子
１０２，４０２，５０２，６０２  復号化装置
１０３，４０３，５０３  フレームメモリ
１０４，４０４，５０４  近傍画素メモリ
１０５，４０５，５０５  補間装置
１０６，４０６，５０６  捜索装置
１０７，４０７，５０７  フレームメモリ
１０８，４０８，５０８  出力端子
４０９，５０９  動きベクトルメモリ
５１０  変形検知装置
【図１】
2005203939.tif 000004
【図２】
2005203939.tif 000005
【図３】
2005203939.tif 000006
【図４】
2005203939.tif 000007
【図５】
2005203939.tif 000008
【図６】
2005203939.tif 000009