(57)【要約】【課題】動き補償フレーム間予測により圧縮符号化された動画像信号の消失領域を高精度に復元するための動きベクトルを推定する。【解決手段】消失領域を４個の消失ブロックに分割し（ステップＳ１１）、ｋ（ｋは１〜４の自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し（ステップＳ１２）、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し（ステップＳ１３）、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する（ステップＳ１４）。【選択図】      図２
2011055245.tif 000002
【特許請求の範囲】
【請求項１】
ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する際に、前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを生じた消失領域の動きベクトルを推定する動きベクトル推定方法であって、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは２〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出する過程と、
前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算する過程と、
前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する過程とを具備する動きベクトル推定方法。
【請求項２】
請求項１において、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する動きベクトル推定方法。
【請求項３】
ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する画像処理装置であって、
前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを検出し、その検出結果から前記第２フレーム上での前記消失又は誤りの位置を特定して消失領域を検出する消失領域検出手段と、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは２〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する動きベクトル推定手段と、
前記第２の動きベクトルによって対応づけられる前記第１のフレームの領域の輝度値を前記第２のフレームの消失領域に対して補間するエラーコンシールメント処理手段と
を具備する画像処理装置。
【請求項４】
請求項３において、前記動きベクトル推定手段は、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する画像処理装置。
【請求項５】
ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する画像処理方法において、
前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを検出し、その検出結果から前記第２フレーム上での前記消失又は誤りの位置を特定して消失領域を検出し、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは２〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定し、
前記第２の動きベクトルによって対応づけられる前記第１のフレームの領域の輝度値を前記第２のフレームの消失領域に対して補間する画像処理方法。
【請求項６】
請求項５において、前記動きベクトル推定は、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する画像処理方法。
【請求項７】
ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する処理をコンピュータに実行させるための画像処理プログラムにおいて、
前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを検出し、その検出結果から前記第２フレーム上での前記消失又は誤りの位置を特定して消失領域を検出する処理ステップと、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは２〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する処理ステップと、
前記第２の動きベクトルによって対応づけられる前記第１のフレームの領域の輝度値を前記第２のフレームの消失領域に対して補間する処理ステップとを具備する画像処理プログラム。
【請求項８】
請求項７において、前記動きベクトル推定は、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム単位で符号化された動画像信号の復号画像に誤り領域あるいは消失領域が発生した際の復元処理に寄与する動きベクトル推定方法とこの方法を用いた画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
フレーム単位で符号化された動画像を復号する画像処理装置では、一般に、符号化に際して計算された動きベクトルと動き補償予測誤差を用いて復号処理が行なわれる。しかしながら、これらの手法だけでは、伝送中の障害等によって受信信号が正しく復調できなかった場合に、動きベクトルや動き補償予測誤差のデータが失われてしまい、結果として復号画像に誤りによる歪みや消失が生じた領域（以下、消失領域で総称する）が発生する。
【０００３】
この問題を解決する手段として、消失領域の近傍の領域の動きベクトルから消失領域の動きベクトルを推定し、推定された動きベクトルを用いて前のフレームから輝度値を補間する手法が提案されている（例えば、非特許文献１を参照）。しかしながら、この手法では近傍の領域の動きベクトルが使用できない場合は復元が困難であり、また動物体を含むフレームでは、推定される動きベクトルの精度が低く、高精度な復元ができない等の問題があった。
【０００４】
一方、消失領域が存在するフレームと同じフレーム内の情報だけを用いて、空間領域で消失領域の輝度値を補間する手法も提案されている。このような手法としては、周りの画素を使って境界の誤差が最小になるように補間する方法（例えば、非特許文献２を参照）と、周りの画素のエッジ情報を利用する方法（例えば、非特許文献３を参照）が提案されている。しかしながら、これらの手法はフレーム間の相関を消失領域の輝度値の推定に用いていないため、高精度な復元を行うことができないという問題がある。
【０００５】
そこで、フレーム間の相関を用いた方法として、バウンダリ・マッチング・アルゴリズム（Boundary Matching Algorithm：BMA）が提案されている。この方法では、消失領域の近傍に存在する輝度値が既知の領域から消失領域の動きベクトルを推定し、推定された動きベクトルによって対応づけられる前フレームの領域の輝度値を消失領域に対して補間する（例えば、非特許文献４を参照）。同様の手法として、セレクティブ・モーション・ベクター・マッチング・アルゴリズム（Selective Motion Vector Matching Algorithm：SMVM）等がある。
【０００６】
しかしながら、上記バウンダリ・マッチング・アルゴリズムの動きベクトル推定法では、消失領域に対して近傍の画素のみをマッチングに用いてその動きベクトルを推定する。このため、H.264等のようにスライス単位で消失が起きた場合、マッチングに用いることが可能な近傍画素が少なくなり、動きベクトルの推定精度が劣化するという問題が発生する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】M. Ghanbari and V. Seferidis, “Cell loss concealment in ATM video codecs,” IEEE Trans. Circuit System Video Technol., vol. 3, pp. 238-247, June 1993.
【非特許文献２】S. S. Hemami and T. H. Y. Meng, “Transform coded image reconstruction exploiting interblock correlations,” IEEE Trans. Image Processing, vol. 4, pp. 1023-1027, July 1995.
【非特許文献３】H. Sun and W. Kwok, “Concealment of damaged block transform coded images using projection onto convex sets,” IEEE Trans. Image Processing, vol. 4, pp. 470-477, Apr. 1995.
【非特許文献４】W.M.Lam, A.R.Reibman and B.Liu, ‘Recovery of lost or erroneously received motion vectors,’ Proc. ICASSP 1993, vol.5, pp.417-420.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
以上述べたように、従来の画像処理装置において、消失領域の復元に用いる動きベクトル推定法では、消失領域に対して近傍の画素のみをマッチングに用いてその動きベクトルを推定するため、スライス単位で消失が起きたような場合には、マッチングに用いることが可能な近傍画素が少なくなり、動きベクトルの推定精度が劣化してしまう。
【０００９】
本発明は上記の課題に鑑みてなされたもので、消失領域に対するマッチングに利用される画素を増大させて動きベクトルの推定精度を向上させることのできる動きベクトル推定方法とこの方法を用いた画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記問題を解決するために、本発明に係る動きベクトル推定方法は、以下のような態様とする。
【００１１】
（１）ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する際に、前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを生じた消失領域の動きベクトルを推定する動きベクトル推定方法であって、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは１〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出する過程と、
前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算する過程と、
前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する過程と
を備える態様とする。
【００１２】
（２）（１）の動きベクトル推定方法において、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する態様とする。
【００１３】
また、本発明に係る動きベクトル推定方法を用いた画像処理装置は、以下のような態様とする。
【００１４】
（３）ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する画像処理装置であって、
前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを検出し、その検出結果から前記第２フレーム上での前記消失又は誤りの位置を特定して消失領域を検出する消失領域検出手段と、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは１〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する動きベクトル推定手段と、
前記第２の動きベクトルによって対応づけられる前記第１のフレームの領域の輝度値を前記第２のフレームの消失領域に対して補間するエラーコンシールメント処理手段と
を具備する態様とする。
【００１５】
（４）（３）の画像処理装置において、前記動きベクトル推定手段は、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する態様とする。
【００１６】
（５）ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する画像処理方法において、
前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを検出し、その検出結果から前記第２フレーム上での前記消失又は誤りの位置を特定して消失領域を検出し、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは１〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定し、
前記第２の動きベクトルによって対応づけられる前記第１のフレームの領域の輝度値を前記第２のフレームの消失領域に対して補間する態様とする。
【００１７】
（６）（５）の画像処理方法において、前記動きベクトル推定は、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する態様とする。
【００１８】
（７）ブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルとそれに対応する動き補償予測値を検出し、前記第１フレームの復号画像と前記検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する処理をコンピュータに実行させるための画像処理プログラムにおいて、
前記第２フレームの復号信号から前記動きベクトル及び動き補償予測値の消失又は誤りを検出し、その検出結果から前記第２フレーム上での前記消失又は誤りの位置を特定して消失領域を検出する処理ステップと、
前記消失領域をＮ（Ｎは２以上の自然数）個の消失ブロックに分割し、ｋ（ｋは１〜Ｎの自然数）番目の消失ブロックの動きベクトル推定のためのマッチング対象領域Ωkを特定し、当該マッチング対象領域Ωkのエッジ部分について画素毎に重みを算出し、この重みを用いてマッチングを行い、ｋ番目の消失ブロックΩkそれぞれに対して重み付き平均２乗誤差を最小とする第１の動きベクトルを算出し、前記第１の動きベクトルによって補間されたｋ番目の消失ブロック（Ωk′）に対する画素毎の信頼度を計算し、前記画素毎の信頼度を用いて、ｋ番目の消失ブロックに対して再度マッチングを行い、第２の動きベクトルを推定する処理ステップと、
前記第２の動きベクトルによって対応づけられる前記第１のフレームの領域の輝度値を前記第２のフレームの消失領域に対して補間する処理ステップとを備える態様とする。
【００１９】
（８）（７）の画像処理プログラムにおいて、前記動きベクトル推定は、前記画素毎の重みとしてラプラシアン・フィルター処理によってエッジ強度を算出する態様とする。
【発明の効果】
【００２０】
以上のように、本発明によれば、消失ブロックに対するマッチングに利用される画素を増大させて動きベクトルの推定精度を向上させることのできる動きベクトル推定方法とこの方法を用いた画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態として、本発明の特徴をなす動きベクトル推定方法を利用した画像処理装置の基本構成を示すブロック図。
【図２】図１のフレーム間予測復号部に備わる動きベクトル推定部の処理手順を示すフローチャート。
【図３】図２の動きベクトル推定部の処理手順の説明に用いる消失領域、マッチング対象領域を示す概念図。
【図４】図２の動きベクトル推定部の処理手順の説明に用いる消失領域、マッチング対象領域を示す概念図。
【図５】図１のフレーム間予測復号部に備わるエラーコンシールメント処理部の処理手順を示すフローチャート。
【図６】図５に示すマッチング処理Ｓ２１において、Frame t上のN×N画素の分割消失領域ωtに対してFrame t-1上で対応する領域ωt-1を推定する具体的手法を説明するための概念図。
【図７】図５に示す推定前処理Ｓ２２において、Frame t上のL×L画素の局所領域γtに対して動きベクトルv＝(vx,vy)を求める具体的手法を説明するための概念図。
【図８】図７に示す原画像推定処理Ｓ２３において、Frame t上のL×L画素の局所領域γtに対するカルマンフィルタ・アルゴリズムの処理の流れを示すフローチャート。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について説明する。尚、ここでは、受信された動画像の符号化系列に誤りがあり、復号画像に消失部分が発生した際の、本発明による動きベクトル推定方法を用いて消失領域補間する手順を、以下図面を用いて具体的に説明する。
【００２３】
図１は、本発明の一実施形態として、本発明の特徴とする動きベクトル推定方法を用いた画像処理装置の構成を示すブロック図である。図１において、受信部１０は、例えば無線伝送される動画像信号を受信復調する。信号分解部１１は、受信部１０で復調された、M×M（Mは２以上の自然数）画素のブロック単位での動き補償フレーム間予測により圧縮符号化された動画像信号を入力し、この動画像信号を動きベクトルとＤＣＴ（Discrete Cosine Transform：離散コサイン変換）係数に分解する。このうちＤＣＴ係数は逆ＤＣＴ演算部１２に送られる。この逆ＤＣＴ演算部１２は、入力されたＤＣＴ係数の逆ＤＣＴを演算することによって動き補償予測誤差を求めるもので、この予測誤差は動きベクトルと共にフレーム間予測復号部１３に送られる。
【００２４】
このフレーム間予測復号部１３は、フレームメモリ１４に保存される前フレーム画像を取り込み、この前フレーム画像と新たに入力される動きベクトルと動き補償予測誤差から次フレーム画像を復号する。復号結果は動画像信号として出力されるとともに、フレームメモリ１４に前フレーム画像として保存される。
【００２５】
一方、受信部１０では受信品質（受信レベル、干渉等）の監視がなされており、その受信品質結果は誤り位置推定部１５に送られる。この誤り位置推定部１５は、受信品質の検出結果から現フレーム上での消失又は誤りの位置を特定して消失領域を推定するもので、ここで推定された消失領域の情報はフレーム間予測復号部１３に送られる。
【００２６】
このフレーム間予測復号部１３では、復号処理の一部に、動きベクトル推定部１３１とエラーコンシールメント処理部１３２が含まれる。動きベクトル推定部１３１は、図２に示す処理手順を順に実行することで、誤り位置推定部１５で推定された消失領域の動きベクトルを推定する。エラーコンシールメント処理は、図５に示すマッチング処理Ｓ１、推定前処理Ｓ２、原画像推定処理Ｓ３を順に実行し、マッチング処理Ｓ１の前段で推定された動きベクトルを用いて消失領域の復元を行う。
【００２７】
上記動きベクトル推定部１３１の図２に示す処理手順について、図３，図４を参照して説明を行う。
【００２８】
まず図３に示すように消失領域を４つのブロックに分割し、その近傍に存在する画素の輝度値を動きベクトル推定のためのマッチングに用いる(図２：ステップＳ１１)。図１中の領域Ωk-は、ｋ番目の消失ブロックの動きベクトル推定のためのマッチング対象領域を表す。また、マッチング対象領域Ωk-のエッジに注目し、以下の式によって画素毎に重みを算出する。  
【数１】
2011055245.tif 000003
【００２９】
ここで、We(x,y)は画素(x,y)における重み、L(x,y)は画素(x,y)を中心とするラプラシアン・フィルター処理によって算出されるエッジ強度、βは尺度母数を表す。
【００３０】
上記のようにして得られた重みを用いてマッチングを行い、マッチング対象領域Ωk（k=1,2,3,4）に対して、それぞれ以下の重み付き平均２乗誤差を最小とする第１の動きベクトル(dx,dy)を算出する(図２：ステップＳ１２)。  
【数２】
2011055245.tif 000004
【００３１】
ここで、Nはマッチングに用いる画素数、B(x,y)、B’(x,y)はそれぞれ対象フレーム、参照フレーム内の座標(x,y)の画素の輝度値である。動きベクトルの探索範囲は例えば±16とする。
【００３２】
次に、上記第１の処理(Ｓ１２)によって消失ブロックは仮に補間が行われているため、第２の処理として、その画素も用いてマッチングを行う。すなわち、図３に示されるマッチング対象領域Ωkと図４に示されるマッチング対象領域Ω’kの両方がマッチングに用いられる。ここで、図４中のΩ’kは、補間されたブロックのｋ番目を、Ω-’kはΩ’kの近傍の領域を表す。但し、Ω’k、Ω-’kの領域に存在する画素が、誤差伝搬や動きベクトルによる補間誤差を含んでいる可能性がある。そうした場合、各画素では信頼性が異なると考えられる。
【００３３】
そこで、カルマンフィルタ・アルゴリズムを用いてエラーコンシールメントを行う場合、全ての時刻において各画素の推定誤差分散を保持し、その保持された誤差分散を利用し、画素毎の信頼度を以下のように定義する(図２：ステップＳ１３)。  
【数３】
2011055245.tif 000005
【００３４】
ここで、Wr(x,y)は画素(x,y)における信頼度を表し、σr2は信頼度決定のための正規分布の分散を表す。
【００３５】
｜d｜は画素(x,y)に含まれる誤差の推定分散値から算出される絶対誤差の平均であり、以下の式で算出される。
【数４】
2011055245.tif 000006
【００３６】
ここで、σu2は推定された誤差分散値である。
【００３７】
得られる信頼度Wr(x,y)を用いて、それぞれのブロックに対して再度マッチングを行い、以下の平均２乗誤差を最小にする第２の動きベクトルを最終的な推定結果とする(図２：ステップＳ１４)。  
【数５】
2011055245.tif 000007
【００３８】
ここで、Nはマッチングに用いる画素数、B(x,y)、B’(x,y)はそれぞれ対象フレーム、参照フレーム内の座標(x,y)の画素の輝度値である。
【００３９】
動きベクトルの探索範囲は、例えば±16で行う。このようにすることで、４つのブロックΩ’k（k=1,2,3,4）に対し、最終的な結果として４つの第２の動きベクトルが算出（推定）される。
【００４０】
上記の方法により第２の動きベクトルを推定することで、消失ブロックに対するマッチングに利用される画素を増大させて動きベクトルの推定精度を向上させることができる。
【００４１】
続いて、上記フレーム間予測復号部１３のエラーコンシールメント処理部１３２の処理について、図６乃至図８を参照してその手順を説明する。
【００４２】
図６は図５に示すマッチング処理Ｓ２１の様子を示す概念図、図７は図５に示す推定前処理Ｓ２２の様子を示す概念図、図８は図５に示す原画像推定処理に用いられるカルマンフィルタ処理の手順を示すフローチャートである。尚、ここでは説明を簡単にするため、時刻tの動画像フレームをFrame tとし、その１フレーム前の時刻t-1の動画像フレームをFrame t-1として表す。
【００４３】
まず、マッチング処理Ｓ２１では、図６に示すように、ブロック・マッチング法を用いて、Frame tの消失領域ΨをN×N（N≦M）画素単位で分割して分割消失領域ωtを求め、個々の分割消失領域ωtを先に復元されたFrame t-1の推定画像の対応領域ωt-1から再構成する。
【００４４】
次に、推定前処理Ｓ２２では、図７に示すように、ブロック・マッチング法を用いてFrame tの分割消失領域ωtの局所領域γtに対応するFrame t-1の推定画像の局所領域γt-1を求める。そして、分割消失領域ωtの局所領域γtに含まれるN×N画素のブロックより小さい小ブロックの全ての画素L×Lについて、Frame t-1の領域ωt-1の対応付けられた局所領域γt-1内から画素単位で第２の動きベクトルv＝(vx,vy)を算出する。
【００４５】
最後に、原画像推定処理Ｓ３では、推定前処理Ｓ２で得られた結果から遷移モデルと観測モデルを定義し、図８に示すカルマンフィルタ・アルゴリズムを用いて原画像の推定を行う。このカルマンフィルタ・アルゴリズムは、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、ブロック単位（ここではN×N画素）で画像を推定する手法である。尚、カルマンフィルタ・アルゴリズムの詳細については、新版「応用カルマンフィルタ」片山徹著、2000年1月20日朝倉書店発行に紹介されている。
【００４６】
以上のエラーコンシールメント処理Ｓ２１〜Ｓ２３を実行することにより、高精度な誤り及び消失の復元が可能となる。
【００４７】
したがって、上記構成による画像処理装置によれば、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、次フレームで消失領域を前フレームの画像から極めて高精度に復元することができ、しかも前フレームの対応領域の輝度値を消失領域に補間する際に生じる誤差を考慮しているため、以降に復元されるフレームに誤差が伝搬することはなく、高精度な復元を継続して行うことができる。
【００４８】
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態の原画像推定処理Ｓ２３では、カルマンフィルタ・アルゴリズムを用いる場合を説明したが、本発明はこれに限定されるものではなく、他の方法として、例えばＲＬＳ（Recursive Least Squares）アルゴリズム、エクステンデッド・カルマンフィルタ・アルゴリズムを利用することも可能である。
【００４９】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５０】
１０…受信部、１１…信号分解部、１２…逆ＤＣＴ演算部、１３…フレーム間予測復号部、１３１…動きベクトル推定部、１３２…エラーコンシールメント処理部、１４…フレームメモリ、１５…誤り位置推定部。
【図１】
2011055245.tif 000008
【図２】
2011055245.tif 000009
【図３】
2011055245.tif 000010
【図４】
2011055245.tif 000011
【図５】
2011055245.tif 000012
【図６】
2011055245.tif 000013
【図７】
2011055245.tif 000014
【図８】
2011055245.tif 000015