(57)【要約】  マッチング処理（Ｓ１）では、バウンダリ・マッチング・アルゴリズムを用いて、処理フレームFrame tの消失領域ΨをN×N画素単位で分割した分割消失領域ωtを、先に復元されたフレームFrame t-1の推定画像の対応領域ωt-1から再構成する。推定前処理（Ｓ２）では、ブロック・マッチング法を用いてFrame tの分割消失領域ωtの局所領域γtに対応するFrame t-1の推定画像の局所領域γt-1を求め、分割消失領域ωtの局所領域γtに含まれる全ての画素L×Lについて、Frame t-1の領域ωt-1の対応付けられた局所領域γt-1内から画素単位で第２の動きベクトルv＝(vx,vy)を算出する。原画像推定処理（Ｓ３）では、フィルタリング前処理（Ｓ２）で得られた結果から遷移モデルと観測モデルを定義し、カルマンフィルタ・アルゴリズムを用いて原画像の推定を行う。
2009048112.tif 000002
【特許請求の範囲】
【請求項１】
M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１のフレーム上の動きベクトルを検出し、前記第１のフレームから検出された動きベクトルとそれに対応する動き補償予測値から第２のフレームを生成することで元の動画像信号を復号する動画像復号器であって、
前記第２のフレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、前記複数の分割不良領域ωtに対してそれぞれ第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレーム上の複数の推定領域ωt-1それぞれの画素値で前記第２のフレーム上の複数の分割不良領域ωtを補間するマッチング処理手段と、
前記第２のフレーム上のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレーム上の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理手段と、
前記第２のフレーム上における観測L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)及びL×L画素の小不良領域γtの推定画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定手段と
を具備することを特徴とする動画像復号器。
【請求項２】
前記推定手段は、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、N×N画素の単位で画像を推定するカルマンフィルタ・アルゴリズムを用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項１に記載の動画像復号器。
【請求項３】
前記推定手段は、前記ブロック単位の消失が発生したときに前記状態遷移モデルの動きベクトルを補償することを特徴とする請求項２に記載の動画像復号器。
【請求項４】
前記推定手段は、前記動きベクトルの補償にバウンダリ・マッチング・アルゴリズムを用いることを特徴とする請求項３に記載の動画像復号器。
【請求項５】
前記推定手段は、前記観測モデルの観測行列にローパスフィルタ特性を用いることを特徴とする請求項２に記載の動画像復号器。
【請求項６】
前記推定手段は、前記観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項５に記載の動画像復号器。
【請求項７】
前記前処理手段は、ブロック・マッチング法を用いて前記第２の動きベクトル（v＝(vx,vy)）を計算することを特徴とする請求項１に記載の動画像復号器。
【請求項８】
前記前処理手段は、凸射影法を用いて前記第２のフレーム上におけるL×L画素の小不良領域γtの観測画像の画素値Zx,y(t)を推定することを特徴とする請求項１に記載の動画像復号器。
【請求項９】
M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１のフレーム上の動きベクトルを検出し、前記第１のフレームから検出された動きベクトルとそれに対応する動き補償予測値から第２のフレームを生成することで元の動画像信号を復号する動画像復号方法であって、
前記第２のフレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、前記複数の分割不良領域ωtに対してそれぞれ第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレーム上の複数の推定領域ωt-1それぞれの画素値で前記第２のフレーム上の複数の分割不良領域ωtを補間するマッチング処理を行い、
前記第２のフレーム上のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレーム上の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を行い、
前記第２のフレーム上における観測L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)及びL×L画素の小不良領域γtの推定画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を行うことを特徴とする動画像復号方法。
【請求項１０】
前記推定処理は、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、N×N画素の単位で画像を推定するカルマンフィルタ・アルゴリズムを用いて前記小領域γtの画素値Xx,y(t)を推定することを特徴とする請求項９に記載の動画像復号方法。
【請求項１１】
前記推定処理は、前記ブロック単位の消失が発生したときに前記状態遷移モデルの動きベクトルを補償することを特徴とする請求項１０に記載の動画像復号方法。
【請求項１２】
前記推定処理は、前記動きベクトルの補償にバウンダリ・マッチング・アルゴリズムを用いることを特徴とする請求項１１に記載の動画像復号方法。
【請求項１３】
前記推定処理は、前記観測モデルの観測行列にローパスフィルタ特性を用いることを特徴とする請求項１０に記載の動画像復号方法。
【請求項１４】
前記推定処理は、前記観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項１３に記載の動画像復号方法。
【請求項１５】
前記前処理は、ブロック・マッチング法を用いて前記第２の動きベクトル（v＝(vx,vy)）を計算することを特徴とする請求項９に記載の動画像復号方法。
【請求項１６】
前記前処理は、凸射影法を用いて前記第２のフレーム上における観測L×L画素の小領域γtの観測画像の画素値Zx,y(t)を推定することを特徴とする請求項９に記載の動画像復号方法。
【請求項１７】
M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１のフレーム上の動きベクトルを検出し、前記第１のフレームから検出された動きベクトルとそれに対応する動き補償予測値から第２のフレームを生成することで元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、
前記第２のフレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、前記複数の分割不良領域ωtに対してそれぞれ第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレーム上の複数の推定領域ωt-1それぞれの画素値で前記第２のフレーム上の複数の分割不良領域ωtを補間するマッチング処理を実行させ、
前記第２のフレーム上のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレーム上の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を実行させ、
前記第２のフレーム上における観測L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)及びL×L画素の小不良領域γtの推定画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を実行させることを特徴とする動画像復号プログラム。
【請求項１８】
前記推定処理は、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、N×N画素の単位で画像を推定するカルマンフィルタ・アルゴリズムを用いて前記小領域γtの画素値Xx,y(t)を推定することを特徴とする請求項１７に記載の動画像復号プログラム。
【請求項１９】
前記推定処理は、前記ブロック単位の消失が発生したときに前記状態遷移モデルの動きベクトルを補償することを特徴とする請求項１８に記載の動画像復号プログラム。
【請求項２０】
前記推定処理は、前記動きベクトルの補償にバウンダリ・マッチング・アルゴリズムを用いることを特徴とする請求項１９に記載の動画像復号プログラム。
【請求項２１】
前記推定処理は、前記観測モデルの観測行列にローパスフィルタ特性を用いることを特徴とする請求項１８に記載の動画像復号プログラム。
【請求項２２】
前記推定処理は、前記観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項２１に記載の動画像復号プログラム。
【請求項２３】
前記前処理は、ブロック・マッチング法を用いて前記第２の動きベクトル（v＝(vx,vy)）を計算することを特徴とする請求項１７に記載の動画像復号プログラム。
【請求項２４】
前記前処理は、凸射影法を用いて前記第２のフレーム上における観測L×L画素の小領域γtの観測画像の画素値Zx,y(t)を推定することを特徴とする請求項１７に記載の動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム単位で符号化された動画像信号を復号する動画像復号器、動画像復号方法及び動画像復号プログラムに関し、特に復号画像に誤り領域あるいは消失領域が発生した際の復元処理に関する。
【背景技術】
【０００２】
フレーム単位で符号化された動画像を復号する場合、一般に動きベクトルと動き補償予測誤差を用いて復号するようにしている。しかしながら、この方法では、誤りが発生して受信信号が正しく復調できなかった場合、動きベクトルや動き補償予測誤差のデータが失われてしまい、結果として復号画像に誤りによる歪みや消失領域（以下、消失領域で総称する）が発生する。この問題を解決する手段として、消失領域の近傍領域の動きベクトルから消失領域の動きベクトルを推定して、前のフレームから画素値を補間する手法が提案されている（例えば、文献１（M. Ghanbari and V. Seferidis, “Cell loss concealment in ATM video codecs,” IEEE Trans. Circuit System Video Technol., vol. 3, pp. 238-247, June 1993.）を参照）。しかしながら、この手法では近傍ブロックが使用できない場合は復元が困難であり、また動物体を含むフレームでは、再推定される動きベクトルの精度が低く、高精度な復元ができない等の問題があった。【０００３】
また、消失領域が存在するフレームと同じフレーム内だけの情報を用いて、空間領域で消失ブロックの画素値を補間する手法も提案されている。このような手法としては、周りの画素を使って境界の誤差が最小になるように補間する方法（例えば、文献２（S. S. Hemami and T. H. Y. Meng, “Transform coded image reconstruction exploiting interblock correlations,” IEEE Trans. Image Processing, vol. 4, pp. 1023-1027, July 1995.）を参照）と、周りの画素のエッジ情報を利用する方法（例えば、文献３（H. Sun and W. Kwok, “Concealment of damaged block transform coded images using projection onto convex sets,” IEEE Trans. Image Processing, vol. 4, pp. 470-477, Apr. 1995.）を参照）が提案されている。しかしながら、これらの手法はフレーム間の相関を消失ブロックの画素値の推定に用いていないため、高精度の復元を行うことができないという問題がある。【０００４】
そこで、フレーム間の相関を用いた方法として、バウンダリ・マッチング・アルゴリズムが提案されている。この方法では消失領域の近傍に存在する画素値が既知の領域から消失領域の動きベクトルを推定し、推定された動きベクトルによって対応づけられる前フレームの領域の画素値を消失領域に対して補間する（例えば、文献４（W.M.Lam, A.R.Reibman and B.Liu, ‘Recovery of lost or erroneously received motion vectors,’ Proc. ICASSP 1993, vol.5, pp.417-420.）を参照）。しかしながら、このバウンダリ・マッチング・アルゴリズムでは、前フレームの対応領域の画素値を消失領域に補間する際に生じる誤差を考慮していないため、以降に復元されるフレームに誤差が伝搬するという新たな問題点が発生する。
【発明の開示】
【０００５】
以上述べたように、従来の動画像復号器では、動きベクトルや動き補償予測誤差のデータが失われてしまった場合に、消失領域の動きベクトルを推定して前フレームから画素値を補間する手法、空間領域で消失ブロックの画素値を補間する手法、バウンダリ・マッチング・アルゴリズムを利用して前フレームから消失領域の画素値を補間する手法が実施されているが、いずれも高精度な復元を維持することは困難であった。
【０００６】
本発明の目的は、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、消失領域を高精度に復元することのできる動画像復号器、動画像復号方法及び動画像復号プログラムを提供することにある。
【０００７】
本発明に係る動画像復号器は、M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１のフレーム上の動きベクトルを検出し、前記第１のフレームから検出された動きベクトルとそれに対応する動き補償予測値から第２のフレームを生成することで元の動画像信号を復号する動画像復号器であって、前記第２のフレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、前記複数の分割不良領域ωtに対してそれぞれ第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレーム上の複数の推定領域ωt-1それぞれの画素値で前記第２のフレーム上の複数の分割不良領域ωtを補間するマッチング処理手段と、前記第２のフレーム上のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレーム上の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理手段と、前記第２のフレーム上における観測L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)及びL×L画素の小不良領域γtの推定画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定手段とを具備することを特徴とする。
【０００８】
また、本発明に係る動画像復号方法は、M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１のフレーム上の動きベクトルを検出し、前記第１のフレームから検出された動きベクトルとそれに対応する動き補償予測値から第２のフレームを生成することで元の動画像信号を復号する動画像復号方法であって、前記第２のフレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、前記複数の分割不良領域ωtに対してそれぞれ第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレーム上の複数の推定領域ωt-1それぞれの画素値で前記第２のフレーム上の複数の分割不良領域ωtを補間するマッチング処理を行い、前記第２のフレーム上のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレーム上の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を行い、前記第２のフレーム上における観測L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)及びL×L画素の小不良領域γtの推定画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を行うことを特徴とする。
【０００９】
また、本発明に係る動画像復号プログラムは、M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１のフレーム上の動きベクトルを検出し、前記第１のフレームから検出された動きベクトルとそれに対応する動き補償予測値から第２のフレームを生成することで元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、前記第２のフレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、前記複数の分割不良領域ωtに対してそれぞれ第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレーム上の複数の推定領域ωt-1それぞれの画素値で前記第２のフレーム上の複数の分割不良領域ωtを補間するマッチング処理を実行させ、前記第２のフレーム上のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上に前記第２のフレームにおける複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレーム上の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を実行させ、前記第２のフレーム上における観測L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)及びL×L画素の小不良領域γtの推定画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を実行させることを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施形態として、本発明の特徴をなすエラーコンシールメント処理を含む動画像復号器の基本構成を示すブロック図である。
【図２】図２は、図１のフレーム間予測復号部に備わるエラーコンシールメント処理の処理手順を示すフローチャートである。
【図３】図３は、図２に示すマッチング処理Ｓ１において、Frame t上のN×N画素の分割消失領域ωtに対してFrame t-1上で対応する領域ωt-1を推定する具体的手法を説明するための概念図である。
【図４】図４は、図２に示す推定前処理Ｓ２において、Frame t上のL×L画素の局所領域γtに対して動きベクトルv＝(vx,vy)を求める具体的手法を説明するための概念図である。
【図５】図５は、図３に示す原画像推定処理Ｓ３において、Frame t上のL×L画素の局所領域γtに対するカルマンフィルタ・アルゴリズムの処理の流れを示すフローチャートである。
【図６】図６は、従来のＢＭＡ法のみを用いて復号したときのＰＳＮＲ特性と本発明の実施形態による復号アルゴリズムを用いたときのＰＳＮＲ特性とを比較して示す特性図である。
【図７Ａ】図７Ａは、実際の復号画像における効果について、上記実施形態の復号アルゴリズムと従来のＢＭＡ法とを比較して説明するための原画像を示す図である。
【図７Ｂ】図７Ｂは、実際の復号画像における効果について、上記実施形態の復号アルゴリズムと従来のＢＭＡ法とを比較して説明するための無修正時の伝送画像を示す図である。
【図８Ａ】図８Ａは、図７Ｂの無修正画像に上記実施形態の復号アルゴリズムを用いて修正した場合の復号画像を示す図である。
【図８Ｂ】図８Ｂは、図７Ｂの無修正画像に従来のＢＭＡ法により修正した場合の復号画像を示す図である。
【図９】図９は、図８Ａに示した実施形態による復号画像と図８Ｂに示した従来法による復号画像との間の画素値の差分を示す図である。
【図１０Ａ】図１０Ａは、図８Ａに示した実施形態による復号画像について、図９に示した画像間の画素値の差が大きい個所を拡大して示す図である。
【図１０Ｂ】図１０Ｂは、図８Ｂに示した従来法による復号画像について、図９に示した画像間の画素値の差が大きい個所を拡大して示す図である。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態について説明する。尚、ここでは、受信された動画像の符号化系列に誤りがあり、復号画像に消失部分が発生した際の、本発明による消失領域補間手順を、以下図面を用いて具体的に説明する。【００１２】
図１は、本発明の一実施形態として、本発明の特徴をなすエラーコンシールメント処理を含む動画像復号器の基本構成を示すブロック図である。図１において、信号分解部１１は、図示しない受信部で復調された、M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力し、この動画像信号を動きベクトルとＤＣＴ（Discrete Cosine Transform：離散コサイン変換）係数に分解する。このうちＤＣＴ係数は逆ＤＣＴ演算部１２に送られる。この逆ＤＣＴ演算部１２は、入力されたＤＣＴ係数の逆ＤＣＴを演算することによって予測誤差を求めるもので、この予測誤差は動きベクトルと共にフレーム間予測復号部１３に送られる。【００１３】
このフレーム間予測復号部１３は、フレームメモリ１４に保存される前フレーム画像を取り込み、この前フレーム画像と新たに入力される動きベクトルと予測誤差から次フレーム画像を復号するもので、エラーコンシールメント処理として、図２に示すマッチング処理Ｓ１、推定前処理Ｓ２、原画像推定処理Ｓ３を順に実行することで、消失領域の復元を行う。【００１４】
上記フレーム間予測復号部１３のエラーコンシールメント処理について、図３乃至図５を参照してその手順を説明する。【００１５】
図３は図２に示すマッチング処理Ｓ１の様子を示す概念図、図４は図２に示す推定前処理Ｓ２の様子を示す概念図、図５は図２に示す推定処理の一例となるカルマンフィルタ処理の手順を示すフローチャートである。尚、ここでは説明を簡単にするため、時刻tの動画像フレームをFrame tとし、その１フレーム前の時刻t-1の動画像フレームをFrame t-1として表す。【００１６】
まず、マッチング処理Ｓ１では、図３に示すように、バウンダリ・マッチング・アルゴリズムを用いて、Frame tの消失領域ΨをN×N（N≦M）画素単位で分割した分割消失領域ωtを、先に復元されたFrame t-1の推定画像の対応領域ωt-1から再構成する。【００１７】
次に、推定前処理Ｓ２では、図４に示すように、ブロック・マッチング法を用いてFrame tの分割消失領域ωtの局所領域γtに対応するFrame t-1の推定画像の局所領域γt-1を求める。そして、分割消失領域ωtの局所領域γtに含まれるN×N画素のブロックより小さい小ブロックの全ての画素L×Lについて、Frame t-1の領域ωt-1の対応付けられた局所領域γt-1内から画素単位で第２の動きベクトルv＝(vx,vy)を算出する。【００１８】
最後に、原画像推定処理Ｓ３では、推定前処理Ｓ２で得られた結果から遷移モデルと観測モデルを定義し、図５に示すカルマンフィルタ・アルゴリズムを用いて原画像の推定を行う。このカルマンフィルタ・アルゴリズムは、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、ブロック単位（ここではN×N画素）で画像を推定する手法である。尚、カルマンフィルタ・アルゴリズムの詳細については、新版「応用カルマンフィルタ」片山徹著、2000年1月20日朝倉書店発行に紹介されている。【００１９】
以下、上述の処理手順Ｓ１〜Ｓ３で実行される処理の内容をより詳しく説明する。【００２０】
［マッチング処理Ｓ１］
上記マッチング処理Ｓ１では、分割消失領域ωtにおける画素(x,y)の画素値をft(x,y)とし、分割消失領域ωtの第１の動きベクトル（d＝(dx,dy)）を以下のように推定する。尚、ここでは、バウンダリ・マッチング・アルゴリズムを用いるが、前のフレームから動きベクトルを推定して画素値を推定する他の方法でもよい。【００２１】
Frame tの消失領域Ψを分割したN×N画素の分割消失領域ωtと同じ位置に相当するFrame t-1のN×N画素の分割推定領域をωt-1とし、及び分割推定領域ωt-1を含むその近傍領域をΩとすると、Frame tの分割消失領域ωtは、Frame t-1ではこの領域Ω内に存在したものと推定される。【００２２】
ここで、領域ωt，ωt-1それぞれの左上端の画素の位置を(x0,y0)とし、右上端を(x0＋N,y0)、左下端を(x0,y0＋N)とする。そして、分割推定領域ωt-1の上辺画素の画素値ft-1(x,y0)（x0≦x≦x0＋N−1）と分割消失領域ωtの上辺より１画素上の画素の画素値ft(x,y0−1)（x0≦x≦x0＋N−1）との間の分散値をCA、分割推定領域ωt-1の左辺の画素の画素値ft-1(x0,y)（y0≦y≦y0＋N−1）とωtの左辺より１画素左の画素の画素値ft(x0−1,y)（y0≦y≦y0＋N−1）との間の分散値をCL、分割推定領域ωt-1の下辺の画素の画素値ft-1(x,y0＋N−１)（x0≦x≦x0＋N−1）と分割消失領域ωtの下辺より１画素下の画素の画素値ft(x,y0＋N)（x0≦x≦x0＋N−1）との間の分散値をCBとすると、各分散値CA，CL及びCBはそれぞれ下記のように計算することができる。
【数１】
2009048112.tif 000003
【００２３】
画素(x,y)の位置を近傍領域Ω内で順次移動させ、各画素(x,y)に対して上記分散値CA，CL及びCBを計算し、全分散値C＝CA＋CL＋CBが最小となる位置(x＋dx,y＋dy)から第１の動きベクトルd＝(dx,dy)を推定する。そして位置(x＋dx,y＋dy)を中心とするN×N画素の領域の画素値を分割消失領域ωtに対して補間する。【００２４】
［推定前処理Ｓ２］
上記推定前処理Ｓ２では、図４に示すように、マッチング処理Ｓ１により復元されたFrame tの画像において、分割消失領域ωtに補間されたN×N画素の各画素を中心とするL×L画素（L≦N）の局所領域γtを構成し、この局所領域γt単位でブロック・マッチングを行い、局所領域γtの動きベクトルv＝(vx,vy)とFrame t上の局所領域γtに対するFrame t-1上の局所領域γt-1を求める。【００２５】
次に、それら２つの局所領域γt，γt-1の間における画素どうしの対応を求めることで、対象とするFrame tの画素値Xx,y(t)をFrame t-1の画素値Xx+vx,y+vy(t-1)から推定する。この処理において、Frame tの各局所領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)のk行l列目要素は、Xx,y(t)のk番目の要素とXx+vx,y+vy(t-1)のl番目の要素が対応する場合には１となり、そうでない場合には０となる。【００２６】
［原画像推定処理Ｓ３］
まず、原画像および観測画像から切り出される局所領域γt内の画素値をXx,y(t)、Zx,y(t)とすると、状態遷移モデルおよび観測モデルはそれぞれ以下のように表わされる。  
【数２】
2009048112.tif 000004
【００２７】
ここで、Xx,y(t)およびZx,y(t)は、それぞれFrame tにおいて、原画像および観測画像の画素(x,y)を中心とする局所領域γt（L×L画素）内の画素値をラスタ走査したベクトルである。【００２８】
さらにその他の行列およびベクトルは以下のように定義される。  
・Ax,y(t)：各要素が０または１であり、動きベクトル(vx,vy)によって対応付けられるFrame t-1における局所領域γt-1内の画素値Xx+vx,y+vy(t-1)から、Frame tの局所領域γt内の画素値Xx,y(t)を推定する行列。  
・U(t)：Xx,y(t)−Ax,y(t) Xx+vx,y+vy(t-1)を表す誤差ベクトル。  
・Hx,y(t)：原画像から観測画像を与える行列。  
・V(t)：Zx,y(t)−Hx,y(t) Xx,y(t)を表す誤差ベクトル。【００２９】
上記のように状態遷移モデルと観測モデルを定義した場合、カルマンフィルタ・アルゴリズムを表現すると以下のようになる。  
【数３】
2009048112.tif 000005
【００３０】
ただし、Pb_x,y(t)とPa_x,y(t)は次式で与えられる推定誤差の共分散行列である。  
【数４】
2009048112.tif 000006
【００３１】
ここで、QU(t)とQV(t)は、平均０、分散σu2およびσv2を対角要素とする対角行列である。【００３２】
観測画像Zx,y(t)に消失領域がある場合には、観測行列Hx,y(t)の消失領域に対応する行の全ての要素が０となる。その結果、その行に対応するKx,y(t)の行の要素も０となり、補正をすることができない。そこで、この問題を解決するための１手法として、ここでは消失領域を凸射影法により再構成した結果を観測画像Zx,y(t)とする。すなわち、フレーム全体をローパスフィルタ特性で処理した画像のままでもよいが、さらに凸射影法により再構成した画像を用いれば、より精度の高い推定が可能となる。ただし、本発明はこの手法に限定されない。他の方法としては、例えばフレーム内補間が挙げられる。【００３３】
具体的には、マッチング処理Ｓ１により、消失領域に対して動きベクトルの補償のためにバウンダリ・マッチング・アルゴリズムを用いて復元した結果を初期値とし、観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて小不良領域γtの原画像の画素値Xx,y(t)を推定する。そして、以下の２つの拘束条件下で、凸射影法により収束する結果を再構成結果とする。  
（１）復元対象画像中で既知の画素値は原画像の値であり、変化しない。  
（２）周波数領域において低周波成分は変化せず、高周波成分は０となるものとする。  
このようにすると、凸射影法により再構成された観測画像において、消失領域の存在した領域の画素値は、原画像の画素値がローパスフィルタ処理により劣化してノイズがのったものとなる。よって、観測行列Hx,y(t)はローパスフィルタを行列で近似したものとしてよく、各行にローパスフィルタの係数が入った行列となる。【００３４】
また、観測雑音を要素とするベクトルW(t)の各要素は、N(0,σv2)に従う白色雑音であるとすると、σv2は凸射影法による再構成結果の画素値Zx,y(t)と原画像の画素値Xx,y(t)にHx,y(t)をかけた結果との差、すなわちWx,y＝Zx,y(t)−Hx,y(t) Xx,y(t)（（５）式）により求めることができる。これにより、（６）式〜（１２）式からL×L画素の小領域における推定現画像X^x,y(t)を導出することができる。【００３５】
カルマンフィルタ・アルゴリズムでは、中心画素(x,y)を１画素ずつずらし、N×N画素全てに対してこの処理を行い、さらにFrame t内の誤り領域・消失領域における全てのN×N画素の領域に対して同様の処理を行う。具体的には、図５に示すように、初期値としてPa_x,y(t),Qu(t)を設定し（ステップＳ３１）、行列Ax,y(t)を用いてPb_x,y(t)を求める（ステップＳ３２）。次に、Qv(t),Hx,y(t)を用いてKx,y(t)を求め（ステップＳ３３）、再度Ax,y(t)を用いてX-x,y(t)を求め（ステップＳ３４）、再度Hx,y(t)を用いて推定現画像X^x,y(t)を求める（ステップＳ３５）。以後、この推定原画像X^x,y(t)を用いてPa_x,y(t)を更新し（ステップＳ３６）、ステップＳ３２から上記の処理を繰り返し実行する。【００３６】
以上の処理Ｓ１〜Ｓ３を実行することにより、高精度な誤り及び消失の復元が可能となる。【００３７】
本発明の効果を示すため、図６に従来法の１つであるバウンダリ・マッチング・アルゴリズム（ＢＭＡ）のみを用いて復号したときのシミュレーション特性（ＰＳＮＲ（Peak Signal-to-Noise Ratio）特性）Ａと、上記の処理Ｓ１〜Ｓ３による復号アルゴリズムを用いたときのシミュレーション特性Ｂとを比較して示す。ここでは、N×N画素の分割消失領域ωtを一般の画像符号化法でよく用いられるマクロブロック（16×16画素）と同じに設定し、L×L画素の局所領域γtを３×３画素、σu2を０．５，σv2を１０とした。また、局所領域γtの観測画像の画素値Zx,y(t)を、凸射影法を用いて推定を行った。図６より、本発明の復号アルゴリズムは従来法に比べて最大約０．５ｄＢの特性改善があることがわかる。【００３８】
さらに、実際の復号画像における効果について、上記実施形態の復号アルゴリズムと従来のＢＭＡ法とを比較して説明する。【００３９】
まず、図７Ａに示す原画像（誤りなし）が伝送された結果、図７Ｂに示すように、伝送路誤り等によって消失領域が発生した画像が得られたとする。この画像について上記実施形態の復号アルゴリズムを用いて修正した場合は図８Ａに示すようになり、従来のＢＭＡ法を用いて修正した場合は図８Ｂに示すようになった。ここで、両者の効果上の違いを明確にするため画素値の差分をとったところ、図９に示すような画像が得られた。特にその差が大きい部分を拡大してみると、本発明に係る復号アルゴリズムの場合は図１０Ａに示すようになり、従来のＢＭＡ法の場合は図１０Ｂに示すようになり、救える領域が拡大されたことがわかる。【００４０】
したがって、上記構成による動画像復号器によれば、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、消失領域を前フレームの画像から極めて高精度に復元することができ、しかも前フレームの対応領域の画素値を消失領域に補間する際に生じる誤差を考慮しているため、以降に復元されるフレームに誤差が伝搬することはなく、高精度な復元を継続して行うことができる。【００４１】
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態の原画像推定処理Ｓ３では、カルマンフィルタ・アルゴリズムを用いる場合を説明したが、本発明はこれに限定されるものではなく、他の方法として、例えばＲＬＳ（Recursive Least Squares）アルゴリズム、エクステンデッド・カルマンフィルタ・アルゴリズムを利用することも可能である。【００４２】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【産業上の利用可能性】
【００４３】
本発明は、特に無線により伝送される圧縮符号化された動画像を受信して復号する携帯電話機、画像処理端末等の動画像復号器に利用して好適するものである。
【図１】
2009048112.tif 000007
【図２】
2009048112.tif 000008
【図３】
2009048112.tif 000009
【図４】
2009048112.tif 000010
【図５】
2009048112.tif 000011
【図６】
2009048112.tif 000012
【図７Ａ】
2009048112.tif 000013
【図７Ｂ】
2009048112.tif 000014
【図８Ａ】
2009048112.tif 000015
【図８Ｂ】
2009048112.tif 000016
【図９】
2009048112.tif 000017
【図１０Ａ】
2009048112.tif 000018
【図１０Ｂ】
2009048112.tif 000019
【手続補正書】
【提出日】平成22年4月14日(2010.4.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係る動画像復号器は、M×M（Mは２以上の自然数）画素のブロック単位で動き補償されたフレーム間の予測により圧縮符号化された動画像信号を入力して、この動画像信号における第１のフレームの画像から前記ブロック単位の動きベクトルを検出し、前記第１のフレームの画像から検出された動きベクトルに対応する動き補償された予測値を演算し、前記動きベクトル及び動き補償された予測値から前記第１フレームに続く第２のフレームの画像を生成するという処理を順次繰り返すことで元の動画像信号を復号する動画像復号器であって、前記第２のフレームの画像から消失又は誤りが生じている不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、これによって得られた複数の分割不良領域ωtそれぞれの第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における前記複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレームの画像の複数の推定領域ωt-1それぞれの画素値で前記第２のフレームの画像の複数の分割不良領域ωtを補間するマッチング処理ユニットと、前記第２のフレームの画像のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtそれぞれの第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレームの画像の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの画像の複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理手段と、前記L×L画素の小不良領域γtの画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いてZx,y(t)−Hx,y(t)Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで、前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定手段とを具備する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明に係る動画像復号方法は、M×M（Mは２以上の自然数）画素のブロック単位で動き補償されたフレーム間の予測により圧縮符号化された動画像信号を入力して、この動画像信号における第１のフレームの画像から前記ブロック単位の動きベクトルを検出し、前記第１のフレームの画像から検出された動きベクトルに対応する動き補償された予測値から前記第１のフレームに続く第２のフレームの画像を生成するという処理を順次繰り返すことで元の動画像信号を復号する動画像復号方法であって、前記第２のフレームの画像から消失又は誤りが生じている不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、これによって得られた複数の分割不良領域ωtそれぞれの第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における前記複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレームの画像の複数の推定領域ωt-1それぞれの画素値で前記第２のフレームの画像の複数の分割不良領域ωtを補間するマッチング処理を行い、前記第２のフレームの画像のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtそれぞれの第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレームの画像の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの画像の複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を行い、前記L×L画素の小不良領域γtの画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いてZx,y(t)−Hx,y(t)Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで、前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を行う。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明に係る動画像復号プログラムは、M×M（Mは２以上の自然数）画素のブロック単位で動き補償されたフレーム間の予測により圧縮符号化された動画像信号を入力して、この動画像信号における第１のフレームの画像から前記ブロック単位の動きベクトルを検出し、前記第１のフレームの画像から検出された動きベクトルに対応する動き補償された予測値から前記第１のフレームに続く第２のフレームの画像を生成するという処理を順次繰り返すことで元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、前記第２のフレームの画像から消失又は誤りが生じている不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、これによって得られた複数の分割不良領域ωtに対してそれぞれの第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における前記複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレームの画像の複数の推定領域ωt-1それぞれの画素値で前記第２のフレームの画像の複数の分割不良領域ωtを補間するマッチング処理を実行させ、前記第２のフレームの画像のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtそれぞれの第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレームの画像の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を実行させ、前記L×L画素の小不良領域γtの画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いてZx,y(t)−Hx,y(t)Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで、前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を実行させる。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
M×M（Mは２以上の自然数）画素のブロック単位で動き補償されたフレーム間の予測により圧縮符号化された動画像信号を入力して、この動画像信号における第１のフレームの画像から前記ブロック単位の動きベクトルを検出し、前記第１のフレームの画像から検出された動きベクトルに対応する動き補償された予測値を演算し、前記動きベクトル及び動き補償された予測値から前記第１フレームに続く第２のフレームの画像を生成するという処理を順次繰り返すことで元の動画像信号を復号する動画像復号器であって、
前記第２のフレームの画像から消失又は誤りが生じている不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、これによって得られた複数の分割不良領域ωtそれぞれの第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における前記複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレームの画像の複数の推定領域ωt-1それぞれの画素値で前記第２のフレームの画像の複数の分割不良領域ωtを補間するマッチング処理ユニットと、
前記第２のフレームの画像のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtそれぞれの第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレームの画像の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの画像の複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理手段と、
前記L×L画素の小不良領域γtの画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いてZx,y(t)−Hx,y(t)Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで、前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定手段と
を具備することを特徴とする動画像復号器。
【請求項２】
前記推定手段は、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、N×N画素の単位で画像を推定するカルマンフィルタ・アルゴリズムを用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項１に記載の動画像復号器。
【請求項３】
前記推定手段は、前記ブロック単位の消失が発生したときに前記状態遷移モデルの動きベクトルを補償することを特徴とする請求項２に記載の動画像復号器。
【請求項４】
前記推定手段は、前記動きベクトルの補償にバウンダリ・マッチング・アルゴリズムを用いることを特徴とする請求項３に記載の動画像復号器。
【請求項５】
前記推定手段は、前記観測モデルの観測行列にローパスフィルタ特性を用いることを特徴とする請求項２に記載の動画像復号器。
【請求項６】
前記推定手段は、前記観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項５に記載の動画像復号器。
【請求項７】
前記前処理手段は、ブロック・マッチング法を用いて前記第２の動きベクトル（v＝(vx,vy)）を計算することを特徴とする請求項１に記載の動画像復号器。
【請求項８】
前記前処理手段は、凸射影法を用いて前記L×L画素の小不良領域γtの観測画像の画素値Zx,y(t)を推定することを特徴とする請求項１に記載の動画像復号器。
【請求項９】
M×M（Mは２以上の自然数）画素のブロック単位で動き補償されたフレーム間の予測により圧縮符号化された動画像信号を入力して、この動画像信号における第１のフレームの画像から前記ブロック単位の動きベクトルを検出し、前記第１のフレームの画像から検出された動きベクトルに対応する動き補償された予測値から前記第１のフレームに続く第２のフレームの画像を生成するという処理を順次繰り返すことで元の動画像信号を復号する動画像復号方法であって、
前記第２のフレームの画像から消失又は誤りが生じている不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、これによって得られた複数の分割不良領域ωtそれぞれの第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における前記複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレームの画像の複数の推定領域ωt-1それぞれの画素値で前記第２のフレームの画像の複数の分割不良領域ωtを補間するマッチング処理を行い、
前記第２のフレームの画像のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtそれぞれの第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレームの画像の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの画像の複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を行い、
前記L×L画素の小不良領域γtの画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いてZx,y(t)−Hx,y(t)Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで、前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を行うことを特徴とする動画像復号方法。
【請求項１０】
前記推定処理は、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、N×N画素の単位で画像を推定するカルマンフィルタ・アルゴリズムを用いて前記小領域γtの画素値Xx,y(t)を推定することを特徴とする請求項９に記載の動画像復号方法。
【請求項１１】
前記推定処理は、前記ブロック単位の消失が発生したときに前記状態遷移モデルの動きベクトルを補償することを特徴とする請求項１０に記載の動画像復号方法。
【請求項１２】
前記推定処理は、前記動きベクトルの補償にバウンダリ・マッチング・アルゴリズムを用いることを特徴とする請求項１１に記載の動画像復号方法。
【請求項１３】
前記推定処理は、前記観測モデルの観測行列にローパスフィルタ特性を用いることを特徴とする請求項１０に記載の動画像復号方法。
【請求項１４】
前記推定処理は、前記観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項１３に記載の動画像復号方法。
【請求項１５】
前記前処理は、ブロック・マッチング法を用いて前記第２の動きベクトル（v＝(vx,vy)）を計算することを特徴とする請求項９に記載の動画像復号方法。
【請求項１６】
前記前処理は、凸射影法を用いて前記L×L画素の小領域γtの観測画像の画素値Zx,y(t)を推定することを特徴とする請求項９に記載の動画像復号方法。
【請求項１７】
M×M（Mは２以上の自然数）画素のブロック単位で動き補償されたフレーム間の予測により圧縮符号化された動画像信号を入力して、この動画像信号における第１のフレームの画像から前記ブロック単位の動きベクトルを検出し、前記第１のフレームの画像から検出された動きベクトルに対応する動き補償された予測値から前記第１のフレームに続く第２のフレームの画像を生成するという処理を順次繰り返すことで元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、
前記第２のフレームの画像から消失又は誤りが生じている不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、これによって得られた複数の分割不良領域ωtに対してそれぞれの第１の動きベクトル（d＝(dx,dy)）を推定し、この第１の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における前記複数の分割不良領域ωtそれぞれに対応する複数の領域ωt-1を推定し、前記第１のフレームの画像の複数の推定領域ωt-1それぞれの画素値で前記第２のフレームの画像の複数の分割不良領域ωtを補間するマッチング処理を実行させ、
前記第２のフレームの画像のN×N画素の分割不良領域ωtにおいて、前記N×N個の画素(x,y)それぞれを中心としたL×L画素（L≦N）の小不良領域γtそれぞれの第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１のフレームの画像に前記第２のフレームの画像における複数の小不良領域γtそれぞれに対応するL×L画素の複数の小領域γt-1を推定し、前記第１のフレームの画像の複数の小推定領域γt-1それぞれの画素値Xx+vx,y+vy(t-1)から前記第２のフレームの複数の小不良領域γtの原画像の画素値Xx,y(t)を推定する行列Ax,y(t)を求める前処理を実行させ、
前記L×L画素の小不良領域γtの画素値Xx,y(t)から前記観測画像の画素値Zx,y(t)を与える行列Hx,y(t)を用いてZx,y(t)−Hx,y(t)Xx,y(t)と表される誤差ベクトルの共分散行列Qv(t)を推定することで、前記小不良領域γtの原画像の画素値Xx,y(t)を推定する推定処理を実行させることを特徴とする動画像復号プログラム。
【請求項１８】
前記推定処理は、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、N×N画素の単位で画像を推定するカルマンフィルタ・アルゴリズムを用いて前記小領域γtの画素値Xx,y(t)を推定することを特徴とする請求項１７に記載の動画像復号プログラム。
【請求項１９】
前記推定処理は、前記ブロック単位の消失が発生したときに前記状態遷移モデルの動きベクトルを補償することを特徴とする請求項１８に記載の動画像復号プログラム。
【請求項２０】
前記推定処理は、前記動きベクトルの補償にバウンダリ・マッチング・アルゴリズムを用いることを特徴とする請求項１９に記載の動画像復号プログラム。
【請求項２１】
前記推定処理は、前記観測モデルの観測行列にローパスフィルタ特性を用いることを特徴とする請求項１８に記載の動画像復号プログラム。
【請求項２２】
前記推定処理は、前記観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて前記小不良領域γtの原画像の画素値Xx,y(t)を推定することを特徴とする請求項２１に記載の動画像復号プログラム。
【請求項２３】
前記前処理は、ブロック・マッチング法を用いて前記第２の動きベクトル（v＝(vx,vy)）を計算することを特徴とする請求項１７に記載の動画像復号プログラム。
【請求項２４】
前記前処理は、凸射影法を用いて前記観測L×L画素の小領域γtの観測画像の画素値Zx,y(t)を推定することを特徴とする請求項１７に記載の動画像復号プログラム。
【国際調査報告】
2009048112.tif 000020
2009048112.tif 000021
2009048112.tif 000022