(57)【特許請求の範囲】
【請求項１】
復号動画像信号から符号化歪みを低減する映像復号装置であって、
符号化された動画像信号を復号して復号動画像信号及び動きベクトル情報を出力する復号器と、
前記復号動画像信号から出力された処理対象画面及びその処理対象画面と時間的に隣接する１つ以上の参照画面が入力され、前記動きベクトル情報を用いて前記処理対象画面および参照画面から各々画素ブロックを切り出して出力する類似度演算部と、
前記類似度演算部から出力された前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを用いた時間平均化処理を行って平均化画素ブロックを作成し、その平均化画素ブロックを出力する平均部と、
前記平均化画素ブロックを、前記処理対象画面の画素ブロックと置き換えるブロック置換部と、
前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度に基づいて重み付けを決定する重み付け制御部と
を有し、
前記類似度演算部は、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度を演算して出力し、
前記平均部は、前記重み付け制御部が決定した重み付けに基づき、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを重み付けして平均化処理を行って前記平均化画素ブロックを作成し、
前記重み付け制御部は、前記参照画面の画素ブロックの空間位置が、前記処理対象画面の画素ブロックの空間位置と一致し、又は前記参照画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記処理対象画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記平均部で平均化処理を行わないように前記重み付けを決定する
ことを特徴とする映像復号装置。
【請求項２】
前記処理対象画面の画素ブロック毎に画素ブロック近傍の平均輝度を計算する平均輝度計算部を更に有し、
前記重み付け制御部は、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度および前記処理対象画面の画素ブロック近傍の平均輝度に基づいて重み付けを決定する
ことを特徴とする請求項１記載の映像復号装置。
【請求項３】
前記類似度演算部は、前記動きベクトル情報を用いて前記処理対象画面および参照画面から各々画素ブロックを切り出すとき、前記画素ブロックの境界を超えて前記画素ブロック間で重複があるように切り出し、
前記ブロック置換部は、重複して切り出された前記画素ブロックの大きさのまま前記平均化画素ブロックを前記処理対象画面の画素ブロックと置き換えることを特徴とする請求項１又は２記載の映像復号装置。
【請求項４】
復号動画像信号から符号化歪みを低減するコンピュータに、
符号化された動画像信号を復号して復号動画像信号及び動きベクトル情報を出力する第１ステップと、
前記復号動画像信号から出力された処理対象画面及びその処理対象画面と時間的に隣接する１つ以上の参照画面が入力され、前記動きベクトル情報を用いて前記処理対象画面および参照画面から各々画素ブロックを切り出して出力する第２ステップと、
前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度に基づいて重み付けを決定する第３ステップと、
出力された前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを用いた時間平均化処理を行って平均化画素ブロックを作成し、その平均化画素ブロックを出力する第４ステップと、
前記平均化画素ブロックを、前記処理対象画面の画素ブロックと置き換える第５ステップと
を実行させ、
前記第２ステップは、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度を演算して出力し、
前記第３ステップは、前記参照画面の画素ブロックの空間位置が、前記処理対象画面の画素ブロックの空間位置と一致し、又は前記参照画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記処理対象画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記平均部で平均化処理を行わないように前記重み付けを決定し、
前記第４ステップは、前記重み付け制御部が決定した重み付けに基づき、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを重み付けして平均化処理を行って前記平均化画素ブロックを作成する為の映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像復号装置および映像復号プログラムに係り、特に符号化された動画像信号を復号し、その復号動画像信号から符号化歪みを低減する映像復号装置および映像復号プログラムに関する。
【背景技術】
【０００２】
例えば動画像の非可逆符号化に伴い発生する符号化歪みの代表的なものとしてはブロック歪みとモスキートノイズとがある。ブロック歪みは画像を小ブロックに分割して各々独立に量子化処理を行うことにより、復号後の隣接ブロック間で信号の不連続が生じ、ブロック状のパターンが出現する歪みである。
【０００３】
モスキートノイズは画像高周波成分を重点的に削減する符号化処理により、復号画像において高周波成分が不足し、画像エッジ部などに蚊が飛んでいるかのようなリンギングパターンが出現する歪みである。
【０００４】
従来、これらの符号化歪みを改善する手法としては、符号化前の動画像信号に対してフィルタ処理を行う前置フィルタ処理と、復号後の動画像信号に対してフィルタ処理を行う後置フィルタ処理とがある。
【０００５】
前置フィルタ処理は、符号化前の動画像に対して低域通過フィルタ処理を施すことにより、符号化歪み発生の原因となる画像高周波成分を予め取り除くものである（例えば非特許文献１参照）。
【０００６】
後置フィルタ処理は、符号化歪みが発生した復号動画像信号に対して低域通過フィルタ処理を施すことにより符号化歪みを平滑化し、視覚的に目立たなくするものである（例えば非特許文献２参照）。
【０００７】
後置フィルタ処理は、ＡＶＣ／Ｈ．２６４符号化方式においてもデブロッキングフィルタとして用いられている。このデブロッキングフィルタは、復号動画像のブロック境界において低域通過フィルタ処理を行うことによりブロック歪みを平滑化し、視覚的に目立たなくしている。
【非特許文献１】宮本剛，都竹愛一郎著、「動画像符号化の画質改善用プリフィルタに関する一検討」、１９９７年電子情報通信学会総合大会、Ｄ−１１−１
【非特許文献２】茂木健著、「適応的平滑化によるＤＣＴ符号化歪みの低減」、２０００年電子情報通信学会総合大会、Ｄ−１１−２８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記した従来手法のうち、前置フィルタ処理による符号化歪み低減手法では入力画像の画像エッジ成分等に対しても一律に平滑化処理を施すために、復号後の符号化歪みが減る一方で、画像の高精細感も失われる結果となり、画質を落としてしまっていた。入力画像の静動判定や画面内の局所的性質に基づいてフィルタ係数を変えるといった適応処理も試みられているが、すべての画像に対して一律に効果が得られるような決定的な手法は無い。
【０００９】
また、従来の後置フィルタ処理による符号化歪み低減手法では、ブロック歪みなどの符号化歪みによるエッジ成分のみならず、画像本来のエッジ成分も平滑化処理の対象としていたため、画像本来の輪郭までもぼやけさせてしまい、画質を落としてしまっていた。
【００１０】
一方で、画像本来のエッジ成分を保持したまま、符号化歪みによるエッジ成分のみを平滑化しようとする試みも行われているが、一般に画像本来のエッジ成分と符号化歪みによるエッジ成分とを区別するための閾値設定は困難である。
【００１１】
後置フィルタ処理に関しては、ＡＶＣ／Ｈ．２６４符号化方式のようにデブロッキングフィルタが用いられる符号化方式もあるが、一方でＭＰＥＧ−２符号化方式のようにデブロッキングフィルタが用いられない符号化方式もある。多数の動画像符号化方式が存在する中、符号化方式に依存しない画質改善手法の要望は高かった。
【００１２】
本発明は、上記の点に鑑みなされたもので、高精細度を保ったまま復号動画像信号から符号化歪みを低減できる映像復号装置および映像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、復号動画像信号から符号化歪みを低減する映像復号装置であって、符号化された動画像信号を復号して復号動画像信号及び動きベクトル情報を出力する復号器と、前記復号動画像信号から出力された処理対象画面及びその処理対象画面と時間的に隣接する１つ以上の参照画面が入力され、前記動きベクトル情報を用いて前記処理対象画面および参照画面から各々画素ブロックを切り出して出力する類似度演算部と、前記類似度演算部から出力された前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを用いた時間平均化処理を行って平均化画素ブロックを作成し、その平均化画素ブロックを出力する平均部と、前記平均化画素ブロックを、前記処理対象画面の画素ブロックと置き換えるブロック置換部と、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度に基づいて重み付けを決定する重み付け制御部とを有し、前記類似度演算部は、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度を演算して出力し、前記平均部は、前記重み付け制御部が決定した重み付けに基づき、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを重み付けして平均化処理を行って前記平均化画素ブロックを作成し、前記重み付け制御部は、前記参照画面の画素ブロックの空間位置が、前記処理対象画面の画素ブロックの空間位置と一致し、又は前記参照画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記処理対象画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記平均部で平均化処理を行わないように前記重み付けを決定することを特徴とする。
【００１４】
また、本発明は、復号動画像信号から符号化歪みを低減するコンピュータに、符号化された動画像信号を復号して復号動画像信号及び動きベクトル情報を出力する第１ステップと、前記復号動画像信号から出力された処理対象画面及びその処理対象画面と時間的に隣接する１つ以上の参照画面が入力され、前記動きベクトル情報を用いて前記処理対象画面および参照画面から各々画素ブロックを切り出して出力する第２ステップと、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度に基づいて重み付けを決定する第３ステップと、出力された前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを用いた時間平均化処理を行って平均化画素ブロックを作成し、その平均化画素ブロックを出力する第４ステップと、前記平均化画素ブロックを、前記処理対象画面の画素ブロックと置き換える第５ステップとを実行させ、前記第２ステップは、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとの類似度を演算して出力し、前記第３ステップは、前記参照画面の画素ブロックの空間位置が、前記処理対象画面の画素ブロックの空間位置と一致し、又は前記参照画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記処理対象画面の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記平均部で平均化処理を行わないように前記重み付けを決定し、前記第４ステップは、前記重み付け制御部が決定した重み付けに基づき、前記処理対象画面の画素ブロックと前記参照画面の画素ブロックとを重み付けして平均化処理を行って前記平均化画素ブロックを作成する為の映像復号プログラムであることを特徴とする。
【００１５】
本発明は符号化歪みの発生した復号動画像信号に適用され、処理対象画面を含む同一時間軸上の複数の参照画面を用い、複数の画素ブロックを平均化して、処理対象画面の画素ブロックと置き換えることで、符号化歪みを低減している。
【発明の効果】
【００１６】
上記の如く、本発明によれば、高精細度を保ったまま復号動画像信号から符号化歪みを低減できる映像復号装置および映像復号プログラムを提供可能である。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。本発明は、符号化された動画像の画質改善に係り、復号された動きベクトル情報を用いて符号化歪みを低減する画像処理に関するものである。
【００１８】
本発明は、動画像の時間的な連続性もしくは類似性を利用し、復号動画像に対する時間方向の平滑化処理により、符号化歪みを低減する。本発明は被写体の空間位置や時間的類似性の度合いに応じて適応的に重み付けを行なうことで、画像の高精細度を保ったまま、符号化歪みを低減することができる。
【００１９】
まず、本発明の理解を容易とする為、図１〜図５のイメージ図を参照しつつ本発明の概要について説明する。図１〜図５のイメージ図は参照画面が１つの例を表している。なお、以下の説明においてＭで示される数値は、ＰピクチャとＰピクチャとの間隔もしくはＰピクチャとＩピクチャとの間隔を示す。
【００２０】
例えばＭ＝１ならば、符号化ピクチャグループは図６に示すような構造で表される。また、Ｍ＝３ならば符号化ピクチャグループは図７に示すような構造で表される。図６はＭ＝１のＧＯＰ（Group Of Pictures）構成を示す一例のイメージ図である。図７はＭ＝３のＧＯＰ構成を示す一例のイメージ図である。
【００２１】
図１は、Ｍ＝１の場合のＰピクチャの処理の概要を示す一例のイメージ図である。図１の上段は、入力された復号動画像信号を表している。図１の復号動画像信号は、画面１００，１０１，１０２，１０３及び１０４の順番で入力されている。
【００２２】
本発明では、処理対象画面１０２の画素ブロックＢの動きベクトルを用い、その動きベクトルを外挿することにより指し示される画面１０３の画素ブロックＣを得る。そして、本発明では画素ブロックＢ及び画素ブロックＣの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＢ′を作成し、処理対象画面１０２の画素ブロックＢと置き換えている。この処理を処理対象画面１０２の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を得ることができる。
【００２３】
図１の下段は、符号化歪みを低減して画質が改善された改善動画像信号を表している。図１の改善動画像信号は、画面１１０，１１１，１１２，１１３及び１１４の順番で出力されている。画面１１２は、処理対象画面１０２の画素ブロックＢが画素ブロックＢ′と置き換えられたものである。
【００２４】
また、処理対象画面１０２と同様、本発明では処理対象画面１０３のブロックＥの動きベクトルを用い、その動きベクトルを外挿することにより指し示される画面１０４の画素ブロックＦを得る。本発明では、処理対象画面１０３の画素ブロックＥ及び画面１０４の画素ブロックＦの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＥ′を作成し、処理対象画面１０３の画素ブロックＥと置き換えている。
【００２５】
図２は、Ｍ＝１の場合のＩピクチャの処理の概要を示す一例のイメージ図である。図２の上段は、入力された復号動画像信号を表している。図２の復号動画像信号は、画面１２０，１２１，１２２，１２３及び１２４の順番で入力されている。
【００２６】
本発明では、画面１２１の画素ブロックＢの動きベクトルを外挿することで処理対象画面１２２の画素ブロックＣを求める。そして、本発明では画素ブロックＢ及び画素ブロックＣの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＣ′を作成し、処理対象画面１２２の画素ブロックＣと置き換えている。この処理を処理対象画面１２２から見て１つ過去のＰピクチャである画面１２１の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を得ることができる。
【００２７】
図２の下段は、符号化歪みを低減して画質が改善された改善動画像信号を表している。図２の改善動画像信号は、画面１３０，１３１，１３２，１３３及び１３４の順番で出力されている。画面１３２は、処理対象画面１２２の画素ブロックＣが画素ブロックＣ′と置き換えられたものである。
【００２８】
なお、この場合、処理対象画面１２２となるＩピクチャにおいて全ての画素が置換処理されるとは限らない。実際の映像では、動きベクトルが画面のある点に集中することは殆どない為、実用上の問題は無い。
【００２９】
図３は、Ｍ＝３の場合のＰピクチャの処理の概要を示す一例のイメージ図である。図３の上段は、入力された復号動画像信号を表している。図３の復号動画像信号は、画面１４０，１４１，１４２，１４３及び１４４の順番で入力されている。
【００３０】
本発明では、処理対象画面１４３の画素ブロックＣの動きベクトルを用い、その動きベクトルが指し示す画面１４２の画素ブロックＢを求める。そして、本発明では画素ブロックＢ及び画素ブロックＣの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＣ′を作成し、処理対象画面１４３の画素ブロックＣと置き換えている。この処理を処理対象画面１４３の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を得ることができる。
【００３１】
図３の下段は、符号化歪みを低減して画質が改善された改善動画像信号を表している。図３の改善動画像信号は、画面１５０，１５１，１５２，１５３及び１５４の順番で出力されている。画面１５３は、処理対象画面１４３の画素ブロックＣが画素ブロックＣ′と置き換えられたものである。
【００３２】
なお、本発明では、なるべく直近のピクチャを使用する為、動きベクトルが指し示す画面１４１ではなく、画面１４２の画素ブロックＢを求めている。このように直近のピクチャを使用すれば、シーンチェンジ等の対策となる。
【００３３】
図４は、Ｍ＝３の場合のＢピクチャの処理の概要を示す一例のイメージ図である。図４の上段は、入力された復号動画像信号を表している。図４の復号動画像信号は、画面１６０，１６１，１６２，１６３及び１６４の順番で入力されている。
【００３４】
Ｍ＝３の場合、Ｂピクチャは連続して２つ存在する。ここでは、過去の方のＢピクチャ（画面１６１）をＢ１ピクチャとし、未来の方のＢピクチャ（画面１６２）をＢ２ピクチャとして区別することにする。
【００３５】
Ｂ１ピクチャを処理する場合、本発明では処理対象画面１６１の画素ブロックＢの動きベクトルを用い、その動きベクトルが指し示す画面１６２の画素ブロックＣを求める。そして、本発明では画素ブロックＢ及び画素ブロックＣの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＢ′を作成し、処理対象画面１６１の画素ブロックＢと置き換えている。
【００３６】
Ｂ２ピクチャを処理する場合、本発明では処理対象画面１６２の画素ブロックＧの動きベクトルを用い、その動きベクトルが指し示す画面１６１の画素ブロックＦを求める。そして、本発明では画素ブロックＦ及び画素ブロックＧの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＧ′を作成し、処理対象画面１６２の画素ブロックＧと置き換えている。
【００３７】
この処理を処理対象画面１６１又は１６２の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を得ることができる。
【００３８】
図４の下段は、符号化歪みを低減して画質が改善された改善動画像信号を表している。図４の改善動画像信号は、画面１７０，１７１，１７２，１７３及び１７４の順番で出力されている。画面１７１は、処理対象画面１６１の画素ブロックＢが画素ブロックＢ′と置き換えられたものである。また、画面１７２は処理対象画面１６２の画素ブロックＧが画素ブロックＧ′と置き換えられたものである。
【００３９】
図５は、Ｍ＝３の場合のＩピクチャの処理の概要を示す一例のイメージ図である。図５の上段は、入力された復号動画像信号を表している。図５の復号動画像信号は、画面１８０，１８１，１８２，１８３及び１８４の順番で入力されている。
【００４０】
本発明では、画面１８１の画素ブロックＢの動きベクトルを用い、その動きベクトルが指し示す画面１８２の画素ブロックＣ及び処理対象画面１８３の画素ブロックＤを求める。そして、本発明では画素ブロックＣ及び画素ブロックＤの類似度に基づいた重み付け平均化処理を行うことで、画素ブロックＤ′を作成し、処理対象画面１８３の画素ブロックＤと置き換えている。
【００４１】
この処理を処理対象画面１８３から見て２つ過去のＢピクチャである画面１８１の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を得ることができる。
【００４２】
図５の下段は、符号化歪みを低減して画質が改善された改善動画像信号を表している。図５の改善動画像信号は、画面１９０，１９１，１９２，１９３及び１９４の順番で出力されている。画面１９３は、処理対象画面１８３の画素ブロックＤが画素ブロックＤ′と置き換えられたものである。
【００４３】
なお、この場合、処理対象画面１８３となるＩピクチャにおいて全ての画素が置換処理されるとは限らない。実際の映像では、動きベクトルが画面のある点に集中することは殆どない為、実用上の問題は無い。
【００４４】
また、ＰピクチャやＢピクチャにおいて、画素ブロックによっては、稀に処理に用いる動きベクトルが存在しない場合もある。例えば画素ブロックがイントラブロック（動きベクトルを用いない画面内符号化ブロック）となっている場合には処理に用いる動きベクトルが存在しない場合もある。処理に用いる動きベクトルが存在しない場合、その画素ブロックにおいて上述したような演算処理は行わない。
【００４５】
ただし、画素ブロックに動きベクトルが存在しなくても、動きベクトルを周辺の動きベクトルから予測して算出する符号化アルゴリズムの場合は（例えば左隣の画素ブロックの動きベクトルと同じ動きベクトルを使うなど）、その算出された動きベクトルを用いる。
【００４６】
また、符号化方式によっては動きベクトルがフレーム単位で算出されている場合、フィールド単位で算出されている場合、ブロックを分割したサブブロック単位で算出されている場合等があるが、これらの場合は、それぞれ対象となる画素ブロックサイズにおいて上述した方法と同じ処理を順次行えばよい。
【００４７】
本発明は、符号化歪みの発生した復号動画像信号に適用される。本発明は、復号された動きベクトル情報を用いて、処理対象画面（処理対象ピクチャ）を含む同一時間軸上の複数のピクチャにおける類似度の高い複数の画素ブロックを平均化し、処理対象ピクチャの画素ブロックと置き換えることで、符号化歪みを低減することができる。
【００４８】
以下の実施例において、本発明の映像復号装置に入力される信号は、動きベクトルを用いて画面間圧縮が行われた符号化された動画像信号（以下、符号化ストリームと呼ぶ）であるとする。例えば動きベクトルを用いて画面間圧縮が行われた符号化ストリームは、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ（Ｈ．２６４）の符号化ストリームが相当する。
【実施例１】
【００４９】
図８は本発明による映像復号装置の第１実施例の構成図である。図８の映像復号装置は、復号器１，１フレーム遅延部２，１フレーム遅延部３，メモリ４，動きベクトル外挿部５，類似度演算部６，重み付け制御部７，加重平均部８，スイッチ９，ブロック置換部１０，ブロック置換部１１，１フレーム遅延部１２及びスイッチ１３を含むように構成されている。
【００５０】
本発明による映像復号装置に入力される符号化ストリームは、非可逆圧縮符号化された動画像信号とする。符号化ストリームは復号器１に入力される。復号器１は入力された符号化ストリームを復号し、その復号動画像信号を１フレーム遅延部２，類似度演算部６，ブロック置換部１０に出力する。また、復号器１は符号化ストリームに含まれるピクチャタイプ情報を１フレーム遅延部３及びスイッチ９に出力する。さらに、復号器１は符号化ストリームに含まれる動きベクトル情報をメモリ４に出力する。
【００５１】
１フレーム遅延部２は、入力された復号動画像信号を１フレーム分遅延させたあと、類似度演算部６及びブロック置換部１１に出力する。１フレーム遅延部３は入力されたピクチャタイプ情報を１フレーム分遅延させたあと、スイッチ１３に出力する。
【００５２】
メモリ４は、入力された動きベクトル情報を１フレーム分、順次格納する。なお、メモリ４は動きベクトル情報の入力があれば格納している動きベクトル情報を押し出す形で新たな動きベクトル情報を格納する。メモリ４から押し出された動きベクトル情報は動きベクトル外挿部５に入力される。動きベクトル外挿部５は入力された動きベクトル情報に含まれる動きベクトルを外挿し、外挿した動きベクトルを類似度演算部６に出力する。
【００５３】
類似度演算部６は復号器１から入力される復号動画像信号と、１フレーム遅延部２から入力される１フレーム分遅延された復号動画像信号と、動きベクトル外挿部５から入力される外挿した動きベクトルとを用いて、以下のように類似度を演算する。なお、類似度演算部６は図１に示すように、処理対象画面がＰピクチャのとき、処理対象画面の画素ブロックの動きベクトルを用い、１つ未来のピクチャとの間で処理を行なう。また、類似度演算部６は図２に示すように、処理対象画面がＩピクチャのとき、１つ過去のピクチャの画素ブロックの動きベクトルを用い、１つ過去のピクチャとの間で処理を行なう。
【００５４】
まず、図１に示すように、処理対象画面がＰピクチャであるときの処理を説明する。類似度演算部６は処理対象画面１０２の画素ブロックＢの動きベクトルを用い、その動きベクトルを外挿することにより指し示される参照画面１０３の画素ブロックＣを得る。
【００５５】
類似度演算部６は、外挿した動きベクトルが指し示す処理対象画面１０２の画素ブロックＢ及び参照画面１０３の画素ブロックＣの類似度を求める。例えば画素ブロック間の類似度ＳＭＬは以下の式（１），（２）を用いて算出される。
【００５６】
ｃｒｔi,jは処理対象画面の画素ブロックの画素値を表す。ｒｅｆi,jは参照画面の画素ブロックの画素値を表す。ＴＤは、処理対象画面と参照画面との時間的な距離を表す。
【００５７】
【数１】
0004528255.tif 000002
式（２）は、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算し、処理対象画面と参照画面との時間的な距離に応じて補正してＳＡＤを算出している。
【００５８】
ＳＡＤは、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が小さいほど、処理対象画面と参照画面との時間的な距離が近いほど小さな値となる。また、ＳＡＤは、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が大きいほど、処理対象画面と参照画面との時間的な距離が遠いほど大きな値となる。
【００５９】
式（１）は、ＳＡＤの逆数である類似度ＳＭＬを算出している。類似度ＳＭＬは処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が小さいほど、処理対象画面と参照画面との時間的な距離が近いほど大きな値となる。また、類似度ＳＭＬは、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が大きいほど、処理対象画面と参照画面との時間的な距離が遠いほど小さな値となる。
【００６０】
類似度演算部６は、外挿した動きベクトルが指し示す処理対象画面１０２の画素ブロックＢ及び参照画面１０３の画素ブロックＣの画像データを加重平均部８に出力する。また、類似度演算部６は外挿した動きベクトルが指し示す処理対象画面１０２の画素ブロックＢ及び参照画面１０３の画素ブロックＣのブロック位置と、その類似度の値とを検出信号として重み付け制御部７に出力する。
【００６１】
重み付け制御部７は類似度演算部６から入力される検出情報に基づき、加重平均部８で行なう平均化処理の重み付けを決定する。なお、検出情報には外挿した動きベクトルが指し示す処理対象画面１０２の画素ブロックＢ及び参照画面１０３の画素ブロックＣのブロック位置と、その類似度の値とが含まれる。
【００６２】
重み付け制御部７では、類似度が高い場合に加重平均の重み付けを処理対象画面１０２の画素ブロックＢと参照画面１０３の画素ブロックＣとで均等化し、類似度が低い場合に処理対象画面１０２の画素ブロックＢに対する重み付けを増やす処理を行う。
【００６３】
ただし、重み付け制御部７は参照画面１０３の画素ブロックＣの空間位置が処理対象画面１０２の画素ブロックＢの空間位置と同一である場合に、処理対象画面１０２の画素ブロックＢに対する重み付けを１００％（ｗcrt＝１）として平均化処理を行わないようにする。
【００６４】
また、重み付け制御部７は参照画面１０３の画素ブロックＣのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面１０２の画素ブロックＢのブロック位置におけるブロック歪みの境界との空間位置関係と同一である場合に、処理対象画面１０２の画素ブロックＢに対する重み付けを１００％（ｗcrt＝１）として平均化処理を行わないようにする。
【００６５】
図９は重み付け制御部の処理を表したイメージ図である。ブロック歪みの出現位置は、符号化器の制御により一定に決まる。例えばＭＰＥＧ−２では８×８サイズの画素ブロックのブロック境界がブロック歪みの出現位置に当たる。図９ではブロック歪みの境界を格子模様で示している。また、図９では右側に処理対象画面、左側に参照画面を示している。ここでは、外挿した動きベクトルが指し示す参照画面の画素ブロックを適合ブロックと呼ぶ。
【００６６】
例えば適合ブロックが画素ブロックＢ１であったとすると、処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ１の空間位置は同一であり、ブロック歪みの境界との空間位置関係も同一である。この場合、重み付け制御部７は処理対象画面の画素ブロックＡに対する重み付けを１００％とすることにより、結果として平均化処理を行わないようにする。
【００６７】
同様に、適合ブロックが画素ブロックＢ２であったとすると、処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ２の空間位置は異なるものの、ブロック歪みの境界との空間位置関係が同一である。この場合、重み付け制御部７は処理対象画面の画素ブロックＡに対する重み付けを１００％とすることで、結果として平均化処理を行わないようにする。
【００６８】
しかし、適合ブロックが画素ブロックＢ３であったとすると、処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ３はブロック歪みの境界との空間位置関係が異なる。この場合、重み付け制御部７は処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ３の類似度の値に基づいた重み付け（例えば処理対象画面の画素ブロックＡに対する重み付けを５０％、参照画面の画素ブロックＢ３に対する重み付けを５０％）を決定することにより、平均化処理を行なうようにする。
【００６９】
例えば類似度の値に基づいた重み付けの決定は、以下の式（３），（４）を用いて行われる。ｗcrtは処理対象画面の重み付け係数を表す。ｗrefは参照画面の重み付け係数を表す。Ａ，Ｂは、定数を表す。Ｎrefは参照画面における適合ブロックの数である。本実施例では、Ｎref＝１である。
【００７０】
【数２】
0004528255.tif 000003
式（４）は、類似度ＳＭＬに基づき、参照画面の重み付け係数ｗrefを算出している。参照画面の重み付け係数ｗrefは、類似度ＳＭＬが大きいほど、大きな値となる。式（３）は、参照画面の重み付け係数ｗrefに基づき、処理対象画面の重み付け係数ｗcrtを算出している。処理対象画面の重み付け係数ｗcrtは、類似度ＳＭＬが小さいほど、大きな値となる。
【００７１】
図１０は重み付け制御部の処理を表した一例のフローチャートである。類似度演算部６から適合ブロックのブロック位置と、その類似度の値とが含まれる検出情報が入力されると、重み付け制御部７はステップＳ１に進み、検出情報から適合ブロックのブロック位置を取得する。
【００７２】
ステップＳ２に進み、重み付け制御部７は適合ブロックの空間位置が処理対象画面の画素ブロックＢの空間位置と同一であるか否かを判定する。即ち、重み付け制御部７は図９における参照画面の画素ブロックＢ１と処理対象画面の画素ブロックＡとのように空間位置が同一であるか否かを判定する。
【００７３】
適合ブロックの空間位置が処理対象画面の画素ブロックＢの空間位置と同一であれば（Ｓ２においてＹＥＳ）、重み付け制御部７はステップＳ５に進み、処理対象画面の画素ブロックＢに対する重み付けを１００％とするように重み付け係数を決定する。
【００７４】
適合ブロックの空間位置が処理対象画面の画素ブロックＢの空間位置と同一でなければ（Ｓ２においてＮＯ）、重み付け制御部７はステップＳ３に進み、適合ブロックのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面の画素ブロックＢのブロック位置におけるブロック歪みの境界との空間位置関係と同一であるか否かを判定する。
【００７５】
即ち、重み付け制御部７は図９における参照画面の画素ブロックＢ２と処理対象画面の画素ブロックＡとのようにブロック歪みの境界との空間位置関係が同一であるか否かを判定する。
【００７６】
ブロック歪みの境界との空間位置関係が同一であると判定すれば（Ｓ３においてＹＥＳ）、重み付け制御部７はステップＳ５に進み、処理対象画面の画素ブロックＢに対する重み付けを１００％とするように重み付け係数を決定する。
【００７７】
ブロック歪みの境界との空間位置関係が同一でないと判定すれば（Ｓ３においてＮＯ）、重み付け制御部７はステップＳ４に進み、類似度の値に基づいた重み付け係数を決定する。図１０に表した処理により、重み付け制御部７は重み付け係数を決定し、重み付け情報として加重平均部８へ出力する。
【００７８】
加重平均部８は、重み付け制御部７から重み付け情報が入力される。加重平均部８は重み付け情報から重み付け係数を取得する。加重平均部８は取得した重み付け係数を用いて、類似度演算部６から入力された処理対象画面１０２の画素ブロックＢ及び参照画面１０３の画素ブロックＣの画像データを重み付け平均化する。例えば重み付け平均化は以下の式（５）を用いて行われる。
【００７９】
【数３】
0004528255.tif 000004
ここで、ａｖｅi,jは平均化された画素ブロックの画素値を表す。加重平均部８は平均化された画素ブロックＢ′を平均化ブロック画像情報としてスイッチ９及びブロック置換部１１に出力する。スイッチ９は、復号器１から入力されるピクチャタイプ情報に基づき、処理対象画面がＩピクチャのときに閉じるように制御される。スイッチ９は、加重平均部８とブロック置換部１０との間に設けられている。したがって、処理対象画面がＰピクチャであるとき、平均化ブロック画像情報はブロック置換部１０に入力されない。
【００８０】
ブロック置換部１１は、入力された平均化ブロック画像情報から平均化された画素ブロックＢ′を取得する。ブロック置換部１１は、平均化された画素ブロックＢ′を１フレーム遅延部２から入力された処理対象画面１０２の画素ブロックＢと置き換える。以上の処理を処理対象画面１０２の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号をスイッチ１３に出力する。
【００８１】
スイッチ１３は、復号器１から１フレーム遅延部３を介して入力されるピクチャタイプ情報に基づき、処理対象画面がＰピクチャのときにブロック置換部１１からの改善動画像信号を出力するように制御される。従って、処理対象画面がＰピクチャであるとき、スイッチ１３は画質が改善された改善動画像信号を出力できる。
【００８２】
次に、図２に示すように、処理対象画面がＩピクチャであるときの処理を説明する。類似度演算部６は処理対象画面１２２の１つ過去のピクチャである画面１２１の画素ブロックＢの動きベクトルを用い、その動きベクトルを外挿することにより指し示される処理対象画面１２２の画素ブロックＣを得る。
【００８３】
類似度演算部６は、外挿した動きベクトルが指し示す処理対象画面１２２の画素ブロックＣ及び参照画面１２１の画素ブロックＢの類似度を求める。例えば画素ブロック間の類似度ＳＭＬは上記の式（１），（２）を用いて算出される。
【００８４】
類似度演算部６は、外挿した動きベクトルが指し示す処理対象画面１２２の画素ブロックＣ及び参照画面１２１の画素ブロックＢの画像データを加重平均部８に出力する。また、類似度演算部６は外挿した動きベクトルが指し示す処理対象画面１２２の画素ブロックＣ及び参照画面１２１の画素ブロックＢのブロック位置と、その類似度の値とを検出信号として重み付け制御部７に出力する。
【００８５】
重み付け制御部７は類似度演算部６から入力される検出情報に基づき、上記したように加重平均部８で行なう平均化処理の重み付け係数を決定し、重み付け情報として加重平均部８へ出力する。
【００８６】
加重平均部８は、入力された重み付け情報から重み付け係数を取得し、その重み付け係数を用いて、類似度演算部６から入力された処理対象画面１２２の画素ブロックＣ及び参照画面１２１の画素ブロックＢの画像データを重み付け平均化する。例えば重み付け平均化は上記の式（５）を用いて行われる。
【００８７】
加重平均部８は平均化された画素ブロックＣ′を平均化ブロック画像情報としてスイッチ９及びブロック置換部１１に出力する。スイッチ９は、復号器１から入力されるピクチャタイプ情報に基づき、処理対象画面がＩピクチャのときに閉じるように制御される。スイッチ９は、加重平均部８とブロック置換部１０との間に設けられている。したがって、処理対象画面がＩピクチャであるとき、平均化ブロック画像情報はブロック置換部１０に入力される。
【００８８】
ブロック置換部１０は、入力された平均化ブロック画像情報から平均化された画素ブロックＣ′を取得する。ブロック置換部１０は、復号器１から入力された処理対象画面１２２の画素ブロックＣを処理対象画面１２２の平均化された画素ブロックＣ′に置き換える。以上の処理を処理対象画面１２２の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を１フレーム遅延部１２に出力する。
【００８９】
１フレーム遅延部１２は、入力された改善動画像信号を１フレーム分遅延させたあと、スイッチ１３に出力する。スイッチ１３は、復号器１から１フレーム遅延部３を介して入力されるピクチャタイプ情報に基づき、処理対象画面がＩピクチャのときに１フレーム遅延部１２からの改善動画像信号を出力するように制御される。従って、処理対象画面がＩピクチャであるとき、スイッチ１３は画質が改善された改善動画像信号を出力できる。
【００９０】
なお、本発明による映像復号装置では、外挿した動きベクトルが指し示す処理対象画面の画素ブロックおよび参照画面の画素ブロックの類似度を改めて求めている。符号化時に使った動きベクトルではなく、外挿で作った動きベクトルで改めて類似度を求めている理由は、以下の通りである。
【００９１】
動きベクトル（ＭＶ）を使って符号化したい画素ブロックをＣＢi,j、その動きベクトルで指定された画素ブロックをＲＢi,jとすると、符号化は式（６）に対して行われる。
【００９２】
ＣＢi,j−ＲＢi,j＝ＤＢi,j  ・・・（６）
復号は、式（７）のように、すでに復号された画素ブロックｄＲＢi,jに、復号された差分画像ｄＤＢi,jを加算することで行われる。
【００９３】
ｄＲＢi,j−ｄＤＢi,j＝ｄＣＢi,j  ・・・（７）
即ち、符号化時の動きベクトルを用いて画素ブロック間の時間平均化処理を行うと、２で割る単純平均の場合、以下の式（８）となる。
【００９４】
ＡＶＥi,j＝（ｄＲＢi,j＋ｄＣＢi,j）／２＝（２ｄＲＢi,j＋ｄＤＢi,j）／２＝ｄＲＢi,j＋ｄＤＢi,j／２  ・・・（８）
結局、参照画像の画素ブロックｄＲＢi,jに対して高画質化成分である差分画像成分ｄＤＢi,jが半分のレベルでしか加算されない画像となってしまう。これはほぼ動きベクトルで画像を作ることを意味しており、差分画像があまり送られないことで画質が低下する。したがって、本発明では符号化時の動きベクトルではなく、その動きベクトルを外挿して新たに取得した動きベクトルで画質改善処理を行っている。
【００９５】
図１１は、画素ブロック切り出しの一例を示すイメージ図である。本発明では処理対象画面及び参照画面の画素ブロックの切り出しを各々符号化時のブロックサイズよりも大きく切り出すことで、より符号化歪みの低減効果が得られることを示す図である。なぜなら、ブロック歪みは直交変換に用いられる画素ブロックもしくは動き補償に用いられる画素ブロックが復号後に可視化されてしまう歪みだからである。
【００９６】
例えば符号化時の動き補償ブロックサイズが１６×１６である場合、処理に用いるブロックサイズは例えば図１１に示すように１７×１７を用いる。ブロック分割が符号化方式により予め決められているため、本発明による映像復号装置で行なうブロック切り出しは結果として画素ブロック同士がオーバーラップされたものになる。
【００９７】
このとき、画素ブロック境界沿いの１画素分は重複して時間平均化処理が行われることになるが、結果としてブロック歪みが発生するブロック境界に重点的に処理が行われることになり、補正がより有利に働く。
【００９８】
図１１は一例であって、例えば水平方向のみオーバーラップさせることも可能である。実際上、水平方向のブロック境界は垂直方向のブロック境界よりも歪みが目出つ。これは、カメラや表示装置の特性もあるが、特に符号化において、垂直方向はフィールド切り出しのＤＣＴも使用されているため、フィールドブロックをマージしてフレームブロックとした時の垂直方向のブロック境界が水平方向に比べてぼけやすいからである。
【００９９】
実施例１によれば、Ｍ＝１の場合のＰピクチャ及びＩピクチャについて、高精細度を保ったまま符号化歪みを低減し、画質が改善された改善動画像信号を得ることができる。
【実施例２】
【０１００】
図１２は本発明による映像復号装置の第２実施例の構成図である。図１２の映像復号装置は、復号器２１，１フレーム遅延部２２，２フレーム遅延部２３，１フレーム遅延部２４，３フレーム遅延部２５，１フレーム遅延部２６，スイッチ２７，スイッチ２８，ピクチャ判別部２９，動きベクトル外挿部３０，類似度演算部３１，重み付け制御部３２，加重平均部３３，ブロック置換部３４を含むように構成されている。
【０１０１】
符号化ストリームは復号器２１に入力される。復号器２１は入力された符号化ストリームを復号し、その復号動画像信号を１フレーム遅延部２２，２フレーム遅延部２３，スイッチ２８に出力する。また、復号器２１は符号化ストリームに含まれるピクチャタイプ情報を１フレーム遅延部２４に出力する。さらに、復号器２１は符号化ストリームに含まれる動きベクトル情報を３フレーム遅延部２５及び１フレーム遅延部２６に出力する。
【０１０２】
１フレーム遅延部２２は、入力された復号動画像信号を１フレーム分遅延させたあと、類似度演算部３１及びブロック置換部３４に出力する。２フレーム遅延部２３は、入力された復号動画像信号を１フレーム分遅延させたあと、スイッチ２８に出力する。
【０１０３】
１フレーム遅延部２４は入力されたピクチャタイプ情報を１フレーム分遅延させたあと、スイッチ２７，ピクチャ判別部２９及びブロック置換部３４に出力する。３フレーム遅延部２５は入力された動きベクトル情報を３フレーム分遅延させたあと、スイッチ２７に出力する。１フレーム遅延部２６は入力された動きベクトル情報を１フレーム分遅延させたあと、スイッチ２７に出力する。
【０１０４】
スイッチ２７は、１フレーム遅延部２４から入力されるピクチャタイプ情報に基づき、処理対象画面がＩピクチャのときに３フレーム遅延部２５からの動きベクトル情報を動きベクトル外挿部３０に出力するように制御され、処理対象画面がＩピクチャ以外のときに１フレーム遅延部２６からの動きベクトル情報を動きベクトル外挿部３０に出力するように制御される。
【０１０５】
ピクチャ判別部２９は、１フレーム遅延部２４から入力されるピクチャタイプ情報に基づき、２つ連続して存在するＢピクチャのうち、過去の方のＢ１ピクチャであるか否かを判別する。ピクチャ判別部２９は、例えばＩピクチャ又はＰピクチャの直ぐ後のＢピクチャであったらＢ１ピクチャであると判別する。ピクチャ判別部２９はＢ１ピクチャであるか否かを表す判別結果をスイッチ２８に出力する。
【０１０６】
スイッチ２８は、ピクチャ判別部２９から入力されるＢ１ピクチャであるか否かを表す判別結果に基づき、処理対象画面がＢ１ピクチャであるときに復号器２１からの復号動画像信号を類似度演算部３１に出力するように制御され、処理対象画面がＢ１ピクチャ以外であるときに２フレーム遅延部２３からの復号動画像信号を類似度演算部３１に出力するように制御される。
【０１０７】
スイッチ２７から出力された動きベクトル情報は動きベクトル外挿部３０に入力される。動きベクトル外挿部３０は入力された動きベクトル情報に含まれる動きベクトルを外挿し、外挿した動きベクトルを類似度演算部３１に出力する。
【０１０８】
類似度演算部３１は復号器２１からスイッチ２８経由で入力される復号動画像信号と、１フレーム遅延部２２から入力される１フレーム分遅延された復号動画像信号と、２フレーム遅延部２３からスイッチ２８経由で入力される２フレーム分遅延された復号動画像信号と、動きベクトル外挿部３０から入力される外挿した動きベクトルとを用いて、以下のように類似度を演算する。
【０１０９】
なお、類似度演算部３１は図３に示すように、処理対象画面がＰピクチャのとき、処理対象画面の画素ブロックの動きベクトルを用い、１つ過去のＢ１ピクチャとの間で処理を行なう。また、類似度演算部３１は図４に示すように、処理対象画面がＢ１ピクチャのとき、処理対象画面の画素ブロックの未来方向の動きベクトルを用い、１つ未来のＢ２ピクチャとの間で処理を行なう。
【０１１０】
また、類似度演算部３１は図４に示すように、処理対象画面がＢ２ピクチャのとき、処理対象画面の画素ブロックの過去方向の動きベクトルを用い、１つ過去のＢ１ピクチャとの間で処理を行なう。さらに、類似度演算部３１は図５に示すように、処理対象画面がＩピクチャのとき、２つ過去のＢ１ピクチャの画素ブロックの未来方向の動きベクトルを用い、１つ過去のＢ２ピクチャとの間で処理を行なう。
【０１１１】
まず、図３に示すように、処理対象画面がＰピクチャであるときの処理を説明する。類似度演算部３１は処理対象画面１４３の画素ブロックＣの動きベクトルを用い、動きベクトルが差し示す参照画面１４２の画素ブロックＢを得る。
【０１１２】
類似度演算部３１は、外挿した動きベクトルが指し示す処理対象画面１４３の画素ブロックＣ及び参照画面１４２の画素ブロックＢの類似度を実施例１と同様に求める。
【０１１３】
類似度演算部３１は、外挿した動きベクトルが指し示す処理対象画面１４３の画素ブロックＣ及び参照画面１４２の画素ブロックＢの画像データを加重平均部３３に出力する。また、類似度演算部３１は外挿した動きベクトルが指し示す処理対象画面１４３の画素ブロックＣおよび参照画面１４２の画素ブロックＢのブロック位置と、その類似度の値とを検出信号として重み付け制御部３２に出力する。
【０１１４】
重み付け制御部３２は類似度演算部３１から入力される検出情報に基づき、上記したように加重平均部３３で行なう平均化処理の重み付け係数を決定し、重み付け情報として加重平均部３３へ出力する。
【０１１５】
加重平均部３３は、入力された重み付け情報から重み付け係数を取得し、その重み付け係数を用いて、類似度演算部３１から入力された処理対象画面１４３の画素ブロックＣ及び参照画面１４２の画素ブロックＢの画像データを重み付け平均化する。例えば重み付け平均化は以下の式（５）を用いて行われる。
【０１１６】
加重平均部３３は平均化された画素ブロックＣ′を平均化ブロック画像情報としてブロック置換部３４に出力する。ブロック置換部３４は、入力された平均化ブロック画像情報から平均化された画素ブロックＣ′を取得する。ブロック置換部３４は、平均化された画素ブロックＣ′を１フレーム遅延部２２から入力された処理対象画面１４３の画素ブロックＣと置き換えて出力する。以上の処理を処理対象画面１４３の全画素ブロックについて行なうことにより、本発明では画質が改善された改善動画像信号を出力できる。
【０１１７】
次に、図４に示すように、処理対象画面がＢ１ピクチャであるときの処理を説明する。類似度演算部３１は処理対象画面１６１の画素ブロックＢの未来方向の動きベクトルを用い、その動きベクトルにより指し示される１つ未来の参照画面１６２の画素ブロックＣを得る。
【０１１８】
類似度演算部３１は、処理対象画面１６１の画素ブロックＢ及び参照画面１６２の画素ブロックＣの類似度を求める。なお、類似度を求めた後の処理は処理対象画面がＰピクチャであるときの処理と同様であるため、説明を省略する。
【０１１９】
次に、図４に示すように、処理対象画面がＢ２ピクチャであるときの処理を説明する。類似度演算部３１は処理対象画面１６２の画素ブロックＧの過去方向の動きベクトルを用い、その動きベクトルにより指し示される１つ過去の参照画面１６１の画素ブロックＦを得る。
【０１２０】
類似度演算部３１は、処理対象画面１６２の画素ブロックＧ及び参照画面１６１の画素ブロックＦの類似度を求める。なお、類似度を求めた後の処理は処理対象画面がＰピクチャであるときの処理と同様であるため、説明を省略する。
【０１２１】
次に、図５に示すように、処理対象画面がＩピクチャであるときの処理を説明する。類似度演算部３１は処理対象画面１８３の２つ過去のＢ１ピクチャである画面１８１の画素ブロックＢの未来方向の動きベクトルを用い、その動きベクトルを外挿することにより指し示される１つ過去のＢ２ピクチャである画面１８２の画素ブロックＣと処理対象画面１８３の画素ブロックＤとを得る。
【０１２２】
類似度演算部３１は、外挿した動きベクトルが指し示す画面１８２の画素ブロックＣ及び処理対象画面１８３の画素ブロックＤの類似度を求める。なお、類似度を求めた後の処理は処理対象画面がＰピクチャであるときの処理と同様であるため、説明を省略する。
【０１２３】
実施例２によれば、Ｍ＝３の場合のＰピクチャ，Ｂピクチャ及びＩピクチャについて、高精細度を保ったまま符号化歪みを低減し、画質が改善された改善動画像信号を得ることができる。
【実施例３】
【０１２４】
図１３は、本発明による映像復号装置の第３実施例の構成図である。図１３の映像復号装置は、平均輝度計算部１５が加わっている点と、重み付け制御部７及び類似度演算部１４の処理とが、図８の符号化歪み低減装置と異なっている。
【０１２５】
類似度演算部１４は、上記した処理の他、切り出した画素ブロックを平均輝度計算部１５に出力する。平均輝度計算部１５は、類似度演算部１４から入力される処理対象画面の画素ブロック毎に平均輝度を計算し、画素ブロック毎に計算した平均輝度を輝度情報として重み付け制御部７に出力する。
【０１２６】
図８の映像復号装置では、重み付け制御部７において、処理対象画面及び参照画面の画素ブロックのブロック位置と、その類似度の値に基づき重み付け係数を決定している。図１３の映像復号装置では、処理対象画面及び参照画面の画素ブロックのブロック位置と、その類似度の値の他に、処理対象画面の画素ブロック近傍の平均輝度も考慮することで、人間の視覚特性に応じた効果的な符号化歪み除去を行なうことができる。
【０１２７】
人間の輝度の弁別閾に関する特性としてウェーバーの法則がある。これは、ある輝度Ｙに対する識別可能な最小輝度差をΔＹとすると、その比ΔＹ／Ｙが広範囲にわたって一定になるというものである。例えば文献としては、「２映像メディア機器の規格と課題  ２−１放送規格と感覚  ２−１−１放送規格と視覚」、金澤勝，大塚吉道著、映像情報メディア学会誌，Ｖｏｌ．５７，Ｎｏ．１１，２００３年がある。
【０１２８】
すなわち、例えば電気信号的に同じレベル差のブロック歪みの境界は、輝度の高い画像に出るブロック歪みよりも、輝度の低い画像に出るブロック歪みの方が視覚的に目立ちやすい。
【０１２９】
そこで、処理対象画面の画素ブロック近傍の平均輝度を求め、その平均輝度が高い場合は符号化歪みが発生していたとしても視覚的に目立たないため、参照画面の画素ブロックに対する重み付けを減らす処理を行う。このように処理を行うことで、図１３の映像復号装置では、処理後の画像の不要なぼけを低減することができ、且つ人間の視覚特性上、符号化歪みが目立つ場合にのみ、符号化歪みの低減を行なうことができる。
【０１３０】
なお、平均輝度を求める画素ブロック近傍の範囲は、例えば処理対象画面の画素ブロックと同じ範囲である。そのときの参照画面の重み付け係数ｗref′は、以下に示す式（９），（１０）を用いて算出する。Ｃは、定数である。
【０１３１】
【数４】
0004528255.tif 000005
式（９）は処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥを算出している。式（１０）は平均輝度ＡＶＥに基づき、参照画面の重み付け係数ｗref′を算出している。参照画面の重み付け係数ｗref′は、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥが大きいほど、小さな値となる。
【０１３２】
即ち、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥが大きい場合は符号化歪みが発生していたとしても視覚的に目立たないため、参照画面の重み付け係数ｗref′を小さくして、参照画面の画素ブロックに対する重み付けを減らしている。
【０１３３】
図１４は重み付け制御部の処理を表した他の例のフローチャートである。図１４のステップＳ１１〜Ｓ１３，Ｓ１７の処理は図１０のステップＳ１〜Ｓ３，Ｓ５の処理と同様であるため、説明を省略する。
【０１３４】
ステップＳ１４に進み、重み付け制御部７は例えば式（４）を利用し、類似度の値に基づいて参照画面の重み付け係数ｗrefを算出する。次に、ステップＳ１５に進み、重み付け制御部４は式（１０）を利用し、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥを算出する。
【０１３５】
ステップＳ１６に進み、重み付け制御部４は式（９）を利用し、平均輝度ＡＶＥに基づき、参照画面の重み付け係数ｗrefを係数ｗref′に修正している。重み付け制御部７は、例えば式（３）を利用し、参照画面の重み付け係数ｗref′に基づいて処理対象画面の重み付け係数ｗcrtを算出する。なお、実施例３では図８の映像復号装置と同様な箇所についての説明を省略した。
【０１３６】
実施例３によれば、Ｍ＝１の場合のＰピクチャ及びＩピクチャについて、高精細度を保ったまま符号化歪みを低減し、画質が改善された改善動画像信号を得ることができる。
【実施例４】
【０１３７】
図１５は、本発明による映像復号装置の第４実施例の構成図である。図１５の映像復号装置は、図１３の映像復号装置と同様、平均輝度計算部３６が加わっている点と、重み付け制御部３２及び類似度演算部３５の処理とが、図１２の映像復号装置と異なっている。
【０１３８】
類似度演算部３５は、上記した処理の他、切り出した画素ブロックを平均輝度計算部３６に出力する。平均輝度計算部３６は、類似度演算部３５から入力される処理対象画面の画素ブロック毎に平均輝度を計算し、画素ブロック毎に計算した平均輝度を輝度情報として重み付け制御部３２に出力する。
【０１３９】
図１５の映像復号装置では、処理対象画面及び参照画面の画素ブロックのブロック位置と、その類似度の値の他に、処理対象画面の画素ブロック近傍の平均輝度も考慮することで、人間の視覚特性に応じた効果的な符号化歪み除去を行なうことができる。なお、実施例４では図１２及び図１３の映像復号装置と同様な箇所についての説明を省略した。
【０１４０】
実施例４によれば、Ｍ＝３の場合のＰピクチャ，Ｂピクチャ及びＩピクチャについて、高精細度を保ったまま符号化歪みを低減し、画質が改善された改善動画像信号を得ることができる。
【実施例５】
【０１４１】
図１６は、本発明による映像復号装置の第５実施例の構成図である。映像復号装置は、それぞれバスＢで相互に接続されている入力装置５１，出力装置５２，ドライブ装置５３，補助記憶装置５４，メモリ装置５５，演算処理装置５６およびインターフェース装置５７で構成される。
【０１４２】
入力装置５１はキーボードやマウスなどで構成され、各種信号を入力するために用いられる。出力装置５２はディスプレイ装置などで構成され、各種ウインドウやデータ等を表示するために用いられる。インターフェース装置５７は、モデム，ＬＡＮカードなどで構成されており、所定のネットワークへ接続する為に用いられる。
【０１４３】
本発明の映像復号プログラムは、記録媒体５８の配布やネットワークからのダウンロードなどによって提供される。映像復号プログラムを記録した記録媒体５８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１４４】
また、映像復号プログラムを記録した記録媒体５８がドライブ装置５３にセットされると、映像復号プログラムは記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。ネットワークからダウンロードされた映像復号プログラムは、インターフェース装置５７を介して補助記憶装置５４にインストールされる。
【０１４５】
映像復号装置は、インストールされた映像復号プログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置５５は、コンピュータの起動時に補助記憶装置５４から映像復号プログラムを読み出して格納する。演算処理装置５６は、メモリ装置５５に格納された映像復号プログラムに従って、前述した実施例１〜実施例４の各種処理を実現することができる。
（まとめ）
なお、本発明による映像復号装置はテレビジョン受像機に内蔵してもよいし、チューナやセットトップボックス（ＳＴＢ）等に内蔵してもよいし、映像復号機能を有するジグとしてもよいし、映像復号機能を有するチップとしてもよい。
【０１４６】
以上、本発明による映像復号装置は、ブロック歪みなどの符号化歪みを符号化ストリームを復号して得られる動きベクトルを利用した画像の時間平均化処理を行うことで低減できる。さらに、本発明による映像復号装置では画素ブロックの類似度や適合ブロックの位置情報に基づき適応的な重み付け処理を行うことにより、映像の不要なぼけを防ぎ、符号化歪みを効果的に低減できる。
【０１４７】
本発明による映像復号装置では、符号化ストリームに含まれる動きベクトルを利用しているため、処理の冗長を省き、処理負担を大幅に低減できる。
【０１４８】
なお、前述した実施例では参照画像が１枚の場合について説明したが、参照画面が２枚以上の複数であっても同様に処理が可能である。また、前述した実施例では順次走査画像と飛び越し走査画像との区別を特に行っていないが、フレーム画像から画素ブロックを得るか、もしくはフィールド画像から画素ブロックを得るかの違いのみで、当然どちらの走査方式にも対応が可能である。
【図面の簡単な説明】
【０１４９】
【図１】Ｍ＝１の場合のＰピクチャの処理の概要を示す一例のイメージ図である。
【図２】Ｍ＝１の場合のＩピクチャの処理の概要を示す一例のイメージ図である。
【図３】Ｍ＝３の場合のＰピクチャの処理の概要を示す一例のイメージ図である。
【図４】Ｍ＝３の場合のＢピクチャの処理の概要を示す一例のイメージ図である。
【図５】Ｍ＝３の場合のＩピクチャの処理の概要を示す一例のイメージ図である。
【図６】Ｍ＝１のＧＯＰ（Group OfPictures）構成を示す一例のイメージ図である。
【図７】Ｍ＝３のＧＯＰ構成を示す一例のイメージ図である。
【図８】本発明による映像復号装置の第１実施例の構成図である。
【図９】重み付け制御部の処理を表したイメージ図である。
【図１０】重み付け制御部の処理を表した一例のフローチャートである。
【図１１】画素ブロック切り出しの一例を示すイメージ図である。
【図１２】本発明による映像復号装置の第２実施例の構成図である。
【図１３】本発明による映像復号装置の第３実施例の構成図である。
【図１４】重み付け制御部の処理を表した他の例のフローチャートである。
【図１５】本発明による映像復号装置の第４実施例の構成図である。
【図１６】本発明による映像復号装置の第５実施例の構成図である。
【符号の説明】
【０１５０】
１，２１    復号器
２，３，１２，２２，２４，２６    １フレーム遅延部
４    メモリ
５，３０    動きベクトル外挿部
６，１４，３１，３５    類似度演算部
７，３２    重み付け制御部
８，３３    加重平均部
９，１３，２７，２８    スイッチ
１０，１１，３４    ブロック置換部
１５，３６    平均輝度計算部
２３    ２フレーム遅延部
２５    ３フレーム遅延部
２９    ピクチャ判別部
５１    入力装置
５２    出力装置
５３    ドライブ装置
５４    補助記憶装置
５５    メモリ装置
５６    演算処理装置
５７    インターフェース装置
５８    記憶媒体
【図１】
0004528255.tif 000006
【図２】
0004528255.tif 000007
【図３】
0004528255.tif 000008
【図４】
0004528255.tif 000009
【図５】
0004528255.tif 000010
【図６】
0004528255.tif 000011
【図７】
0004528255.tif 000012
【図８】
0004528255.tif 000013
【図９】
0004528255.tif 000014
【図１０】
0004528255.tif 000015
【図１１】
0004528255.tif 000016
【図１２】
0004528255.tif 000017
【図１３】
0004528255.tif 000018
【図１４】
0004528255.tif 000019
【図１５】
0004528255.tif 000020
【図１６】
0004528255.tif 000021