(57)【要約】【課題】本発明は、簡素な構成で、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した再構成画像における分割画像間の画質の差を低減する画像補正装置を提供することを目的とする。【解決手段】画像補正装置１０は、分割境界ブロック解析部７１と、分割境界周辺動きベクトル処理部７２と、処理対象ブロック判定部７３と、処理対象ラベル生成部７４と、処理単位ブロック生成部８１と、参照領域推定部８２と、参照ブロック結合度算出部８３と、参照ブロック信頼度算出部８４と、参照動きベクトル信頼度算出部８５と、参照領域信頼度算出部８６と、重み係数算出部８７と、参照領域画素値推定部８８と、処理対象ブロック画素値算出部８９とを備える。【選択図】図４
2011009887.tif 000002
【特許請求の範囲】
【請求項１】
動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、前記分割画像同士の境界である分割境界の周辺の画素の画素値を補正する画像補正装置であって、
前記分割境界に位置する分割境界ブロック毎に、前記分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する分割境界周辺動きベクトル処理部と、
前記分割境界ブロック毎に、前記再構成画像を区分した区分領域の何れかを前記周辺動きベクトルが示す頻度として、ヒストグラムを生成する分割境界ブロック解析部と、
前記分割境界ブロック毎に、前記ヒストグラムで前記周辺動きベクトルが示す頻度が最多となる前記区分領域を前記分割境界ブロックの推定参照領域として推定すると共に、前記推定参照領域が前記分割境界外に出ているときは当該分割境界ブロックを処理対象である処理対象ブロックと判定し、前記推定参照領域が前記分割境界外に出ていないときは当該分割境界ブロックを処理対象でないと判定する処理対象ブロック判定部と、
前記処理対象ブロック毎に、当該処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、当該処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する参照領域推定部と、
前記動き補償参照領域の画素の画素値に所定の重み係数を乗じて、前記参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する参照領域画素値算出部と、
前記処理対象ブロックの画素の画素値を、算出された前記動き補償領域の画素の画素値に置き換えて補正する画素値補正部と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記処理対象ブロックと前記参照ブロックとの距離に対して負の相関となる参照ブロック結合度を算出する参照ブロック結合度算出部と、
前記参照ブロックの復号画像と前記参照ブロックの動き補償参照領域との画素値の差に対して負の相関となる参照ブロック信頼度を算出する参照ブロック信頼度算出部と、
前記参照ブロックに含まれる動きベクトルの大きさに対して負の相関となる参照動きベクトル信頼度を算出する参照動きベクトル信頼度算出部と、
前記処理対象ブロックの復号画像と前記動き補償参照領域との類似度を示す参照領域信頼度を算出する参照領域信頼度算出部と、
前記参照ブロック結合度、前記参照ブロック信頼度、前記参照動きベクトル信頼度及び前記補償参照領域信頼度の少なくとも一つを用いて、前記重み係数を算出する重み係数算出部と、
をさらに備えることを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記再構成画像の全ブロックを、整数等分可能な最大ブロックサイズに分割する処理単位ブロック生成部をさらに備えることを特徴とする請求項１又は請求項２に記載の画像補正装置。
【請求項４】
前記分割境界周辺動きベクトル処理部は、前記分割境界に隣接する参照不可領域を含まない前記周辺領域が予め設定され、当該周辺領域から前記動きベクトルを解析することを特徴とする請求項１から請求項３の何れか一項に記載の画像補正装置。
【請求項５】
動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、前記分割画像同士の境界である分割境界の周辺の画素の画素値を補正するために、コンピュータを、
前記分割境界に位置する分割境界ブロック毎に、前記分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する分割境界周辺動きベクトル処理部、
前記分割境界ブロック毎に、前記再構成画像を区分した区分領域の何れかを前記周辺動きベクトルが示す頻度として、ヒストグラムを生成する分割境界ブロック解析部、
前記分割境界ブロック毎に、前記ヒストグラムで前記周辺動きベクトルが示す頻度が最多となる前記区分領域を前記分割境界ブロックの推定参照領域として推定すると共に、前記推定参照領域が前記分割境界外に出ているときは当該分割境界ブロックを処理対象である処理対象ブロックと判定し、前記推定参照領域が前記分割境界外に出ていないときは当該分割境界ブロックを処理対象でないと判定する処理対象ブロック判定部、
前記処理対象ブロック毎に、当該処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、当該処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する参照領域推定部、
前記動き補償参照領域の画素の画素値に所定の重み係数を乗じて、前記参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する参照領域画素値算出部、
前記処理対象ブロックの画素の画素値を、算出された前記動き補償領域の画素の画素値に置き換えて補正する画素値補正部、
として機能させるための画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を構成するフィールド画像又はフレーム画像のうちの１枚の元となる画像が分割されて符号化された分割画像をそれぞれ復号し、これら分割画像を１枚の画像に再構成した再構成画像における分割画像同士の境界である分割境界の周辺の画素の画素値を補正する画像補正装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、デジタル映像の用途が拡大していることから、デジタル映像の普及が今後一層進むものと考えられる。ここで、デジタル映像はデータ量が多いため、伝送効率や蓄積効率の観点から、デジタル映像を圧縮符号化することが必須である。
【０００３】
また、デジタル映像の普及と共に、デジタル映像の高品質化も進んでいる。ここで、高解像度化や高フレームレート化のような高品質化は、デジタル映像のデータ量の増大につながっている。その結果、より大容量のデジタル映像を、より高い効率で符号化することが必要となっている。
【０００４】
従来の符号化器では、高品質化したデジタル映像を符号化するのに、データの処理量や処理内容の点で性能が不十分なことがある。そのような場合、符号化器の処理を分割し、複数の符号化器を用いて、並列に処理を行うことが考えられる。
【０００５】
デジタル映像を符号化する際に、画像を分割して符号化することにより符号化器１台あたりの処理負荷を軽減する方法が提案されている（例えば、特許文献１，２参照）。具体的には、この方法は、デジタル映像の元画像を所定数の分割画像に分割し、複数の符号化器にて、これら分割画像を並列に符号化することで実現できる。そして、映像受信側では、復号器が並列に符号化した分割画像をそれぞれ復号し、再構成器がそれぞれの分割画像から１枚の再構成画像を再構成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２３４０４３号公報
【特許文献２】特開２００３−３４８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、これら従来技術では、各分割画像の符号化が各符号化器で別々に行われ、その結果、各符号化器での符号化処理によって分割画像毎に画質の差が生じる。従って、これら分割画像を再構成した再構成画像では、分割画像毎の画質の差が、分割境界として認識されることになる。
【０００８】
分割された分割画像間の画質の差を低減するためには、例えば、符号化時に符号化器同士でデータのやり取りをすることが考えられる。しかし、この方法では、符号化器の構成が複雑になるという問題がある。また、別の方法としては、分割境界周辺の画像を適応的に符号化することが考えられる。しかし、この別の方法でも、符号化器の構成が複雑になってしまう。
【０００９】
従来の符号化器及び符号化技術との互換性を確保するため、復号時又は復号後に、分割画像間の画質の差を低減する処理を行うことが好ましい。この方法としては、例えば、画面を分割して符号化した映像を復号し、再構成した後に平滑化を行うことが考えられる。しかし、この方法では、分割画像間の画質の差を低減できる一方、再構成画像がぼけるといった再構成画像の画質が低下することがある。
【００１０】
分割画像間で画質に差が生じるのは、分割境界周辺の符号化において、動き補償の精度に差が生じることが大きな要因として挙げられる。例えば、ある分割画面において、分割境界周辺で動き補償を行う場合、参照すべき領域が元画像内にあっても、その領域が分割画像外に出てしまうと参照することができない。その結果、その分割境界周辺における符号化性能が低下することになる。
【００１１】
そこで、本発明は、簡素な構成で、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した再構成画像における分割画像間の画質の差を低減する画像補正装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記した課題を解決するため、本願第１発明に係る画像補正装置は、動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、前記分割画像同士の境界である分割境界の周辺の画素の画素値を補正する画像補正装置であって、分割境界周辺動きベクトル処理部と、分割境界ブロック解析部と、処理対象ブロック判定部と、参照領域推定部と、参照領域画素値算出部と、画素値補正部と、を備えることを特徴とする画像補正装置。
【００１３】
かかる構成によれば、画像補正装置は、分割境界周辺動きベクトル処理部によって、分割境界に位置する分割境界ブロック毎に、分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する。また、画像補正装置は、分割境界ブロック解析部によって、分割境界ブロック毎に、再構成画像を区分した区分領域の何れかを周辺動きベクトルが示す頻度として、ヒストグラムを生成する。そして、画像補正装置は、処理対象ブロック判定部によって、分割境界ブロック毎に、ヒストグラムで周辺動きベクトルが示す頻度が最多となる区分領域を分割境界ブロックの推定参照領域として推定すると共に、推定参照領域が分割境界外に出ているときは分割境界ブロックを処理対象である処理対象ブロックと判定し、推定参照領域が分割境界外に出ていないときは分割境界ブロックを処理対象でないと判定する。
【００１４】
また、画像補正装置は、参照領域推定部によって、処理対象ブロック毎に、処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する。そして、画像補正装置は、参照領域画素値算出部によって、動き補償参照領域の画素の画素値に所定の重み係数を乗じて、参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する。さらに、画像補正装置は、画素値補正部によって、処理対象ブロックの画素の画素値を、算出された動き補償領域の画素の画素値に置き換えて補正する。
【００１５】
ここで、動き補償で参照すべき領域（動き補償参照領域）が、分割境界を挟んで隣接する区分領域の何れかに存在する可能性が高い。一般的には、近傍の動きベクトル同士は相関が高く、一方の区分領域の動きベクトルが分割境界外を参照しているときでも、他方の区分領域の動きベクトルが同一の分割画像内を参照していることが多い。このため、分割境界の周辺では、分割境界を挟んだ一方の区分領域では動き補償の精度が低くなり、その分割画像の画質も低下する。一方、他方の区分領域では動き補償の精度が変わらず、その分割画像の画質が維持される。このような現象が、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した際に多く発生するため、分割画像間の画質の差が目立つことになる。
【００１６】
従って、画像補正装置は、分割境界を挟んだ一方の区分領域において動き補償の参照領域（推定参照領域）が分割境界外に出て、他方の区分領域における動き補償の参照領域が分割境界内にある場合、分割境界外に出たと判定される分割境界ブロック（処理対象ブロック）に対して、補正を行う。ここで、分割境界周辺において、動き補償で参照すべき領域が分割境界外に出てしまい、精度良く動き補償ができなかったとする。この場合、画像補正装置は、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して、補正を行う。
【００１７】
また、本願第２発明に係る画像補正装置は、処理対象ブロックと参照ブロックとの距離に対して負の相関となる参照ブロック結合度を算出する参照ブロック結合度算出部と、参照ブロックの復号画像と参照ブロックの動き補償参照領域との画素値の差に対して負の相関となる参照ブロック信頼度を算出する参照ブロック信頼度算出部と、参照ブロックに含まれる動きベクトルの大きさに対して負の相関となる参照動きベクトル信頼度を算出する参照動きベクトル信頼度算出部と、処理対象ブロックの復号画像と動き補償参照領域との類似度を示す参照領域信頼度を算出する参照領域信頼度算出部と、参照ブロック結合度、参照ブロック信頼度、参照動きベクトル信頼度及び補償参照領域信頼度の少なくとも一つを用いて、重み係数を算出する重み係数算出部と、をさらに備えることを特徴とする。かかる構成によれば、画像補正装置は、適切な重み係数を算出できる。
【００１８】
また、本願第３発明に係る画像補正装置は、再構成画像の全ブロックを、整数等分可能な最大ブロックサイズに分割する処理単位ブロック生成部をさらに備えることを特徴とする。かかる構成によれば、画像補正装置は、処理対象ブロックのブロックサイズを統一することで、動き補償参照領域の推定処理が容易になる。
【００１９】
また、本願第４発明に係る画像補正装置は、分割境界周辺動きベクトル処理部が、分割境界に隣接する参照不可領域を含まない周辺領域が予め設定され、周辺領域から動きベクトルを解析することを特徴とする。ここで、参照不可領域は、分割境界の周辺において、動き補償の精度が低い領域である。従って、画像補正装置は、参照不可領域を予め設定して、動き補償の精度が低いこの領域を参照しないようする。
【００２０】
前記した課題を解決するため、本願第５発明に係る画像補正プログラムは、動画に含まれる１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における、分割画像同士の境界である分割境界の周辺の画素の画素値を補正するために、コンピュータを、分割境界周辺動きベクトル処理部、分割境界ブロック解析部、処理対象ブロック判定部、参照領域推定部、参照領域画素値算出部、画素値補正部として機能させる。
【００２１】
かかる構成によれば、画像補正プログラムは、分割境界周辺動きベクトル処理部によって、分割境界に位置する分割境界ブロック毎に、分割境界の周辺に予め設定された周辺領域に含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルを生成する。また、画像補正プログラムは、分割境界ブロック解析部によって、分割境界ブロック毎に、再構成画像を区分した区分領域の何れかを周辺動きベクトルが示す頻度として、ヒストグラムを生成する。そして、画像補正プログラムは、処理対象ブロック判定部によって、分割境界ブロック毎に、ヒストグラムで周辺動きベクトルが示す頻度が最多となる区分領域を分割境界ブロックの推定参照領域として推定すると共に、推定参照領域が分割境界外に出ているときは分割境界ブロックを処理対象である処理対象ブロックと判定し、推定参照領域が分割境界外に出ていないときは分割境界ブロックを処理対象でないと判定する。
【００２２】
また、画像補正プログラムは、参照領域推定部によって、処理対象ブロック毎に、処理対象ブロックの周辺に予め設定された参照領域内の参照ブロックに含まれる動きベクトルが示す領域を、処理対象ブロックの動きベクトルが示す動き補償参照領域として推定する。そして、画像補正プログラムは、参照領域画素値算出部によって、動き補償参照領域の画素の画素値に所定の重み係数を乗じて、参照領域全体が動き補償で参照する動き補償領域における画素の画素値を算出する。さらに、画像補正プログラムは、画素値補正部によって、処理対象ブロックの画素の画素値を、算出された動き補償領域の画素の画素値に置き換えて補正する。
【００２３】
ここで、動き補償で参照すべき領域（動き補償参照領域）が、分割境界を挟んで隣接する区分領域の何れかに存在する可能性が高い。一般的には、近傍の動きベクトル同士は相関が高く、一方の区分領域の動きベクトルが分割境界外を参照しているときでも、他方の区分領域の動きベクトルが同一の分割画像内を参照していることが多い。このため、分割境界の周辺では、分割境界を挟んだ一方の区分領域では動き補償の精度が低くなり、その分割画像の画質も低下する。一方、他方の区分領域では動き補償の精度が変わらず、その分割画像の画質が維持される。このような現象が、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した際に多く発生するため、分割画像間の画質の差が目立つことになる。
【００２４】
従って、画像補正プログラムは、分割境界を挟んだ一方の区分領域において動き補償の参照領域（推定参照領域）が分割境界外に出て、他方の区分領域における動き補償の参照領域が分割境界内にある場合、分割境界外に出たと判定される分割境界ブロック（処理対象ブロック）に対して、補正を行う。ここで、分割境界周辺において、動き補償で参照すべき領域が分割境界外に出てしまい、精度良く動き補償ができなかったとする。この場合、画像補正プログラムは、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して、補正を行う。
【発明の効果】
【００２５】
本発明によれば、以下のような優れた効果を奏する。
本願第１，５発明によれば、分割境界外に出たと判定される分割境界ブロック（処理対象ブロック）に対して、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して補正を行う。これによって、本願第１，５発明によれば、簡素な構成で、元画像を分割して符号化した分割画像をそれぞれ復号して再構成した再構成画像における分割画像間の画質の差を低減でき、分割画像間の差が目立ちにくくなる。
【００２６】
本願第２発明によれば、適切な重み係数を算出できるため、分割画像間の画質の差をより低減できる。
本願第３発明によれば、処理対象ブロックのブロックサイズを統一することで、動き補償参照領域の推定処理が容易になり、演算処理の高速化を図ることができる。
本願第４発明によれば、動き補償の精度が低い参照不可領域を参照しないため、分割画像間の画質の差をより低減できる。
【図面の簡単な説明】
【００２７】
【図１】本発明において、分割画像について説明する図である。
【図２】本発明において、画像補正装置の全体構成を説明するブロック図である。
【図３】本発明において、周辺領域の設定を説明する概念図である。
【図４】図１の処理対象決定部及び処理部の構成を示すブロック図である。
【図５】本発明において、再構成画像を区分した区分領域を説明する概念図であり、（ａ）は区分領域の第一例であり、（ｂ）は区分領域の第二例であり、（ｃ）は最小値及び最大値を用いた場合の例である。
【図６】本発明において、分割境界ブロックと、区分領域と、分割境界との関係を説明する図である。
【図７】本発明において、動きベクトルの時間方向の補正を説明する概念図である。
【図８】本発明において、処理対象ブロックの判定を説明する概念図であり、（ａ）は処理対象ブロックとならない場合であり、（ｂ）は処理対象ブロックとなる場合である。
【図９】本発明において、参照領域の設定を説明する概念図である。
【図１０】本発明において、処理単位ブロックを説明する概念図である。
【図１１】本発明において、動き補償参照領域の推定を説明する概念図である。
【図１２】図４の画像補正装置の動作を示すフローチャートである。
【図１３】本発明の変形例１に係る画像補正装置の全体構成を説明するブロック図である。
【図１４】本発明の変形例２に係る画像補正装置の全体構成を説明するブロック図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２９】
［本発明の分割画像］
図１を参照して、本発明の分割画像について説明する。通常、１台の符号化器（不図示）で１枚の画像全体を符号化する。ここで、図１に示すように、データの処理量や処理内容の観点から、動画に含まれる１枚の元画像を分割画像１〜４にそれぞれ４分割する。そして、分割画像１〜４は、４台の符号化器（不図示）で別々にＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）等の任意の方式で符号化される。ここでは、各符号化器は、分割画像１〜４を符号化した符号化ストリーム１〜４を、画像補正装置１０（図２参照）にそれぞれ出力する。なお、図１では、再構成画像において、分割境界に対応する箇所を太線で図示した。
【００３０】
ここで、図１に示すように、元画像は、垂直方向及び水平方向に直線で分割されたものとする。また、元画像は、符号化時に動き補償が行われるものとする。具体的には、元画像は、動き補償で１枚の画像を参照するＰピクチャや、動き補償で２枚の画像を参照するＢピクチャとして符号化される。従って、Ｉピクチャのように動き補償が行われない画像は、本発明の対象とならない。
【００３１】
［画像補正装置の全体構成］
以下、図２を参照して、本発明の本実施形態に係る画像補正装置１０の全体構成について、説明する。図２に示すように、画像補正装置１０は、符号化ストリームバッファ２０と、復号部３１〜３４と、画像再構成部４０と、再構成画像バッファ５０と、分割境界処理部６０と、分割境界処理画像バッファ９０とを備える。
【００３２】
符号化ストリームバッファ２０は、入力された符号化ストリーム１〜４（図１参照）を蓄積するバッファメモリである。符号化ストリームバッファ２０に蓄積された符号化ストリーム１〜４は、例えば、その後の処理で不要となったとき、又は、符号化ストリームバッファ２０に蓄積可能な符号化ストリームの容量の限度を越えたとき、符号化ストリームバッファ２０から消去される。
【００３３】
復号部３１〜３４は、符号化ストリームバッファ２０を参照し、それぞれに対応した符号化ストリーム１〜４を復号するものである。ここでは、復号部３１が符号化ストリーム１を復号し、復号部３２が符号化ストリーム２を復号する。また、復号部３３が符号化ストリーム３を復号し、復号部３４が符号化ストリーム４を復号する。そして、復号部３１〜３４は、符号化ストリーム１〜４から復号した分割画像１〜４の列を、画像再構成部４０に出力する。ここで、復号部３１〜３４は、符号化ストリーム１〜４を符号化したときの符号化方式に対応した方式で符号化ストリーム１〜４を復号する。また、復号部３１〜３４は、符号化ストリーム１〜４の符号化方式に合わせて復号方式を変更可能にすることで、符号化方式に依存せずに画質向上処理を行うことができる。なお、復号部３１〜３４の数は、元画面を分割した分割画像数に等しい（例えば、４個）。
【００３４】
画像再構成部４０は、復号部３１〜３４から入力された分割画像１〜４を結合して、元画像と同じサイズの１枚の再構成画像に再構成するものである。そして、画像再構成部４０は、再構成した再構成画像を再構成画像バッファ５０に出力する。
【００３５】
このとき、画像再構成部４０は、分割画像１〜４が元画面のどの部分に対応するかを示す再構成情報が予め設定されていても良い。また、画像再構成部４０は、符号化ストリーム１〜４のヘッダに格納された再構成情報を参照しても良い。そして、画像再構成部４０は、再構成情報を参照し、図１の例では、分割画像１を左上、分割画像２を右上、分割画像３を左下、及び、分割画像４を右下に位置するように結合して、１枚の再構成画像に再構成する。
【００３６】
再構成画像バッファ５０は、画像再構成部４０から入力された再構成画像を蓄積するバッファメモリである。ここで、再構成画像バッファ５０に蓄積された再構成画像は、その後の処理で不要となったとき、又は、再構成画像バッファに蓄積可能な再構成画像の容量の限度を越えたとき、再構成画像バッファ５０から消去する。
【００３７】
分割境界処理部６０は、再構成画像バッファ５０を参照し、再構成画像バッファ５０に蓄積された再構成画像において、分割画像同士の境界である分割境界の周辺を補正（画質向上処理）するものである。図２に示すように、分割境界処理部６０は、処理対象決定部７０と、処理部８０とを備える。
【００３８】
処理対象決定部７０は、再構成画像バッファ５０を参照し、再構成画像の分割境界のうち、補正（画質向上処理）の対象となる領域（処理対象ブロック）を決定するものである。
【００３９】
処理部８０は、処理対象決定部７０が決定した領域（処理対象ブロック）に対し、補正（画質向上処理）を行うものである。そして、処理部８０は、この補正を行った分割境界処理画像を、分割境界処理画像バッファ９０に出力する。なお、処理対象決定部７０及び処理部８０の詳細は、後記する。
【００４０】
分割境界処理画像バッファ９０は、処理部８０から入力された分割境界処理画像を蓄積するバッファメモリである。また、分割境界処理画像バッファ９０に蓄積されている分割境界処理画像は、映像として表示される順番に、分割境界処理画像バッファ９０から出力される。分割境界処理画像バッファ９０に蓄積されている分割境界処理画像は、映像として出力しても分割境界処理画像バッファ９０から消去されない。例えば、この分割境界処理画像は、その後の処理で不要となったとき、又は、分割境界処理画像バッファ９０に蓄積可能な分割境界処理画像の容量の限度を越えたとき、分割境界処理画像バッファ９０から消去される。
【００４１】
（第一実施形態）
［周辺領域の設定］
画像補正装置１０では、分割境界処理部６０において処理をする前に、分割境界の周辺に位置する周辺領域ＲｉＢを設定する必要がある。以下、図３を参照し、本発明の第一実施形態において、周辺領域ＲｉＢの設定例を説明する。なお、図３では、分割境界を太線で示し、分割境界ブロックｉＢを黒塗り四角形で示し、周辺領域ＲｉＢを点のハッチングで示し、参照不可領域を斜線のハッチングで示した。
【００４２】
図３の分割境界は、再構成画像を再構成したときの分割画像同士の境界線であり、例えば、図１の分割画像１と分割画像２との境界線に対応する。
分割境界ブロックｉＢは、再構成画像の分割境界に隣接するブロックである。
このブロックは、符号化時にイントラ（画面内）予測又はインター（画面間）予測を行ったときのブロック（例えば、１６×１６のブロック、８×８のブロック）である。
【００４３】
周辺領域ＲｉＢは、再構成画像の分割境界の周辺において、任意のブロックで構成される領域である。この周辺領域ＲｉＢは、例えば、この分割境界ブロックｉＢを中心として、予め設定しておく。
周辺ブロックｊＢは、再構成画像の周辺領域ＲｉＢ内の各ブロックである。
参照不可領域は、再構成画像の分割境界に隣接し、動き補償の精度が高くないと予想される領域である。この参照不可領域は、分割境界ブロックｉＢ毎に、予め設定しておく。なお、この参照不可領域は、後記する分割境界処理部６０が参照しない領域である。
【００４４】
例えば、図３の例では、周辺領域ＲｉＢは、分割境界ブロックｉＢを中心とし、参照不可領域を除いた分割境界の周囲に位置する正方形状の１５ブロックである。なお、周辺領域ＲｉＢと参照不可領域の設定方法は、図３に制限されず任意である。ここで、周辺領域ＲｉＢは、長方形状、三角形状等の任意形状で、かつ、任意のブロック数の領域としても良い。ただし、周辺領域ＲｉＢは、参照不可領域に含まれない領域（ブロック）を有する必要がある。
【００４５】
［処理対象決定部の構成］
以下、図４を参照し、本発明の第一実施形態に係る画像補正装置１０における、処理対象決定部７０の構成について説明する（適宜図３参照）。図４に示すように、処理対象決定部７０は、分割境界ブロック解析部７１と、分割境界周辺動きベクトル処理部７２と、処理対象ブロック判定部７３と、処理対象ラベル生成部７４とを備える。
【００４６】
分割境界ブロック解析部７１は、分割境界ブロックｉＢ毎に、再構成画像を区分した区分領域の何れかを周辺動きベクトルＭＶｊＢが示す頻度として、ヒストグラムを生成するものである。ここで、分割境界ブロック解析部７１は、再構成画像バッファ５０を参照し、後記する分割境界周辺動きベクトル処理部７２から入力された周辺動きベクトルＭＶｊＢを使って、再構成画像の周辺領域ＲｉＢ内の全ての分割境界ブロックｉＢを１個ずつ解析する。
【００４７】
具体的には、分割境界ブロック解析部７１は、分割境界ブロックｉＢ毎に、周辺動きベクトルＭＶｊＢのそれぞれが、区分領域の何れかを示す頻度をヒストグラムとして生成する。例えば、分割境界ブロック解析部７１は、ＮＭＶｊＢ個の周辺動きベクトルＭＶｊＢが入力された場合、ＮＭＶｊＢ個の周辺動きベクトルＭＶｊＢが、区分領域の何れかを示す頻度をヒストグラムとして生成し、これを処理対象ブロック判定部７３に出力する。
【００４８】
周辺動きベクトルＭＶｊＢは、水平方向（ｘ軸方向）の大きさ成分と、垂直方向（ｙ軸方向）の大きさ成分とを有する２次元ベクトルである。そこで、分割境界ブロック解析部７１は、分割境界ブロックｉＢの中心座標を原点（０，０）として再構成画像を区分領域に区分し、各区分領域を示す周辺動きベクトルＭＶｊＢの頻度（個数）となるヒストグラムを生成する。例えば、区分領域は、再構成画像を、任意方向の第１軸線と、この第１軸に直交する第２軸線と、第１軸線と第２軸線との交点（図８の中心座標）が中心で互いに異なる半径を有する２以上の円とで区分される領域である。より具体的には、図５（ａ）に示すように、分割境界ブロック解析部７１は、水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）との４方向で原点からの距離に応じて３×４＝１２個、さらに、動きのない領域が１個、合計１３個の区分領域に区分しても良い。このとき、区分領域は、各分割境界ブロックｉＢに対する相対位置を示すものであり、分割境界ブロックｉＢの中心座標（原点（０，０））を基準に区分される。また、例えば、図５（ｂ）に示すように、分割境界ブロック解析部７１は、原点から時計周りに、４５°，１３５°，２２５°，３１５°との４方向で原点からの距離に応じて３×４＝１２個、さらに、動きのない領域が１個、合計１３個の区分領域に分割しても良い。なお、区分領域の区分方法は、図５に限定されず、任意である。
【００４９】
ここで、後の処理を考慮し、周辺動きベクトルＭＶｊＢの範囲を定めることにする。例えば、周辺動きベクトルＭＶｊＢの大きさについて、x軸方向とy軸方向とに最小値と最大値を定め、最小値よりも小さい値に対しては最小値を、最大値よりも大きい値に対しては最大値を適用する。つまり、周辺動きベクトルＭＶｊＢの大きさは、図５（ｃ）に示すように、x軸方向の最小値の破線と、x軸方向の最大値の破線と、ｙ軸方向の最小値の破線と、ｙ軸方向の最大値の破線とに囲まれた範囲とする。
【００５０】
ここで、図６を参照し、分割境界ブロックｉＢと、区分領域と、分割境界との関係を補足する。前記したように、分割境界ブロックｉＢは、分割境界に隣接する。また、区分領域は、分割境界ブロックｉＢの中心座標（原点（０，０））を基準に区分される。これら条件を満たすのであれば、区分領域は、任意に区分可能である。例えば、区分領域は、図６（ａ）に示すように、分割境界ブロックｉＢ内に収まるように区分されても良い。また、区分領域は、図６（ｂ）に示すように、分割境界ブロックｉＢから外れるように区分されても良い。なお、図６では、説明のために、分割境界ブロックｉＢをハッチングで図示した。
【００５１】
分割境界周辺動きベクトル処理部７２は、分割境界に位置する分割境界ブロックｉＢ毎に、分割境界の周辺に予め設定された周辺領域ＲｉＢに含まれる動きベクトルを時間方向で線形に補正した周辺動きベクトルＭＶｊｂを生成するものである。ここで、分割境界周辺動きベクトル処理部７２は、分割境界ブロック解析部７１に出力する周辺動きベクトルＭＶｊＢを求める。このとき、分割境界周辺動きベクトル処理部７２は、動き補償の精度が低い参照不可領域を参照しないことが好ましい。これによって、分割境界周辺動きベクトル処理部７２は、分割画像間の画質の差をより低減できる。
【００５２】
周辺動きベクトルＭＶｊＢは、分割境界ブロックｉＢの周辺領域ＲｉＢにある周辺ブロックｊＢの動きベクトルを、時間方向で線形に補正したベクトルである。ここで、例えば、分割境界ブロック解析部７１が、１個の分割境界ブロックｉＢを解析したとする。このとき、解析した分割境界ブロックｉＢに対して、１個の周辺領域ＲｉＢが定まる。この周辺領域ＲｉＢから、ＮＭＶｊＢ個の周辺動きベクトルＭＶｊＢが得られる。従って、分割境界周辺動きベクトル処理部７２は、解析した分割境界ブロックｉＢについて、ＮＭＶｊＢ個の周辺動きベクトルＭＶｊＢを、分割境界ブロック解析部７１に出力する。
【００５３】
ここで、分割境界周辺動きベクトル処理部７２は、周辺ブロックｊＢの動きベクトルを、符号化ストリームバッファ２０に蓄積されている符号化ストリーム１〜４を復号して得ることができる。ただし、分割境界周辺動きベクトル処理部７２は、符号化時に動き補償が行われなかった周辺ブロックｊＢから動きベクトルを得ることができない。このように、周辺ブロックｊＢから動きベクトルを得ることができない場合は、分割境界周辺動きベクトル処理部７２は、この周辺ブロックｊＢに対する周辺動きベクトルＭＶｊＢを０として、分割境界ブロック解析部７１に出力する。
【００５４】
動き補償を行う際、異なる時刻の参照画像を参照することがある。このため、得られた周辺ブロックｊＢの動きベクトルの中に、異なる時刻の参照画像に対する２次元座標を表すものを含むことがある。そこで、分割境界周辺動きベクトル処理部７２は、得られた周辺ブロックｊＢの動きベクトルに対し、時間方向の補正を行い、同一時刻の参照画像に対する２次元座標となるようにする。ここで合わせる補正時刻は、現在処理している分割境界ブロックｉＢが動き補償で参照している時刻とする。例えば、図７に示すように、現在処理している分割境界ブロックｉＢ（時刻＝ｔの現画像上のブロック）が、時刻＝ｔ＋１の再構成画像上のブロックを動き補償で参照しているとする。このとき、補正時刻は時刻＝ｔ＋１となる。復号した周辺ブロックｊＢの動きベクトルが、時刻＝ｔ＋１以外の時刻（例えば時刻＝ｔ＋２）の再構成画像上のブロックを動き補償で参照している場合、分割境界周辺動きベクトル処理部７２は、復号した動きベクトルを、補正時刻の画像と同時刻（時刻＝ｔ＋１の再構成画像）を指すように補正する。なお、図７では、各再構成画像の分割境界の図示を省略した。
【００５５】
この場合、分割境界周辺動きベクトル処理部７２は、ＭＶＸ´＝ＭＶＸ／Δｔ及びＭＶＹ´＝ＭＶＹ／Δｔという演算を行い、復号した動きベクトルを補正する。なお、図７において、（ＭＶＸ,ＭＶＹ）は復号した周辺ブロックの動きベクトルの２次元成分を表す。また、（ＭＶＸ´, ＭＶＹ´）は、（ＭＶＸ，ＭＶＹ）を補正した周辺動きベクトルＭＶｊＢの２次元成分を表す。また、Δｔは、現画像と動き補償の参照画像とのフレーム間隔を、現画像と補正時刻の画像とのフレーム間隔で除算した値である（図７の例では、Δｔ＝２）。このように、分割境界周辺動きベクトル処理部７２は、各周辺動きベクトルＭＶｊＢが、同一時刻の画像を参照するように時間方向の補正をする。これによって、画像補正装置１０は、正確性の高い周辺動きベクトルＭＶｊＢを求めることを可能とする。
【００５６】
ここで、分割境界ブロックｉＢで動き補償が行われていない場合、分割境界周辺動きベクトル処理部７２は、周辺領域ＲｉＢ内の各周辺ブロックｊＢが動き補償で参照する画像のうち、最も多く参照される画像の時刻に合わせる。また、これに該当する画像が複数あるとき、分割境界周辺動きベクトル処理部７２は、該当する画像のなかで、時間方向において、現画像に最も近い画像の時刻を補正時刻とする。
【００５７】
また、分割境界周辺動きベクトル処理部７２は、周辺領域ＲｉＢ内の周辺ブロックｊＢで、動きベクトルが得られないブロック、すなわち、全ての周辺動きベクトルＭＶｊＢが０のブロックに対しては、補正を行わない。なお、動き補償の方法によっては、1の周辺ブロックｊＢが複数の動きベクトルを持つことがある。この場合、周辺ブロックｊＢの持つ全ての動きベクトルに対応する周辺動きベクトルＭＶｊＢを求め、それらを分割境界ブロック解析部７１に出力する。
【００５８】
処理対象ブロック判定部７３は、分割境界ブロックｉＢ毎に、分割境界ブロック解析部７１から入力されたヒストグラムで周辺動きベクトルＭＶｊＢが示す頻度が最多となる区分領域を分割境界ブロックｉＢの推定参照領域として推定するものである。ここで、分割境界ブロック解析部７１で生成されたヒストグラムは、推定参照領域の分布を表している。また、ヒストグラムの各区間は、各区分領域に対応している。そこで、処理対象ブロック判定部７３は、分割境界ブロックｉＢの推定参照領域を、ヒストグラムにおける最高頻度の区間に対応する区分領域内にあると推定する。最高頻度の区間が複数あるときは、処理対象ブロック判定部７３は、該当する区分領域の中からランダムで選択又は最初に推定された区分領域を選択する等、任意の方法で１個の区分領域を選択する。以上のように、処理対象ブロック判定部７３は、各分割境界ブロックｉＢに対して、推定参照領域があると推定される区分領域がひとつ定まる。この区分領域は、各分割境界ブロックに対する相対位置を表している。そこで、分割境界ブロックの中心座標を基準にして、再構成画像上での区分領域の位置を求める。
【００５９】
また、処理対象ブロック判定部７３は、この推定参照領域が分割境界外に出ているときは分割境界ブロックｉＢを処理対象である処理対象ブロックｉＰ（図９参照）と判定し、推定参照領域が分割境界外に出ていないときは分割境界ブロックｉＢを処理対象でないと判定する。この場合、処理対象ブロック判定部７３は、分割境界ブロックｉＢ毎に、１個のヒストグラムが生成されているので、それぞれに対応するヒストグラムに基づいて、全ての分割境界ブロックｉＢが処理対象であるか否かを判定する。具体的には、処理対象ブロック判定部７３は、図８（ａ）に示すように、推定参照領域が分割境界外に出ていないときは、処理対象でないと判定する。一方、処理対象ブロック判定部７３は、図８（ｂ）に示すように、推定参照領域が分割境界外に出ているときは、処理対象であると判定する。そして、処理対象ブロック判定部７３は、分割境界ブロックｉＢ毎に、その分割境界ブロックｉＢが処理対象であるか否かを示す判定結果を、処理対象ラベル生成部７４に出力する。なお、処理対象ブロック判定部７３は、区分領域と分割境界が接しているときに、処理対象ブロックｉＰであるか否かを任意に判定しても良い。
【００６０】
処理対象ラベル生成部７４は、処理対象ブロック判定部７３から入力された判定結果に基づいて、全ての処理対象ブロックｉＰに対して、各処理対象ブロックｉＰを一意に識別可能な情報を処理対象ラベルとして生成する。また、処理対象ラベル生成部７４は、生成した処理対象ラベルを、処理部８０に出力する。
【００６１】
［参照領域の設定］
画像補正装置１０では、処理部８０において処理をする前に、処理対象ブロックｉＰに対して参照領域ＲｉＰを設定する必要がある。以下、図９を参照し、本発明の第一実施形態において、参照領域ＲｉＰの設定例を説明する。なお、図９では、分割境界を太線で示し、処理対象ブロックｉＰを黒塗り四角形で示し、参照領域ＲｉＰを点のハッチングで示した。
【００６２】
図９の分割境界は、図３と同様のものである。
処理対象ブロックｉＰは、処理の対象となるブロックであり、具体的には、処理対象ラベルが付与されているか否かによって判定できるブロックである。
参照領域ＲｉＰは、再構成画像の分割境界の周辺において、任意のブロックで構成される領域である。この参照領域ＲｉＰは、処理対象ブロックｉＰの周囲に予め設定された領域である。
参照ブロックｊＰは、再構成画像の参照領域ＲｉＰ内の各ブロックである。
【００６３】
図９の例では、参照領域ＲｉＰは、処理対象ブロックｉＰを中心とした、５×５ブロックの正方形状の２４ブロックである。また、図９に示すように、参照領域ＲｉＰは、分割境界を跨いで設定しても良い。なお、参照領域ＲｉＰの設定方法は、図９に制限されず任意である。例えば、周辺領域ＲｉＢは、長方形状、三角形状等の任意形状で、かつ、任意のブロック数の領域としても良い。
【００６４】
［処理対象決定部の構成］
以下、図４に戻り、本発明の第一実施形態に係る画像補正装置１０における、処理部８０の構成について説明する。図４に示すように、処理部８０は、処理単位ブロック生成部８１と、参照領域推定部８２と、参照ブロック結合度算出部８３と、参照ブロック信頼度算出部８４と、参照動きベクトル信頼度算出部８５と、参照領域信頼度算出部８６と、重み係数算出部８７と、参照領域画素値推定部８８と、処理対象ブロック画素値算出部８９とを備える。
【００６５】
処理単位ブロック生成部８１は、再構成画像バッファ５０を参照し、再構成画像の全ブロックを、所定サイズの処理単位ブロックに分割するものである。ここで、処理単位ブロック生成部８１は、この再構成画像内を符号化したときのブロックを、全て整数等分できる最大ブロックサイズとする。例えば、図１０では、再構成画像は、４×４のブロックと、４×８のブロックと、８×４のブロックと、８×８のブロックと、８×１６のブロックと、１６×８のブロックとが用いられている。この場合、処理単位ブロック生成部８１は、全てのブロックを整数等分できる４×４画素というサイズを、処理単位ブロックのサイズとする。
【００６６】
ここで、処理単位ブロック生成部８１は、分割前のブロックが動きベクトルを持つときは、処理単位ブロックに分割したブロックも同じ動きベクトルを持つこととする。また、処理単位ブロック生成部８１は、分割前のブロックが複数の動きベクトルを持つときは、処理単位ブロックに分割したブロックも同数の動きベクトルを持つこととする。さらに、処理単位ブロック生成部８１は、処理単位ブロックに分割したブロックにおいて、動きベクトルを持たない場合、大きさが０の動きベクトルとして処理を行う。
【００６７】
そして、処理部８０の各手段は、再構成画像のブロックを一定サイズの処理単位ブロックとして処理する。このように、処理単位ブロック生成部８１が、ブロックのサイズを統一することで、動き補償参照領域の推定処理が容易になり、演算処理の高速化を図ることができる。
【００６８】
なお、処理単位ブロック生成部８１は、処理対象ラベル生成部７４からの処理対象ラベルを、参照領域推定部８２と、参照ブロック結合度算出部８３と、参照ブロック信頼度算出部８４と、参照動きベクトル信頼度算出部８５と、参照領域信頼度算出部８６とに出力する。
【００６９】
参照領域推定部８２は、処理対象ブロックｉＰ毎に、参照領域ＲｉＰ内の参照ブロックｊＰに含まれる動きベクトルが示す領域を、処理対象ブロックｉＰの動きベクトルが示す動き補償参照領域Ｅｉｊ（図１１参照）として推定するものである。例えば、参照領域推定部８２は、処理対象ブロックｉＰに対する参照ブロックｊＰが８個の場合、８個の動き補償参照領域Ｅｉｊを推定する。そして、この動き補償参照領域Ｅｉｊを、参照ブロック信頼度算出部８４と、参照領域信頼度算出部８６と、参照領域画素値推定部８８とに出力する。
【００７０】
なお、参照領域推定部８２は、処理対象ラベル生成部７４からの処理対象ラベルに基づいて、再構成画像の分割境界ブロックｉＢが処理対象ブロックｉＰであるか否かを判定する。そして、参照領域推定部８２は、処理対象ブロックｉＰの各情報（例えば、動きベクトル、画素値）については、符号化ストリームバッファ２０を参照し、処理対象ブロックｉＰに対応する符号化ストリーム１〜４を復号して得ることができる。この点、以下も同様である。
【００７１】
まず、参照領域推定部８２は、参照ブロックｊＰの動きベクトルを、符号化ストリームバッファ２０に蓄積されている符号化ストリーム１〜４を復号して得る。このとき、処理対象ブロックｉＰの動きベクトルが、参照ブロックｊＰの動きベクトルに等しいと仮定する。そして、図１１に示すように、参照領域推定部８２は、処理対象ブロックｉＰにおいて、仮定した処理対象ブロックｉＰの動きベクトルが示す領域を、動き補償参照領域Ｅｉｊとして推定する。ここで、参照領域推定部８２は、参照ブロックｊＰの動きベクトルが複数の場合、各動きベクトルに対して動き補償参照領域を求め、その平均値を動き補償参照領域Ｅｉｊとして推定する。また、参照ブロックｊＰが動きベクトルを持たない場合、動き補償参照領域Ｅｉｊは、推定しない。なお、参照領域推定部８２は、動き補償参照領域Ｅｉｊで、再構成画像外に出る領域は扱わない。
【００７２】
参照ブロック結合度算出部８３は、処理対象ブロックｉＰと参照ブロックｊＰとの距離に対して負の相関となる参照ブロック結合度ａｉｊを算出するものである。ここで、参照ブロック結合度算出部８３は、例えば、下記式（１）又は式（２）を用いて、参照ブロック結合度ａｉｊを算出する。そして、参照ブロック結合度算出部８３は、算出した参照ブロック結合度ａｉｊを重み係数算出部８７に出力する。なお、式（１）及び式（２）では、ａｉｊが参照ブロック結合度であり、ｘｉが処理対象ブロックｉＰのｘ軸方向の中心座標であり、ｙｉが処理対象ブロックｉＰのｙ軸方向の中心座標であり、ｘｊが参照ブロックｊＰのｘ軸方向の中心座標であり、ｙｊが参照ブロックｊＰのｙ軸方向の中心座標であり、ａｂｓは絶対値を算出する関数である。
【００７３】
【数１】
2011009887.tif 000003
【００７４】
【数２】
2011009887.tif 000004
【００７５】
参照ブロック信頼度算出部８４は、図１１に示すように、参照ブロックｊＰの復号画像ＸｊＰと、参照ブロックｊＰの動き補償参照領域Ｅｊｊとの画素値の差に対して負の相関となる参照ブロック信頼度ｂｊを算出するものである。このとき、参照ブロック信頼度算出部８４は、符号化ストリームバッファ２０を参照し、符号化ストリーム１〜４を復号して参照ブロックｊＰの各情報（例えば、動きベクトル、画素値）を得ることができる。この点、以下も同様である。ここで、参照ブロック信頼度ｂｊは、例えば、式（３）で表すことができる。なお、式（３）では、ｂｊが参照ブロック信頼度であり、ＸｊＰが参照ブロックの復号画像であり、Ｅｊｊが参照ブロックの動き補償参照領域である。
【００７６】
【数３】
2011009887.tif 000005
【００７７】
このとき、参照ブロック信頼度算出部８４は、１の参照ブロックｊＰに対し、複数の動き補償参照領域Ｅｊｊがあるときは、各動き補償参照領域Ｅｊｊを平均しても良く、任意の方法で何れかの複数の動き補償参照領域Ｅｊｊを選択しても良い。
【００７８】
ここで、参照ブロックｊＰの復号画像ＸｊＰと動き補償参照領域Ｅｊｊとの画素値の差は、例えば、下記式（４）〜式（７）で表すことができる。つまり、参照ブロック信頼度算出部８４は、下記式（４）〜式（７）の何れかを用いて、参照ブロック信頼度ｂｊを算出すれば良い。そして、参照ブロック信頼度算出部８４は、算出した参照ブロック信頼度ｂｊを重み係数算出部８７に出力する。
【００７９】
なお、式（４）は、輝度信号の差の絶対値の総和であり、式（５）は、輝度信号の差の２乗の平方根の総和である。また、式（６）は、輝度信号の差の絶対値と色差信号の差の絶対値の加重総和であり、式（７）は、輝度信号の差の２乗と色差信号の差の２乗との加重和の平方根の総和である。
【００８０】
【数４】
2011009887.tif 000006
【００８１】
【数５】
2011009887.tif 000007
【００８２】
【数６】
2011009887.tif 000008
【００８３】
【数７】
2011009887.tif 000009
【００８４】
なお、式（４）〜式（７）では、ＹＸｊＰ（ｐ）がブロック領域Ｂｊｐ内の画素pの輝度信号Ｙを示し、ＣｂＸｊＰ（ｐ）がブロック領域Ｂｊｐ内の画素pの色差信号Ｃｂを示し、ＣｒＸｊＰ（ｐ）がブロック領域Ｂｊｐ内の画素pの色差信号Ｃｒを示す。ここで、ブロック領域Ｂｊｐとは、参照ブロックｊＰ内の画素の集合である。
【００８５】
また、式（４）〜式（７）では、ＹＥｊｊ（ｐ）が動き補償参照領域Ｅｊｊ内の画素pの輝度信号Ｙを示し、ＣｂＥｊｊ（ｐ）が動き補償参照領域Ｅｊｊ内の画素pの色差信号Ｃｂを示し、ＣｒＥｊｊ（ｐ）が動き補償参照領域Ｅｊｊ内の画素pの色差信号Ｃｒを示し、α１，α２，β１，β２は所定の係数を示す。
【００８６】
参照動きベクトル信頼度算出部８５は、参照ブロックｊＰに含まれる動きベクトルの大きさに対して負の相関となる参照動きベクトル信頼度ｃｊを算出するものである。このとき、処理対象ブロックｉＰの動きベクトルが、参照ブロックｊＰの動きベクトルに等しいと仮定する。従って、参照動きベクトル信頼度算出部８５は、仮定した各参照ブロックｊＰの動きベクトルＭＶｊｐを、例えば、下記式（８）又は式（９）で算出する。そして、参照動きベクトル信頼度算出部８５は、算出した参照動きベクトル信頼度ｃｊを重み係数算出部８７に出力する。
【００８７】
【数８】
2011009887.tif 000010
【００８８】
【数９】
2011009887.tif 000011
【００８９】
なお、式（８）及び式（９）では、ｘＭＶｊｐは参照ブロックｊＰの動きベクトルＭＶｊｐのｘ軸方向の成分を示し、ｙＭＶｊｐは参照ブロックｊＰの動きベクトルＭＶｊｐのｙ軸方向の成分を示し、ｔＭＶｊｐは動き補償で参照画像の表示順序で何画像（フレーム間隔）異なるかを示し、α３は任意の係数を示す。
【００９０】
参照領域信頼度算出部８６は、処理対象ブロックｉＰの復号画像ＸｉＰと動き補償参照領域Ｅｉｊとの類似度を示す参照領域信頼度ｄｉｊを算出するものである。処理対象ブロックｉＰの復号画像ＸｉＰは、符号化ストリームを復号することで得られる。ここで、参照領域信頼度ｄｉｊは、復号画像ＸｉＰと、動き補償参照領域Ｅｉｊとの差分に対して、負の相関を有し、例えば、式（１０）で表すことができる。なお、式（１０）では、ｄｉｊが参照領域信頼度であり、ＸｉＰが処理対象ブロックｉＰの復号画像であり、Ｅｉｊが動き補償参照領域である。
【００９１】
【数１０】
2011009887.tif 000012
【００９２】
ここで、処理対象ブロックｉＰの復号画像ＸｉＰと動き補償参照領域Ｅｉｊとの画素値の差は、例えば、下記式（１１）〜式（１４）で表すことができる。つまり、参照領域信頼度算出部８６は、下記式（１１）〜式（１４）の何れかを用いて、参照領域信頼度ｄｉｊを算出すれば良い。そして、参照領域信頼度算出部８６は、算出した参照領域信頼度ｄｉｊを重み係数算出部８７に出力する。
【００９３】
なお、式（１１）は、輝度信号の差の絶対値の総和であり、式（１２）は、輝度信号の差の２乗の平方根の総和である。また、式（１３）は、輝度信号の差の絶対値と色差信号の差の絶対値の加重総和であり、式（１４）は、輝度信号の差の２乗と色差信号の差の２乗との加重和の平方根の総和である。
【００９４】
【数１１】
2011009887.tif 000013
【００９５】
【数１２】
2011009887.tif 000014
【００９６】
【数１３】
2011009887.tif 000015
【００９７】
【数１４】
2011009887.tif 000016
【００９８】
なお、式（１１）〜式（１４）では、ＹＸｉＰ（ｐ）がブロック領域Ｂｉｐ内の画素pの輝度信号Ｙを示し、ＣｂＸｉＰ（ｐ）がブロック領域Ｂｉｐ内の画素pの色差信号Ｃｂを示し、ＣｒＸｉＰ（ｐ）がブロック領域Ｂｉｐ内の画素pの色差信号Ｃｒを示す。
【００９９】
重み係数算出部８７は、参照ブロック結合度算出部８３からの参照ブロック結合度ａｉｊ、参照ブロック信頼度算出部８４からの参照ブロック信頼度ｂｊ、参照動きベクトル信頼度算出部８５からの参照動きベクトル信頼度ｃｊ、及び、参照領域信頼度算出部８６からの参照領域信頼度ｄｉｊを用いて、重み係数を算出するものである。
【０１００】
ここで、重み係数ｗｉｊは、参照ブロックｊＰから推定された動き補償参照領域Ｅｉｊの各情報（例えば、画素値）を統合するのに用いられる。例えば、重み係数算出部８７は、重み係数ｗｉｊを、下記式（１５）を用いて算出する。
【０１０１】
【数１５】
2011009887.tif 000017
【０１０２】
なお、重み係数算出部８７は、重み係数ｗｉｊを算出するときに、参照ブロック結合度ａｉｊ、参照ブロック信頼度ｂｊ、参照動きベクトル信頼度ｃｊ及び参照領域信頼度ｄｉｊの全てを用いる必要はない。例えば、重み係数算出部８７は、参照ブロック信頼度ｂｊを用いない場合、下記式（１６）を用いて、重み係数ｗｉｊを算出する。
【０１０３】
【数１６】
2011009887.tif 000018
【０１０４】
つまり、重み係数算出部８７は、参照ブロック結合度ａｉｊ、参照ブロック信頼度ｂｊ、参照動きベクトル信頼度ｃｊ及び参照領域信頼度ｄｉｊのうちの２以上を利用する場合、それら値を乗算した値を重み係数ｗｉｊとする。また、重み係数算出部８７は、参照ブロック結合度ａｉｊ、参照ブロック信頼度ｂｊ、参照動きベクトル信頼度ｃｊ及び参照領域信頼度ｄｉｊのうち何れか１個のみを利用する場合、その値を重み係数ｗｉｊとする。さらに、重み係数算出部８７は、参照ブロック結合度ａｉｊ、参照ブロック信頼度ｂｊ、参照動きベクトル信頼度ｃｊ及び参照領域信頼度ｄｉｊの全てを利用しない場合、重み係数ｗｉｊを１とする。そして、重み係数算出部８７は、算出した重み係数ｗｉｊを参照領域画素値推定部８８に出力する。なお、重み係数ｗｉｊが請求項に記載の重み係数に相当する。このように適切な重み係数ｗｉｊを算出するため、重み係数算出部８７は、分割画像間の画質の差をより低減できる。
【０１０５】
参照領域画素値推定部８８は、動き補償参照領域Ｅｉｊの画素の画素値に重み係数算出部８７を乗じて、参照領域ＲｉＰ全体が動き補償で参照する動き補償領域Ｅ〜ｉ内の画素の画素値を算出するものである。具体的には、参照領域画素値推定部８８は、動き補償参照領域Ｅｉｊの各情報を、重み係数ｗｉｊを用いて統合し、処理対象ブロックｉＰと同じサイズの動き補償領域Ｅ〜ｉを求める。そして、参照領域画素値推定部８８は、下記式（１７）を用いて、動き補償領域Ｅ〜ｉの各画素の画素値を算出する。その後、参照領域画素値推定部８８は、動き補償領域Ｅ〜ｉの各画素の画素値Ｅ〜ｉ（ｐＥ）を処理対象ブロック画素値算出部８９に出力する。なお、下記式（１７）では、Ｅｉｊ（ｐＥ）は動き補償参照領域Ｅｉｊの画素ｐＥの画素値を示し、Ｅ〜ｉ（ｐＥ）は動き補償領域Ｅ〜ｉの画素ｐＥの画素値を示す。なお、参照領域画素値推定部８８が、請求項に記載の参照領域画素値算出部に相当する。
【０１０６】
【数１７】
2011009887.tif 000019
【０１０７】
処理対象ブロック画素値算出部８９は、処理対象ブロックｉＰの画素の画素値Ｘ〜ｉＰを、動き補償領域Ｅ〜ｉの画素ｐＥの画素値Ｅ〜ｉ（ｐＥ）に置き換えて補正するものである。ここで、処理対象ブロック画素値算出部８９は、下記式（１８）を用いて、この再構成画像の画素値ＸｉＰを画素値Ｘ〜ｉＰに補正（更新）する。なお、式（１８）では、ＸｉＰは更新前の再構成画像の画素ｐＥの画素値を示し、Ｘ〜ｉＰは補正後の再構成画像の画素ｐＥの画素値を示し、Ｅ〜ｉ（ｐＥ）は動き補償領域Ｅ〜ｉの画素ｐＥの画素値を示し、ｋは任意の結合係数（０≦ｋ≦１）を示す。
【０１０８】
【数１８】
2011009887.tif 000020
【０１０９】
ここで、処理対象ブロック画素値算出部８９は、再構成画像に含まれる全ての処理対象ブロックｉＰに対して、画素値ＸｉＰを画素値Ｘ〜ｉＰに補正する処理を行う。そして、処理対象ブロック画素値算出部８９は、補正した再構成画像（分割境界処理画像）を出力する。このとき、処理対象ブロック画素値算出部８９は、１の再構成画像に分割境界が複数あるときは、各分割境界をそれぞれ処理し、その結果を平均等によって統合して最終的な分割境界処理画像とする。また処理対象ブロック画素値算出部８９は、任意の順序で分割境界を処理し、前の分割境界の処理の結果を用いて、後の分割境界処理を行っても良い。なお、処理対象ブロック画素値算出部８９が、請求項に記載の画素値補正部に相当する。
【０１１０】
［画像補正装置の動作］
以下、図１２を参照して、図４の画像補正装置１０の動作について、説明する（適宜図４参照）。まず、画像補正装置１０は、分割境界周辺動きベクトル処理部７２によって、周辺動きベクトルＭＶｊｂを生成する（ステップＳ１）。また、画像補正装置１０は、分割境界ブロック解析部７１によって、再構成画像を区分した区分領域の何れかを周辺動きベクトルＭＶｊＢが示す頻度として、ヒストグラムを生成する（ステップＳ２）。
【０１１１】
ステップＳ２の処理に続いて、画像補正装置１０は、処理対象ブロック判定部７３によって、各分割境界ブロックｉＢが処理対象となる処理対象ブロックｉＰであるか判定する（ステップＳ３）。そして、画像補正装置１０は、処理対象ラベル生成部７４によって、各処理対象ブロックｉＰを一意に識別可能な情報を処理対象ラベルとして生成する（ステップＳ４）。
【０１１２】
ステップＳ４の処理に続いて、画像補正装置１０は、処理単位ブロック生成部８１によって、再構成画像の全ブロックを、所定サイズの処理単位ブロックに分割する（ステップＳ５）。また、参照領域推定部８２によって、動き補償参照領域Ｅｉｊを推定する（ステップＳ６）。
【０１１３】
ステップＳ６の処理に続いて、画像補正装置１０は、参照ブロック結合度算出部８３によって、参照ブロック結合度ａｉｊを算出する（ステップＳ７）。また、画像補正装置１０は、参照ブロック信頼度算出部８４によって、参照ブロック信頼度ｂｊを算出する（ステップＳ８）。そして、画像補正装置１０は、参照動きベクトル信頼度算出部８５によって、参照動きベクトル信頼度ｃｊを算出する（ステップＳ９）。さらに、画像補正装置１０は、参照領域信頼度算出部８６によって、参照領域信頼度ｄｉｊを算出する（ステップＳ１０）。なお、ステップＳ７〜ステップＳ１０は、その順番が図１２に制限されず、これらを入れ替えても良い。
【０１１４】
ステップＳ１０の処理に続いて、画像補正装置１０は、重み係数算出部８７によって、参照ブロック結合度ａｉｊ、参照ブロック信頼度ｂｊ、参照動きベクトル信頼度ｃｊ及び参照領域信頼度ｄｉｊの少なくとも一つを用いて、重み係数ｗｉｊを算出する（ステップＳ１１）。なお、参照ブロック結合度ａｉｊ等の全てを利用しない場合、画像補正装置１０は、重み係数算出部８７によって、重み係数ｗｉｊを１としても良い。
【０１１５】
ステップＳ１１の処理に続いて、画像補正装置１０は、参照領域画素値推定部８８によって、動き補償参照領域Ｅｉｊの画素の画素値に重み係数ｗｉｊを乗じて、動き補償領域Ｅ〜ｉ内の画素の画素値を算出する（ステップＳ１２）。また、画像補正装置１０は、処理対象ブロック画素値算出部８９によって、処理対象ブロックｉＰの画素の画素値Ｘ〜ｉＰを、動き補償領域Ｅ〜ｉの画素ｐＥの画素値Ｅ〜ｉ（ｐＥ）に置き換えて補正する（ステップＳ１３）。
【０１１６】
以上のように、本発明の第一実施形態に係る画像補正装置１０によれば、分割境界外に出たと判定される推定参照領域（処理対象ブロック）に対して、分割境界の周辺の情報（周辺動きベクトル）を使って、分割境界外に出てしまった参照すべき領域（動き補償参照領域）を推定して補正を行う。これによって、本発明の第一実施形態に係る画像補正装置１０によれば、簡素な構成で、１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における分割画像間の画質の差を低減でき、分割画像間の差が目立ちにくくなる。さらに、本発明の第一実施形態に係る画像補正装置１０によれば、分割画像１〜４を１枚に再構成した再構成画像を補正するため、符号化方式及び復号方式に依存せず、汎用性が高い。
【０１１７】
なお、本発明の第一実施形態では、１枚の元画像を分割画像１〜４に分割した例で説明したが、元画像を分割する数は特に制限されない。例えば、本発明の第一実施形態に係る画像補正装置１０は、元画像を縦に４分割、かつ、横に４分割（分割画像１〜１６）し、この分割画像１〜１６を再構成した再構成画像の補正を行っても良い。
【０１１８】
なお、本発明の第一実施形態に係る画像補正装置１０は、補正した再構成画像（分割境界処理画像）の画質をさらに向上させるため、この画像に平滑化等の画像処理を施す手段（不図示）を処理対象ブロック画素値算出部８９の後に備えても良い。
【０１１９】
なお、本発明の第一実施形態では、本発明に係る画像補正装置を独立した装置として説明したが、これに限定されない。つまり、本発明では、一般的なコンピュータのＣＰＵ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるプログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【０１２０】
なお、図２に示すように、画像補正装置１０が符号化ストリームバッファ２０等を備えることとして説明したが、これに限定されない。以下、画像補正装置１０の構成を変更したものを、変形例１，２として説明する。
【０１２１】
［変形例１］
図１３に示すように、本発明の変形例１に係る画像補正装置１０Ｂは、図２の画像補正装置１０と比べ、復号部３１〜３４を備えない点が大きく相違する。この場合、画像補正装置１０Ｂは、符号化ストリームの他に、復号器（不図示）で復号された分割画像１〜４が入力される必要がある。そして、画像補正装置１０Ｂは、画像再構成部４０が、入力された分割画像１〜４を再構成画像に再構成する。
【０１２２】
［変形例２］
図１４に示すように、本発明の変形例２に係る画像補正装置１０Ｃは、図２の画像補正装置１０と比べ、復号部３１〜３４と画像再構成部４０とを備えない点が大きく相違する。この場合、画像補正装置１０Ｃは、符号化ストリームの他に、分割画像１〜４から再構成された再構成画像が入力される必要がある。そして、画像補正装置１０Ｃは、再構成画像バッファ５０が、入力された再構成画像を蓄積する
【０１２３】
以上のような構成としても、本発明の変形例１，２に係る画像補正装置１０Ｂ，１０Ｃは、本発明の第一実施形態に係る画像補正装置１０と同様に、簡素な構成で、１枚の元画像を分割して符号化した分割画像をそれぞれ復号して１枚に再構成した再構成画像における分割画像間の画質の差を低減でき、分割画像間の差が目立ちにくくなる。なお、以上の変形例１，２に係る画像補正装置１０Ｂ，１０Ｃでは、各手段が図１と同様のものであるため、その説明を省略する。
【符号の説明】
【０１２４】
１０，１０Ｂ，１０Ｃ  画像補正装置
２０  符号化ストリームバッファ
３１〜３４  復号部
４０  画像再構成部
５０  再構成画像バッファ
６０  分割境界処理部
７０  処理対象決定部
７１  分割境界ブロック解析部
７２  分割境界周辺動きベクトル処理部
７３  処理対象ブロック判定部
７４  処理対象ラベル生成部
８０  処理部
８１  処理単位ブロック生成部
８２  参照領域推定部
８３  参照ブロック結合度算出部
８４  参照ブロック信頼度算出部
８５  参照動きベクトル信頼度算出部
８６  参照領域信頼度算出部
８７  重み係数算出部
８８  参照領域画素値推定部（参照領域画素値算出部）
８９  処理対象ブロック画素値算出部（画素値補正部）
９０  分割境界処理画像バッファ
【図１】
2011009887.tif 000021
【図２】
2011009887.tif 000022
【図３】
2011009887.tif 000023
【図４】
2011009887.tif 000024
【図５】
2011009887.tif 000025
【図６】
2011009887.tif 000026
【図７】
2011009887.tif 000027
【図８】
2011009887.tif 000028
【図９】
2011009887.tif 000029
【図１０】
2011009887.tif 000030
【図１１】
2011009887.tif 000031
【図１２】
2011009887.tif 000032
【図１３】
2011009887.tif 000033
【図１４】
2011009887.tif 000034