(57)【要約】【課題】ブロックノイズ発生状態を精度良く検出する。【解決手段】ブロックノイズ検出装置は、少なくとも１つの画像フレームが格子状に並んだ複数の画素を含む画素ブロック単位で符号化された画像データを画素ブロック単位で復号して得られた画像フレームにおける隣接画素間の画素値の差分を当該画素間の画素境界の画素境界段差としてそれぞれ算出し、各画素境界段差を各画素ブロック内の該画素境界の位置に対応する複数のグループのいずれか１つに分類し、分類されたグループ毎にそれぞれ累積し、画素境界が隣接する画素ブロック間の境界となる位置に対応するブロック境界グループを特定し、該ブロック境界グループの画素境界段差の累積値から該ブロック境界グループ以外のグループの内の１つのグループの画素境界段差の累積値又は複数のグループの画素境界段差の累積値の平均値を減じた値に応じて画像フレームにおけるブロックノイズ発生状態を検出する。【選択図】図１
2011114683.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの入力画像フレームが格子状に並ぶ複数の画素をそれぞれ含む画素ブロック単位で符号化された画像データを受け、該画像データを前記画素ブロック単位でそれぞれ復号することにより得られた対象画像フレームにおけるブロックノイズを検出するブロックノイズ検出装置において、
前記対象画像フレームにおける隣接する画素間の画素値の差分を当該画素間の画素境界の画素境界段差としてそれぞれ算出する段差算出部と、
前記算出された各画素境界段差を各画素ブロックにおける該画素境界の位置に対応する複数のグループのいずれか１つにそれぞれ分類し、該各画素境界段差を分類されたグループ毎にそれぞれ累積する累積部と、
前記複数のグループのうち、画素境界が、隣接する画素ブロック間の境界となる位置に対応するブロック境界グループを特定し、該ブロック境界グループの画素境界段差の累積値から、該ブロック境界グループ以外のグループのうちの１つのグループの画素境界段差の累積値又は該ブロック境界グループ以外のグループのうちの複数のグループの画素境界段差の累積値の平均値を減じた値をブロックノイズ判定値として算出する算出部と、
前記ブロックノイズ判定値に応じて前記対象画像フレームにおけるブロックノイズ発生状態を検出する検出部と、
を含むブロックノイズ検出装置。
【請求項２】
前記段差算出部は、画素境界を形成する隣接する２つの画素のうちの一方の画素の画素値と他方の画素の画素値との差分値と、該一方の画素を含む該画素境界の一方向側の複数の画素の画素値の関係から推定される該画素境界における画素値と該他方の画素を含む該画素境界の他方向側の複数の画素の画素値の関係から推定される該画素境界の画素値との差分値と、の何れか小さいほうを前記画素境界段差として算出する。
請求項１に記載のブロックノイズ検出装置。
【請求項３】
前記累積部は、前記画素境界段差が所定の閾値よりも小さい場合には、該画素境界段差が分類されたグループに累積し、画素境界段差が所定の閾値以上である場合には累積しない
請求項１又は２に記載のブロックノイズ検出装置。
【請求項４】
前記対象画像フレームと前記対象画像フレームの直前の画像フレームとにおいて、同じ位置にある画素間の画素値の差分に基づいて、前記画素境界段差の累積対象となる画素境界を決定する決定部をさらに備え、
前記累積部は、前記累積対象となる画素境界の画素境界段差を累積する
請求項１から３の何れか１項に記載のブロックノイズ検出装置。
【請求項５】
少なくとも１つの入力画像フレームが格子状に並ぶ複数の画素をそれぞれ含む画素ブロック単位で符号化された画像データを受け、該画像データを前記画素ブロック単位でそれぞれ復号することにより得られた対象画像フレームにおけるブロックノイズを検出するブロックノイズ検出装置が、
前記対象画像フレームにおける隣接する画素間の画素値の差分を当該画素間の画素境界の画素境界段差としてそれぞれ算出するステップと、
前記算出された各画素境界段差を各画素ブロックにおける該画素境界の位置に対応する複数のグループのいずれか１つにそれぞれ分類し、該各画素境界段差を分類されたグループ毎にそれぞれ累積するステップと、
前記複数のグループのうち、画素境界が、隣接する画素ブロック間の境界となる位置に対応するブロック境界グループを特定し、該ブロック境界グループの画素境界段差の累積値から該ブロック境界グループ以外のグループのうちの１つのグループの画素境界段差の
累積値又は該ブロック境界グループ以外のグループのうちの複数のグループの画素境界段差の累積値の平均値を減じた値をブロックノイズ判定値として算出するステップと、
前記ブロックノイズ判定値に応じて前記対象画像フレームにおけるブロックノイズ発生状態を検出する検出ステップと、
を実行するブロックノイズ検出方法。
【請求項６】
少なくとも１つの入力画像フレームが格子状に並ぶ複数の画素をそれぞれ含む画素ブロック単位で符号化された画像データを受け、該画像データを前記画素ブロック単位でそれぞれ復号することにより得られた対象画像フレームにおけるブロックノイズを検出するブロックノイズ検出装置に、
前記対象画像フレームにおける隣接する画素間の画素値の差分を当該画素間の画素境界の画素境界段差としてそれぞれ算出するステップと、
前記算出された各画素境界段差を各画素ブロックにおける該画素境界の位置に対応する複数のグループのいずれか１つにそれぞれ分類し、該各画素境界段差を分類されたグループ毎にそれぞれ累積するステップと、
前記複数のグループのうち、画素境界が、隣接する画素ブロック間の境界となる位置に対応するブロック境界グループを特定し、該ブロック境界グループの画素境界段差の累積値から該ブロック境界グループ以外のグループのうちの１つのグループの画素境界段差の累積値又は該ブロック境界グループ以外のグループのうちの複数のグループの画素境界段差の累積値の平均値を減じた値をブロックノイズ判定値として算出するステップと、
前記ブロックノイズ判定値に応じて前記対象画像フレームにおけるブロックノイズ発生状態を検出するステップと、
を実行させるためのブロックノイズ検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を画素ブロック単位で符号化及び復号化した際に生じるブロックノイズを検出するためのブロックノイズ検出装置に関する。
【背景技術】
【０００２】
動画像圧縮符号化方式として、代表的なものに、例えば、国際標準であるＭＰＥＧ-２(Moving Picture Experts Group-2)がある。動画像は複数の画像フレームと呼ばれる画像
を含む。ＭＰＥＧ−２は、画像フレーム間で類似する部分が参照される動き補償により時間領域における動画像の圧縮を実現する。また、ＭＰＥＧ−２は、各画像フレームを水平及び垂直方向に所定数の画素が格子状に並んだ矩形ブロック（以降、画素ブロック）に分割して、離散コサイン変換（DCT Discrete Cosine Transform）を行い、周波数領域のデ
ータに変換する。周波数領域のデータに変換されたデータは量子化され、符号化される。ＭＰＥＧ−２では、このようにして、空間領域における動画像の圧縮を実現する。
【０００３】
ＤＣＴが行われると、低周波成分にデータが偏るため、量子化によって高周波成分が欠落することがある。例えば、高い圧縮率で符号化を行う場合には、量子化による高周波成分の欠落が起こりやすい。高周波成分が欠落することにより、復号された画像フレームにおいて、隣接する画素ブロック間の境界付近の画素値の連続性がなくなり、画面内に矩形のノイズが発生する。この矩形のノイズは、ブロックノイズと呼ばれる。
【０００４】
ブロックノイズの発生状態の判定には、例えば、隣接する画素の画素値の差分が判定値として用いられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１２６４１号公報
【特許文献２】特開２０００−３５０２０２号公報
【特許文献３】特開２０００−５０２７５号公報
【特許文献４】特開２００２−２０４４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、隣接する画素間の画素値の差分には、ブロックノイズによる差分に加えて画像の絵柄による差分も含まれる。そのため、隣接する画素間の画素値の差分をブロックノイズ発生状態の判定値とする場合、判定値に絵柄による画素値の差分も含まれてしまうことによって、ブロックノイズ発生状態の検出結果が絵柄に依存してしまうという問題があった。画像の絵柄が、例えば、一面単色であるような平坦な場合には画素値の変化は少ないが、絵柄が複雑な画像では画素値の変化が激しくなる。従って、画像のブロックノイズによる画質の劣化具合が同程度である場合、絵柄が複雑な画像ほど絵柄による画素値の差分が大きくなり、ブロックノイズの発生状態の検出結果の絵柄への依存が高くなる。
【０００７】
本発明の一態様は、ブロックノイズ発生状態を精度良く検出することができるブロックノイズ検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の態様の一つは、ブロックノイズ検出装置である。このブロック検出装置は、
少なくとも１つの入力画像フレームが格子状に並ぶ複数の画素をそれぞれ含む画素ブロック単位で符号化された画像データを受け、該画像データを前記画素ブロック単位でそれぞれ復号することにより得られた対象画像フレームにおけるブロックノイズを検出するブロックノイズ検出装置において、
前記対象画像フレームにおける隣接する画素間の画素値の差分を当該画素間の画素境界の画素境界段差としてそれぞれ算出する段差算出部と、
前記算出された各画素境界段差を各画素ブロックにおける該画素境界の位置に対応する複数のグループのいずれか１つにそれぞれ分類し、該各画素境界段差を分類されたグループ毎にそれぞれ累積する累積部と、
前記複数のグループのうち、画素境界が、隣接する画素ブロック間の境界となる位置に対応するブロック境界グループを特定し、該ブロック境界グループの画素境界段差の累積値から該ブロック境界グループ以外のグループのうちの１つのグループの画素境界段差の累積値又は該ブロック境界グループ以外のグループのうちの複数のグループの画素境界段差の累積値の平均値を減じた値をブロックノイズ判定値として算出する算出部と、
前記ブロックノイズ判定値に応じて前記対象画像フレームにおけるブロックノイズ発生状態を検出する検出部と、を含む。
【０００９】
本発明の他の態様の一つは、上述したブロックノイズ検出方法である。また、本発明の他の態様は、コンピュータを情報処理装置として機能させるプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体を含むことができる。
【発明の効果】
【００１０】
開示のブロックノイズ検出装置によれば、ブロックノイズ発生状態を精度良く検出することができる。
【図面の簡単な説明】
【００１１】
【図１】ブロックノイズ検出システムの構成例を示す図である。
【図２】画像フレームの一例を示す図である。
【図３Ａ】高次予測によって画素境界における画素値を推定する例を説明するための図である。
【図３Ｂ】高次予測によって画素境界における画素値を推定する例を説明するための図である。
【図４Ａ】線形予測によって画素境界における画素値を推定する例を説明するための図である。
【図４Ｂ】線形予測によって画素境界における画素値を推定する例を説明するための図である。
【図５】複数の並んだ画素の各画素値がほぼ一定の勾配で変化している場合を示す図である。
【図６Ａ】画素ｘ４と画素ｘ５との画素値の差分絶対値Ａと、推定画素値ｙP4と推定画素値ｙP5との差分絶対値Ｂと、所定の閾値Ｔ１と、の比較を示す例である。
【図６Ｂ】画素ｘ４と画素ｘ５との画素値の差分絶対値Ａと、推定画素値ｙP4と推定画素値ｙP5との差分絶対値Ｂと、所定の閾値Ｔ１と、の比較を示す例である。
【図７】１画像フレーム分の画素境界段差を画素ブロックのサイズの周期ごとに累積する例を示す図である。
【図８Ａ】画素ブロックのサイズを水平方向に６画素、垂直方向に６画素と仮定した場合の画素境界段差の累積の結果を示す図である。
【図８Ｂ】画素ブロックのサイズを水平方向に８画素、垂直方向に８画素と仮定した場合の画素境界段差の累積の結果を示す図である。
【図８Ｃ】画素ブロックのサイズを水平方向に１６画素、垂直方向に１６画素と仮定した場合の画素境界段差の累積の結果を示す図である。
【図９】ブロック境界における画素境界段差の累積値と、非ブロック境界における画素境界段差の累積値との比較を示す図である。
【図１０】ブロックノイズ検出装置のブロックノイズ発生強度の検出処理のフローを示す図である。
【図１１】ブロックノイズ検出システムの構成例を示す図である。
【図１２】累積対象領域の検出処理について説明するための図である。
【図１３】ブロックノイズ低減システムの構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
【００１３】
＜第１実施形態＞
第１実施形態において、ブロックノイズ検出装置は、符号化された動画像信号を復号して得られる画像フレーム群に含まれる各画像フレームにおけるブロックノイズの発生状態を検出する。
【００１４】
図１は、ブロックノイズ検出システムの構成例を示す図である。ブロックノイズ検出システム１００Ａは、入力部１１，復号部１２，ブロックノイズ検出装置１Ａ，ネットワーク５，記憶装置６，可搬記録媒体７を含む。ブロックノイズ検出装置１Ａは、画素境界段差算出部１３，画素境界段差累積部１４，判定値算出部１５，及びブロックノイズ判定部１６を含む。
【００１５】
入力部１１は、例えば、ＭＰＥＧ−２で圧縮符号化された動画像信号を入力として得る。圧縮符号化された動画像信号は、例えば、ネットワーク５上に接続する動画配信サーバ（図示せず）によって圧縮符号化がなされ、ネットワーク５に送出され、ネットワーク５を経由して入力部１１に入力される。または、圧縮符号化された動画像信号は、ブロックノイズ検出装置１Ａの内部又は外部に備えられた記憶装置６に記憶されており、記憶装置６から読み出されて入力部１１に入力される。記憶装置６は、例えば、ハードディスクドライブ（ＨＤＤ）などである。または、動画像信号は、可搬記録媒体７に記録されており、ブロックノイズ検出装置１Ａの内部又は外部に備えられた可搬記録媒体駆動装置によって可搬記録媒体７から読み出されて入力部１１に入力される。可搬記録媒体７は、例えば、ＤＶＤやブルーレイディスク，ＵＳＢメモリ等である。入力部１１は、圧縮符号化された動画像信号を復号部１２に出力する。
【００１６】
復号部１２は、入力部１１から圧縮符号化された動画像信号を順次入力として得る。復号部１２は、圧縮符号化された動画像信号を復号し、画像フレーム群を生成する。
【００１７】
図２は、画像フレームの一例を示す図である。図２には、画像フレームＦ１と、画像フレームＦ１に含まれる画素ブロックの１つである画素ブロックＢ１の拡大図とが示される。動画像信号は、水平方向及び垂直方向に所定数の画素を含む矩形の画素ブロック単位で符号化及び復号化が施される。例えば、ＭＰＥＧ−２では、水平方向に８画素、垂直方向に８画素の画素ブロックを用いる。図２では、ＭＰＥＧ−２によって圧縮符号化された動画像信号を復号して得られる画像フレームが示されており、画素ブロックは、水平方向（行）に８画素、垂直方向（列）に８画素のサイズである。
【００１８】
第１実施形態では、隣接しあう画素と画素との境界は画素境界と称される。隣接する画素ブロック間の境界に位置する画素境界は、ブロック境界と称される。ブロック境界以外の画素境界は、非ブロック境界と称される。
【００１９】
図２に示される例の画素ブロックＢ１においては、画素は各マスで示される。水平方向に隣接する画素と画素との境界は、水平方向の画素境界である。垂直方向に隣接する画素と画素との境界は、垂直方向の画素境界である。符号ａ７，ｂ７で示される縦線上に位置する各画素境界と、符号ｃ７，ｄ７で示される横線上に位置する各画素境界とがブロック境界である。符号ｂ０〜ｂ６で示される縦線上に位置する各画素境界と、符号ｄ０〜ｄ６で示される横線上に位置する水平方向の非ブロック境界である。
【００２０】
図２に示される例の画像フレームＦ１において、画像フレームＦ１に含まれる画素の一番上の行の一端に位置する画素ｐ０を原点として水平方向にＸ軸，Ｙ軸が設定される。画素ｐ０の座標は（Ｘ，Ｙ）＝（０，０）と表わされる。
【００２１】
第１実施形態において、復号部１２は、復号された画像フレーム群に含まれる各画像フレームに含まれる画素をブロックノイズ検出装置１Ａに出力する。復号部１２は、画像フレームが再生されるべき順番で、各画像フレームに含まれる画素を出力する。復号部１２は、各画像フレームに含まれる画素を、原点に位置する画素ｐ０を先頭として、Ｙ＝０上に位置する画素を＋Ｘ軸方向の順に出力する。復号部１２は、Ｙ＝０上に並んだ画素群の画素ｐ０のもう一方の端に位置する画素を出力すると、その次に、座標（Ｘ，Ｙ）＝（０，１）に位置する画素から、Ｙ＝１上に位置する画素を＋Ｘ軸方向の順に出力する。Ｙ＝１上に並んだ画素群の端に位置する画素が出力されると、次は、座標（Ｘ，Ｙ）＝（０，２）に位置する画素が出力される。このようにして、画像フレームに含まれる画素は、ブロックノイズ検出装置１Ａに出力される。
【００２２】
ブロックノイズ検出装置１Ａには、画素が復号部１２から入力される。ブロックノイズ検出装置１Ａは、入力される画素群から形成される画像フレームのブロックノイズ発生状態を検出する装置である。
【００２３】
画素境界段差算出部１３には、画像フレーム群に含まれる画像フレームごとに、復号部１２から出力される順番で、画素が順次入力される。画素境界段差算出部１３は、順次入力される画素から、各画像フレームに含まれる、水平方向に隣接する画素間の画素境界における画素値の差分を求める。この画素境界における画素値の段差（差分）は、以降、画素境界段差と称される。画素値は、１つの画素を表現するための情報の値である。画像がモノクロ画像の場合には、１つの画素は輝度値で表わされる。画像がカラー画像の場合には、例えば、１つの画素は、輝度値と２つの色差成分（青色と輝度値との差分と赤色と輝度値との差分）との３つの情報で表わされる。第１実施形態では、画像がモノクロ画像である場合でもカラー画像である場合でも、画素値を用いる処理では輝度値を用いて処理が行われるものとする。
【００２４】
画素境界段差算出部１３は、隣接する画素間の画素値の差分絶対値を算出する。また、画素境界段差算出部１３は、画素境界の両側に位置する複数の画素の画素値を用いてそれぞれの側から、画素境界における画素値を高次予測又は線形予測などによって推定し、２つの推定値を算出する。画素境界段差算出部１３は、２つの推定値の差分絶対値を算出する。画素境界段差算出部１３は、隣接する画素間の画素値の差分絶対値と、画素境界における２つの推定値の差分絶対値とのいずれか小さい方を画素境界段差に決定する。
【００２５】
図３Ａ及び図３Ｂは、高次予測によって画素境界における画素値を推定する例を説明するための図である。図３Ａ及び図３Ｂには、水平方向に順番に並んだ画素ｘ１から画素ｘ８の画素値のグラフが示される。画素境界段差算出部１３は、画素ｘ４と画素ｘ５との画素境界Ｐ４における画素境界段差を求める。
【００２６】
図３Ａ及び図３Ｂに示される例において、画素境界段差算出部１３は、例えば、画素ｘ
４側に位置する画素ｘ２，ｘ３，ｘ４の３つの画素を用いる高次予測によって、画素境界Ｐ４における画素値を画素ｘ４側から推定する。画素境界Ｐ４の画素ｘ４側から推定された画素値は推定画素値ｙp4と称される。同様にして、画素境界段差算出部１３は、例えば、画素ｘ５側に位置する画素ｘ５，ｘ６，ｘ７の３つの画素を用いた高次予測によって、画素境界Ｐ４における画素値を画素ｘ５側から推定する。画素境界Ｐ４の画素ｘ５側から推定された画素値は、推定画素値ｙp5と称される。
【００２７】
図３Ａ及び３Ｂに示される例では、画素境界段差算出部１３は、画素ｘ２，画素ｘ３，画素ｘ４と、それぞれの画素値ｙ２，ｙ３，ｙ４とから、画素値変化を表す曲線ｙ＝ａｘ2＋ｂｘ＋ｃを推定する。曲線ｙ＝ａｘ2＋ｂｘ＋ｃの高次予測は、以下に示される。
【００２８】
推定曲線ｙ＝ａｘ2＋ｂｘ＋ｃから得られる推定画素値と、各画素値との差分は最小に
なるため、画素境界段差算出部１３は、まず、各画素値と推定曲線ｙ＝ａｘ2＋ｂｘ＋ｃ
から得られる推定画素値との差分の二乗和を求める。
【００２９】
画素ｘｉ（ｉは０以上の整数）における画素値をｙｉとした場合、推定画素値と画素値との差分の二乗和は以下の式１で示される。
【００３０】
【数１】
2011114683.tif 000003
推定画素値と画素値との差分が最小となるためには、
【００３１】
【数２】
2011114683.tif 000004
である。したがって、
【００３２】
【数３】
2011114683.tif 000005
である。よって、
【００３３】
【数４】
2011114683.tif 000006
となる。これを行列式で表すと、以下の式２になる。
【００３４】
【数５】
2011114683.tif 000007
ここで、
【００３５】
【数６】
2011114683.tif 000008
とおくと、式２は、
【００３６】
【数７】
2011114683.tif 000009
と表わされる。従って、
【００３７】
【数８】
2011114683.tif 000010
となり、推定曲線（画素値変化を表す曲線）ｙ＝ａｘ2＋ｂｘ＋ｃの係数ａ，ｂ，ｃを算
出することができる。
【００３８】
画素境界段差算出部１３は、画素ｘ２，ｘ３，ｘ４とそれぞれの画素値ｙ２，ｙ３，ｙ４とから算出された推定曲線を用いて、画素境界Ｐ４の画素ｘ４側の推定画素値ｙP4を求める。同様にして、画素境界段差算出部１３は、画素ｘ５，ｘ６，ｘ７とそれぞれの画素値ｙ５，ｙ６，ｙ７とから推定曲線を算出し、画素境界Ｐ４の画素ｘ５側の推定画素値ｙp5を求める。なお、画素境界Ｐ４のｘ座標には、例えば、画素ｘ４と画素ｘ５との中間となるｘP4＝（ｘ４＋ｘ５）／２を用いて画素境界Ｐ４の推定画素値ｙP4及びｙP5を求めればよい。
【００３９】
画素境界段差算出部１３は、画素ｘ４の画素値と画素ｘ５の画素値との差分絶対値Ａと、推定画素値ｙp4と推定画素値ｙp5との差分絶対値Ｂとのうち、小さい方を画素境界Ｐ４における画素境界段差として決定する。
【００４０】
図３Ａに示される例では、画素ｘ４の画素値と画素ｘ５の画素値との差分絶対値Ａが推定画素値ｙP4と推定画素値ｙP5との差分絶対値Ｂより小さいので、差分絶対値Ａが画素境界Ｐ４における画素境界段差として採用される。
【００４１】
図３Ｂに示される例では、推定画素値ｙp4と推定画素値ｙp5との差分絶対値Ｂが画素ｘ４の画素値と画素ｘ５の画素値との差分絶対値Ａより小さいので、差分絶対値Ｂが画素境界Ｐ４における画素境界段差として採用される。
【００４２】
図４Ａ及び図４Ｂは、線形予測によって画素境界段差を求める処理の例を説明するための図である。図４Ａ及び図４Ｂには、図３Ａ及び図３Ｂと同様に、画素ｘ１から画素ｘ８の各画素値のグラフが示されており、画素ｘ４と画素ｘ５との画素境界Ｐ４における画素境界段差を求める場合について示される。
【００４３】
図４Ａ及び図４Ｂに示される例において、画素境界段差算出部１３は、画素境界Ｐ４の画素ｘ４側の画素ｘ３，ｘ４と、それぞれの画素値ｙ３，ｙ４とから、画素値変化を表す直線ｙ＝ａｘ＋ｂを推定し、画素境界Ｐ４における推定画素値ｙp4を求める。同様にして、画素境界段差算出部１３は、画素境界Ｐの画素ｘ５側の画素ｘ５，ｘ６と、それぞれの画素値ｙ５，ｙ６とから、画素値変化を表す直線を推定し、画素境界Ｐ４における推定画素値ｙP5を求める。画素値変化を表す直線の係数ａ，ｂは、連立１次方程式を解くことで簡単に得られるので、画素値変化を表す直線の推定方法及び推定画素値を求める方法の説明は省略される。
【００４４】
図４Ａに示される例では、画素ｘ４の画素値と画素ｘ５の画素値との差分絶対値Ａが推定画素値ｙP4と推定画素値ｙP5との差分絶対値Ｂより小さいので、差分絶対値Ａが画素境界Ｐ４における画素境界段差として採用される。
【００４５】
図４Ｂに示される例では、推定画素値ｙp4と推定画素値ｙp5との差分絶対値Ｂが画素ｘ４の画素値と画素ｘ５の画素値との差分絶対値Ａより小さいので、差分絶対値Ｂが画素境界Ｐ４における画素境界段差として採用される。
【００４６】
画素境界段差の決定に、画素境界における推定画素値も考慮されることによって、隣接する画素間の画素値の絵柄による差分をより精度よく求めることができる。例えば、複数
の並んだ画素の各画素値がほぼ一定の勾配で変化している場合などには、画素境界段差をより精度よく求めることができる。
【００４７】
図５は、複数の並んだ画素の各画素値がほぼ一定の勾配で変化している場合を示す図である。図５に示される例のように、画素間の画素値に連続性がある場合には、各画素境界において絵柄による段差はほぼないと考えられる。また、図５に示される例の画素境界Ｐ４において、画素ｘ４と画素ｘ５との画素値の差分絶対値より推定画素値の差分絶対値の方が小さくなる。従って、画素間の画素値に連続性がある画素境界では、画素ｘ４と画素ｘ５との画素値の差分絶対値より小さい推定画素値の差分絶対値を画素境界段差として決定されることによって、段差がないと考えられる画素境界における画素境界段差をより精度よく求めることができる。
【００４８】
画素境界段差算出部１３は、図３Ａ，図３Ｂ，図４Ａ，及び図４Ｂにおいて説明された、高次予測又は線形予測を用いて求められた画素境界段差を画素境界段差累積部１４に出力する。
【００４９】
画素境界段差累積部１４は、画素境界段差算出部１３から画素境界段差を入力として得る。画素境界段差累積部１４は、入力された画素境界段差を画素ブロックのサイズと同じ数だけあるグループの内の画素ブロック内の該画素境界の位置に対応する１つのグループに分類する。画素境界段差累積部１４は、分類されたグループ毎に画素境界段差を累積し、各グループの累積結果からブロック境界のグループを検出する。また、画素境界段差累積部１４は、画素ブロックのサイズが未知の場合には、予め保持される複数の画素ブロックのサイズの候補値を１つずつ用いて、画素境界段差を各グループに分類し、累積して、画素ブロックのサイズとブロック境界を検出する。
【００５０】
画素境界段差累積部１４は、画素境界段差を累積計算する際に、画素境界段差が所定の閾値Ｔ１以上の場合には、絵柄による段差が大きいために画素境界段差が大きくなってしまったと考えられるため、累積計算から除外する。所定の閾値Ｔ１は、ブロックノイズによって生じると考えられる段差よりも十分に大きい値であり、各画素境界の画素境界段差を累積計算に加えるか否かを判定するための閾値である。
【００５１】
画素境界段差累積部１４は、画素境界段差が所定の閾値Ｔ１より小さいか否かを判定する。画素境界段差累積部１４は、画素境界段差が所定の閾値Ｔ１より小さい場合には画素境界段差を累積計算に加え、画素境界段差が所定の閾値Ｔ１以上の場合には累積計算から除外する。
【００５２】
図６Ａ及び図６Ｂは、画素ｘ４の画素値と画素ｘ５の画素値との差分絶対値Ａと、画素境界Ｐ４の推定画素値ｙP4と推定画素値ｙP5との差分絶対値Ｂと、所定の閾値Ｔ１と、の比較を示す例である。
【００５３】
図６Ａに示される例では、差分絶対値Ａの方が差分絶対値Ｂより小さいので、差分絶対値Ａが画素境界段差として決定されている。差分絶対値Ａは所定の閾値Ｔ１より小さいので、画素境界段差累積部１４は画素境界段差として差分絶対値Ａを累積する。
【００５４】
図６Ｂに示される例では、差分絶対値Ｂの方が差分絶対値Ａより小さいので、差分絶対値Ｂが画素境界段差として決定されている。差分絶対値Ｂは所定の閾値Ｔ１より大きいので、画素境界段差累積部１４は画素境界段差としての差分絶対値Ｂを累積計算から除外する。
【００５５】
画素境界段差累積部１４は、１画像フレーム分の画素境界段差のうち、閾値Ｔ１との比
較によって累積計算に加えることを決定された画素境界段差を累積する。
【００５６】
図７は、１画像フレーム分の画素境界段差を画素ブロックのサイズの周期（ブロック周期）ごとに累積する例を示す図である。
【００５７】
水平方向に隣接する画素ｘｉ（ｉは０以上の整数）と画素ｘｉ＋１との画素境界をＰｉ，画素ブロックの列サイズ（ブロック周期）をＳとする。ｉは画素が画素境界段差累積部１４に入力される順番を示す変数である。
【００５８】
画素境界段差累積部１４は、変数ｎ（ｎ：０以上の整数）を用いて、変数ｉ＝Ｓ×ｎ＋ｍ（ｍ：０≦ｍ＜Ｓの整数）と表されたときの剰余ｍの値に応じて画素境界Ｐｉをグループに分類する。画素境界段差累積部１４は、分類されたグループに画素境界段差を累積する。
【００５９】
例えば、動画像がＭＰＥＧ−２によって圧縮符号化されている場合には、画素ブロックのサイズ（ブロック周期）が８であるので、Ｓ＝８である。画素境界段差累積部１４は、ｉ＝８×ｎ＋ｍとしたときの剰余ｍが、ｍ＝０，ｍ＝１，ｍ＝２，ｍ＝３，ｍ＝４，ｍ＝５，ｍ＝６，ｍ＝７のグループのうち変数ｉの剰余ｍの値のグループに画素境界Ｐｉの画素境界段差を分類する。画素境界段差累積部１４は、分類された各グループで画素境界段差を累積していく。最終的に、ｉ＝８×ｎ＋ｍとしたときの剰余ｍが、ｍ＝０，ｍ＝１，ｍ＝２，ｍ＝３，ｍ＝４，ｍ＝５，ｍ＝６，ｍ＝７となる画素境界Ｐｉのグループごとに画素境界段差が累積される。すなわち、画素ブロックの列サイズと同じ数（８つ）の累積値が得られる。
【００６０】
ｉ＝Ｓ×ｎ＋ｍと表わされた時の変数ｉの剰余ｍに応じたグループに画素境界Ｐｉの画素境界段差が分類されると、各グループには、例えば、図２に示される例の画素ブロックＢ１の符号ｂ０〜ｂ７で示されるそれぞれの縦線上に位置する各画素境界に対応する、各画素ブロック内の画素境界の画素境界段差が分類される。例えば、剰余ｍ＝５のグループは、画像フレーム内の各画素ブロックにおいて、図２の画素ブロックＢ１の符号ｂ０で示される縦線上に位置する各画素境界に対応する画素境界の画素境界段差のグループである。このように画素境界段差が分類される場合、ブロック境界となる各画素境界の画素境界段差は１つのグループに分類される。
【００６１】
画像が画素ブロック単位で高い圧縮率で符号化される場合には高周波成分が欠落しており、画素ブロック内では低周波数成分の連続性は保証されているが、画素ブロック間では欠落しなかった低周波数成分の連続性は保証されていない。このため、画素ブロック間で画素値が不連続となる。この低周波数成分の不連続性がブロックノイズによる画素ブロック間の段差の原因となる。したがって、ブロックノイズによる段差が生じるブロック境界では、非ブロック境界における画素境界段差よりも画素境界段差が大きくなる。すなわち、ブロック境界となる画素境界の画素境界段差が分類されるグループの画素境界段差の累積値は、全グループの中で最大となる。
【００６２】
図７に示される例において、ｉ＝８×ｎ＋ｍと表わされたときの剰余ｍがｍ＝３となる画素境界Ｐｉの画素境界段差のグループの累積値が最大であるので、画素境界段差累積部１４は、ｉ＝８×ｎ＋３となる画素境界Ｐｉがブロック境界であることを検出する。図７に示される例において、剰余ｍ＝３のグループはブロック境界グループ、剰余ｍ＝０，１，２，４，５，６，７に各グループは非ブロック境界グループである。
【００６３】
画素ブロックのサイズが未知の場合には、画素境界段差累積部１４は、予め設定された複数のブロック周期の候補値を１つずつ用いて、画素ブロック内の画素境界の位置に応じ
て画素境界段差が分類される各グループの画素境界段差の累積値を求める。各ブロック周期の候補値を用いて画素境界段差を累積計算した各グループの累積値に基づいて、画素境界段差累積部１４は、画素ブロックのサイズを検出するとともに、ブロック境界となる画素境界を検出する。
【００６４】
図８Ａ，図８Ｂ，及び図８Ｃは、それぞれ異なるブロック周期の候補値を用いて画像フレーム内の画素境界段差を累積した結果の例を示す図である。図８Ａは、ブロック周期の候補値として６を用いた場合の、すなわち、画素ブロックのサイズを水平方向に６画素、垂直方向に６画素と仮定した場合の画素境界段差の累積の結果を示す。図８Ｂは、ブロック周期の候補値として８を用いた場合の、すなわち、画素ブロックのサイズを水平方向に８画素、垂直方向に８画素と仮定した場合の画素境界段差の累積の結果を示す。図８Ｃは、ブロック周期の候補値として１６を用いた場合の、すなわち、画素ブロックのサイズを水平方向に１６画素、垂直方向に１６画素と仮定した場合の画素境界段差の累積の結果を示す。
【００６５】
画素境界段差累積部１４は、複数のブロック周期の候補値を１つずつ用いて画像フレームに含まれる画素境界段差を累積することで、例えば、図８Ａ，図８Ｂ，及び図８Ｃに示される例のような累積結果を得る。画素境界段差累積部１４は、得られた累積結果を解析し、画素ブロックのサイズを検出する。
【００６６】
画素ブロックのサイズが適正な場合には、１つのグループにブロック境界となる画素境界の画素境界段差が集中して分類されるため、当該１つのグループにおける画素境界段差の累積値が他のグループの画素境界段差の累積値に比べて突出した値になる。これに対して、ブロックサイズが適正でない場合には、ブロック境界となる画素境界の画素境界段差が分散して分類されてしまうため、他のグループに比べて画素境界段差の累積値が突出するグループが現れない。
【００６７】
画素境界段差累積部１４は、それぞれのブロック周期の候補値を用いて得られた累積結果において、最も大きい累積値のグループと、他のグループとの累積値の差分のうち、最小となる差分を検出する。すなわち、画素境界段差累積部１４は、各ブロック周期の候補値を用いて得られたそれぞれの累積結果から、累積値が最大のグループとその次に累積値が大きいグループとの累積値の差分を求める。
【００６８】
画素境界段差累積部１４は、累積値が最大のグループとその次に累積値が大きいグループとの累積値の差分が最も大きくなるときのブロック周期の候補値を、画素ブロックのサイズとして検出する。
【００６９】
図８Ａに示される、ブロック周期が６に仮定された場合の累積結果の例では、ｉ＝６×ｎ＋ｍと表わされたときの剰余ｍ＝４となるグループの画素境界段差の累積値が最大である。その次に剰余ｍ＝３となるグループの画素境界段差の累積値が大きい。
【００７０】
図８Ｂに示される、ブロック周期が８に仮定された場合の累積結果の例では、ｉ＝８×ｎ＋ｍと表わされたとき剰余ｍ＝３のグループの画素境界段差の累積値が最大である。その次に剰余ｍ＝６となるグループの画素境界段差の累積値が大きい。
【００７１】
図８Ｃに示される、ブロック周期が１６に仮定された場合の累積結果の例では、ｉ＝８×ｎ＋ｍと表わされたとき剰余ｍ＝３のグループの画素境界段差の累積値が最大である。その次に剰余ｍ＝１１となるグループの画素境界段差の累積値が大きい。
【００７２】
図８Ａ，図８Ｂ，図８Ｃのうち、累積値が最大のグループとその次に累積値が大きいグ
ループとの累積値の差分が最も大きくなるのは、図８Ｂに示される例である。従って、画素境界段差累積部１４は、画素ブロックのサイズを８、ブロック境界となるのは、ｉ＝８×ｎ＋３となる画素境界Ｐｉであることを検出する。
【００７３】
画素境界段差累積部１４は、検出された画素ブロックのサイズ，ブロック境界，非ブロック境界，及び各グループの画素境界段差の累積値を判定値算出部１５に出力する。
【００７４】
判定値算出部１５は、画素境界段差累積部１４から、検出された画素ブロックのサイズ，ブロック境界，非ブロック境界，及び各グループの画素境界段差の累積値を入力として得る。判定値算出部１５は、ブロック境界グループの画素境界段差の累積値から、非ブロック境界グループの画素境界段差の累積値の平均を減じて、ブロックノイズ検出判定値を算出する。
【００７５】
図８Ｂに示される累積結果が入力された場合には、判定値算出部１５は、ブロック境界の画素境界段差の累積値であるｍ＝３のグループの累積値から、非ブロック境界の画素境界段差の累積値であるｍ＝０，１，２，４，５，６，７の７つのグループの累積値の平均を減じて、ブロックノイズ検出判定値を算出する。
【００７６】
図９は、ブロック境界グループの画素境界段差の累積値と、或る非ブロック境界グループの画素境界段差の累積値との比較を示す図である。画像フレーム中の或る絵柄の領域の大きさに対して画素ブロックは十分小さいことが多いので、画像フレーム全体でみると、ブロック境界における絵柄による段差と非ブロック境界における絵柄による段差とはほぼ等しいとみなすことができる。また、ブロック境界における画素境界段差には、絵柄による段差に相当する部分とブロックノイズによる段差に相当する部分とが含まれると考えら得る。一方、非ブロック境界における画素境界段差は、絵柄による段差であると考えられる。
【００７７】
したがって、ブロック境界グループの画素境界段差の累積値から、ある非ブロック境界グループの画素境界段差の累積値を減算した値は、画像フレーム内のブロックノイズによる段差の累積値に近似する値となると考えられる。第１実施形態では、判定値算出部１５は、ブロックノイズ検出判定値として、ブロック境界グループの画素境界段差の累積値から、各非ブロック境界グループの画素境界段差の累積値の平均値を減じる。このようにして、ブロックノイズ検出判定値として、画像フレーム内のブロックノイズによる段差の累積値に近似する値が算出される。
【００７８】
判定値算出部１５は、算出された処理対象の画像フレームのブロックノイズ検出判定値をブロックノイズ判定部１６に出力する。
【００７９】
ブロックノイズ判定部１６は、判定値算出部１５から、処理対象の画像フレームのブロックノイズ検出判定値を入力として得る。ブロックノイズ判定部１６は、予め複数のブロックノイズ発生強度閾値を保持しており、ブロックノイズ検出判定値とブロックノイズ発生強度閾値とを比較して、ブロックノイズによる処理対象の画像フレームの画質への影響の度合いを示すブロックノイズ発生強度を決定する。
【００８０】
例えば、ブロックノイズ判定部１６は、ブロックノイズ発生強度閾値１，ブロックノイズ発生強度閾値２，ブロックノイズ発生強度閾値３を保持している。ブロックノイズ発生強度閾値１＜ブロックノイズ発生強度閾値２＜ブロックノイズ発生強度閾値３である。
【００８１】
ブロックノイズ検出判定値がブロックノイズ発生強度閾値１未満の場合には、ブロックノイズ判定部１６は、ブロックノイズによる画質の劣化は人間の目にとって無視できる程
度のものであるので、処理対象の画像フレームにおいてブロックノイズの発生なしと判定する。
【００８２】
ブロックノイズ検出判定値がブロックノイズ発生強度閾値１以上ブロックノイズ発生強度閾値２未満の場合には、ブロックノイズ判定部１６は、処理対象の画像フレームにおけるブロックノイズ発生強度を弱と判定する。
【００８３】
ブロックノイズ検出判定値がブロックノイズ発生強度閾値２以上ブロックノイズ発生強度閾値３未満の場合には、ブロックノイズ判定部１６は、処理対象の画像フレームにおけるブロックノイズ発生強度を中と判定する。
【００８４】
ブロックノイズ検出判定値がブロックノイズ発生強度閾値３以上の場合には、ブロックノイズ判定部１６は、処理対象の画像フレームにおけるブロックノイズ発生強度を強と判定する。ブロックノイズ判定部１６は、ブロックノイズ発生強度を出力する。
【００８５】
処理対象の画像フレームにおけるブロックノイズ発生強度が検出されることによって、ブロックノイズ発生強度に応じた処理対象の画像フレームにおけるブロックノイズの発生状態が検出される。
【００８６】
画素境界段差算出部１３は、段差算出部に相当する。画素境界段差累積部１４は、累積部に相当する。判定値算出部１５は、算出部に相当する。ブロックノイズ判定部１６は、検出部に相当する。
【００８７】
図１０は、ブロックノイズ検出装置１Ａのブロックノイズ発生強度の検出処理のフローを示す図である。画素境界段差算出部１３は、復号部１２から、処理対象の画像フレームの画素が入力され始めてから、所定数の画素がバッファされると、処理を開始する。
【００８８】
画素境界段差算出部１３は、順次入力される画素に対して、高次予測又は線形予測によって、水平方向に隣接する画素Ｘｉと画素Ｘｉ＋１との画素境界Ｐｉにおける推定画素値ｙPiとｙPi+1とを算出する（ＯＰ１）。また、例えば、画素Ｘ１と画素Ｘ２との画素境界Ｐ１における推定画素値を求める場合や、画像フレームの最後尾の画素境界Ｐｉにおける推定画素値を求める場合のように、推定画素値を求めるために必要なデータがない場合には、ＯＰ１は省略される。
【００８９】
画素境界段差算出部１３は、画素Ｘｉと画素Ｘｉ＋１との画素値の差分絶対値が、画素Ｘｉと画素Ｘｉ＋１との推定画素値ｙPiとｙPi+1との差分絶対値よりも小さいか否かを判定する（ＯＰ２）。画素Ｘｉと画素Ｘｉ＋１との画素値の差分絶対値の方が画素Ｘｉと画素Ｘｉ＋１との推定画素値ｙPiとｙPi+1との差分絶対値よりも小さい場合には（ＯＰ２：Ｙｅｓ）、画素境界段差算出部１３は、画素Ｘｉと画素Ｘｉ＋１との画素値の差分絶対値を画素境界Ｐｉの画素境界段差とする（ＯＰ３）。画素Ｘｉと画素Ｘｉ＋１との推定画素値の差分絶対値の方が画素Ｘｉと画素Ｘｉ＋１との画素値の差分絶対値よりも小さい場合には（ＯＰ２：Ｎｏ）、画素境界段差算出部１３は、画素Ｘｉと画素Ｘｉ＋１との推定画素値の差分絶対値を画素境界Ｐｉの画素境界段差とする（ＯＰ４）。また、例えば、画素Ｘ１と画素Ｘ２との画素境界Ｐ１における推定画素値を求める場合のように推定画素値を求めるために必要なデータがない場合には、画素Ｘ１と画素Ｘ２との画素値の差分絶対値が画素境界段差に決定される。画素境界段差算出部１３は、画素境界Ｐｉの画素境界段差を画素境界段差累積部１４に出力する。
【００９０】
画素境界段差累積部１４は、画素境界Ｐｉの画素境界段差が閾値Ｔ１より小さいか否かを判定する（ＯＰ５）。画素境界段差が閾値Ｔ１より小さい場合には（ＯＰ５：Ｙｅｓ）
、画素境界段差累積部１４は、変数ｉをｉ＝Ｓ×ｎ＋ｍと表した場合の剰余ｍが示すグループに画素境界段差を累積する（ＯＰ６）。このとき、画素ブロックのサイズが既知でない場合には、画素境界段差累積部１４は、複数のブロック周期の候補値の１つずつを用いて、ブロック周期の候補値ごとに画像フレーム内の画素境界段差の累積値を求め、累積結果の中から動画像信号の画素ブロックのサイズを検出する。画素境界段差が閾値Ｔ１以上の場合には（ＯＰ５：Ｎｏ）、処理がＯＰ１に戻る。
【００９１】
画素境界段差累積部１４は、現在の処理対象の画素境界Ｐｉが画像フレーム中に含まれる最後尾の画素境界よりも前の画素境界であるか否かを判定する（ＯＰ７）。
【００９２】
画素境界Ｐｉが画像フレーム中に含まれる最後尾の画素境界よりも前の画素境界である場合には（ＯＰ７：Ｙｅｓ）、次の画素境界について処理ＯＰ１からＯＰ７を繰り返す。
【００９３】
画素境界Ｐｉが画像フレーム中に含まれる最後尾の画素境界である場合には（ＯＰ７：Ｎｏ）、画素境界段差累積部１４は、各グループの画素境界段差の累積結果を判定値算出部１５に出力する。
【００９４】
判定値算出部１５は、画素境界段差の画像フレーム内の累積結果が入力されると、ブロック境界グループの画素境界段差の累積値から、非ブロック境界グループの画素境界段差の累積値の平均を減じて、ブロックノイズ検出判定値を算出する（ＯＰ８）。判定値算出部１５は、ブロックノイズ検出判定値をブロックノイズ判定部１６に出力する。
【００９５】
ブロックノイズ判定部１６は、ブロックノイズ検出判定値と複数のブロックノイズ発生強度閾値とを比較して、処理対象の画像フレームにおける、ブロックノイズの発生の有無、及び、ブロックノイズ発生強度を判定する（ＯＰ９）。ブロックノイズ判定部１６は、処理対象の画像フレームにおける、ブロックノイズの発生の有無、及び、ブロックノイズ発生強度を出力する。
【００９６】
ブロックノイズ検出装置１Ａは、画像フレーム中のブロック境界グループの画素境界段差の累積値から、非ブロック境界グループの画素境界段差の累積値の平均値を減じて、ブロックノイズ検出判定値とする。これによって、ブロックノイズ発生強度の判定値となるブロックノイズ検出判定値が画像フレーム内のブロックノイズによる段差の累積値に近似する値となり、ブロックノイズ発生強度を精度よく検出することができる。
【００９７】
また、ブロックノイズ検出装置１Ａは、高次予測又は線形予測を用いて、画素境界における推定画素値を求め、画素境界を形成する２つの画素の画素値の差分絶対値と画素推定値との差分絶対値のうち小さい方を画素境界段差として採用する。画素境界における画素値の推定値も考慮されることにより、各画素境界における絵柄による段差を精度よく求めることができ、画素境界段差の累積値から求められるブロックノイズ検出判定値をより精度よく求めることができる。結果的に、ブロックノイズ発生強度の検出の精度が向上する。
【００９８】
また、ブロックノイズ検出装置１Ａは、ブロックノイズの発生による差分により十分に大きい閾値Ｔ１以上の画素境界段差は画像フレーム内の画素境界段差の累積計算に含めない。画素境界段差が閾値Ｔ１以上の場合には、画素境界における絵柄による段差が大きい可能性が高い。画像フレーム内の画素境界段差の累積計算に、絵柄による段差が大きい画素境界の画素境界段差を含めないことによって、ブロックノイズ検出判定値への画像の絵柄による影響を軽減することが可能となる。結果的に、ブロックノイズ発生強度の検出の精度が向上する。
【００９９】
第１実施形態において、ブロックノイズ検出装置１Ａは、画素ブロックを用いて符号化及び復号化される動画像信号についてブロックノイズの検出を行う例について説明された。ブロックノイズ検出装置１Ａは、動画像信号に限らず、画素ブロックを用いて符号化及び復号化される静止画像信号についても、ブロックノイズの検出を行うことができる。画素ブロックを用いて静止画像を符号化及び復号化する符号化圧縮方式には、例えば、ＪＰＥＧ(Joint Photographic Experts Group)がある。
【０１００】
第１実施形態において、ブロックノイズ検出装置１Ａは、水平方向に画素の処理を行ったが、垂直方向に画素の処理を行ってもよい。この場合、画素境界段差算出部１３は、画素を１画像フレーム分バッファし、１画像フレーム分の画素が蓄積されてから処理を開始する。画素境界段差算出部１３は、垂直方向に隣接する２つの画素の画素境界の画素境界段差を求める。画素境界段差累積部１４は、図２に示される画素ブロックの符号ｄ０〜ｄ７が示す横線上に位置する各画素境界の画素境界段差の各グループに、画像フレーム内の各画素境界の画素境界段差を分類し、分類されたグループに画素境界段差を累積する。画素境界段差累積部１４は、グループの画素境界段差の累積値からブロック境界グループと非ブロック境界グループを検出し、判定値算出部１５に出力する。以降は、第１実施形態と同様にして、判定値算出部１５においてブロックノイズ検出判定値が算出され、ブロックノイズ判定部１６においてブロックノイズ検出判定値に応じたブロックノイズ発生強度が検出される。
【０１０１】
第１実施形態において、ブロックノイズ検出判定値を求める際に、ブロック境界グループの画素境界段差の累積値から、各非ブロック境界グループの画素境界段差の累積値の平均を減算した。これに代えて、グループ境界グループの画素境界段差の累積値から１つの非ブロック境界グループの画素境界段差の累積値を減算してブロックノイズ検出判定値を算出してもよい。
【０１０２】
＜第２実施形態＞
第２実施形態において、ブロックノイズ検出装置は、処理対象画像フレームと直前の画像フレームとの同じ位置の画素の画素値の差分が大きい箇所のみ抽出し、画素境界段差の累積計算を行い、ブロックノイズ検出判定値を算出する。第２実施形態では、第１実施形態と共通する説明は省略される。
【０１０３】
図１１は、第２実施形態におけるブロックノイズ検出システム１００Ｂの構成例を示す図である。第２実施形態において、ブロックノイズ検出システム１００Ｂは、ネットワーク５，記憶装置６，可搬記録媒体７，入力部１１，復号部１２，及びブロックノイズ検出装置１Ｂを含む。ブロックノイズ検出装置１Ｂは、画素境界段差算出部１３，画素境界段差累積部１４，判定値算出部１５，ブロックノイズ判定部１６，フレーム間差分算出部１７，及び領域検出部１８を備える。
【０１０４】
第２実施形態において、第１実施形態と同様に、復号部１２は、動画像信号を復号して画像フレーム群を生成し、各画像フレームに含まれる画素を順番に画素境界段差算出部１３とフレーム間差分算出部１７とに出力する。
【０１０５】
フレーム間差分算出部１７は、バッファを有しており、復号部１２から画素が入力されると、画素をバッファに蓄積する。フレーム間差分算出部１７は、１画像フレーム分の画素がバッファに蓄積されると、当該画像フレームを画素ブロックに分割する。フレーム間差分算出部１７は、画像フレームを少なくとも所定時間バッファしており、処理対象の画像フレームとそれ以前に蓄積された画像フレームを保持する。フレーム間差分算出部１７は、対象画像フレームと直前の画像フレームとを対応させ、同じ位置に位置する対象画像フレーム中の画素と直前の画像フレーム中の画素との画素値の差分絶対値を算出する。フ
レーム間差分算出部１７は、同じ位置に位置する対象画像フレーム中の画素と直前の画像フレーム中の画素との画素値の差分絶対値を各画素ブロック内で累積する。対象画像フレームと直前の画像フレームとの同じ位置に位置する画素の画素値の差分絶対値が各画素ブロック内で累積された累積値は、以降、フレーム間差分と呼ばれる。フレーム間差分算出部１７は、算出された対象画像フレームと直前の画像フレームとの各画素ブロックのフレーム間差分を領域検出部１８に出力する。
【０１０６】
画素ブロックのサイズが未知の場合には、第１実施形態で説明されたように、画素境界段差累積部１４によって画素ブロックのサイズが検出されるまでは、フレーム間差分算出部１７は動作しない。フレーム間差分算出部１７は、画素境界段差累積部１４によって画素ブロックのサイズが検出されてから動作を開始する。
【０１０７】
領域検出部１８は、対象画像フレームと直前の画像フレームとの各画素ブロックのフレーム間差分を入力として得る。領域検出部１８は、フレーム間差分が累積領域閾値以上の画素ブロックを抽出し、画素境界段差を累積する対象領域として検出する。
【０１０８】
図１２は、累積対象領域の検出処理について説明するための図である。図１２には、静止した背景の中に水面が動くプールのある画像フレームが示される。
【０１０９】
例えば、ＭＰＥＧ−２で圧縮符号化された動画像信号を復号する際には、図１２に示される例におけるプールサイドの床のように静止した背景部分は、動き予測が当たりやすく、動き予測のデータ量も少ないため、ブロックノイズも発生しにくい。一方、図１２に示される例におけるプールの水面のような動きの激しい部分は、動き予測が当たりにくく、動き予測のデータ量が多いため、ブロックノイズが発生しやすい。動きの激しい部分はフレーム間差分が大きくなるため、フレーム間差分が大きい部分はブロックノイズの発生の可能性が高い。
【０１１０】
したがって、領域検出部１８は、対象画像フレームに含まれる各画素ブロックのフレーム間差分と累積対象領域閾値とを比較し、フレーム間差分が累積対象領域閾値以上の画素ブロックを累積対象領域として検出する。このようにして検出される累積対象領域には複数の画素ブロックが含まれる。領域検出部１８は、検出された画素境界段差の累積対象領域を画素境界段差算出部１３とブロックノイズ判定部１６に出力する。領域検出部１８は、決定部に相当する。
【０１１１】
画素境界段差算出部１３は、復号部１２から画素が入力されるとバッファする。画素境界段差算出部１３は、領域検出部１８から画素境界段差の累積対象領域を入力として得ると、バッファされた対象画像フレームから累積対象領域を抽出し、累積対象領域内に位置する画素境界の画素境界段差を算出する。画素境界段差算出部１３は、算出された累積対象領域内の画素境界の画素境界段差を画素境界段差累積部１４に出力する。なお、画素ブロックのサイズが画素境界累積部１４によって検出されるまでは、画素境界段差算出部１３は、第１実施形態と同様の処理を行う。
【０１１２】
画素境界段差累積部１４は、画素境界段差算出部１３から累積対象領域内の画素境界の画素境界段差を、各画素境界の画素ブロック内での位置に応じたグループに分類し、分類されたグループで画素境界段差を累積する。累積結果として、画素ブロックのサイズの数のグループの画素境界段差の累積値が得られる。画素境界段差累積部１４は、累積結果を判定値算出部１５に出力する。
【０１１３】
判定値算出部１５は、累積結果である画素ブロックのサイズの数分のグループの画素境界段差の累積値を入力として得る。判定値算出部１５は、ブロック境界グループの画素境
界段差の累積値から、非ブロック境界グループの画素境界段差の累積値の平均値を減じてブロックノイズ検出判定値を算出する。判定値算出部１５は、ブロックノイズ検出判定値をブロックノイズ判定部１６に出力する。
【０１１４】
ブロックノイズ判定部１６は、判定値算出部１５からブロックノイズ検出判定値と、領域検出部１８から累積対象領域とを入力として得る。ブロックノイズ判定部１６は、累積対象領域の大きさに応じて、ブロックノイズ発生強度閾値１〜３の値を設定し直す。例えば、ブロックノイズ判定部１６は、画像フレームの大きさと累積対象領域の大きさとの比率に従って、ブロックノイズ発生強度閾値１〜３を設定する。ブロックノイズ判定部１６は、ブロックノイズ検出判定値とブロックノイズ発生強度閾値１〜３とを比較し、ブロックノイズ発生強度を判定する。
【０１１５】
図１２に示される例において、画像フレーム全体の画素境界の画素境界段差の累積値に基づいてブロックノイズ検出判定値が算出されると、ブロックノイズが発生しているプールの水面と、ブロックノイズが発生していない静止した床とで画素境界段差が平均化される。そうすると、単位面積当たりの画素境界段差が小さくなり、正確なブロックノイズ発生強度が検出されにくくなる。
【０１１６】
これに対して、ブロックノイズ検出装置１Ｂは、ブロックノイズの発生が疑われるフレーム間差分の大きい領域（図１２におけるプールの水面部分）のみを画素境界段差の累積対象領域として抽出する。また、ブロックノイズ検出装置１Ｂは、累積対象領域内の画素境界の画素境界段差のみを累積し、累積値に基づいてブロックノイズ検出判定値を算出し、累積対象領域の大きさに応じたブロックノイズ発生強度閾値を用いてブロックノイズ発生強度を判定する。これによって、より精度良くブロックノイズ発生強度を判定することが可能となる。
【０１１７】
＜適用例＞
第１実施形態及び第２実施形態のブロックノイズ検出装置１Ａ，１Ｂは、例えば、以下に示すように用いられる。
【０１１８】
図１３は、ブロックノイズ低減システム２００の構成例を示す図である。ブロックノイズ低減システム２００は、ネットワーク５，記憶装置６，可搬記録媒体７，入力部１１，復号部１２，ブロックノイズ低減装置２を含む。ブロックノイズ低減装置２は、ブロックノイズ検出装置１Ａから出力されるブロックノイズ発生強度に応じて、ブロックノイズを低減するフィルタ処理の強度を制御する。
【０１１９】
ブロック低減装置２は、ブロックノイズ検出装置１Ａと、ブロックノイズ低減部２１とを備える。ブロックノイズ検出装置１Ａは、画像フレームとブロックノイズ発生強度とをブロックノイズ低減部２１に出力する。
【０１２０】
ブロックノイズ低減部２１は、画像フレームとブロックノイズ発生強度とを入力として得る。ブロックノイズ低減部２１は、ブロックノイズ低減フィルタ１，ブロックノイズ低減フィルタ２，ブロックノイズ低減フィルタ３を備え、ブロック発生強度に応じて画像フレームのブロックノイズを低減する。ブロックノイズ低減フィルタ１〜３は、例えば、低域通過フィルタである。ブロックノイズ低減フィルタの平滑化強度は、ブロックノイズ低減フィルタ３＞ブロックノイズ低減フィルタ２＞ブロックノイズ低減フィルタ１の順である。
【０１２１】
ブロックノイズ低減部２１は、ブロックノイズが発生していないというブロックノイズ発生強度の検出結果が入力された場合には、対象画像フレームをそのまま出力する。ブロ
ックノイズ発生強度が弱の場合には、ブロックノイズ低減部２１は、ブロックノイズ低減フィルタ１を使用して対象画像フレームのブロックノイズの低減処理を行う。ブロックノイズ発生強度が中の場合には、ブロックノイズ低減部２１は、ブロックノイズ低減フィルタ２を使用して対象画像フレームのブロックノイズの低減処理を行う。ブロックノイズ発生強度が強の場合には、ブロックノイズ低減部２１は、ブロックノイズ低減フィルタ３を使用して対象画像フレームのブロックノイズの低減処理を行う。
【０１２２】
なお、本適用例では、ブロックノイズ低減装置２にブロックノイズ検出装置１Ａを用いる例を示したが、ブロックノイズ低減装置２は、ブロックノイズ検出装置１Ｂも、ブロックノイズ検出装置１Ａと同様に用いることができる。
【０１２３】
＜ブロックノイズ検出装置のハードウェア構成＞
ブロックノイズ検出装置１Ａ，１Ｂは、情報処理装置（コンピュータ）を適用できる。情報処理装置とは、例えば、パーソナルコンピュータのような汎用のコンピュータやブロックノイズの検出を実施する専用のコンピュータを用いて実現することができる。
【０１２４】
情報処理装置は、プロセッサ，主記憶装置，入力装置，出力装置，二次記憶装置，及び通信インタフェース装置のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置はコンピュータ読み取り可能な記録媒体である。
【０１２５】
情報処理装置は、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて周辺装置が制御されることによって、所定の目的に合致した機能を実現することができる。
【０１２６】
プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｓｅｓｓｉｎｇ  Ｕｎｉｔ）や、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）である。主記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含む。
【０１２７】
二次記憶装置は、例えば、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ
ＲＯＭ）,又はハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。
また、二次記憶装置は、リムーバブルメディア、すなわち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ、或いは、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）やＤＶＤ（Ｄｅｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）のようなディスク記録媒体である。
【０１２８】
通信インタフェース装置は、有線のネットワーク、および、無線のネットワークと接続する。通信インタフェース装置は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースボートや、無線通信のための無線通信回路である。
【０１２９】
さらに、周辺装置は、キーボードやポインティングデバイスのような入力装置や、ディスプレイ装置やプリンタのような出力装置を含む。また、入力装置はマイクロフォンのような音声の入力装置を含むことができる。また、出力装置は、スピーカのような音声の出力装置を含むことができる。
【０１３０】
ブロックノイズ検出装置として使用されるコンピュータは、記録媒体上のブロックノイズ検出プログラムのプロセッサによる実行を通じて、周辺装置が制御されることによって、入力部１１，復号部１２，画素境界段差算出部１３，画素境界段差累積部１４，判定値算出部１５，ブロックノイズ判定部１６，フレーム間差分算出部１７，領域検出部１８としての機能を実現する。
【０１３１】
また、ブロックノイズ検出装置１Ａ，１Ｂは、入力部１１，復号部１２，画素境界段差算出部１３，画素境界段差累積部１４，判定値算出部１５，ブロックノイズ判定部１６，フレーム間差分算出部１７，領域検出部１８の機能を有する電子回路及び集積回路として実現することも可能である。
【符号の説明】
【０１３２】
１Ａ，１Ｂ          ブロックノイズ検出装置
２                  ブロックノイズ低減装置
１１                入力部
１２                復号部
１３                画素境界段差算出部
１４                画素境界段差累積部
１５                判定値算出部
１６                ブロックノイズ判定部
１７                フレーム間差分算出部
１８                領域検出部
２１                ブロックノイズ低減部
１００Ａ，１００Ｂ  ブロックノイズ検出システム
２００              ブロックノイズ低減システム
【図１】
2011114683.tif 000011
【図２】
2011114683.tif 000012
【図３Ａ】
2011114683.tif 000013
【図３Ｂ】
2011114683.tif 000014
【図４Ａ】
2011114683.tif 000015
【図４Ｂ】
2011114683.tif 000016
【図５】
2011114683.tif 000017
【図６Ａ】
2011114683.tif 000018
【図６Ｂ】
2011114683.tif 000019
【図７】
2011114683.tif 000020
【図８Ａ】
2011114683.tif 000021
【図８Ｂ】
2011114683.tif 000022
【図８Ｃ】
2011114683.tif 000023
【図９】
2011114683.tif 000024
【図１０】
2011114683.tif 000025
【図１１】
2011114683.tif 000026
【図１２】
2011114683.tif 000027
【図１３】
2011114683.tif 000028