(57)【要約】【課題】伝送路障害により発生する画面内の局所的な劣化を精度良く検出することができる画像劣化自動検出装置を提供することにある。【解決手段】送信側、受信側のそれぞれに第１、第２のブロック単位特徴量抽出部２，３が設けられ、これらから送信画像、受信画像の特徴量が抽出される。該抽出された特徴量はブロック劣化度計算部４１に送られ、特徴量を比較されてブロック毎の画質劣化度が求められる。次いで、該ブロック毎の画質劣化度は、中央値フィルタ４２で、その周辺のブロック劣化度の中央値に置換される。続いて、劣化ブロック検出部４３で予め定められた閾値と比較され、劣化ブロックが検出される。最後に、劣化領域検出部４４にて孤立した劣化ブロックが除去され、劣化領域が検出される。【選択図】        図１
2004260602.tif 000002
【特許請求の範囲】
【請求項１】
映像伝送に伴う画質劣化を測定する画像劣化自動検出装置において、
送信側、受信側のそれぞれに設けられた、画面内の小領域の特徴量を抽出する第１、第２の特徴量抽出部と、
該第１、第２の特徴量抽出部のそれぞれから抽出された特徴量を、低速度回線を介して受信する監視室とを備え、
該監視室は、
前記第１、第２の特徴量抽出部から受信した前記特徴量を比較して画質劣化度を求める劣化度計算部と、
注目の小領域の画質劣化度とその周辺の所定範囲の小領域の画質劣化度のうちの中央値を、該注目の小領域の画質劣化度にする中央値フィルタとを含み、
画像の局所的な画質劣化を検出できるようにしたことを特徴とする画像劣化自動検出装置。
【請求項２】
請求項１に記載の画像劣化自動検出装置において、
さらに、予め定められた閾値より大なる劣化度の領域を検出する劣化領域検出部を具備し、
映像伝送に伴う画質劣化領域を検出するようにしたことを特徴とする画像劣化自動検出装置。
【請求項３】
請求項１または２に記載の画像劣化自動検出装置において、
前記第１、第２の特徴量抽出部は、スペクトル拡散とウォルシュ−アダマール変換に基づいて特徴量を求めることを特徴とする画像劣化自動検出装置。
【請求項４】
請求項１または２に記載の画像劣化自動検出装置において、
前記中央値フィルタは、水平方向範囲に属する小領域の画質劣化度からその中央値を求めることを特徴とする画像劣化自動検出装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像劣化自動検出装置において、
さらに、フレーム内平均による画質劣化検出部を具備し、
前記局所的な画質劣化とフレームの画質劣化とを並行して検出できるようにしたことを特徴とする画像劣化自動検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像劣化自動検出装置に関し、特に映像伝送における伝送障害により生ずる局所的な画像劣化を検出する画像劣化自動検出装置に関する。
【０００２】
【従来の技術】
従来技術の一つとして、本出願人による特許出願である特開２００２−７７９４９号公報に記載されたものがある。
【０００３】
この従来技術は、複数の伝送処理装置が伝送路に縦列に接続された系において、該映像伝送路上の予定の地点で画像の特徴量を抽出し、該画像の特徴量を低速度回線、例えば電話網、ＬＡＮ等で中央監視装置に送り、該中央監視装置において該特徴量を比較して伝送画質を評価するものである。
【０００４】
【発明が解決しようとする課題】
しかし、従来技術により求められる前記特徴量は、受信画像のフィールド内の輝度値の平均値、分散等であるため、伝送路障害により画質劣化が発生した場合、画像（フレーム）の劣化度が高いことは判定できるものの、具体的に画面内のどの部分に劣化が生じているかを判定することはできない。
【０００５】
また、画面内の劣化領域がごく狭い範囲である場合には、画面内の劣化度の平均を求めても、平均値としては高い値のままで、当該領域が劣化していると判定できない場合が考えられる。このため、画面内のどの部位に劣化が発生しているかを特定する方法が必要となる。
【０００６】
本発明は前記した従来技術に鑑みてなされたものであり、その目的は、伝送路障害により発生する画面内の局所的な劣化を精度良く検出することができる画像劣化自動検出装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、映像伝送に伴う画質劣化を測定する画像劣化自動検出装置において、送信側、受信側のそれぞれに設けられた、画面内の小領域の特徴量を抽出する第１、第２の特徴量抽出部と、該第１、第２の特徴量抽出部のそれぞれから抽出された特徴量を、低速度回線を介して受信する監視室とを備え、該監視室は、前記第１、第２の特徴量抽出部から受信した前記特徴量を比較して画質劣化度を求める劣化度計算部と、注目の小領域の画質劣化度とその周辺の所定範囲の小領域の画質劣化度のうちの中央値を、該注目の小領域の画質劣化度にする中央値フィルタとを含むようにした点に特徴がある。
【０００８】
この特徴によれば、映像伝送に伴う、局所的な画像の劣化を検出できるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。本発明の実施形態について、図１を参照して説明する。図１は、本発明の概略の構成を示すブロック図である。
【００１０】
送信画像は、伝送路１を経由して、送信側から受信側に送信される。伝送路１の送信側のＡ点と受信側のＢ点の各々に、第１のブロック単位特徴量抽出部２と第２のブロック単位特徴量抽出部３が設けられている。
【００１１】
前記第１、第２のブロック単位特徴量抽出部２，３は、送信画像および受信画像のフレームを小領域あるいは画素ブロックに分割し、この画素ブロックから画像特徴量を抽出する。画素ブロックとしては、８画素×８画素、１６画素×１６画素などを用いることができる。また、画像特徴量としては、本出願人による特許出願である特願２００２−５５３３３号などに示されているスペクトル拡散および直交変換に基づく係数抽出方式により抽出するのが好適であるが、これに限らず、送受信間の特徴量の比較により当該ブロックの雑音電力（ＭＳＥ）を推定できるような特徴量であれば本発明を適用することができる。
【００１２】
ここで、前記特許出願に示されている係数抽出方式を、図２を参照して簡単に説明する。
【００１３】
まず、入力画像がブロック分割部１１に入力し、ブロックに分割される。次に、該ブロック内の信号に対し、ＰＮ系列乗算部１４にてスペクトル拡散をする。すなわち、前記ブロックにＰＮ系列が掛け合わされる。ＰＮ系列としては、（＋１，＋１，−１，＋１，−１，−１，＋１，−１，＋１，・・・）など、＋１と−１がランダムに発生する任意の整列で良い。この後、直交変換部１２にて、ＷＨＴ（ウォルシュアダマール変換）がかけられる。ＷＨＴとしては、例えばブロックサイズ８×８の画像Ｇの場合は、次のαのようになる。
α＝ＵＧＵ
ここに、
2004260602.tif 000003
【００１４】
αは上記行列演算により、１ブロックあたり、８×８個の係数となる。係数抽出部１３は、このうち、いずれかの係数を抽出して、特徴量ＲＡ［ｉ］、ＲＢ［ｉ］として、後述の監視室へ出力する。ここに、ｉは、送信および受信画像フレーム内のブロックのインデクスを示す。
【００１５】
送信側および受信側のブロックごとの画像特徴量ＲＡ［ｉ］、ＲＢ［ｉ］は、監視室４に伝送される。該監視室４は、図１に示されているように、ブロック劣化度計算部４１，中央値フィルタ４２，劣化ブロック検出部４３および劣化領域検出部４４から構成されている。
【００１６】
まず、前記ブロック劣化度計算部４１では、ブロック劣化度が求められる。該ブロックの劣化度Ｄ［ｉ］は以下のように定義される。
Ｄ［ｉ］＝（ＲＡ［ｉ］−ＲＢ［ｉ］）２
各ブロックの劣化度Ｄ［ｉ］は、送受信画像の差分信号のブロック内平均電力（ＭＳＥ）を推定していると考えられる。よって、伝送障害が発生していない場合、劣化度Ｄ［ｉ］は受信画像の符号化による劣化をあらわし、伝送障害時には圧縮ビットストリームのエラーによる画像の劣化程度をあらわす。
【００１７】
一般に、符号化劣化は伝送障害時の画質劣化に比べて劣化の程度が小さいという傾向が知られている。このため、劣化度Ｄ［ｉ］の値が符号化劣化の上限として予測される値を超えた場合に、そのブロックは伝送障害により劣化していると判定できる。
【００１８】
ただし、前記画像特徴量から求められる劣化度Ｄ［ｉ］は推定値であるため、一定の推定誤差を有している。また、画像の圧縮率が高くなると符号化劣化が大きくなるため、符号化劣化による画質劣化と伝送障害による画質劣化の区別がつきにくくなる。
【００１９】
そこで、本実施形態では、該ブロック劣化度Ｄ［ｉ］に対して、前記中央値フィルタ４２を適用する。以下に、中央値フィルタについて図３を用いて説明する。
【００２０】
中央値フィルタとは、当該ブロックおよびその近傍ブロックの集合を定義し、その集合に属するブロック劣化度の値の系列の中から中央値を選出し、それを当該ブロックのブロック劣化度として与える処理を意味する。図３では、ｉ番目のブロックＢ［ｉ］とその左右近傍２ブロックＢ［ｉ−２］、Ｂ［ｉ−１］、Ｂ［ｉ＋１］、Ｂ［ｉ＋２］からなる範囲Ｌが、前記集合すなわち中央値を求める対象となっており、実際に値が更新されるのは中央のブロックのＢ［ｉ］となる。
【００２１】
中央値フィルタ４２は任意の範囲で適用することができるが、  ＭＰＥＧ符号化が伝送路で適用されると前提とした場合には、劣化は水平方向に広がる傾向があることが知られているため、該範囲を注目ブロックの左右の近傍２〜３ブロックとするのが好適である。このように中央値フィルタ４２を適用するのは、劣化領域を検出しやすくするためである。
【００２２】
図４、５を用いて説明する。図４は、受信画像のフレームを示し、図示されているように、伝送障害により画質劣化が発生したブロックが水平方向に１２ブロック（Ｂ［０］〜Ｂ［１１］）連続している領域があり、各ブロックの劣化度が図５の曲線ａのとおり求められたとする。
【００２３】
前記特願２００２−５５３３３号などに示されるように、前記画像特徴量に基づくＭＳＥの推定の精度は非常に高いものの、推定誤差は存在するため、ブロックによっては推定誤差が大きくなり、劣化が小さいと誤判定してしまうことがある。例えば、図３に示されているように、ｉ＝２、ｉ＝８のブロックの劣化度が低く、この位置で誤判定が生じてしまうことがある。
【００２４】
そこで、各ブロックに中央値フィルタ４２を適用すると、図５の劣化度Ｄ［ｉ］の系列は図５の曲線ｂに示されているように、連続して高い値をもつようになる。なお、この例では、中央値は当該ブロックと左右２近傍ブロックの範囲の中から選出されている。
【００２５】
以上のように、中央値フィルタ４２の適用により、誤判定を回避しながら、劣化の大きい領域を１つにまとめることが可能となる。なお、画像の周辺ブロックに対する中央値フィルタの適用は、例えば水平方向の左端のブロックに対しては、該ブロックとその右側近傍の２〜３ブロックの計３〜４ブロックから中央値を求めればよい。
【００２６】
次に、劣化ブロック検出部４３（図１参照）にて、当該ブロックの画像劣化度をしきい値処理することにより劣化領域を決定する。しきい値をＴＨＤとすると、次のように決定する。
Ｄ［ｉ］＞ＴＨＤ  →  劣化ブロックと判定
Ｄ［ｉ］≦ＴＨＤ  →劣化なしと判定
この結果、図５の例では、ｉ＝０〜１２のブロックが劣化領域と判定される。
【００２７】
さらに、劣化領域検出部４４（図１参照）にて、フレーム内での劣化ブロックの連続性を検査する。前述の中央値フィルタ処理により、劣化の大きい領域はある程度の数のブロックの集合となっていると考えられる。そのため、孤立しているブロックは、単に符号化劣化の激しいブロックであるか、推定誤差により劣化が大きいと誤判定されたブロックである可能性が高い。そのため、水平・垂直方向で連続しているブロック検出し、その連続数があるしきい値以上である領域を最終的に劣化領域として検出する。検出しきい値は、画像の圧縮率などによって最適値が変化するが、その設定は当業者には容易であるため、ここでは省略する。
【００２８】
次に、本発明の第２実施形態を、図６を参照して説明する。この実施形態は、監視室４において、小領域の画質劣化の検出と並行してフレーム内平均による画質劣化も検出できるようにしたものである。図において、図１と同一または同等物には、同一の符号が付されている。
【００２９】
この実施形態では、前記第１、第２のブロック単位特徴量抽出部２，３で抽出された特徴量は、前記ブロック劣化度計算部４１に送られると同時に、ＭＳＥ推定部４５に送られる。該ＭＳＥ推定部４５は、例えば図７に示されるように、減算部５１，自乗演算部５２，加算部５３およびテーブル参照部５４から構成されている。
【００３０】
減算部５１では、送信側と受信側の対応するブロックの特徴量の差分が計算され、それが自乗演算部５２で自乗される。加算部５３は、該自乗値を１フレーム分加算する。該加算値は、テーブル参照部２４で、該加算値とＭＳＥとの関係を示すテーブルに適用され、ＭＳＥ推定値が得られる。
【００３１】
以上のように、本実施形態によれば、フレームの画質劣化と共に小領域の画質劣化を、精度良く検出することができる。
【００３２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、映像伝送における伝送障害により生ずる局所的な画像劣化を検出できるようになる。また、中央値フィルタを用いているので、該画像劣化の検出を精度良く行えるようになる。
【００３３】
また、本発明によれば、フレームの画像劣化の検出と並行して、局所的な画像劣化を検出できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】図１のブロック単位特徴量抽出部の具体的構成例を示すブロック図である。
【図３】中央値フィルタの動作例の説明図である。
【図４】中央値フィルタの処理により得られる劣化領域範囲の説明図である。
【図５】中央値フィルタの適用前と適用後の劣化度を示すグラフである。
【図６】本発明の第２実施形態の概略の構成を示すブロック図である。
【図７】図６のＭＳＥ推定部の具体的構成例を示すブロック図である。
【符号の説明】
１・・・伝送路、２、３・・・ブロック単位特徴量抽出部、４・・・監視室、４１・・・ブロック劣化度計算部、４２・・・中央値フィルタ、４３・・・劣化ブロック検出部、４４・・・劣化領域検出部、４５・・・ＭＳＥ推定部。
【図１】
2004260602.tif 000004
【図２】
2004260602.tif 000005
【図３】
2004260602.tif 000006
【図４】
2004260602.tif 000007
【図５】
2004260602.tif 000008
【図６】
2004260602.tif 000009
【図７】
2004260602.tif 000010