(57)【特許請求の範囲】
【請求項１】
映像伝送系を経て伝送されてきた画像の画質劣化検出装置において、
画像信号をスペクトル拡散した後、その直交変換係数成分を操作することにより不可視マーカを埋め込んだ画像を受信し、該受信した画像をスペクトル拡散する手段と、
送信側で操作したのと同一の直交変換成分の値から、不可視マーカの正検出または誤検出を判定する手段と、
前記不可視マーカの正検出または誤検出の分布から、画質劣化を判定する手段とを具備したことを特徴とする画質劣化検出装置。
【請求項２】
前記画質劣化を判定する手段は、画像のフレームまたはフィールド内を小領域毎に分割し、該小領域毎に、前記誤検出ブロックに関する特徴量を測定し、該特徴量に基づいて画質劣化を検出するようにしたことを特徴とする請求項１に記載の画質劣化検出装置。
【請求項３】
前記特徴量として、前記小領域内の連続誤検出ブロック数と誤検出ブロック総数の比を用いることを特徴とする請求項２に記載の画質劣化検出装置。
【請求項４】
前記特徴量として、前記小領域内の最大値を用いることを特徴とする請求項２に記載の画質劣化検出装置。
【請求項５】
画像に応じた閾値を設定し、閾値処理を行うようにしたことを特徴とする請求項３または４に記載の画質劣化検出装置。
【請求項６】
前記不可視マーカの情報が、１フレーム毎に、全ブロック０、全ブロック１にされていることを特徴とする請求項１ないし５のいずれかに記載の画質劣化検出装置。
【請求項７】
前記画質劣化を判定する手段は、フレーム間における不可視マーカの正検出または誤検出の検出結果をコード化し、フレーム内、フィールド内またはそれらの中の小領域における該コードの分布に基づいてある統計量を求め、該統計量を用いて画質劣化を判定するようにしたことを特徴とする請求項１に記載の画質劣化検出装置。
【請求項８】
前記統計量は、過去数フレームにおける特徴量の分布の平均と、画質劣化検出対象フレームにおける特徴量の分布との適合度を示す値であることを特徴とする請求項７に記載の画質劣化検出装置。
【請求項９】
ＭＰＥＧ符号化におけるピクチャタイプの遷移形態によりカテゴリ化を行い、該カテゴリ毎に前記統計量を導出し、画質劣化を判定するようにしたことを特徴とする請求項７または８に記載の画質劣化検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画質劣化検出装置に関し、特に映像伝送系の障害等に起因する画質劣化の検出を、参照画像を用いることなく実現できる画質劣化検出装置に関する。
【０００２】
【従来の技術】
画像劣化あるいは画質劣化を起こす要因は、大別して二つある。その一つは、ＭＰＥＧ−２等の圧縮符号化アルゴリズムによるものであり、代表例として、ブロック歪み、モスキートノイズ等が挙げられる。他の一つは、映像伝送系の障害、映像同期ずれ等によるものであり、代表例として、ＭＰＥＧ−２シンタクスのエラーによる復号画像の破綻（ブロックの欠落、画像のずれ）、同期はずれによる画像のフリーズ、コマ落ち等が挙げられる。
【０００３】
前者の画質劣化については、以前に本発明者などにより発明され、特許出願された特許願２００１−４５４５８号「画質評価のためのマーカ信号劣化検出方法および画質評価装置」により、精度良く自動検出することが可能である。
【０００４】
一方、後者の画質劣化については、次のような自動検出方法が考えられる。
(1)送信側と受信側の２つの画像を用意し、その画素値の差分を比較する。
(2)伝送路が２重化されている場合、２系統の受信画像の画素値を比較する。
【０００５】
【発明が解決しようとする課題】
しかしながら、映像伝送系では、前記(1)の２つの画像は異なる地点にあることが通常であるため、該２つの画像をリアルタイムで比較し画質劣化を判断することは不可能である。また、前記(2)の方法は、伝送路を２系統必要とするため、コストが高くなる。
【０００６】
したがって、従来は、前記した後者の画質劣化の自動検出（いわゆる、キズ検出）についての要望が高いにもかかわらず、有効な自動検出方法はなかった。
【０００７】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、映像伝送系の障害等に起因する画質劣化の検出を、参照画像を用いることなく、精度良く実現できる画質劣化検出装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、映像伝送系を経て伝送されてきた画像の画質劣化検出装置において、画像信号をスペクトル拡散した後、その直交変換係数成分を操作することにより不可視マーカを埋め込まれた画像を受信し、該受信した画像をスペクトル拡散する手段と、送信側で操作したのと同一の直交変換成分の値から、不可視マーカの正検出または誤検出を判定する手段と、前記不可視マーカの正検出または誤検出の分布から、画質劣化を判定する手段とを具備した点に第１の特徴がある。
【０００９】
この特徴によれば、前記不可視マーカの正検出または誤検出の分布を調べることにより、映像伝送系の障害等に起因する画質劣化を検出できるようになる。
【００１０】
また、本発明は、前記不可視マーカの情報が、１フレーム毎に、全ブロック０、全ブロック１にされている点に第２の特徴がある。この特徴によれば、フレームフリーズの検出を容易に行えるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【００１２】
本発明では、該映像伝送系の一例として、図８に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。エンコーダ１２の前段には、後で詳述する本発明による画像処理装置としての不可視信号埋め込み装置１１が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ１２で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ２１とエンコーダ２２の組がｎ組連結された映像伝送ネットワークから構成されており、該ｎ組のデコーダ２１とエンコーダ２２の方式は、同じであっても異なっていてもよい。
【００１３】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ２１とエンコーダ２２の第１組目でも、第ｎ組目でも、最終の組においてでも、各組のデコーダ２１の出力にマーカ検出装置２３を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値の計算、または画質劣化の検出をすることができる。
【００１４】
なお、不可視信号埋め込み装置１１およびマーカ検出装置２３は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【００１５】
次に、前記不可視信号埋め込み装置の一実施形態を具体的に説明する。図１は、該不可視信号埋め込み装置１１の構成を示すブロック図である。
【００１６】
不可視信号埋め込み装置１１は、スペクトル拡散部１と、不可視マーカ埋め込み部２と、スペクトル逆拡散部３とから構成されている。不可視信号（不可視マーカ）の埋め込みは、任意のサイズの画素ブロック（Ｎｘ×Ｎｙ）単位で行われる。ここに、Ｎｘ、Ｎｙは正の整数であり、ＭＰＥＧ２で符号化する場合には、マクロブロック（１６×１６画素）または８×８画素ブロックが好適であるが、本発明はこれに限定されるものではない。
【００１７】
不可視信号埋め込み装置１１には、入力画像がブロック単位に区切られて入力される。この入力信号をＸB(n)とする。
【００１８】
入力信号ＸB(n)は乗算器３１に入力し、乗算器３１でＰＮ系列ＳPN(n) と乗算され、スペクトル拡散される。乗算器３１のスペクトル拡散された出力は、ＸB(n)×ＳPN(n)となる。ここに、ＰＮ系列ＳPN(n) は、１と−１のランダムな並びを要素としてもつ系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【００１９】
該乗算器３１の出力ＸB(n)×ＳPN(n) は、直交変換を施され、直交変換係数を求められる。該直交変換として、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、ウォルシュ−アダマール変換（ＷＨＴ）等の一般的なものが使用可能であるが、本実施形態では、計算量が少なく、ハードウェア実装に適するＷＨＴを採用して、以下の説明を行うことにする。
【００２０】
前記出力ＸB(n)×ＳPN(n) はＷＨＴ部３２でＷＨＴ変換され、振幅成分Ａが、Ａ＝Ｘss［ｓ０］として求められる。ここに、Ｘssは係数、ｓ０は、位置成分を示す。なお、明らかなように、ＷＨＴ、ＤＣＴなどの実係数のみで構成される直交変換（位相成分が０）では、ＤＦＴなどのような複素数を含む直交変換のように、直交変換係数からその振幅成分を求める処理を行う必要はない。
【００２１】
不可視マーカ埋め込み部２は、得られた振幅成分Ａのうち、予め定められた成分ｓ０ について、その値を操作することにより、２値情報（０，１）を埋め込む。操作の対象となる振幅成分をＡ、埋め込まれる２値情報をbitとすると、この振幅値Ａとbitの関係は、以下のように定める。なお、このbitは、全て０，全て１、あるいは、図示されていない乱数発生器から与えられる２値情報であっても良い。要は、送受信間で、どういう情報が埋め込まれているかが、予め分かっていれば良い。
round（Ａ／Ｍ）＝偶数であれば、bit＝０、
round（Ａ／Ｍ）＝奇数であれば、bit＝１
【００２２】
ここに、round（  ）は、小数第１位を四捨五入し、整数に丸める関数である。このround（  ）は、ＷＨＴ、ＤＣＴ等の振幅値が正負の両方の値を取りうる場合に適用するのが好適である。なお、ＤＦＴ等の振幅成分のように正の値のみを取る場合には、前記振幅値Ａとbitの関係は、以下のように定める。
int（Ａ／Ｍ）＝偶数であれば、bit＝０、
int（Ａ／Ｍ）＝奇数であれば、bit＝１
ここに、int（  ）は、小数部分を切り捨てて、整数に丸める関数である。
次に、該不可視マーカ埋め込み部２の振幅Ａの変更または操作方法を、図２のフローチャートを参照して説明する。
【００２３】
不可視マーカ埋め込み部２に、操作する対象となる振幅値Ａが与えられると、該不可視マーカ埋め込み部２は、ステップＳ１にて、Ａ／Ｍの演算を行い、その四捨五入された商を、小数点以下四捨五入で求める。ここに、Ｍは量子化ステップサイズである。
【００２４】
ステップＳ２では、前記商Ｑを２で割った余り（Ｑmod２）により、該商Ｑが偶数であるか奇数であるかを判断し、前記与えられた２値情報｛bit｝と一致しているか不一致であるかを判断する。この判断が肯定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，すなわちＡ' ＝ＱＭとなるように、Ａを操作する。
【００２５】
一方、ステップＳ２の判断が否定の時にはステップＳ４に進み、（Ｑ−１／２）Ｍ≦Ａ＜ＱＭが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−１）Ｍとなるように操作される。ステップＳ４の判断が否定の時には、ステップＳ６に進んで、Ａ’＝（Ｑ＋１）Ｍとなるように操作される。
【００２６】
前記ステップＳ３、Ｓ５およびＳ６の操作は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベルＱとＱ±１の中間に配置されるようにするための操作である。  次に、前記ステップＳ３、Ｓ５およびＳ６の操作を図３の具体例により説明する。図３は、Ｍ＝２００、Ａ＝７５０、埋め込み情報ビット０の場合のマーカ埋め込み例を示す。なお、与えられた埋め込みビットは０であるとする。
【００２７】
図３の上段に示されているように、操作の対象となる振幅成分Ａが７５０であると、Ａ／Ｍ＝７５０／２００＝３．７５となり、小数第１位は四捨五入されてその整数部分Ｑは「４」となる（ステップＳ１）。次に、この４を２で割り算した余りは０であるので、Ａ＝７５０は与えられた情報ビットbit ＝０と一致していることが分かる（ステップＳ２が肯定）。そこで、該振幅ＡはＡ' ＝ＱＭ＝８００、すなわち量子化レベルＱとＱ＋１の中間に来るように操作されて埋め込まれる。
【００２８】
なお、このように、振幅Ａ' が必ず量子化レベルＱとＱ±１の中間に配置されるようにする操作をするのは、Ａ＝７５０はビット１と０の境界（Ａ＝７００）に近いため、伝送途中のわずかな振幅変動でビット１の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【００２９】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ埋め込み部２から出力され、図１に示されているように、ウォルシュ−アダマール逆変換部３３で逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器３４でＰＮ系列ＳPN(n) と乗算され、スペクトル逆拡散され、不可視信号埋め込み装置１１の出力Ｘ'B(n) が得られる。
【００３０】
上記のマーカ付加により、入力画像ＸB(n)にはノイズが重畳されることになるが、このノイズは乗算器３４によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図８の出力画像の画質劣化は、極めて小さいものになる。
【００３１】
前記の例は、bit＝０を埋め込む場合であったが、bit＝１を埋め込む場合には、図３の点線で示されているように、振幅ＡはＡ' ＝（Ｑ−１）Ｍ＝６００となり、量子化レベル５００と７００の中間に来るように操作されて埋め込まれることは明らかである。
【００３２】
次に、図８のマーカ検出装置２３の具体的構成を、図４のブロック図を参照して説明する。マーカ検出装置２３はスペクトル拡散部５から構成されており、該スペクトル拡散部５は埋め込み側と同様の手順により、スペクトル拡散および直交変換を行う。
【００３３】
いま、前記のようにしてマーカが埋め込まれた画像がエンコーダ１２で符号化されて伝送路に出力された後受信側で受信され、そのデコーダ２１で復号された入力信号ｘ"B(n)がマーカ検出装置２３に入力してくると、該入力信号ｘ"B(n)はスペクトル拡散部５の乗算器４１に入力する。該乗算器４１は、該画素信号ｘ"B(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器４１でスペクトル逆拡散される。
【００３４】
続いて、該スペクトル拡散された信号は、ＷＨＴ部４２でＷＨＴ変換され、埋め込み側で操作したのと同一の係数成分ｓ０ の振幅値Ａ"を求める。この振幅値Ａ"は、送信側の圧縮符号化、映像伝送中の各種画像処理、あるいは伝送路の障害等により、マーカ埋め込み直後の画像と比較して画素値が変化していることが考えられる。そのため、Ａ"の値は、送信側で操作したＡ’とは異なる値を示すことが考えられる。
【００３５】
そこで、不可視マーカ検出部４３は、振幅値Ａ"に対して埋め込み側と同様の判定式を適用することにより、埋め込みビットを検出し、送信側で埋め込んだビットと同一であるかを判定する。
【００３６】
すなわち、マーカ検出部４３は、マーカが埋め込まれた係数成分ｓ０ の振幅値Ａ"を求め、該Ａ" を量子化ステップサイズＭで割り算したＡ" ／Ｍの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部４３は、該偶奇の判断結果に基づいて、検出情報ビットbit'を出力する。そして、既知である埋め込みビットbitと検出ビットbit’とが一致する場合を正検出、不一致の場合を誤検出とする。図３の例では、下段に、該正検出と誤検出が示されている。
【００３７】
次に、１フレームまたは１フィールド中の全ブロックに対して、正検出および誤検出を求める。そして、本実施形態では、１フレームまたは１フィールド中の誤検出ブロックの局所的な分布について調べ、それをもとに映像伝送系の障害等に起因する画質劣化を推定する。
【００３８】
正常な伝送が行われている場合には、誤検出ブロックはスペクトル拡散のランダム性により、画面全体に分散する傾向にある。局所的に符号化が難しい部位では、誤検出ブロックの出現数は増加するものの、隣接する多数のブロックが連続して誤検出となることはまれである。
【００３９】
一方、伝送路に何らかの障害が発生した場合には、逆に多数のブロックが連続して誤検出となる傾向がある。これは、画素の欠落、ずれ、フレームのフリーズ等に起因して、正常に画素信号が伝送されず、その結果としてマーカの誤検出が多く発生することによる。そこで、誤検出ブロックの連続性を小領域単位に測定し、誤検出ブロックの連続性が確認される場合には、その部位に画像の欠陥、すなわちキズがあると判定する。
【００４０】
以下に、画質劣化の判定方法について説明する。まず、検出ブロックの連続性を表す特徴量（指標）を、下記のように定義する。
(a)小領域の連続誤検出ブロックの総数：Ｎs
(b)小領域内の誤検出ブロックの総数：ＮF
(c)連続誤検出ブロックの平均値：Ｎave＝ＮF／Ｎs
(d)小領域内の連続誤検出ブロックの最大値：Ｎmax
次に、画質劣化の判定方法の第１の具体例、すなわち、前記小領域、換言すれば、不可視マーカ信号検出ブロックを、「フレームまたはフィールド内の画素ブロックの一列」とした場合のＮs、ＮFの定義を、図５を参照して説明する。
【００４１】
図５において、斜線で塗られたブロックが誤検出ブロックであるとする。この時、小領域の連続誤検出ブロックの総数Ｎsの導出に際しては、１つだけ孤立しているブロックについても、長さ１の連続ブロックであるとみなして、１つに数えることにする。
【００４２】
図示のように、太線で囲まれた１列の画素ブロック中に、長さ２、６、１、および３の誤検出連続ブロック▲１▼、▲２▼、▲３▼、および▲４▼があったとすると、小領域の連続誤検出ブロックの総数Ｎs＝４、小領域内の誤検出ブロックの総数ＮF＝２＋６＋１＋３＝１２、連続誤検出ブロックの平均値Ｎave＝１２／４＝３．０、小領域内の連続誤検出ブロックの最大値Ｎmax＝６となる。
【００４３】
次に、前記連続誤検出ブロックの平均値Ｎaveと連続誤検出ブロックの最大値Ｎmaxとから、画質劣化検出を行う。この画質劣化検出は、両者の値が小さい場合は正常な画像が受信できていると判定し、一方両者の数値がある閾値を超えた場合は劣化が発生したものと判定する。すなわち、下記のように判定する。
(1)Ｎmax≧ＴＨＮmかつ（または）Ｎave≧ＴＨＮaであれば、画質劣化あり。
(2)Ｎmax＜ＴＨＮmかつ（または）Ｎave＜ＴＨＮaであれば、画質劣化なし。
ここに、ＴＨＮmおよびＴＨＮaは、予め定められた閾値である。該閾値の設定は、映像伝送チェーンの構成等によって異なる値を設定するのが好適である。
【００４４】
前記した画質劣化検出をフレームまたはフィールド内の画素ブロックの各一列につき行い、１列あるいは複数列に画質劣化ありと判定された時には、映像伝送系の障害等に起因する画質劣化が発生したと判定する。
【００４５】
次に、画質劣化の判定方法の第２の具体例、すなわち、前記小領域を、「横１１ブロック×縦３ブロックの領域」とした場合のＮs、ＮFの定義を、図６を参照して説明する。
【００４６】
この場合には、縦方向の連続性も求められるため、Ｎsは垂直／水平方向の隣接ブロックに対する連続性をもとに定義する。ＮFは前記第１の具体例の場合と同様に数える。図６の場合は、小領域の連続誤検出ブロックの総数Ｎs＝４、小領域内の誤検出ブロックの総数ＮF＝１＋１＋２＋１８＝２２、連続誤検出ブロックの平均値Ｎave＝２２／４＝５．５、小領域内の連続誤検出ブロックの最大値Ｎmax＝１８となる。
【００４７】
前記ＮaveおよびＮmaxが求まった後に前記(1)、(2)により、画質劣化あり、なしの判定をするのは、前記第１の具体例の場合と同様であるので、説明を省略する。上記のようにして一つの小領域の判定が終わると、次の小領域の判定を行い、フレーム又はフィールドの全画素が網羅されるまで判定が続けられる。なお、場合によっては、該フレーム又はフィールドの一部で画質劣化が見つかれば、映像伝送系に何らかの障害が発生していると判断できるので、該画質劣化が発見された時点で、画質劣化の判定を打ち切っても良い。
【００４８】
前記した具体例では、画質劣化の判定に用いる小領域を「フレームまたはフィールド内の画素ブロックの一列」および「横１１ブロック×縦３ブロックの領域」としたが、これらは一例であり、本発明はこれらに限定されるものではない。
【００４９】
本発明の好適な実施形態として、図７に示されているように、連続するフレームＦ１，Ｆ２，Ｆ３，Ｆ４，・・・のそれぞれに、交互に全ブロック０，全ブロック１の埋め込みbitを挿入すると、フレームフリーズの画質劣化を容易に行えるようになる。すなわち、もしフレームＦ２がフリーズしたとすると、次のフレームＦ３は欠落することになるから、該Ｆ３の全ブロックの検出bitはフレームＦ２と同じ値の１となる。この結果、該フレームＦ３は全て誤検出ブロックとなり、フレームＦ３は欠落したことが分かる。
【００５０】
次に、前記した画質劣化の判定方式では、不可視マーカ信号検出ブロックの水平・垂直方向の連続数を特徴量として定義し、この特徴量の分布を求めた。しかし、これはフレーム内に閉じた特徴量であるため、動画像が有するフレーム間の相関性については考慮されていない。
【００５１】
しかし、画像キズが発生する場合には、このフレーム間相関が失われるため、該フレーム間相関を反映した特徴量を定義することにより、キズ検出の精度を向上することができる。
【００５２】
そこで、まず、隣接する２フレームの同位置のブロックまたは画素において、不可視マーカ信号の正検出・誤検出がどのように変化したかを下記のように、０〜３のコードで定義する。
コード０：前フレームにおいて正検出→現フレームにおいて正検出
コード１：前フレームにおいて正検出→現フレームにおいて誤検出
コード２：前フレームにおいて誤検出→現フレームにおいて正検出
コード３：前フレームにおいて誤検出→現フレームにおいて誤検出
【００５３】
以下に、上記の技術思想に基づく画質劣化の判定方法の第３の具体例を、図９を参照して説明する。図９では、フレーム０は前フレーム、フレーム１は後フレームを示し、画質劣化を検出するものとする。この具体例では、フレーム０とフレーム１の同位置にある小領域、すなわちブロックまたは画素（以下、ブロックと総称する）を比較する。つまり、フレーム０とフレーム１とは時間的に前後しているが、フレーム内の位置については、同じであるとする。
【００５４】
図９の例では、フレーム０のブロック５１は正検出、フレーム１のブロック５２は誤検出であるとすると、当該ブロックは正検出から誤検出に変化しており、このブロックには、コード“１”が付与される。もし、フレーム１において、マーカ検出結果が正検出のままであれば、コード“０”が付与されることになる。
【００５５】
このようにして、フレーム０，１内の全てのブロックについて特徴量を求めることにより、フレーム内の特徴量の分布を得ることができる。該特徴量の分布とは、コード０〜３がフレーム内でそれぞれどれだけの割合で分布しているかを表すものとする。
【００５６】
例えば、フレームｆの特徴量をｐｆ(i)（ここに、ｉはコード）と表す時、フレームｆにおいてコード０を付与されたブロックが５０％、コード１を付与されたブロックが２０％、コード２を付与されたブロックが１５％、コード３を付与されたブロックが１５％の割合であったとすると、ｐｆ(0)＝０．５０，ｐｆ(1)＝０．２０，ｐｆ(2)＝０．１５，ｐｆ(3)＝０．１５となる。
【００５７】
以上のようにして各フレームの特徴量ｐｆ(i)を取得した後、統計量Χｆ２を求め、次いで閾値判定をする。そして、閾値を上回った場合に、キズが発生したと判定する。なお、該閾値は、実験を繰り返すことにより、適正値を容易に求めることができる。
【００５８】
前記統計量Χｆ２の一例としては、下記の式を挙げることができる。
0004026754.tif 000002
ここで、ｐＨ０(i)は、フレームｆから時間的に最も近い過去Ｎｆフレームの特徴量の平均値を示し、またＮｃは、コードの個数を示す。
【００５９】
特徴量を前記の（１）式のように定義した時は、統計量Χｆ２は、過去数フレームの特徴量の平均との適合度を示す。該統計量Χｆ２は、その値が大きいほど過去のフレームとの適合度が小さいことを意味する。一般に、現フレームの特徴量分布と過去数フレームの特徴量分布は、画像のフレーム間の相関性から非常に近い値を示すことが知られているため、適合度が著しく低い場合には画像の相関性が失われている、すなわち画像キズが発生していると判断できる。
【００６０】
次に、画質劣化の判定方法の第４の具体例を、図１０を参照して説明する。伝送路でＭＰＥＧ符号化が適用されている場合、Ｉ，Ｂ，Ｐピクチャ間でピクチャタイプの遷移が考えられる。例えば、図１０のような双方向予測を含むＭＰＥＧ符号化におけるピクチャタイプの遷移には、次の５つのタイプ＃１〜＃５が存在する。
＃１：Ｉピクチャ→Ｐピクチャ
＃２：Ｂピクチャ→Ｂピクチャ
＃３：Ｂピクチャ→Ｐピクチャ
＃４：Ｐピクチャ→Ｂピクチャ
＃５：Ｂピクチャ→Ｉピクチャ
【００６１】
一般に、ＭＰＥＧ符号化では、ＩピクチャおよびＰピクチャでは画質が高く、Ｂピクチャでは画質を抑えるように符号化制御されるため、不可視マーカの正検出・誤検出の分布もピクチャタイプによって異なる。また、前記第３の具体例による適合度の判定は、タイプ＃１〜＃５の同種の特徴量毎に統計量を求めて判定を行うと、精度が向上する。
【００６２】
そこで、この具体例では、＃１〜＃５をそれぞれ別のカテゴリとみなして、各カテゴリ毎に前記統計量Χｆ２を求める。すなわち、＃１〜＃５毎に、前記（１）式の、時間的に最も近い過去Ｎｆフレームの特徴量の平均値ｐＨ０(i)を求め、各カテゴリ毎に対応する平均値ｐＨ０(i)を適用して前記（１）式を演算して、各カテゴリ毎の統計量Χｆ２を求め、過去のフレームとの適合度を求める。そして、該統計量Χｆ２を各カテゴリ毎の閾値と比較して、該閾値を上回った場合に、キズが発生したと判定する。
【００６３】
この具体例によれば、画像にキズが発生しているか否かの判定の精度を向上させることができる。
【００６４】
なお、前記した第３、第４の具体例では、ブロック５１，５２の統計量Χｆ２を使用して画質劣化の判定をした（図９参照）が、本発明はこれに限定されずに、フレーム内またはフィールド内における分布に基づいて統計量Χｆ２を導出し、該統計量Χｆ２を使用して画質劣化の判定をするようにしてもよい。
【００６５】
また、前記した本発明を、前記特許願２００１−４５４５８号の画質評価装置と併用すると、ＭＰＥＧ−２等の圧縮符号化アルゴリズムによる画質劣化と、映像伝送系の障害等に起因する画質劣化とを、併行して検出できるようになる。
【００６６】
【発明の効果】
以上の説明から明らかなように、請求項１〜５の発明によれば、不可視マーカの正検出または誤検出の分布から、映像伝送系の障害等に起因する画質劣化を検出できるようになる。この結果、映像伝送系に障害が発生したか否かを、迅速にかつ精度良く検出できるようになる。
【００６７】
また、請求項６の発明によれば、フレームフリーズの検出を容易に行えるようになる。
【００６８】
また、請求項７、８の発明によれば、動画像が有するフレーム間の相関性を考慮に入れて、画像キズが発生しているか否かを判定するようにしたので、画像キズ検出の精度を向上させることができるようになる。
【００６９】
さらに、請求項９の発明によれば、ＭＰＥＧ符号化におけるピクチャタイプの遷移形態を画面キズ発生判定に反映させたので、画像キズ検出の精度をさらに向上させることができるようになる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の不可視信号埋め込み装置の構成を示すブロック図である。
【図２】  図１の不可視マーカ埋め込み部の処理を示すフローチャートである。
【図３】  マーカ埋め込み・検出の一具体例の説明図である。
【図４】  本発明の一実施形態のマーカ検出装置の構成を示すブロック図である。
【図５】  画質劣化の判定に用いる小領域を「フレームまたはフィールド内の画素ブロックの一列」とした場合の、誤検出ブロックに関する特徴量測定の説明図である。
【図６】  画質劣化の判定に用いる小領域を「横１１ブロック×縦３ブロックの領域」とした場合の、誤検出ブロックに関する特徴量測定の説明図である。
【図７】  不可視マーカ埋め込み例の説明図である。
【図８】  本発明が適用される映像伝送系の一例のブロック図である。
【図９】  画面キズのフレーム間相関性を説明する図である。
【図１０】  ピクチャタイプの遷移の形態の説明図である。
【符号の説明】
１・・・スペクトル拡散部、２・・・不可視マーカ埋め込み部、３・・・スペクトル逆拡散部、５・・・スペクトル拡散部、１１・・・不可視信号埋め込み装置、２３・・・マーカ検出装置、５１，５２・・・ブロック。
【図１】
0004026754.tif 000003
【図２】
0004026754.tif 000004
【図３】
0004026754.tif 000005
【図４】
0004026754.tif 000006
【図５】
0004026754.tif 000007
【図６】
0004026754.tif 000008
【図７】
0004026754.tif 000009
【図８】
0004026754.tif 000010
【図９】
0004026754.tif 000011
【図１０】
0004026754.tif 000012