(57)【特許請求の範囲】
【請求項１】
スペクトル拡散された画像の任意の周波数の値を操作することでマーカが埋め込まれ、該マーカが埋め込まれた画像をスペクトル拡散した後符号化された画像の画質を評価するためのマーカ信号劣化検出方法において、
前記符号化された画像の復号画の拡散スペクトルのうち、マーカ埋め込み対象周波数成分の振幅Ａdetを検出し、該振幅Ａdetを予め定められた量子化ステップサイズＭで割り算し、その結果の整数部分の偶数または奇数により前記振幅Ａdetが正検出されたかまたは誤検出されたかを判定し、該正または誤検出の判定結果により、マーカ埋め込み画像の符号化前の振幅Ａestを推定し、該振幅ＡestとＡdetによりマーカ信号の振幅の劣化ＥＲＲblkを検出するようにしたことを特徴とする画質評価のためのマーカ信号劣化検出方法。
【請求項２】
請求項１に記載の画質評価のためのマーカ信号劣化検出方法において、
前記マーカ信号の振幅の劣化ＥＲＲblkは、１フレームの画像の任意のサイズのブロック毎に求められることを特徴とする画質評価のためのマーカ信号劣化検出方法。
【請求項３】
前記請求項１または２のマーカ信号劣化検出方法で求めた振幅の劣化ＥＲＲblkの二乗平均σe ２を求める手段と、
該二乗平均σe２を基に、画質評価尺度を求める手段とを具備したことを特徴とする画質評価装置。
【請求項４】
請求項３に記載の画質評価装置において、
予め求められた前記二乗平均σe２を前記量子化ステップサイズＭに基づき正規化した値と、画質評価尺度ＰＳＮＲとの相関に基づいて、該二乗平均σe２を正規化した値から画質評価尺度ＰＳＮＲを推定するようにしたことを特徴とする画質評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画質評価のためのマーカ信号劣化検出方法および画質評価方法に関し、特に、映像伝送系において、原画（リファレンス画像）を用いることなく画質を精度良く評価できるようにするためのマーカ信号劣化検出方法および画質評価方法に関する。
【０００２】
【従来の技術】
近年、映像伝送のディジタル化が急速に進行しており、これに伴い、映像伝送系の運用および監視支援の開発が重要な課題となっている。この課題の一つに画質評価があり、画質評価方法には、大別して、主観方法と客観方法がある。主観方法は、人間による主観評価が主であり、運用者への負担が大きいため、原画を参照する自動画質評価方法が提案されている。しかし、この自動画質評価方法は、原画を参照するため、実伝送の画質評価には使用することができない。そこで、原画を必要としない客観画質評価方法が提案されている。
【０００３】
その一つに、本発明者等により提案された、「不可視信号埋め込みによる絶対画質客観評価方式」（２０００年３月発行、映像情報メディア学会技術報告ＢＳＣ２０００−１４）がある。この方式は、符号化ビットストリーム（ＤＣＴ係数）にマーカ信号を埋め込み、画質評価をするものである。しかしながら、前記方式では、送信端から受信端の間（End to End) にコーデックが多段接続されている場合に受信端の画質を評価するには、各段でマーカ信号の挿入・検出を行う必要が生じ、手順あるいは操作が煩雑であるという問題があった。
【０００４】
【発明が解決しようとする課題】
そこで、本発明者は、コーデックの段数・方式に依存せずに画質評価をすることのできる画像処理装置および画質評価装置を発明し、特許出願した（特願２０００−１９４７１０）。この発明による画質評価方法は、画像に埋め込まれたマーカの検出時に誤検出率を求め、該誤検出率を基に、ＲＳＮＲ，ＰＳＮＲといった画質評価尺度を導出するものである。この方法による画質推定精度は、実用上十分な水準を有しているが、より高度な映像運用のために、さらに精度の高い画質評価方法の提案が望まれている。
【０００５】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、より精度の高い画質評価を行えるようにするためのマーカ信号劣化検出方法および画質評価装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、画像の任意の周波数の値を操作することでマーカが埋め込まれ、該マーカが埋め込まれた画像をスペクトル拡散した後符号化された画像の画質を評価するためのマーカ信号劣化検出方法において、前記符号化された画像の復号画の拡散スペクトルのうち、マーカ埋め込み対象周波数成分の振幅Ａdetを検出し、該振幅Ａdetを予め定められた量子化ステップサイズＭで割り算し、その結果の整数部分の偶数または奇数により前記振幅Ａdetが正検出されたかまたは誤検出されたかを判定し、該正または誤検出の判定結果により、マーカ埋め込み画像の符号化前の振幅Ａestを推定し、該振幅ＡestとＡdetによりマーカ信号の振幅の劣化ＥＲＲblkを検出するようにした点に第１の特徴がある。
【０００７】
この特徴によれば、該マーカ信号の振幅の劣化ＥＲＲblkを直接的に推定評価できるため、マーカ信号の劣化を、従来方式より、より正確に求めることが可能になる。
【０００８】
また、本発明は、画質評価装置において、前記マーカ信号劣化検出方法で求めた振幅の劣化ＥＲＲblkの二乗平均σe２を求める手段と、該二乗平均σe２を基に、画質評価尺度を求める手段とを具備した点に第２の特徴がある。
【０００９】
この特徴によれば、より正確に求められたマーカ信号の劣化を基に画質評価尺度が求められるので、より精度の高い画質評価を行えるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【００１１】
本発明では、該映像伝送系の一例として、図９に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。送信装置１０には、後で詳述する本発明による画像処理装置としての不可視マーカ埋め込み装置１１が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ１２で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ２１とエンコーダ２２の組がｎ組連結された映像伝送ネットワークから構成されており、該ｎ組のデコーダ２１とエンコーダ２２の方式は、同じであっても異なっていてもよい。
【００１２】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ２１とエンコーダ２２の第１組目でも、第ｎ組目でも、最終の組においてでも、各組のデコーダ２１の出力にマーカ検出装置２３を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。
【００１３】
なお、不可視信号埋め込み装置１１およびマーカ検出装置２３は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【００１４】
次に、前記不可視マーカ埋め込み装置の一実施形態を具体的に説明する。図１は、該不可視マーカ埋め込み装置１１の構成を示すブロック図である。
【００１５】
不可視信号（不可視マーカ）の埋め込みは、任意のサイズの画素ブロック（Ｎ×Ｎ）単位で行われる。ここに、Ｎは正の整数であり、ＭＰＥＧ２で符号化する場合には、マクロブロック（１６×１６画素）が好適であるが、本発明はこれに限定されるものではない。このため、不可視信号埋め込み装置１１には、入力画像がブロック単位に区切られて入力される。この入力信号をＸB(n)とする。
【００１６】
入力信号ＸB(n)は乗算器３１に入力する。該入力信号ＸB(n)は乗算器３１でＰＮ系列ＳPN(n) と乗算され、スペクトル拡散される。乗算器３１の出力は、ＸB(n)×ＳPN(n)となる。ここに、ＰＮ系列ＳPN(n) は、１と−１のランダムな系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【００１７】
該乗算器３１の出力ＸB(n)×ＳPN(n) は、フーリエ変換部（ＦＦＴ）３２に入力する。該フーリエ変換部３２の出力である拡散スペクトルＸss[k] は、下記の(2) 式のようになる。
Ｘss[k] ＝Ｆ｛ＸB(n)×ＳPN(n) ｝  …(2)
ここで、Ｆはフーリエ変換を表す。
【００１８】
不可視マーカ埋め込み部３３は、拡散スペクトルＸss[k] のうち、任意の周波数の値を操作することで、不可視マーカを埋め込む。不可視マーカを埋め込む注目する周波数をｋ0 、操作する周波数成分の振幅をＡで表すと、該振幅Ａは下記の(3) 式となる。
Ａ＝｜Ｘss[k0]｜  …(3)
【００１９】
不可視マーカ埋め込み部３３は、次いで、振幅Ａを図２のフローチャートで示される機能を用いて振幅Ａを変更または操作し、マーカ埋め込みを行う。該マーカ埋め込みは、乱数生成器（ＲＮＧ）３４で生成された予め定められた情報ビット列ｂi （ｂi ＝１または０）を埋め込むことにより行われる。すなわち、本実施形態では、振幅Ａをある量子化ステップサイズＭで量子化することにより得られるレベル（量子化代表値）Ｑの偶奇によって、情報ビットを判定する。具体的には、振幅Ａが偶数の時には情報ビット０、Ａが奇数の時には情報ビット１と判定する。なお、乱数生成器（ＲＮＧ）３４は、これに乱数種が与えられると、周知のように、予定の埋め込み情報ビット｛ｂi ｝を出力する。
【００２０】
次に、該不可視マーカ埋め込み部３３の振幅Ａの変更または操作方法を、図２のフローチャートを参照して説明する。
【００２１】
不可視マーカ埋め込み部３３に、前記操作する周波数成分の振幅Ａが与えられると、該不可視マーカ埋め込み部３３は、ステップＳ１にて、Ａ／Ｍの演算を行い、その商（整数部分）Ｑを求める。ステップＳ２では、前記商Ｑを２で割った余り（Ｑｍｏｄ２）により、該商Ｑが偶数であるか奇数であるかを判断し、前記乱数生成器（ＲＮＧ）３４から与えられた情報ビット列ｂi と一致しているか不一致かを判断する。この判断が肯定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，すなわちＡ' ＝（Ｑ＋１／２）Ｍとなるように、Ａを操作する。
【００２２】
ステップＳ２の判断が否定の時には、ステップＳ４に進み、ＱＭ≦Ａ≦（Ｑ＋１／２）Ｍが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−１／２）Ｍとなるように操作される。ステップＳ４の判断が否定の時には、ステップＳ６に進んで、（Ｑ＋１／２）Ｍ≦Ａ≦（Ｑ＋１）Ｍが成立するか否かの判断がなされる。この判断が肯定の時には、ステップＳ７に進んで、前記振幅ＡがＡ' ＝（Ｑ＋３／２）Ｍとなるように操作される。この判断が否定の時には、処理を終了する。
【００２３】
前記ステップＳ３、Ｓ５およびＳ７の操作は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベルＱとＱ±１の中間に配置されるようにするための操作である。次に、前記ステップＳ３、Ｓ５およびＳ７の操作を図３の具体例により説明する。図３は、Ｍ＝２００、Ａ＝８５０、埋め込み情報ビット０の場合のマーカ埋め込み例を示す。
【００２４】
図３の上段に示されているように、原画の操作される周波数成分の振幅Ａが８５０であると、Ａ／Ｍ＝８５０／２００＝４．２５となって、その整数部分Ｑは「４」となる（ステップＳ１）。次に、この４を２で割り算した余りは０であるので、Ａ＝８５０は乱数生成器３７から与えられた情報ビットｂi ＝０と一致していることが分かる（ステップＳ２が肯定）。そこで、該振幅ＡはＡ' ＝（Ｑ＋１／２）Ｍ＝９００、すなわち量子化レベルＱとＱ＋１の中間に来るように操作されて埋め込まれる。
【００２５】
なお、このように、振幅Ａ' が必ず量子化レベルＱとＱ±１の中間に配置されるようにする操作をするのは、Ａ＝８５０はビット１と０の境界（Ａ＝８００）に近いため、伝送途中のわずかな振幅変動でビット１の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【００２６】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ埋め込み部３３から出力され、図１に示されているように、フーリエ逆変換部（ＩＦＦＴ）３５でフーリエ逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器３６でＰＮ系列ＳPN(n) と乗算され、スペクトル逆拡散され、不可視信号埋め込み装置１１の出力Ｘ'B(n) が得られる。
【００２７】
上記のマーカ付加により、入力画像ＸB(n)にはノイズが重畳されることになるが、このノイズは乗算器３６によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図９の出力画像の画質劣化は、極めて小さいものになる。
【００２８】
次に、図９のマーカ検出装置２３の具体的構成を、図４のブロック図を参照して説明する。いま、デコーダ２１で復号され、画素ブロック（Ｎ×Ｎ）に分割された入力信号ＹB(n)がマーカ検出装置２３に入力してくると、該入力信号ＹB(n)は乗算器４１に入力する。該乗算器４４は、該画素信号ＹB(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器４１でスペクトル逆拡散される。続いて、該スペクトル拡散された信号は、フーリエ変換部４２でフーリエ変換され、マーカ検出部４３で、マーカが埋め込まれた周波数成分の振幅Ａdet を量子化ステップサイズＭで割り算したＡdet ／Ｍの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部４３は、該偶奇の判断結果に基づいて、検出情報ビット列｛ｂi'｝を出力する。比較部４４は、前記乱数生成器３４と同じ乱数種を付与された乱数生成器４５から出力される情報ビット列｛ｂi ｝と前記検出情報ビット列｛ｂi'｝とを比較し、比較結果（正検出／誤検出信号）をマーカ劣化推定部４６に出力する。
【００２９】
前記比較部４４では、例えば図３の最下段に示されているように、マーカ検出部４６は、送信側でマーカを埋め込んだのと同じ周波数の振幅Ａdet がＡdet ＝８２０であれば、８２０／２００の商Ｑは偶数であるので、ｂi'＝０を出力する。そして、比較部４４は正検出信号をマーカ劣化推定部４６に出力する。一方、Ａdet ＝１１２０であれば、１１２０／２００の商Ｑは奇数であるので、ｂi'＝１を出力する。この結果、比較部４４は誤検出信号をマーカ劣化推定部４６に出力する。
【００３０】
該マーカ劣化推定部４６では、実際に検出された振幅Ａdetの劣化度を推定する。該マーカ劣化推定部４６の動作の一例を、図５のフローチャートを参照して説明する。
【００３１】
ステップＳ１１では、前記比較部４４の比較結果出力から、マーカ検出が正検出であったか否かの判断をする。該マーカ検出が正検出と判断された時には、ステップＳ１２に進み、ａ（振幅Ａdetの量子化レベル）を下記の式により計算する。
ａ＝int（Ａdet／Ｍ）
【００３２】
次に、ステップＳ１３に進み、マーカ付加後の振幅の推定値Ａestを下記の式により求める。
Ａest＝（ａ＋１／２）Ｍ
【００３３】
一方、前記ステップＳ１１で、誤検出と判断された時にはステップＳ１４に進み、ａ（振幅Ａdetの量子化レベル）  と、ｂ（ＡdetをＭで割ったときの小数第１位）を計算する。該ｂは、下記の式により計算する。
ｂ＝int（１０×Ａdet／Ｍ）−１０×int（Ａdet／Ｍ）
【００３４】
ステップＳ１５に進むと、ｂ≧５が成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ１６に進んで、マーカ付加後の振幅の推定値Ａestを下記の式により求められる。
Ａest＝（ａ＋３／２）Ｍ
【００３５】
一方、否定の場合には、ステップＳ１７に進みマーカ付加後の振幅の推定値Ａestを下記の式により求められる。
Ａest＝（ａ−１／２）Ｍ
【００３６】
ステップＳ１８では、前記ステップＳ１３，Ｓ１６，またはＳ１７に基づいて、マーカ劣化の推定値ＥＲＲblkが下記の式から求められる。
ＥＲＲblk＝Ａest−Ａdet
【００３７】
ここで、前記図５の動作を、図６、図７を参照して、実例により説明する。図６は、マーカが正検出された場合の動作を示す。
【００３８】
図３と同様に、Ｍ＝２００、Ａ＝８５０、埋め込み情報ビット０のマーカ埋め込みを行うとすると、前記したように、該周波数成分の振幅Ａは、マーカ埋め込み後の当該周波数成分の振幅Ａ' が、Ａ' ＝（Ｑ＋１／２）Ｍとなるように操作されるから、Ａ' ＝９００となる。次に、受信側の復号画から検出された当該周波数成分の振幅Ａdetが例えばＡdet＝９８０であったとすると、当該周波数成分の振幅Ａdetの元々の振幅、すなわち符号化前のマーカ振幅Ａestは、「正検出」であることから、Ａest＝Ａ' ＝９００であると推定できる（前記ステップＳ１３）。したがって、前記誤差の推定値ＥＲＲblkは、ＥＲＲblk＝Ａest−Ａdet＝−８０となる。
【００３９】
次に、図７を参照して、マーカが誤検出された場合の動作を説明する。今、復号画から検出された当該周波数成分の振幅Ａdetが例えば１０７０であったとすると、ｂi'＝１となるので、誤検出であることが分かる。そうすると、周波数成分の振幅Ａdetの元々の振幅、すなわち符号化前のマーカ振幅Ａestは、Ａest＝９００、またはＡest＝１３００である可能性があるが、この場合には前記ステップＳ１５の判断が否定になるので、ステップＳ１７に進み，Ａest＝９００とする。この場合、前記誤差の推定値ＥＲＲblkは、ＥＲＲblk＝Ａest−Ａdet＝−１７０となる。
【００４０】
一方、復号画から検出された当該周波数成分の振幅Ａdetが例えば１１５０であったとすると、前記ステップＳ１５の判断は肯定になるので、ステップＳ１６に進み、Ａest＝１３００とする。この場合、前記誤差の推定値ＥＲＲblkは、ＥＲＲblk＝Ａest−Ａdet＝１５０となる。
【００４１】
次に、前記図５の処理により、前記誤差の推定値ＥＲＲblkを、画像（フレーム）の全画素ブロックに対して求める。次いで、該誤差の推定値ＥＲＲblkの二乗和σe２ を下記の（４）式から求める。
0004492992.tif 000002
【００４２】
ここに、Ｎblkは、フレーム中の画素ブロックの数を表す。該（４）式のσe２は、前記誤差の推定値ＥＲＲblkの分布は平均０の分布であるため、分散を表す。以上が、マーカ劣化推定部４６の処理である。
【００４３】
次に、画質評価値推定部４７（図４参照）は、該分散σe２ を基に、画質評価尺度を求める。以下に、その機能を説明する。本発明者が、一例として、ＭＰＥＧ−２コーデック１段のシステムで、かつ周知のテスト画像「チアリーダーズ（Ｃｈｅｅｒ）」、「フラミンゴ（Ｆｌａ）」、「グリーンリーブス（Ｇｒｅｅｎ）」等を用いて、前記分散σe２の３０フレーム平均と画質評価尺度ＰＳＮＲとの関係を調べたところ、図８の相関が得られた。図８の横軸はσe２ をＭで正規化した数値（σe２／Ｍ）であり、縦軸は、原画像（マーカ埋め込み前）と復号画像の画質評価尺度ＰＳＮＲである。図８の相関から、回帰曲線ａを一意に定めることができる。
【００４４】
本実施形態では、図８の特性（グラフ）を前記画質評価値推定部４７に記憶させておき、画質依存性を排除するために、前記マーカ劣化推定部４６から入力される分散σe２をＭで正規化してσe２／Ｍ（または、σe２／√Ｍ）を計算し、該σe２／Ｍを前記回帰曲線ａに当てはめることで、原画像なしで、画質評価尺度ＰＳＮＲを求めることが可能になる。なお、図８では、σe２ を３０フレーム平均としたが、σe２ を１フレーム単位の値として、同様の推定を行うことも可能であることは明らかである。
【００４５】
なお、前記実施形態は、本発明の良好な実施形態を示したが、本発明の趣旨を逸脱しない範囲で変形が可能であり、該変形も本発明の範囲に入ることは明らかである。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、マーカ信号の振幅の劣化ＥＲＲblkを直接的に推定評価できるため、マーカ信号の劣化を、従来方式より、より正確に求めることが可能になる。
【００４７】
また、より正確に求められた誤差の推定値ＥＲＲblkを基に画質評価尺度ＰＳＮＲを求めるようにしたので、画質評価の性能を、従来のものに比べて、向上することができるようになる。
【図面の簡単な説明】
【図１】  不可視マーカを埋め込むための画像処理装置の一実施形態の概略の構成を示すブロック図である。
【図２】  図１の不可視マーカ埋め込み部の動作を示すフローチャートである。
【図３】  図２の動作の具体的説明図である。
【図４】  本発明の画質評価装置の一実施形態の概略の構成を示すブロック図である。
【図５】  図４のマーカ劣化推定部の動作を示すフローチャートである。
【図６】  図５の動作（正検出の場合）の具体的説明図である。
【図７】  図５の動作（誤検出の場合）の具体的説明図である。
【図８】  マーカ劣化の推定値の二乗平均値と画質評価尺度ＰＳＮＲとの関係を示すグラフである。
【図９】  本発明が適用される映像伝送系の一例のブロック図である。
【符号の説明】
１０…送信装置、２３…マーカ検出装置、３１、４１…乗算器、３２、４２…フーリエ変換器、３３…不可視マーカ埋め込み部、３４、４５…乱数生成器、３５…フーリエ逆変換器、４３…マーカ検出部、４４…比較部、４６…マーカ劣化推定部、４７…画質評価値推定部。
【図１】
0004492992.tif 000003
【図２】
0004492992.tif 000004
【図３】
0004492992.tif 000005
【図４】
0004492992.tif 000006
【図５】
0004492992.tif 000007
【図６】
0004492992.tif 000008
【図７】
0004492992.tif 000009
【図８】
0004492992.tif 000010
【図９】
0004492992.tif 000011