(57)【特許請求の範囲】
【請求項１】
入力画像信号の交流成分を抽出する手段と、
前記入力画像信号の交流成分をスペクトル拡散するスペクトル拡散部と、
該スペクトル拡散部でスペクトル拡散された前記入力画像信号の周波数成分のうち、予め定められた周波数成分に不可視マーカを埋め込む不可視マーカ埋め込み部と、
該不可視マーカ埋め込み部で不可視マーカを埋め込まれた前記入力画像信号を逆拡散するスペクトル逆拡散部とを具備したことを特徴とする画像処理装置。
【請求項２】
前記不可視マーカ埋め込み部は、前記予め定められた周波数成分の振幅を変更することにより、２値情報信号を埋め込むようにすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記不可視マーカ埋め込み部は、前記予め定められた周波数成分の振幅を量子化し、その量子化代表値の偶奇により前記２値情報信号を埋め込むようにすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記不可視マーカ埋め込み部は、前記予め定められた周波数成分の振幅を量子化するに際し、量子化ステップサイズを変更することにより、不可視マーカの埋め込み強度を変化させるようにすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記入力画像信号の絵柄により、前記不可視マーカの埋め込み強度を適応的に変化させることにより、絵柄によらず一定した画質評価値を得ることができるようにすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記不可視マーカ埋め込み部は、前記不可視マーカの埋め込み強度を、前記入力画像信号の信号分散に応じて変化させることにより、絵柄によらず一定した画質評価値を得ることができるようにすることを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記請求項１の画像処理装置で埋め込まれた不可視マーカを含む画像信号をエンコードして送信された画像信号を受信してデコードするデコーダと、
該デコーダでデコードされた画像信号から交流成分を抽出する手段と、
該交流成分をスペクトル拡散するスペクトル拡散部と、
該スペクトル拡散部でスペクトル拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出するマーカ検出部と、
該マーカ検出部で検出された不可視マーカと、前記画像処理装置で埋め込まれたのと同じ不可視マーカとの正検出率または誤検出率を演算する演算手段とを具備し、
該演算手段の結果を基に画質評価値を推定するようにしたことを特徴とする画質評価装置。
【請求項８】
前記デコーダは、デコーダ・エンコーダ対を複数組含む映像伝送チェーンの中の任意のデコーダであることを特徴とする請求項７に記載の画質評価装置。
【請求項９】
前記マーカ検出部は、前記画像処理装置で不可視マーカが埋め込まれたのと同じ周波数成分の振幅を求めて２値情報信号を検出し、
前記演算手段は、該２値情報信号と受信側で生成された前記画像処理装置で埋め込まれたのと同じ２値情報信号とを比較することを特徴とする請求項７または８に記載の画質評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画質評価のための画像処理装置および画質評価装置に関し、特に、映像伝送系において、原画（リファレンス画像）を用いることなく画質を評価できるようにするための画像処理装置および画質評価装置に関する。
【０００２】
【従来の技術】
近年、映像伝送のディジタル化が急速に進行しており、これに伴い、映像伝送系の運用および監視支援の開発が重要な課題となっている。この課題の一つに画質評価があり、画質評価方法には、大別して、主観方法と客観方法がある。主観方法は、人間による主観評価が主であり、運用者への負担が大きいため、原画を参照する自動画質評価方法が提案されている。しかし、この自動画質評価方法は、原画を参照するため、実伝送の画質評価には使用することができない。そこで、原画を必要としない客観画質評価方法が提案されている。
【０００３】
その一つに、本発明者等により提案された、「不可視信号埋め込みによる絶対画質客観評価方式」（２０００年３月発行、映像情報メディア学会技術報告ＢＳＣ２０００−１４）がある。この方式は、符号化ビットストリーム（ＤＣＴ係数）にマーカ信号を埋め込み、画質評価をするものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記方式では、送信端から受信端の間（End to End) にコーデックが多段接続されている場合に受信端の画質を評価するには、各段でマーカ信号の挿入・検出を行う必要が生じ、手順あるいは操作が煩雑であるという問題があった。また、ＭＰＥＧ方式以外のコーデックには、適用できないという問題もあった。また、実伝送において、原画を用いずに正確な画質評価を実現する方法は、まだ確立されていない。
【０００５】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、不可視信号の埋め込みによる画質劣化が小さく、画質推定の精度が高く、またコーデックの段数・方式に依存せずに画質評価をすることのできる画像処理装置および画質評価装置を提供することにある。
【０００６】
前記した目的を達成するために、本発明は、画像処理装置が、入力画像信号の交流成分を抽出する手段と、前記入力画像信号の交流成分をスペクトル拡散するスペクトル拡散部と、該スペクトル拡散部でスペクトル拡散された前記入力画像信号の周波数成分のうち、予め定められた周波数成分に不可視マーカを埋め込む不可視マーカ埋め込み部と、該不可視マーカ埋め込み部で不可視マーカを埋め込まれた前記入力画像信号を逆拡散するスペクトル逆拡散部とを具備した点に第１の特徴がある。
【０００７】
この特徴によれば、入力画像信号に埋め込んだ不可視マーカがスペクトル拡散されて伝送されるので、ノイズである不可視マーカは広帯域に拡散されることになる。このため、ノイズは極めて小さいものとなり、該不可視マーカによる画質劣化は、極めて小さいものになる。
【０００８】
また、本発明は、前記画像処理装置で埋め込まれた不可視マーカを含む画像信号をエンコードして送信された画像信号を受信してデコードするデコーダと、該デコーダでデコードされた画像信号をスペクトル拡散するスペクトル拡散部と、該スペクトル拡散部でスペクトル拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出するマーカ検出部と、該マーカ検出部で検出された不可視マーカと、前記画像処理装置で埋め込まれた不可視マーカとの正検出率または誤検出率を演算する演算手段とを具備し、該演算手段の結果を基に画質評価値を推定するようにした点に第２の特徴がある。
【０００９】
この特徴によれば、映像伝送チェーン中のコーデックの方式に依存しない画質評価をすることができ、かつ画質推定の精度を向上させることができるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【００１１】
本発明では、該映像伝送系の一例として、図６に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。送信装置１０には、後で詳述する本発明による画像処理装置としての不可視信号埋め込み装置１１が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ１２で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ２１とエンコーダ２２の組がｎ組連結された映像伝送ネットワークから構成されており、該ｎ組のデコーダ２１とエンコーダ２２の方式は、同じであっても異なっていてもよい。
【００１２】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ２１とエンコーダ２２の第１組目でも、第ｎ組目でも、最終の組においてでも、各組のデコーダ２１の出力にマーカ検出装置２３を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。なお、不可視信号埋め込み装置１１およびマーカ検出装置２３は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【００１３】
次に、本発明の画像処理装置の一実施形態を具体的に説明する。図１は、前記不可視信号埋め込み装置１１の構成を示すブロック図である。
【００１４】
不可視信号の埋め込みは、任意のサイズの画素ブロック（Ｎ×Ｎ）単位で行われる。ここに、Ｎは正の整数であり、ＭＰＥＧ２で符号化する場合には、マクロブロック（１６×１６画素）が好適であるが、本発明はこれに限定されるものではない。このため、不可視信号埋め込み装置１１には、入力画像がブロック単位に区切られて入力される。この入力信号をＸB(n)とする。
【００１５】
入力信号ＸB(n)は、直流成分計算部３１と遅延部３２に入力する。直流成分計算部３１は、画素ブロック（Ｎ×Ｎ画素）の画素信号ＸB(n)の平均値を下記の(1) 式で計算する。その結果を直流成分Ｄ(s) とする。ここに、Ｓは１フレーム（または、フィールド）のブロックの番号である。
【００１６】
【数１】
0004479980.tif 000002
【００１７】
該直流成分Ｄ(s) は、減算器３３と加算器４０に送られる。減算器３３には、遅延部３２で少なくとも直流成分計算部３１の演算時間分遅延された画素信号ＸB(n)が入力し、減算器３３は画素信号ＸB(n)から前記直流成分Ｄ(s) を減算することにより、入力信号ＸB(n)から交流成分ＸA(n)のみを抽出する。
【００１８】
交流成分ＸA(n)は、乗算器３４でＰＮ系列ＳPN(n) と乗算され、スペクトル拡散される。乗算器３４の出力は、ＸA(n)×ＳPN(n) となる。ここに、ＰＮ系列ＳPN(n) は、１と−１のランダムな系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【００１９】
該乗算器３４の出力ＸA(n)×ＳPN(n) は、フーリエ変換部（ＦＦＴ）３５に入力する。該フーリエ変換部３５の出力である拡散スペクトルＸss[k] は、下記の(2) 式のようになる。
【００２０】
Ｘss[k] ＝Ｆ｛ＸA(n)×ＳPN(n) ｝  …(2)
【００２１】
ここで、Ｆはフーリエ変換を表す。
【００２２】
不可視マーカ埋め込み部３６は、拡散スペクトルＸss[k] のうち、任意の周波数の値を操作することで、不可視マーカを埋め込む。不可視マーカを埋め込む注目する周波数をｋ0 、操作する周波数成分の振幅をＡで表すと、該振幅Ａは下記の(3) 式となる。
【００２３】
Ａ＝｜Ｘss[k0]｜  …(3)
【００２４】
不可視マーカ埋め込み部３６は、次いで、振幅Ａを図２のフローチャートで示される機能を用いて振幅Ａを変更または操作し、マーカ埋め込みを行う。該マーカ埋め込みは、乱数生成器（ＲＮＧ）３７で生成された予め定められた情報ビット列ｂi （ｂi ＝１または０）を埋め込むことにより行われる。すなわち、本実施形態では、振幅Ａをある量子化ステップサイズＭで量子化することにより得られるレベル（量子化代表値）Ｑの偶奇によって、情報ビットを判定する。具体的には、振幅Ａが偶数の時には情報ビット０、Ａが奇数の時には情報ビット１と判定する。なお、乱数生成器（ＲＮＧ）３７は、これに乱数種が与えられると、周知のように、予定の埋め込み情報ビット｛ｂi ｝を出力する。
【００２５】
次に、該不可視マーカ埋め込み部３６の振幅Ａの変更または操作方法を、図２のフローチャートを参照して説明する。
【００２６】
不可視マーカ埋め込み部３６に、前記操作する周波数成分の振幅Ａが与えられると、該不可視マーカ埋め込み部３６は、ステップＳ１にて、Ａ／Ｍの演算を行い、その商（整数部分）Ｑを求める。ステップＳ２では、前記商Ｑを２で割った余り（Ｑｍｏｄ２）により、該商Ｑが偶数であるか奇数であるかを判断し、前記乱数生成器（ＲＮＧ）３７から与えられた情報ビット列ｂi と一致しているか不一致かを判断する。この判断が肯定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，すなわちＡ' ＝（Ｑ＋１／２）Ｍとなるように、Ａを操作する。
【００２７】
ステップＳ２の判断が否定の時には、ステップＳ４に進み、ＱＭ≦Ａ≦（Ｑ＋１／２）Ｍが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−１／２）Ｍとなるように操作される。ステップＳ４の判断が否定の時には、ステップＳ６に進んで、（Ｑ＋１／２）Ｍ≦Ａ≦（Ｑ＋１）Ｍが成立するか否かの判断がなされる。この判断が肯定の時には、ステップＳ７に進んで、前記振幅ＡがＡ' ＝（Ｑ＋３／２）Ｍとなるように操作される。この判断が否定の時には、処理を終了する。
【００２８】
前記ステップＳ３、Ｓ５およびＳ７の操作は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベルＱとＱ±１の中間に配置されるようにするための操作である。次に、前記ステップＳ３、Ｓ５およびＳ７の操作を図３の具体例により説明する。図３は、Ｍ＝２００、Ａ＝８５０、埋め込み情報ビット０の場合のマーカ埋め込み例を示す。
【００２９】
図３の上段に示されているように、原画の操作される周波数成分の振幅Ａが８５０であると、Ａ／Ｍ＝８５０／２００＝４．２５となって、その整数部分Ｑは「４」となる（ステップＳ１）。次に、この４を２で割り算した余りは０であるので、Ａ＝８５０は乱数生成器３７から与えられた情報ビットｂi ＝０と一致していることが分かる（ステップＳ２が肯定）。そこで、該振幅ＡはＡ' ＝（Ｑ＋１／２）Ｍ＝９００、すなわち量子化レベルＱとＱ＋１の中間に来るように操作されて埋め込まれる。
【００３０】
なお、このように、振幅Ａ' が必ず量子化レベルＱとＱ±１の中間に配置されるようにする操作をするのは、Ａ＝８５０はビット１と０の境界（Ａ＝８００）に近いため、伝送途中のわずかな振幅変動でビット１の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【００３１】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ埋め込み部３６から出力され、図１に示されているように、フーリエ逆変換部（ＩＦＦＴ）３８でフーリエ逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器３９でＰＮ系列ＳPN(n) と乗算され、スペクトル逆拡散される。次いで、加算器４０で、最初に除去した直流成分が加えられ、不可視信号埋め込み装置１１の出力Ｘ'B(n) が得られる。
【００３２】
上記のマーカ付加により、入力画像ＸB(n)にはノイズが重畳されることになるが、このノイズは乗算器３９によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図６の出力画像の画質劣化は、極めて小さいものになる。
【００３３】
次に、図６のマーカ検出装置２３の具体的構成を、図４のブロック図を参照して説明する。いま、デコーダ２１で復号され、画素ブロック（Ｎ×Ｎ）に分割された入力信号ＹB(n)がマーカ検出装置２３に入力してくると、該入力信号ＹB(n)は直流成分計算部４１と遅延部４２に入力される。直流成分計算部４１は、前記直流成分計算部３１と同様に、画素ブロック（Ｎ×Ｎ）の画素信号ＹB(n)の平均値を前記(1) 式で計算し、その結果の直流成分Ｄ(s) を減算器４３に出力する。減算器４３には、遅延部４２で少なくとも直流成分計算部４１の演算時間分遅延された画素信号ＹB(n)が入力し、減算器４３は画素信号ＹB(n)から前記直流成分Ｄ(s) を減算することにより、入力信号ＹB(n)から交流成分ＹA(n)のみを抽出する。
【００３４】
乗算器４４は、該画素信号ＹB(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器４４でスペクトル逆拡散される。続いて、該スペクトル拡散された信号は、フーリエ変換部４５でフーリエ変換され、マーカ検出部４６で、マーカが埋め込まれた周波数成分の振幅Ａ' を量子化ステップサイズＭで割り算したＡ' ／Ｍの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部４６は、該偶奇の判断結果に基づいて、検出情報ビット列｛ｂi'｝を出力する。比較部４７は、前記乱数生成器３７と同じ乱数種を付与された乱数生成器４８から出力される情報ビット列｛ｂi ｝と前記検出情報ビット列｛ｂi'｝とを比較し、比較結果（正検出／誤検出信号）を誤検出率演算部４９に出力する。
【００３５】
図３の例では、その最下段に示されているように、マーカ検出部４６は、送信側でマーカを埋め込んだのと同じ周波数の振幅Ａ' がＡ' ＝８２０であれば、８２０／２００の商Ｑは偶数であるので、ｂi'＝０を出力する。そして、比較部４７は正検出信号を誤検出率演算部４９に出力する。一方、Ａ' ＝１１２０であれば、１１２０／２００の商Ｑは奇数であるので、ｂi'＝１を出力する。この結果、比較部４７は誤検出信号を誤検出率演算部４９に出力する。
【００３６】
以上のようにして誤検出率が求まると、該誤検出率は画質評価値推定部５０に送られ、画質評価値が求められる。次に、該画質評価値推定部５０の一具体例の構成を、図５を参照して説明する。
【００３７】
図５は、本発明製品を出荷する前に、予め実験室あるいは工場内等で測定した、誤検出率［％］と画質評価値（ＲＳＮＲ）［ｄＢ］との関係を示すグラフである。実験には、周知のテスト画像、フラミンゴ、グリーンリーブス、マーチンング、サッカーなどを用い、これらの画像に、本発明による不可視信号を埋め込み、映像伝送チェーンに送出した。そして、第１段目のコーデック、第２段目のコーデックで誤検出率を求め、また原画との比較により画質評価値を求め、該誤検出率と画質評価値を、横軸を誤検出率、縦軸を画質評価値とするグラフ上にプロットした。そうすると、各プロット点に非常に良く適合した近似曲線ａが得られた。これにより、本発明者は、本発明の映像伝送系において、誤検出率と画質評価値との間に、良好な相関があることを発見した。
【００３８】
なお、図中のｆ11，ｆ12，ｆ13，ｆ14は、それぞれ、テスト画像「フラミンゴ」を４０Mbps、３０Mbps、２０Mbps、１０Mbpsで伝送した時の第１段目のコーデックでの測定値であり、ｆ21，ｆ22，ｆ23，ｆ24は、それぞれ、テスト画像「フラミンゴ」を４０Mbps、３０Mbps、２０Mbps、１０Mbpsで伝送した時の第２段目のコーデックでの測定値である。他のテスト画像についても、同様である。
【００３９】
そこで、画質評価値推定部５０には、図５の曲線ａのグラフを収納した。前記誤検出率演算部４９から誤検出率が入力してくると、画質評価値推定部５０は該グラフの曲線ａから画質評価値（ＲＳＮＲ）を求める。なお、画質評価値ＳＮＲを求めようとすれば、縦軸を画質評価値ＳＮＲとするグラフを作っても良いし、画質評価値ＲＳＮＲから求めても良い。画質評価値ＲＳＮＲから画質評価値ＳＮＲが容易に求まることは当業者には自明である。
【００４０】
なお、以上の実施形態では、入力信号ＸB(n)から直流成分を除去した交流成分に不可視マーカを乗せるようにしたが、これは、直交変換符号化（ＭＰＥＧ等）の特徴として、入力信号の交流成分の情報を削減することにより画像圧縮を行うことに配慮したものであり、本発明はコーデックの方式は直交変換符号化を用いた方式に限定されないので、必ずしも入力信号ＸB(n)から直流成分を除去する必要はない。すなわち。図１の直流成分計算部３１、遅延部３２、減算部３３等は必須の構成要件ではなく、削除してもよい。
【００４１】
次に、本発明者は、マーカ埋め込みの際のステップサイズＭを、送信する画像の絵柄ごとに変更して、マーカ埋め込み強度を変化させるのが良いことを見出した。すなわち、絵柄１の分散をσ1 2 、絵柄２の分散をσ2 2 とし、絵柄１に対してステップサイズＭ1 でマーカ埋め込みを行った場合、絵柄２のステップサイズＭ2 を次の(4) 式で定めるのがよいことを見出した。
【００４２】
Ｍ2 ＝σ2 ／σ1   …(4)
【００４３】
ここで、σ1 2 、σ2 2 は、スペクトル拡散を行うＮ×Ｎブロックにおける分散の平均値である。
【００４４】
以上のように、本実施形態によれば、映像伝送チェーン中にエンコーダ・デコーダ対が何段あろうとも、また任意の位置に存在するデコーダにマーカ検出装置を接続することにより、画質評価値を計算することができる。また、本実施形態の画質評価装置は、前記エンコーダ・デコーダの方式に依存しないので、どのようなエンコーダ・デコーダの方式にも適用することができる。
【００４５】
【発明の効果】
以上の説明から明らかなように、本発明の画像処理装置によれば、予め定められた周波数成分に不可視マーカを埋め込み、該不可視マーカを埋め込んだ入力画像信号をスペクトル拡散して伝送するようにしているので、ノイズとみなされる不可視マーカは広帯域に拡散されることになる。このため、ノイズは極めて小さいものとなり、該不可視マーカによる画質劣化は、極めて小さいものになる。
【００４６】
また、本発明の画質評価装置は、デコードされた画像信号をスペクトル逆拡散し、スペクトル逆拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出し、検出された不可視マーカと、前記画像処理装置で埋め込まれた不可視マーカとの正検出率または誤検出率を演算し、該演算結果を基に画質評価値を推定するようにしているので、リファレンス画像なしに画質評価をすることができるようになる。また、精度の高い画質評価値を推定することができるようになる。
【図面の簡単な説明】
【図１】  本発明の画像処理装置の一実施形態の概略の構成を示すブロック図である。
【図２】  図１の不可視マーカ埋め込み部の動作を示すフローチャートである。
【図３】  図２の動作の具体的説明図である。
【図４】  本発明の画質評価装置の一実施形態の概略の構成を示すブロック図である。
【図５】  誤検出率と画質評価値の関係を示すグラフである。
【図６】  本発明が適用される映像伝送系の一例のブロック図である。
【符号の説明】
１０…送信装置、２３…マーカ検出装置、３１、４１…直流成分計算部、３３、４３…減算器、３４、３９、４４…乗算器、３５、４５…フーリエ変換器、３６…不可視マーカ埋め込み部、３７、４８…乱数生成器、３８…フーリエ逆変換器、４６…マーカ検出部、４７…比較部、４９…誤検出率演算部、５０…画質評価値推定部。
【図１】
0004479980.tif 000003
【図２】
0004479980.tif 000004
【図３】
0004479980.tif 000005
【図４】
0004479980.tif 000006
【図５】
0004479980.tif 000007
【図６】
0004479980.tif 000008