(57)【特許請求の範囲】
【請求項１】
画像処理を行う前と行った後の両画像信号間で差分演算を行う差分演算部と、
該差分演算部からの出力信号に対して、時間周波数と空間周波数におけるレスポンスを演算するために、２分された前記差分演算部の出力がそれぞれ供給される可変の時間周波数フィルタと空間周波数フィルタとを含み、それら可変の時間周波数フィルタと空間周波数フィルタのレスポンスの演算は前記画像処理を行う前または行った後のいずれかの画像信号レベルによって制御されるように構成された時空間演算部と、
該時空間演算部からの出力信号に対して空間方向および時間方向への積分を施して評価値を出力する時空間積分部と
を少なくとも具えてなることを特徴とする画像処理に伴う画質劣化を評価するための画質評価装置。
【請求項２】
請求項１記載の画質評価装置において、前記時空間積分部は、前記可変の時間周波数フィルタと空間周波数フィルタとをそれぞれ介した前記時空間演算部出力信号のそれぞれに対して、所定の係数を乗算する乗算回路と、該乗算結果に所定の累乗演算を行う累乗演算回路と、該累乗演算の結果を合成する加算回路とを少なくとも含んでいることを特徴とする画像処理に伴う画質劣化を評価するための画質評価装置。
【請求項３】
請求項１または２記載の画質評価装置において、前記差分演算部と前記時空間演算部とは、輝度信号成分と複数の色信号成分とについて各別に演算を行うようにしたことを特徴とする画像処理に伴う画質劣化を評価するための画質評価装置。
【請求項４】
請求項１乃至３のいずれか１項記載の画質評価装置において、前記時空間演算部は、該演算部への入力信号として有限帯域の白色雑音を供給したとき、人間の視覚感度特性に一致した出力変化が得られるように較正されることを特徴とする画像処理に伴う画質劣化を評価するための画質評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画質評価装置、特に、デジタル圧縮・伸張などの画像処理に伴う画質劣化を人間に代わって評価し、人間の主観評価に近い評価値を出力することができる画質評価装置に関するものである。
【０００２】
【従来の技術】
画像信号のデジタル圧縮・伸張やコンポーネント−コンポジット変換あるいはアナログ処理には、程度の差はあっても画質劣化を伴う。これら画質劣化の程度を主観評価に近い評価値で評価する目的で、従来、ブロック内での視覚特性を考慮した重み付けをするなど空間的な処理に工夫を加えた圧縮画像評価システム（テレビジョン学会技術報告ＩＴＥ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  Ｖｏｌ．  ２０，Ｎｏ．  ３５「ディジタル圧縮画像評価システムの開発」平成８年６月２０日発表）がある。また、ノイズメータの分野では、視覚の特性に合わせたウェイティング・フィルタを通して測定する装置（ローデシュワルツ製ノイズメータ）もある。
【０００３】
【発明が解決しようとする課題】
しかし、デジタル圧縮・伸張した符号化画像は、圧縮・伸張前の画像に対して様々な信号処理が行われているため、それら処理による信号の歪みは画面内や時間方向に一定ではなく、画像の種類、複雑さおよびエッジ近傍など様々な要素で変化し、上述した測定方法や装置などによるこれまでの測定では測定結果を主観評価値に近づけることが困難であった。
【０００４】
また、デジタル圧縮・伸張に伴う信号の歪みの評価を、画像の複雑さやエッジ近傍であるか否かなどにより評価値に重み付けを行う方法によって、ある程度主観評価値に近づけることができることが、論文（ＮＨＫ技研Ｒ＆Ｄ  ＮＯ．３６「放送用ディジタル符号化画像の客観的評価尺度の検討」平成７年５月１５日発行）等で示されているが、これにおいても、信号の歪み評価値を未だ十分に主観評価値に近づけることができなかった。
【０００５】
本発明の目的は、上述した従来の画質評価装置の問題点（解決すべき課題）を解決するため、評価結果が人間の行う主観評価値に精度良く一致する結果の得られる画像処理に伴う画質劣化を評価するための画質評価装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明による画質評価装置は、人間がテレビジョン画像などの主観評価をするにあたっては、人間の視覚の特性は大幅に明るさ依存性をもっていて、画像中で明るい（信号レベルが高い）場所と暗い（信号レベルが低い）場所とでは同じ量の歪みや雑音でも全く異なって見えるという性質があるということに本発明者らは着眼し、この性質に基づいて画像信号のレベル（明るさ）に依存した時空間フィルタを用いて画質評価装置を構成することにより、主観評価値により近づいた結果の得られる画像処理に伴う画質劣化を評価するための画質評価装置を実現したものである。
【０００７】
すなわち、本発明による画像処理に伴う画質劣化を評価するための画質評価装置は、画像処理を行う前と行った後の両画像信号間で差分演算を行う差分演算部と、該差分演算部からの出力信号に対して、時間周波数と空間周波数におけるレスポンスを演算するために、２分された前記差分演算部の出力がそれぞれ供給される可変の時間周波数フィルタと空間周波数フィルタとを含み、それら可変の時間周波数フィルタと空間周波数フィルタのレスポンスの演算は前記画像処理を行う前または行った後のいずれかの画像信号レベルによって制御されるように構成された時空間演算部と、該時空間演算部からの出力信号に対して空間方向および時間方向への積分を施して評価値を出力する時空間積分部とを少なくとも具えてなることを特徴とするものである。
【０００８】
また、本発明による画像処理に伴う画質劣化を評価するための画質評価装置は、前記時空間積分部が、前記可変の時間周波数フィルタと空間周波数フィルタとをそれぞれ介した前記時空間演算部出力信号のそれぞれに対して、所定の係数を乗算する乗算回路と、該乗算結果に所定の累乗演算を行う累乗演算回路と、該累乗演算の結果を合成する加算回路とを少なくとも含んでいることを特徴とするものである。
【０００９】
また、本発明による画像処理に伴う画質劣化を評価するための画質評価装置は、前記差分演算部と前記時空間演算部とが、輝度信号成分と複数の色信号成分とについて各別に演算を行うようにしたことを特徴とするものである。
【００１０】
また、本発明による画像処理に伴う画質劣化を評価するための画質評価装置は、前記時空間演算部が、該演算部への入力信号として有限帯域の白色雑音を供給したとき、人間の視覚感度特性に一致した出力変化が得られるように較正されることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、人間の視覚の特性として、本発明者らが測定した視覚感度の信号レベル依存性を、信号レベル（入力がランダムノイズのときはノイズレベルとなる）に対する検知限の関係として示し、特に、輝度チャンネル（Ｙｃｈ）  のランダムノイズ（白色雑音）、固定パターンノイズ（信号）および色信号（Ｇｃｈ，Ｒｃｈ，  Ｂｃｈ）  について示している。各測定曲線より上が検知可能な範囲、下が検知不可能な範囲である。後述するように、これら曲線は、本発明装置を構成する時空間フィルタ（後述）のゲイン較正に使用される。
【００１２】
次に、図２は、時間方向の周波数特性（時間周波数特性）に関する視覚の明るさ依存性を示したものであり、同図では、時間周波数と視覚感度の関係について明るさをパラメータとして表している。また、図３は、空間方向の周波数特性（空間周波数特性）に関する視覚の明るさ依存性を示したものであり、同図では、空間周波数と視覚感度の関係について明るさをパラメータとして表している。これらの図において、明るさと信号レベルの関係については、観視条件の設定により決まる。なお、図２、図３で明るさの単位としては、人の眼の眼底照度の単位ｔｄ（ｔｒｏｌａｎｄ  トーランド）を用いている。
【００１３】
本発明による画像処理に伴う画質劣化を評価するための画質評価装置は、これら図２および図３にそれぞれ示される時間周波数特性と空間周波数特性を非線形可変フィルタにより実現し、時空間演算を行うことで、主観評価値に近い評価結果が得られるようにしている。
【００１４】
図４は、本発明による画質評価装置の原理的構成をブロック図で示している。なお、図中、１２，１３，１４および１５で示され、枠内に特性曲線が描かれている４個のブロックは、それぞれ描かれた特性を有する時空間フィルタである。図４において、いま、画像処理（例えば、画像の圧縮・伸張処理）を行う前（処理前）のデジタル画像と行った後（処理後）のデジタル画像とが差分演算部１の差分器１１の被減算入力端子と減算入力端子にそれぞれ供給されるものとする。その結果、差分器の出力端子からは、例えば、圧縮・伸張による劣化分（圧縮時に失われたデータは伸張によっても元に戻らない）が出力され、これが次段の時空間演算部２に供給される。
【００１５】
時空間演算部２は、原理的に４個の時空間周波数フィルタ１２，１３，１４および１５を含み、うち時間周波数フィルタ１３と空間周波数フィルタ１４とが特性に関し制御可能となっている。差分演算部１からの出力は、時空間演算部２においてまず２分岐され、それぞれ特性が曲線ａで示される固定の空間周波数フィルタ１２と可変の（すなわち、特性が制御可能な）空間周波数フィルタ１４に供給される。そして、フィルタ１２の出力はそれに縦続接続される可変の（すなわち、特性が制御可能な）時間周波数フィルタ１３に、フィルタ１４の出力はそれに縦続接続される特性が曲線ｄで示される固定の時間周波数フィルタ１５にそれぞれ供給され、それぞれのフィルタ１３，１５から濾波出力が得られる。
【００１６】
ここに、可変の時間周波数フィルタ１３および可変の空間周波数フィルタ１４の特性は、それぞれ図２および図３の特性になっている。図２および図３から分かるように、パラメータは画像の明るさ（画像信号のレベルに相当）であり、フィルタ１３の場合は曲線ｂ−１、ｂ−２、ｂ−３およびｂ−４の中から、また、フィルタ１４の場合は曲線ｃ−１、ｃ−２，ｃ−３およびｃ−４の中から明るさ、すなわち画像信号のレベルに応じて特定の曲線を切り替え使用する。このため、図４に示す例では、時空間演算部２はレベル依存制御回路１６を具え、そこに供給される処理前または処理後の画像信号（本例では、処理後の画像信号を使用している）によって可変のフィルタ１３および１４の曲線選択を制御している。なお、可変のフィルタ１３および１４の曲線は、ともに３種類程度あれば本発明による画質評価装置を構成するのに十分である。
【００１７】
上述例では、可変のフィルタ１３，１４は４種類の曲線の中から１つを選択するものとして説明したが、これは複数の曲線にそれぞれ重みづけをしたうえですべてを加算して使用するようにすると、同様な効果（選択効果）が得られるだけでなく、明るさのパラメータを連続的に設定できるメリットがある。この場合の構成例については、後述する。
【００１８】
次段の時空間積分部３においては、まず、時空間演算部２からのそれぞれ可変のフィルタ１３および固定のフィルタ１５の出力が乗算器１７および１８に供給され、ここでも、レベル依存制御回路１６（時空間演算部２中の）からの制御信号によって各フィルタ（１３，１５）の出力信号に乗算すべき係数を制御する。例えば、乗算器１７，１８の乗算係数を処理後の画像の信号レベルに依存して変化させることにより、フィルタ１３および１５の出力を視覚感度特性に合わせることができる。この可変精度は４ｂｉｔ  （１６レベル）程度の精度で可変または切り替えをすることにより、視覚の特性に近い充分な精度が得られる。
【００１９】
時空間積分部３の累乗器１９，２０は、これに、例えば、二乗回路を用いることにより、視覚的な刺激値に比例した信号出力を得ることができるとともに、フィルタの位相特性が可変のフィルタ１３と固定のフィルタ１５とで異なる場合でも、加算器２１で互いに相殺することなく加算することができる。さらに、累乗器（１９，２０）を加算器２１の後段に入れるものとすると、二乗以外の積分をとることもできるが、累乗器と合わせて二乗以上にした場合の積分結果は、比較的局所的な歪みで評価値が悪くなる。また、二乗以下にした場合は、比較的面積の大きな歪みに対して評価値が悪くなる特性となる。
【００２０】
上記のほか、累乗器の設定として、累乗器１９，２０を二乗に固定し、加算器２１の後の累乗器は可変として二乗以外の積分に対応する方法もある。
加算器２１の後段の閾値処理回路２２では視覚で感じないレベルの信号をゼロとし、次の積分回路２３でこれが積分されないようにする。以上のように時空間積分、閾値処理を行うことにより、本発明による評価装置の評価出力値と主観評価値の一致の程度を一層向上させることができる。
【００２１】
ここで、図４中の時空間演算部２に含まれる可変の空間周波数フィルタ１４の具体的な構成例を図５に示し、これにつき説明する。なお、本例は、複数の曲線の中から１つを選択するタイプのものではなく、曲線間において中間的な特性に変化させることができるタイプの可変のフィルタである。
【００２２】
図５においては、可変の空間周波数フィルタ１４は、３個の固定の空間周波数フィルタ２４，２５および２６により構成されている。そして各固定の空間周波数フィルタ２４，２５および２６は、それぞれが特定の明るさに相当する帯域通過の特性となるように、フィルタ２４，２５および２６の相互間でタップ係数を異にした４個の空間軸デジタルフィルタ
【外１】
0003618998.tif 000002
と差分器２７，２８および２９とによって構成されている。各固定のフィルタ２４，２５および２６の出力（それぞれ差分器２７，２８および２９から取り出される）は、ゲイン調整器３０，３１および３２によってそれぞれ所定係数（重み）が乗ぜられた後、加算器３３によって加算、すなわち重み付け加算される。係数は、前述したように、レベル依存制御回路から制御信号として供給される。これにより、３個の固定フィルタの各特性の中間的な特性に変化させることができる可変の空間周波数フィルタが得られる。
【００２３】
図４中の時空間演算部２に含まれる可変の時間周波数フィルタ１３も、上述の可変の空間周波数フィルタ１４と同様に構成できるので、その説明は省略するが、この場合には、上記４個の空間軸デジタルフィルタが４個の時間軸デジタルフィルタに置き代わる点が異なっている。
【００２４】
以上説明した本発明による画質評価装置は、原理的構成を示す図４において、特に輝度信号、色信号の区別なく説明してきたが、図１に示すように、輝度信号と色信号とに対する信号レベル依存性の特性が異なることから、評価しようとする画像信号を輝度信号と色信号とに分けて入力し、それぞれの特性に合わせた回路を用いて別々に演算することにより評価装置としての精度を一層向上させることができる。
【００２５】
最後に、時間フィルタのゲインの較正法について実例を挙げ説明する。
図４において、有限帯域、例えばテレビジョン信号の帯域の白色雑音を、本発明による画質評価装置の可変の時空間フィルタ１３，１４（時空間演算部２中の）に入力した場合、時空間演算部からの出力信号は加算器２１（時空間積分部３中の）で合計されることになる。従って、図１中、例えば、Ｙｃｈランダムノイズの曲線と等しい量の白色雑音を入力したときには信号レベルの如何に関わらず、加算器２１の出力が一定の出力となるように、時空間フィルタ１３，１４のゲインを較正することができる。
【００２６】
また、Ｇｃｈ，Ｒｃｈ，Ｂｃｈのみの信号成分を入力した場合にも、それぞれ図１の曲線と等しい量の白色雑音を入力したときには、同様に前記加算器出力が一定の信号レベルとなるように前記可変ゲイン特性を較正することができる。また、本発明による画質評価装置を複数個の可変の時空間フィルタを具える構成とした場合には、それぞれの時空間フィルタに対し各別の較正法を使用することにより、複数のパラメータを矛盾無く較正することができる。
【００２７】
【発明の効果】
本発明によれば、主観評価値に精度よく一致した評価値を、人間による主観評価を行うことなしに得ることができる。また、比較的容易なハードウェアの演算処理速度で、リアルタイム処理が可能なため、圧縮・伸張処理による画質劣化を常時監視することも可能になる。さらに、標準的な原画像を決めて、例えばその画像を本発明による評価装置に内蔵しておけば、遠方からの伝送における歪みに基づく画質劣化についても、例えば、送信地点で同じ原画像をＶＴＲ再生するなどにより容易に評価することができる。
【図面の簡単な説明】
【図１】視覚感度の信号レベル依存性を示している。
【図２】視覚の時間周波数特性の明るさ依存性を示している。
【図３】視覚の空間周波数特性の明るさ依存性を示している。
【図４】本発明による画質評価装置の原理的構成をブロック図で示している。
【図５】図４中の可変の空間周波数フィルタの具体的な構成例を示している。
【符号の説明】
１  差分演算部
２  時空間演算部
３  時空間積分部
１１  差分器
１２  固定の空間周波数フィルタ
１３  可変の時間周波数フィルタ
１４  可変の空間周波数フィルタ
１５  固定の時間周波数フィルタ
１６  レベル依存制御回路
１７，１８  乗算器
１９，２０  累乗器
２１  加算器
２２  閾値処理回路
２３  積分回路
２４，２５，２６  固定の空間周波数フィルタ
２７，２８，２９  差分器
３０，３１，３２  ゲイン調整器
３３  加算器
【図１】
0003618998.tif 000003
【図２】
0003618998.tif 000004
【図３】
0003618998.tif 000005
【図４】
0003618998.tif 000006
【図５】
0003618998.tif 000007