(57)【要約】ビデオにおける第２画像属性の客観的な画像品質測定中に第２画像属性をエンハンスするものとして第１画像属性を不適切に特徴付ける影響を補償する方法及び装置。この方法及び装置は、第１画像属性の客観的画像品質メトリックと第２画像属性の客観的画像品質メトリックとの間の量的関係を判定し、更に、判定量的関係を用いて、第１画像属性の影響について第２画像属性の客観的な画像品質メトリックを補償する。更に、ビデオ画像品質を自動的に最適化させるビデオ処理システムは、客観的な画像品質メトリックを生成するよう本発明を利用するビデオ処理装置を有する。客観的な画像品質メトリックはビデオ最適化装置によって利用されて、ビデオのディジタル化バージョンをエンハンスする、システムのビデオ・エンハンスメント・システムのパラメータを調節する。
2006511120.tif 000002
【特許請求の範囲】
【請求項１】
ビデオにおいて第２画像属性を、該第２画像属性の客観的な画像品質測定中にエンハンスするものとして第１画像属性を不適切に特徴付けることの影響を補償する方法であって：
該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像品質メトリックとの間の量的関係を判定する工程；及び
該判定量的関係を用いて、該第１画像属性の影響について該第２画像属性の該客観的画像品質メトリックを補償する工程；
を備えることを特徴とする方法。
【請求項２】
請求項1記載の方法であって、該判定量的関係を用いる工程が：
該第１画像属性の既知量を該ビデオに挿入する工程；及び
該第１画像属性の既知量の、該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像メトリックとに対する影響を確かめる工程を備えることを特徴とする方法。
【請求項３】
請求項2記載の方法であって、該確かめる工程が：
該第１画像属性の該既知量毎に該第１画像属性の客観的画像品質メトリックの値を測定する工程；及び
該第１画像属性の客観的画像品質メトリックの該測定値を用いて、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の数値的な関係を判定する工程を備えることを特徴とする方法。
【請求項４】
請求項3記載の方法であって、該確かめる工程が：
該第１画像属性の該既知量毎に該第２画像属性の客観的画像品質メトリックの値を測定する工程；及び
該第２画像属性の客観的画像品質メトリックの該測定値を用いて、該第１画像属性と、該第２画像属性の客観的画像品質メトリックとの間の数値的な関係を判定する工程を備えることを特徴とする方法。
【請求項５】
請求項4記載の方法であって、該確かめる工程が、更に、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の数値的な関係を逆にする工程を備えることを特徴とする方法。
【請求項６】
請求項5記載の方法であって、該確かめる工程が、更に、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の該数値的逆関係を該第１画像属性として用いて、該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像品質メトリックとの間の量的関係を備える工程を備えることを特徴とする方法。
【請求項７】
ビデオにおいて第２画像属性を、該第２画像属性の客観的な画像品質測定中にエンハンスするものとして第１画像属性を不適切に特徴付けることの影響を補償する装置であって：
該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像品質メトリックとの間の量的関係を判定する手段；及び
該判定量的関係を用いて、該第１画像属性の影響について該第２画像属性の該客観的画像品質メトリックを補償する手段；
を備えることを特徴とする装置。
【請求項８】
請求項7記載の装置であって、該補償する手段が：
該第１画像属性の既知量を該ビデオに挿入する手段；及び
該第１画像属性の既知量の、該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像メトリックとに対する影響を確かめる手段を備えることを特徴とする装置。
【請求項９】
請求項8記載の装置であって、該確かめる手段が：
該第１画像属性の該既知量毎に該第１画像属性の客観的画像品質メトリックの値を測定する手段；及び
該第１画像属性の客観的画像品質メトリックの該測定値を用いて、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の数値的な関係を判定する手段を備えることを特徴とする装置。
【請求項１０】
請求項９記載の装置であって、該確かめる手段が：
該第１画像属性の該既知量毎に該第２画像属性の客観的画像品質メトリックの値を測定する手段；及び
該第２画像属性の客観的画像品質メトリックの該測定値を用いて、該第１画像属性と、該第２画像属性の客観的画像品質メトリックとの間の数値的な関係を判定する手段を備えることを特徴とする装置。
【請求項１１】
請求項10記載の装置であって、該確かめる手段が、更に、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の数値的な関係を逆にする手段を備えることを特徴とする装置。
【請求項１２】
請求項11記載の装置であって、該確かめる手段が、更に、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の該数値的逆関係を該第１画像属性として用いて、該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像品質メトリックとの間の量的関係を備える手段を備えることを特徴とする装置。
【請求項１３】
ビデオにおいて第２画像属性を、該第２画像属性の客観的な画像品質測定中にエンハンスするものとして第１画像属性を不適切に特徴付けることの影響を補償するメモリ媒体であって：
該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像品質メトリックとの間の量的関係を判定するコード；及び
該判定量的関係を用いて、該第１画像属性の影響について該第２画像属性の該客観的画像品質メトリックを補償するコード；
を備えることを特徴とするメモリ媒体。
【請求項１４】
請求項13記載のメモリ媒体であって、該補償するコードが：
該第１画像属性の既知量を該ビデオに挿入するコード；及び
該第１画像属性の既知量の、該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像メトリックとに対する影響を確かめるコードを備えることを特徴とするメモリ媒体。
【請求項１５】
請求項14記載のメモリ媒体であって、該確かめるコードが：
該第１画像属性の該既知量毎に該第１画像属性の客観的画像品質メトリックの値を測定するコード；及び
該第１画像属性の客観的画像品質メトリックの該測定値を用いて、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の数値的な関係を判定するコードを備えることを特徴とするメモリ媒体。
【請求項１６】
請求項15記載のメモリ媒体であって、該確かめるコードが更に：
該第１画像属性の該既知量毎に該第２画像属性の客観的画像品質メトリックの値を測定するコード；及び
該第２画像属性の客観的画像品質メトリックの該測定値を用いて、該第１画像属性と、該第２画像属性の客観的画像品質メトリックとの間の数値的な関係を判定するコードを備えることを特徴とするメモリ媒体。
【請求項１７】
請求項16記載のメモリ媒体であって、該確かめるコードが、更に、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の数値的な関係を逆にするコードを備えることを特徴とするメモリ媒体。
【請求項１８】
請求項17記載のメモリ媒体であって、該確かめるコードが、更に、該第１画像属性と、該第１画像属性の客観的画像品質メトリックとの間の該数値的逆関係を該第１画像属性として用いて、該第１画像属性の客観的画像品質メトリックと該第２画像属性の客観的画像品質メトリックとの間の量的関係を備えるコードを備えることを特徴とするメモリ媒体。
【請求項１９】
ビデオ画像品質を自動的に最適化させるビデオ処理システムであって：
該ビデオのディジタル化バージョンに対してビデオ・エンハンスメント関数を行い、エンハンスされたディジタル化ビデオを出力する第１処理手段を備え；
更に、第２処理手段を備え、該第２処理手段は：
第１画像属性の客観的画像品質メトリックと第２画像属性の客観的画像品質メトリックとの間の量的関係を判定し；
該判定量的関係を用いて、該第１画像属性の影響について該第２画像属性の客観的画像品質メトリックを補償し；
該第１画像属性の客観的画像品質メトリックと第２画像属性の客観的画像品質メトリックから複合客観的画像品質メトリックを形成し；
更に、該第１処理手段によって行われる該ビデオ・エンハンスメント関数のうちの少なくとも１つのパラメータを該複合客観的画像品質メトリックによって調節する最適化手段を備えることを特徴とするビデオ処理システム。
【請求項２０】
請求項19記載のビデオ処理システムであって、該複合客観的画像品質メトリックが、該第１画像品質の客観的な画像品質メトリックと該第２画像品質の客観的な画像品質メトリックと、少なくとも第３の画像属性から形成されることを特徴とするビデオ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ビデオ処理に関し、特に、望ましい画像属性の客観的な画像品質測定中に、望ましい画像属性をエンハンスさせるものとして、望ましくない画像属性を不適切に特徴付ける影響を補償する方法及び装置に関する。本発明は更に、ビデオ画像品質を自動的に最適化させるビデオ処理システムにも関する。
【背景技術】
【０００２】
客観的な画像品質の判定は通常、個々の画像属性すなわち「メトリック」を測定する工程及びこれらをある所定の方法で合成して、全体画像品質の尺度である複合メトリックを生成する工程を有する。画像コントラスト、又は少なくとも制限範囲内での画像鮮鋭度などの、通常用いられる属性の一部は望ましいものである。しかし、画像雑音、クリッピング、又は、データの圧縮と圧縮解除を伴う「非可逆」ディジタル・ビデオ符号化からもたらされるブロック障害は明らかに望ましくなく、よって、望ましい属性とは逆の意味合いで合成画像品質の一因となっているはずである。理論的には、望ましい属性も望ましくない属性も存在していることは、どの属性も望ましいものか望ましくないものとして不明瞭なところなく分類することが可能である限り、画像品質測定における問題を何ら発生させないはずである。
【０００３】
しかし実際には、第１分類における属性が別の分類すなわち第２分類における属性の測定に、特に、第２分類における属性の測定値を増加させることによって影響を及ぼすことはあり得るものであり、一般的でもある。このことは第２分類の属性に相当するメトリックの値を増加させ、同様に、複合メトリックの値を増加させる。例えば、明快に望ましくない属性である画像雑音は、望ましい属性と一般的にみなされている画像鮮鋭度の測定に用いるものと同様な特定の画像特性を有する。よって、全体の見え方が高品質より劣る雑音画像は、全体の見え方が高品質である、非常に鮮鋭な画像であるものとして不適切に特徴付けられる場合がある。このことが生じる場合、雑音画像の結果画像品質測定は実際に値するよりも高くなる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
よって、１つの画像属性の、別の画像属性の測定に対する影響に対処する方法が必要である。
【課題を解決するための手段】
【０００５】
本発明は、ビデオにおける第２画像属性の客観的画像品質測定中に第２画像属性をエンハンスさせるものとして第１画像特性を不適切に特徴付ける影響を補償する。本発明は、第１画像属性の客観的画像品質メトリックと第２画像属性の客観的画像品質メトリックとの間の量的関係を判定する工程と、判定された量的関係を用いて、第２画像属性の客観的画像品質メトリックを第１画像属性の影響について補償する工程とを備える。
【発明を実施するための最良の形態】
【０００６】
本発明の一特徴は、ビデオ画像品質を自動的に最適化させるビデオ処理システムを有する。このシステムは、本発明を利用して複合客観的画像品質メトリックを生成するビデオ処理装置を有する。複合客観的画像品質メトリックはビデオ最適化装置によって利用されて、ビデオのディジタル化バージョンをエンハンスする、システムのビデオ・エンハンスメント装置のパラメータを調節する。
【実施例】
【０００７】
本発明は、望ましい画像属性の客観的な画像品質測定中に望ましい画像属性をエンハンスさせるものとして、望ましくない画像属性を不適切に特徴付ける影響を補償する方法である。次に添付図面、まず図１、を参照すれば、この方法における基本工程を表す構成図を示す。ブロック10では、第１画像属性（FIA）について測定される客観的画像品質（OIQ）メトリック値と、第２画像属性（SIA）について測定される客観的画像品質（OIQ）メトリック値との間の量的関係が判定される。ブロック40では、判定された関係が更に、FIAの望ましくない影響についてSIAを補償するのに用いられる。
【０００８】
なお図１を参照すれば、FIAの測定OIQメトリック値とSIAの測定OIQメトリック値との間の量的関係を判定する２つの基本工程がある。これらの工程は、ブロック20では、1つ又は複数の既知の、制御された量のFIAを当該ビデオ・シーケンスに挿入する工程を備え、ブロック30では、既知の、制御された量のFIAを挿入する工程の、FIA及びSIAのOIQメトリック測定に対する影響を確かめる工程を備える。
【０００９】
既知の、制御された量のFIAを挿入する工程の、FIA及びSIAのOIQメトリック測定に対する影響を確かめる、ブロック30における工程は以下のように行い得る。ブロック31では、FIAのOIQメトリック測定は通常、２つ以上の既知のFIA値について行われ、これらの測定はブロック32で用いられて、FIA値とそのOIQメトリック測定値との間の数値的な関係を判定する。ブロック33では、SIAのOIQメトリック測定が同じ2つ以上のFIA値について行われ、これらの測定はブロック34で用いられてFIA値とSIAのOIQメトリック測定値との間の数値的な関係が判定される。ブロック35では、ブロック32においてFIA値とそのOIQメトリックの値との間で判定される数値的な関係は数値的な逆関係として再編成される。ブロック36では、ブロック35において定められる数値的な逆関係はブロック34でFIA値として用いられて、SIAのOIQメトリックとFIAのOIQメトリックとの間の関係を備える。
【００１０】
第１の画像属性の影響と第２の画像属性の影響がSIAを測定するうえで線形的に合成されるという（、完全に正確でなくとも妥当な近似である）ことを前提とすれば、ブロック10で判定される、SIAのOIQメトリックとFIAのOIQメトリックとの間の関係は、ブロック40で、FIAの望ましくない影響についてSIAを補償するのに用いられる。
【００１１】
以下の例は、本発明を用いて、制約なしで、（望ましい）画像鮮鋭度に対する（望ましくない）画像雑音の影響を補償することを示す。本発明を用いて、何れかの1つの分類の画像属性の、何れかの別の分類における画像属性の測定に対する影響について補償することが可能であるということを当業者は当然分かる。例えば、本発明を用いて、（望ましい）画像鮮鋭度の測定に対する（望ましくない）ブロック障害の影響を補償するのにも用い得る。別の例では、本発明を用いて、（望ましい）画像コントラストの測定に対する（望ましくない）クリッピング・アーチファクトの影響について補償するのに用いることが可能である。
【００１２】
上記の画像雑音/画像鮮鋭度の例を引き続き述べれば、２つ以上の既知のレベル又は値の画像雑音をビデオ・シーケンスに挿入し得る。これらの雑音レベル毎の画像雑音測定と画像鮮鋭度測定とのOIQメトリック値は更に、用いられて、画像雑音値と画像雑音のOIQメトリック値との間の第１関係と、画像雑音値と画像雑音のOIQメトリック値との間の第２関係が判定される。第１関係は：
【００１３】
【数１】
2006511120.tif 000003
の式によって表される。この関係は、画像雑音メトリックMnoiseの値を画像雑音レベルnoiseの関数として数量化しているに過ぎない。関係Rnoiseが雑音測定アルゴリズムの設計から理論的又は実用的に、推測的に既知である場合、その判定は必要でない場合もある。いずれの場合でも、容易に得ることが可能であり、
【００１４】
【数２】
2006511120.tif 000004
によって表す、この関係の逆のものが必要である。ビデオ・シーケンスの実際の画像鮮鋭度が一定状態のままである一方、画像雑音レベルのみが変動するので、画像雑音レベルと、一定の鮮鋭度結果に対する画像鮮鋭度メトリック値との間の上記第２関係が生じる。このことは、画像雑音の鮮鋭度メトリックの値への望ましくない寄与をもたらす。
【００１５】
【数３】
2006511120.tif 000005
更に、第１関係の逆のものが第２関係に代入され、そのことによって、画像鮮鋭度メトリックに対する画像雑音寄与とそのシーケンスについて判定される画像雑音メトリックとの間の関係がもたらされる。
【００１６】
【数４】
2006511120.tif 000006
これは、シーケンスについて測定される鮮鋭度メトリックから減算される補正の役目を担うものであり、それ自体によって、実際の画像鮮鋭度の尺度をもたらす。
【００１７】
【数５】
2006511120.tif 000007
FIAメトリックとSIAメトリックとの関係が線形であり、複合メトリックも、所定の係数群によって重み付けされる種々の構成部分画像属性メトリックの線形的な組み合わせである場合には、線形関係は、上記係数が判定されていた場合にこの補償が暗示的に行われるようにするので、結果として生じる複合メトリックは画像品質の実際の主観的な評価に正確に相当する。しかし、何れの関係も線形でない場合には、第２メトリックに対する第１属性の影響は暗示的に補償されるものでない。よって、本明細書及び特許請求の範囲記載の明示的な補償は、構成部分メトリックのより正確な判定をもたらすことになり、より重要なこととして、結果として生じる複合メトリックのより正確な判定をもたらすことになる。このことは、構成部分のメトリックの、単純な加重和以外の何れかの既知の手段によって複合メトリックが得られる場合に特にあてはまる。
【００１８】
図2は、客観的な画像品質を判定するよう、複合OIQメトリックの形成に適用される、本発明の方法を示す構成図である。図示するように、ブロック50によって表す方法は、1つ又は複数の構成部分OIQメトリック70、80及び90が、測定することが企図されたもの以外の画像属性によって影響を受けるブロック60の何れかのOIQ複合メトリック形成に用い得る。
【００１９】
図3はビデオ画像品質を自動的に最適化する、本発明の方法を利用する例示的ビデオ処理システムの構成図である。ブロック100は、ビデオのディジタル化バージョンを記憶させるメモリ媒体を表す。ブロック200は、ブロック100のメモリ媒体に記憶されているビデオのディジタル化バージョンに対してビデオ・エンハンスメント関数f1‐fNのチェーンを行う第１ビデオ処理装置を表す。そのような関数は、制約ではなく例として、画像鮮鋭度エンハンスメント、画像コントラスト・エンハンスメント、画像雑音低減などを有し得る。
【００２０】
ブロック200の第１ビデオ処理装置のエンハンスされたビデオ出力の画像品質は、図１及び2において上記に表すように、本発明の客観的な画像品質判定方法を行う、ブロック300における第２ビデオ処理装置によって客観的に判定される。ブロック300の第２ビデオ処理装置の出力で生成される複合OIQメトリックはブロック400によって表す画像最適化装置の遺伝アルゴリズムによって用いられてブロック200の第１ビデオ処理装置における構成エンハンスメント関数の1つ又は複数のパラメータを調節し、それによって、エンハンスされたビデオの画像品質を最大にする。
【００２１】
上記本発明は上記実施例を参照しながら表したが、種々の修正及び変更を、本発明の趣旨から逸脱することなく行い得る。よって、そのような修正及び変更は本特許請求の範囲記載の範囲の範囲内に収まっているものとしてみなされることとする。
【図面の簡単な説明】
【００２２】
【図１】本発明の方法の基本工程を表す構成図である。
【図２】客観的な画像品質判定を行ううえでの複合QIQメトリックの形成に適用される、本発明の方法を示す構成図である。
【図３】ビデオ画像品質を自動的に最適化させる本発明の方法を利用する例示的ビデオ処理システムの構成図である。
【図１】
2006511120.tif 000008
【図２】
2006511120.tif 000009
【図３】
2006511120.tif 000010
【国際調査報告】
2006511120.tif 000011
2006511120.tif 000012