(57)【要約】本発明は、ソースデータにアクセスすることなく、ビデオデータの品質を評価する方法とシステムに関する。該システムは、輝度とクロミナンス成分について、少なくとも水平方向で、また多くとも水平および垂直方向で、画像のピクセル値の少なくとも一部から高速フーリエ変換（FFT）を実行するように構成されている。平均FFTを用いて尖度と歪度を計算し、その後尖度と歪度の出力からオフセットを計算することにより画像品質測定基準が決定される。
2005531077.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオデータの鮮明度品質を評価する方法であって、
前記入力ビデオデータを、ピクセル値を有する対応するデジタル画像データに変換するステップと、
前記ピクセル値の少なくとも一部から高速フーリエ変換（FFT）を生成し、前記生成されたFFTの平均FFTを算出するステップと、
前記平均FFTを用いて統計的基準を計算するステップと、
前記計算された統計的基準から画像品質測定基準を作るステップとを有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記統計的基準を計算するステップは、前記FFTを用いて尖度を計算するステップを含むことを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、前記画像品質測定基準は前記尖度を無ベースラインにアライメントすることにより取得されることを特徴とする方法。
【請求項４】
請求項２に記載の方法であって、前記画像品質測定基準（SH）は、以下の式
SH=2.5546  Ln(尖度)-3.8496
により前記尖度のオフセットを計算することにより作られることを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、前記尖度は以下の式
【数１】
2005531077.tif 000015
ここで、
【数２】
2005531077.tif 000016
は平均FFTを表し、sは分散を表し、Yiは前記生成されたFTTの個々の値を表し、Nは前記生成されたFFTのサイズを表す、により計算されることを特徴とする方法。
【請求項６】
請求項２に記載の方法であって、前記画像品質測定基準（SH）は、式
SH=(var)0.485/100、および
【数３】
2005531077.tif 000017
により前記尖度のオフセットを計算することにより作られることを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、前記統計的基準を計算するステップは、前記平均FTTを用いて歪度を計算するステップを有することを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、前記画像品質測定基準は前記歪度を無ベースラインにアライメントすることにより取得されることを特徴とする方法。
【請求項９】
請求項７に記載の方法であって、前記画像品質計量（SH）は、式
【数４】
2005531077.tif 000018
および
【数５】
2005531077.tif 000019
ここで、
【数６】
2005531077.tif 000020
は平均FFTを表し、C1=5E4、C2=0.5、Skは前記歪度を表し、Yiは前記生成されたFFTの個々の値を表し、Nは前記生成されたFFTのサイズを表す、
により前記歪度のオフセットを計算することにより作られることを特徴とする方法。
【請求項１０】
請求項９に記載の方法であって、前記歪度は、以下の式
【数７】
2005531077.tif 000021
ここで、
【数８】
2005531077.tif 000022
は平均FFTを表し、sは分散を表し、Yiは前記生成されたFFTの個々の値を表し、Nは前記生成されたFFTのサイズを表す、により計算されることを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、前記FFTは前記ピクセル値の各所定の水平ラインについて生成されることを特徴とする方法。
【請求項１２】
入力ビデオデータの鮮明度品質を評価するシステムであって、
前記入力ビデオデータを画像ピクセル値を有する対応するデジタル画像データに変換するコンバータと、
前記コンバータの出力を受信するように適応し、前記画像ピクセル値の少なくとも一部から高速フーリエ変換（FFT）を生成し、前記生成されたFFTの平均FFTを算出するFFTジェネレータと、
前記平均FFTに基づき統計的基準を計算する統計的カリキュレータと、
前記計算された統計的基準から画像品質測定基準を発生させる画像品質ジェネレータとを有することを特徴とするシステム。
【請求項１３】
請求項１２に記載のシステムであって、前記FFTジェネレータに結合された、前記平均FFTを後で算出するために前記生成されたFFTを格納するメモリをさらに有することを特徴とするシステム。
【請求項１４】
請求項１２に記載のシステムであって、前記統計的カリキュレータは、前記生成されたFFTの尖度を決定するようにさらに構成されたことを特徴とするシステム。
【請求項１５】
請求項１２に記載のシステムであって、前記画像品質測定基準は無ベースラインに前記尖度をアライメントすることにより取得されることを特徴とするシステム。
【請求項１６】
請求項１４に記載のシステムであって、前記画像品質ジェネレータは、前記決定された尖度に基づき、
SH=2.5546Ln(尖度)-3.8496
および、
SH=(var)0.485/100
のうち一方を用いて、前記画像品質測定基準（SH）を決定し、
ここでSHは前記画像品質測定基準を表し、varは
【数９】
2005531077.tif 000023
を表し、ここで、
【数１０】
2005531077.tif 000024
は平均FFTを表し、kは前記歪度を表し、Yiは前記生成されたFFTの個々の値を表し、Nは前記生成されたFFTのサイズを表すことを特徴とするシステム。
【請求項１７】
請求項１４に記載のシステムであって、前記尖度は以下の式
【数１１】
2005531077.tif 000025
および
【数１２】
2005531077.tif 000026
ここで、
【数１３】
2005531077.tif 000027
は平均FFTを表し、Yiは前記生成されたFFTの個々の値を表し、Nは前記生成されたFFTのサイズを表し、sは分散を表す、により計算されることを特徴とするシステム。
【請求項１８】
請求項１２に記載のシステムであって、前記統計的カリキュレータは前記生成されたFFTの歪度を決定するようにさらに構成されていることを特徴とするシステム。
【請求項１９】
請求項１８に記載のシステムであって、前記画像品質測定基準は、前記歪度を無ベースラインにアライメントすることにより取得されることを特徴とするシステム。
【請求項２０】
請求項１８に記載のシステムであって、前記画像品質ジェネレータは、以下の式
【数１４】
2005531077.tif 000028
および
【数１５】
2005531077.tif 000029
ここで、
【数１６】
2005531077.tif 000030
は平均FFTを表し、C1=5E4、C2=0.5、Skは前記歪度を表し、Yiは前記生成されたFFTの個々の値を表し、Nは前記生成されたFFTのサイズを表す、の１つを用いて前記歪度に基づき前記画像品質測定基準（SH）を決定することを特徴とするシステム。
【請求項２１】
請求項１８に記載のシステムであって、前記歪度は以下の式
【数１７】
2005531077.tif 000031
により計算されることを特徴とするシステム。
【請求項２２】
請求項１２に記載のシステムであって、前記FFTは前記デジタルピクセル値の各所定の水平ラインで生成されることを特徴とするシステム。
【請求項２３】
命令のシーケンスを表すデータを格納したマシン読み取り可能な媒体であって、前記命令のシーケンスはプロセッサにより実行されたとき、前記プロセッサに、
入力ビデオデータをピクセル値を有する対応するデジタル画像データに変換し、
前記画像ピクセル値の少なくとも一部から高速フーリエ変換（FFT）を生成し、前記生成されたFFTの平均FFTを算出し、
前記平均FFTを用いて統計的基準を計算し、
前記計算された統計的基準から画像品質測定基準を作ることを特徴とする媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオデータの鮮明度品質を測定する方法とシステムに関し、特にソースビデオデータを参照することなくピクチャの鮮明度品質を評価する方法とシステムに関する。
【背景技術】
【０００２】
視聴者に最も知覚的にアピールするビデオ画像を提供することが、ビデオのエキスパートの究極的な目標である。結果として得られた画像品質がよいか悪いかを判断する方法の一つは、視聴者のパネルにビデオシーケンスを見せ、意見を聞くことである。ビデオシーケンスを分析する方法として他に、ビデオ品質のよさと悪さを自動的に評価するメカニズムを提供することである。このために、ビデオ品質の全体的尺度を評価するために、様々な測定基準、すなわち鮮明度、ブロッキング、リンギング、クリッピング、ノイズ、コントラスト、時間的障害等が用いられている。鮮明度は画像の細部の明瞭性とエッジの精細度に関する。画像の相対的な鮮明度は、空間的ドメインにおいて、例えば基準画像と比較してエッジを定義することにより測定することができる。オブジェクトがお互いからおよびバックグラウンドからより明瞭に詳細に描かれていて、はっきりとしたシャープなエッジを有するとき、知覚された鮮明度が増加する。しかし、場合によっては、エッジのコントラストが増加することにより詳細性が低下し、明細度と分解能は相反する特徴となる。
【０００３】
最近２０年間の研究開発は、写真、医療画像化、走査型電子顕微鏡（SEM）等の静止画像化モダリティのフォーカス制御に向けられてきた。例えば、空間的ドメインアプローチはエッジプロファイルの先鋭度に基づき、エッジに垂直な２乗平均ルートグラジエントを用いる。周波数ドメインにおいては、より鮮明でよりフォーカスされた画像は、より高い空間的周波数により多くのエネルギーを含んでいるという事実に基づき、高速フーリエ変換（FFT）法が用いられている。空間的コヒーレンシに関する情報は考慮されておらず、高い周波数の測定はローカルよりもグローバルに行われるが、FFTベースの方法は見込みのある結果を示している。しかし、FFTベースの方法の主な欠点は、周波数コンテントが画像によることであり、無参照モード、すなわちオリジナル画像の鮮明度を減ずること無しには機能しないことである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明は、ソースデータを利用することなくピクチャの客観的品質を評価するためにFFTスペクトルのより高次のモーメントに基づくビデオ鮮明度の測定基準を用いる客観的品質評価を提案するものである。
【０００５】
本発明は、基準画像を用いることなくビデオデータの品質を評価する装置と方法に関する。
【課題を解決するための手段】
【０００６】
本発明の一態様によると、入力ビデオデータの鮮明度品質を評価する方法が提供される。該方法は、前記入力ビデオデータをピクセル値を有する対応するデジタル画像データに変換するステップと、前記ピクセル値の少なくとも一部から高速フーリエ変換（FFT）を生成し、前記生成されたFFTの平均FFTを算出するステップと、前記平均FFTを用いて統計的基準を計算するステップと、前記計算された統計的基準から画像品質測定基準を作るステップとを有する。FFTは画像ピクセル値の各所定の水平ラインで生成される。実施形態において、統計的基準が平均FTTを用いて尖度または歪度を計算することにより取得される。その後、尖度または歪度いずれかを無ベースラインにアライメントすることにより画像品質測定基準が作られる。
【０００７】
本発明の他の態様によると、入力ビデオデータの鮮明度品質を評価するシステムが提供される。該システムは、前記入力ビデオデータを画像ピクセル値を有する対応するデジタル画像データに変換するコンバータと、前記コンバータの出力を受信するように適応し、前記画像ピクセル値の少なくとも一部から高速フーリエ変換（FFT）を生成し、前記生成されたFFTの平均FFTを算出するFFTジェネレータと、前記平均FFTに基づき統計的基準を計算する統計的カリキュレータと、前記計算された統計的基準から画像品質測定基準を発生させる画像品質ジェネレータとを有する。該システムは、前記FFTジェネレータに結合された、前記平均FFTを後で算出するために前記生成されたFFTを格納するメモリをさらに有する。
【０００８】
さらに他の態様として、本発明は、簡単で信頼性があり高価でない実装によで実現することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の上記その他の特徴と利点は、添付した図面に例示されたように、好ましい実施形態の詳細な説明から明らかとなるであろう。添付した図面では、同じ参照番号は様々な図をとおして同じ要素を示している。図面は必ずしも実際の寸法どおりではない。本発明の原理を例示するときには、強調を加えたものもある。
【００１０】
本発明を完全に理解するため、以下の説明において、限定ではなく説明の目的のために、特定のアーキテクチャ、インターフェイス、方法等の特定の詳細が記載されている。説明を簡単かつ明瞭にする目的で、不必要な細部を説明して本発明の説明を損なわないように、周知のデバイス、回路、方法に関する詳細な説明は省略されている。
【００１１】
高周波数帯域に含まれるエネルギーの簡単な計算は鮮明度のインジケータではあるが、最小ノイズ、他のアーティファクト、高品質画像等の強い制約の下では、あるタイプのコンテントにしか使えない。パワースペクトルの高周波数帯域におけるエネルギーの簡単な計算の替わりとして、本発明はパワースペクトル中の周波数分布の統計的特性に焦点を絞る。当業者には分かるように、一般に、多くの統計的分析における基本的タスクはデータセットの位置と可変性を特徴付けることである。データの特徴は歪度と尖度で表すことができる。歪度は対称性の尺度であり、データセットまたは分布は、中心点の左と右で同じに見えれば対称であると考えられる。尖度は正規分布に対してデータが尖っているか平らかを示す速度である。尖度が高いデータセットは、普通、平均近くに明瞭なピークを有し、その後急激に低下し、厚い尾を持つ。尖度が低いデータセットは、平均付近に鋭いピークではなく平らなトップを有していることが多い。
【００１２】
尖度（K）と歪度（S）の増加に対応する、確率密度関数のピークの増加を表すグラフである。尖度と歪度の特徴は数学的に以下のように表すことができる。確率分布のn番目の中心モーメントは以下のように表される。
【００１３】
【数１８】
2005531077.tif 000003
Eは平均値を表し、μx=E[X]、n≧0である。２番目の中心モーメントは分散である。中心モーメントに基づき、尖度や歪度等の分布の特性を計算することができる。
【００１４】
尖度は２次のモーメントの２乗に対する４次のモーメントの比として定義される。
【００１５】
【数１９】
2005531077.tif 000004
尖度は無次元量であり、正規分布に適用すると平らか尖っているかを示す尺度となる。標準正規分布の尖度は３である。
【００１６】
歪度は以下のように定義される。
【００１７】
【数２０】
2005531077.tif 000005
歪度は、正規分布に適用されたとき、対称性または対称でないことの尺度を表す（すなわち、左に歪んだ分布は負の歪度を有し、正の歪度は分布が右に歪んでいることを示す）。
【００１８】
高速フーリエ変換（FFT）が確率分布に用いられると、歪度は次のように表される。
【００１９】
【数２１】
2005531077.tif 000006
また、尖度は次のとおりである。
【００２０】
【数２２】
2005531077.tif 000007
ここで、
【００２１】
【数２３】
2005531077.tif 000008
である。
【００２２】
【数２４】
2005531077.tif 000009
はFFTの平均を表し、s2は分散を表し、YiはFFT係数の個々の値を表し、NはFFTのサイズである（空間的ドメイン中のN個のピクセルがサイズNのFFTを算出するために用いられる）。
【００２３】
FFTは離散フーリエ変換（DFT）を高速に算出する方法であり、以下のように定義される。
【００２４】
【数２５】
2005531077.tif 000010
逆変換は以下の通りである。
【００２５】
【数２６】
2005531077.tif 000011
ここで、f(n)は空間的ドメイン信号、F(k)は周波数または変換されたドメイン信号である。空間的ドメイン信号値は画像の輝度またはクロミナンスを表す。
【００２６】
本発明には、ソースピクチャにアクセスする必要なく、ピクチャのビデオ品質の評価に際して、FFTの上記の統計的特性を利用する。
【００２７】
図２は、本発明の一実施形態による鮮明度処理システム１０を示す。例として、システム１０は、テレビ、セットトップボックス、デスクトップ・ラップトップ・パームトップコンピュータ、パーソナルデジタルアシスタント（PDA）、ビデオ／画像格納デバイス、例えばビデオカセットレコーダ（VCR）、デジタルビデオレコーダ（DVR）、TiVOデバイス等、および上記その他のデバイスの一部または組み合わせを表す。図２に示したように、システム１０は、１以上のビデオ／画像ソース１２、１以上の入出力デバイス１４、プロセッサ１６、メモリ１８、ディスプレイデバイス２０を含む。入出力デバイス１４、プロセッサ１６、メモリ１８は通信媒体２２を介して通信する。その通信媒体２２は、バス、通信ネットワーク、１以上の回路の内部接続、回路基板、その他のデバイス、および上記その他の通信媒体の一部または組み合わせを表す。メモリ１８はディスクベースの光または磁気記憶部、電子メモリ、および上記その他のメモリデバイスの一部または組み合わせを表す。鮮明度システム１０に関連する様々な機能的動作が、メモリ１８に格納されプロセッサ１６により実行される１以上のソフトウェアプログラム／信号処理ルーチンに全体としてまたは部分的に実装されていることに注意せよ。しかし、他の実施形態において、本発明を実装するために、特定用途用集積回路（ASIC）等のハードウェア回路がソフトウェア命令に替わって、またはそれと組み合わせて用いられてもよい。
【００２８】
図３は、鮮明度処理システム１０の機能ブロック図を示す。鮮明度システム１０は、コンバータ１００、FTT回路１２０、統計的ジェネレータ１４０、鮮明度測定基準ジェネレータ１８０、メモリ２００を有する。鮮明度システム１０の各構成要素は、以下に詳しく説明する。
【００２９】
動作中に、コンバータ１００は、入力ビデオデータをピクセル値を有する対応するデジタル画像データに変換し、FFTジェネレータ１２０は、画像の幅と高さより小さいラインサイズを用いて、各所定ライン（すなわち、１０ラインごと）の水平および垂直方向でFFTを実行する。ラインは画像をサブサンプリングする必要は必ずしもないが、しかし、隣接するライン間の空間的冗長度（類似度）を利用するように、隣接するライン間の選択されるラインは連続していない、すなわち１０ラインごとである。FFTは所定のラインごとに実行されるので、処理されたFFTはすべてのラインについてFFTが実行されるまでメモリ２００に格納される。その後、平均FFT値が計算され、K&Sジェネレータ１４０に送られる。最低限の実装では、水平ラインのFFTのみが用いられ、垂直鮮明度が計算される。垂直オブジェクトの鮮明度が知覚的には最も重要であり、多くの場合画像の鮮明度を評価すれば十分である。計算されたすべてのラインの平均FFTを用いて、尖度と歪度を式（１）と（２）を用いて算出することができる。トランスフォーマ１８０は、尖度と歪度の基準に基づき、ソースビデオシーケンスを用いなくとも画像品質基準を算出する。
【００３０】
図４ないし７を参照して、ビデオ品質評価プロセスを示す一実施形態の詳細な説明をする。
【００３１】
図４を参照して、入力ビデオ画像は、輝度と色の差異のデジタル値の８ｘ８ピクセルブロックに変換される。このために、ビデオ入力は例えば４：２：２で一般的にはサンプリングされる。このとき、赤色差異信号（Cr）と青色差異信号（Cb）は輝度信号（Y）に対して２対１でサブサンプリングされる。MPEG規格では、ビデオ信号の輝度成分Yは色差信号Cr、Cbに対して４対１の比でサンプリングされる。本発明により、すべてのピクチャコンテントを含むために、一般的にフォーマットされた他のサンプリング比も使用可能であることに注意せよ。ビデオ入力画像をサンプリングして所定フォーマットに変換することは周知であり、当業者には容易に分かる様々な方法で実行することができる。図４に示したように、入力ビデオ画像がサンプリングされフォーマットされた後に、各フレームにはディスプレイの複数の水平スキャンラインが含まれる。
【００３２】
図５を参照して、図４に示した、横７２０ピクセル縦５１２ラインの中心に位置した画像に対してFFTを算出する。各フィールド（２８８ライン）で１０ラインごとにFFTを作用するので、１フィールドあたり全部で２８FFTとなる。この例において、FFTウィンドウサイズは512x288/10、つまり512x28である。本発明の一実施形態によると、画像の幅と高さより小さいラインサイズが用いられるからである。それにより計算されたすべてのラインの水平FFTは平均され、平均FFT値が求められる。平均FFT値を用いて、DC成分を除いてスペクトルの上半分について、式（１）と（２）により尖度と歪度が計算される。別の実施形態において、FFTはイメージ全体にわたって計算しても、その一領域について計算してもよい。それにより、図６を参照して下で説明するように、ソースビデオシーケンスを使用することなくビデオ品質を評価可能な画像品質測定基準が得られる。
【００３３】
図６は、本発明の実施形態による、画像品質測定基準を取得するためのビデオ評価プロセスを示すグラフである。鮮明度測定基準の評価は、式（１）と（２）を用いて、K&Sジェネレータ１４０により算出された尖度および歪度を表すスキャタープロットに基づき、それぞれのプロットを非ベースラインにオフセットすることにより導かれる。図６に示したように、尖度と歪度のそれぞれのラインが実質的に平らなライン（または非ベースライン）の特徴を表すことができるように、尖度と歪度のラインをオフセットできる場合、尖度と歪度を無基準鮮明度測定基準にすることができる。よって、目的はピクチャの鮮明度に関する微細可変性を保ちつつ、尖度および歪度ラインの大きな可変性をなくすことである。非ベースラインへのオフセットは、以下の式により計算される。鮮明度測定基準は、FFTの分布の歪度と分散の関数として以下のように表すことができる。
【００３４】
【数２７】
2005531077.tif 000012
および、
【００３５】
【数２８】
2005531077.tif 000013
ここで、C1=5E4、C2=0.5である。SH>6.5ならば、SH=0.25SHであり、SKは式（１）により表される。これらの式は、尖度または歪度のロジスティックまたは多項式関数の一般的な形式で表される。係数の値はシーケンスをテストするために用いられたシーケンスに依存し、その値が大きければ大きいほど、測定基準の精度は高い。あるいは、鮮明度測定基準はFFT分布の尖度と分散の関数として以下の２通りで表せる。
【００３６】
【数２９】
2005531077.tif 000014
図７は、本発明の実施形態による、基準ソースビデオ信号の入手可能性を要さずにビデオ品質の評価をする動作ステップを図示するフロー図である。
【００３７】
ステップ１２０において、画像の幅と高さより小さいラインサイズを用いて、所定ラインごとに（すなわち、１０ラインごと）、水平および垂直方向にFFTを実行する。そして、ステップ１４０で平均FFTが決定される。その平均FFTを用いて、ステップ１６０において、式（１）と（２）により、各所定ラインについて尖度と歪度が計算される。最後にステップ１８０において、ステップ１６０で計算された尖度と歪度を無ベースラインにアライメントすることにより鮮明度測定基準が取得される。
【００３８】
上の説明から明らかなように、鮮明度測定基準システム１０は、ソース基準データを使用することなく、鮮明度測定基準を取得するために、FFTの統計的特性を用いる点において、本発明は有利である。先行技術においては、オリジナルビデオを基準として使用することは、インサービス品質モニタリングおよび連続的品質制御システムの開発には適用できない。よって、本発明の教示により、多数のビデオアプリケーション、例えばビデオ画像化器のフォーカス制御、ビデオ処理アルゴリズム開発、リアルタイムビデオ品質モニタリング／制御、ネットワークビデオのリアルタイム品質制御等が利益を享受する。
【００３９】
本発明の好適な実施形態を例示して説明したが、本発明の真の範囲から逸脱することなく、様々な変更と修正が可能であり、構成要素を均等物で置き換えることもできることが当業者には理解されるであろう。また、中心となる範囲から逸脱することなく、具体的な状況と本発明の教示を適応させるために多数の修正をすることができる。それゆえ、本発明はその実施として考えられるベストモードとして開示された具体的実施形態に限定されず、本発明は添付したクレームの範囲内に入るすべての実施形態を含む。
【図面の簡単な説明】
【００４０】
【図１】高速フーリエ変換に基づき生成された統計基準を示すグラフである。
【図２】本発明の実施形態が適用可能である装置を示す単純化したブロック図である。
【図３】本発明による鮮明度処理システムを示す詳細な機能ブロック図である。
【図４】本発明による画像鮮明度を評価する動作ステップの一部を説明するための図である。
【図５】本発明による画像鮮明度を評価する動作ステップの一部を説明するためのグラフである。
【図６】本発明の一実施形態による動作ステップの一部を説明するためのグラフである。
【図７】本発明によるビデオ品質を評価する動作ステップを示すフローチャートである。
【図１】
2005531077.tif 000032
【図２】
2005531077.tif 000033
【図３】
2005531077.tif 000034
【図４】
2005531077.tif 000035
【図５】
2005531077.tif 000036
【図６】
2005531077.tif 000037
【図７】
2005531077.tif 000038
【国際調査報告】
2005531077.tif 000039
2005531077.tif 000040
2005531077.tif 000041