(57)【要約】本発明は、入力ビデオデータの品質を評価するために使用されるモデルを生成するための方法及び装置に関する。本装置は、複数のサンプルビデオデータから複数の平均の主観的なスコアを取得するために構成され、該複数の平均の主観的なスコアのそれぞれについて複数のイメージメトリクスが計算される。複数のイメージメトリクスのなかには、対応する、知覚される品質メトリクスに変換されるものがあり、イメージ品質メトリックは、計算された品質メトリクスと知覚された品質メトリクスとに基づいて予測される。
2005533424.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオデータの品質を評価するために使用される主観的な参照モデルを生成するための方法であって、
複数のサンプルビデオデータから複数の平均の主観的なスコアを取得するステップと、
該複数の平均の主観的なスコアのそれぞれについて、複数のイメージメトリクスを計算するステップと、
該複数のイメージメトリクスの少なくとも幾つかを、対応する、知覚された品質メトリクスに変換するステップと、
該複数のイメージメトリクスと該知覚された品質メトリクスとに基づいて該モデルを導出するステップと、
を有することを特徴とする方法。
【請求項２】
該主観的な参照モデルを該入力ビデオデータに適用して客観的な品質メトリックを生成するステップをさらに有する、
請求項１記載の方法。
【請求項３】
該取得するステップは、
予め決定された状況下で、該複数のサンプルビデオデータを複数の視聴者に提供するステップと、
予め決定された基準に従い、該複数のサンプルビデオデータのそれぞれを処理されたビデオデータに変換するステップと、
該複数のサンプルビデオデータと対応する該処理されたビデオデータとに基づいて該平均の主観的なスコアを取得するステップと、
をさらに有する請求項１記載の方法。
【請求項４】
該変換するステップは、該複数のサンプルビデオデータのシャープネス、圧縮、ノイズ、及びブロッキングを変更するか、又は該シャープネス、圧縮、ノイズ及びブロッキングのいずれかの組み合わせで変更するステップをさらに有する、
請求項３記載の方法。
【請求項５】
該予め決定された条件は、国際電気通信連合の勧告５００に従う、
請求項３記載の方法。
【請求項６】
該複数のサンプルビデオデータは、平均的な消費者により典型的に視聴される広範囲のビデオ系列を表す、
請求項１記載の方法。
【請求項７】
該複数のイメージメトリクスは、ブロッキングのメトリクス、リンギングのメトリクス、クリッピングのメトリクス、ノイズのメトリクス、コントラストのメトリクス及びシャープネスのメトリクスのうちの少なくとも１つを有する、
請求項１記載の方法。
【請求項８】
該知覚された品質メトリクスは、ブロッキングの知覚されたメトリクス、リンギングの知覚されたメトリクス、クリッピングの知覚されたメトリクス、及びシャープネスの知覚されたメトリクスのうちの少なくとも１つを有する、
請求項１記載の方法。
【請求項９】
該主観的な参照モデルを導出する該ステップは、該計算されたイメージメトリクスと該知覚されたイメージメトリクスとの間の結合された知覚される作用を計算するステップをさらに有する、
請求項１記載の方法。
【請求項１０】
該結合された知覚される作用を計算する該ステップは、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、コントラストのメトリック、知覚されたシャープネスのメトリック、及び知覚されたブロッキングのメトリックの間での相互作用を計算するステップを有する、
請求項９記載の方法。
【請求項１１】
該結合された知覚される作用を計算する該ステップは、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、知覚されたリンギングのメトリックと知覚されたブロッキングのメトリックとの間の相互作用を計算するステップを含む、
請求項９記載の方法。
【請求項１２】
該結合された知覚される作用を計算する該ステップは、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、コントラストのメトリックと知覚されたクリッピングのメトリックとの間の相互作用を計算するステップを含む、
請求項９記載の方法。
【請求項１３】
該結合された知覚される作用を計算する該ステップは、該複数のイメージメトリックのうちの少なくとも幾つかから測定された、知覚されるシャープネスのメトリック、コントラストのメトリック、及びノイズのメトリックの間での相互作用を計算するステップを含む、
請求項９記載の方法。
【請求項１４】
該結合された知覚される作用を計算する該ステップは、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、知覚されたクリッピングのメトリック、コントラストのメトリック、及びノイズメトリックの間での相互作用を計算するステップを含む、
請求項９記載の方法。
【請求項１５】
入力ビデオデータの品質を評価するために使用される主観的な参照モデルを生成するための装置であって、
プロセッサと、
該プロセッサに結合されるメモリとを有し、
該メモリは、該プロセッサが、
複数のサンプルビデオデータから複数の平均の主観的なスコアを取得し、
該複数の平均の主観的なスコアのそれぞれについて、複数のイメージメトリクスを計算し、
該複数のイメージメトリクスのうちの少なくとも幾つかを、対応する知覚された品質メトリクスに変換し、
該複数のイメージメトリクスと該知覚された品質メトリクスとに基づいて該主観的な参照モデルを導出する、
ことを可能とするために構成される、
ことを特徴とする装置。
【請求項１６】
該メモリは、該プロセッサが、該主観的な参照モデルを該入力ビデオデータに適用して客観的な品質メトリックを生成することを可能とするためにさらに構成される、
請求項１５記載の装置。
【請求項１７】
該複数の平均の主観的なスコアを取得するため、該メモリは、該プロセッサが、
予め決定された条件下で、該複数のサンプルビデオデータを複数の視聴者に提供し、
予め決定された基準に従い、該複数のサンプルビデオデータのそれぞれを処理されたビデオデータに変換し、
該複数のサンプルビデオデータ及び対応する該処理されたビデオデータに基づいて該平均の主観的なスコアを取得する、
ことを可能とするためにさらに構成される、
請求項１５記載の装置。
【請求項１８】
該予め決定された基準に従い、該複数のサンプルビデオデータのそれぞれを該処理されたビデオデータに変換するため、該メモリは、該プロセッサが該複数のサンプルビデオデータのシャープネス、圧縮、ノイズ及びブロッキングを変更するか、又は該シャープネス、圧縮、ノイズ及びブロッキングのいずれかの組み合わせで変更することを可能とするためにさらに構成される、
請求項１７記載の装置。
【請求項１９】
該複数のイメージメトリクスは、ブロッキングのメトリクス、リンギングのメトリクス、クリッピングのメトリクス、ノイズのメトリクス、コントラストのメトリクス、及びシャープネスのメトリクスを有する、
請求項１５記載の装置。
【請求項２０】
該知覚された品質のメトリクスは、ブロッキングの知覚されたメトリクス、リンギングの知覚されたメトリクス、クリッピングの知覚されたメトリクス、及びシャープネスの知覚されたメトリクスを有する、
請求項１５記載の装置。
【請求項２１】
該メモリは、該プロセッサが、該計算されたイメージメトリクスと該知覚されたイメージメトリクスとの間の結合された知覚される作用を計算することを可能とするためにさらに構成される、
請求項１５記載の装置。
【請求項２２】
該メモリは、該プロセッサが、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、コントラストのメトリック、知覚されたシャープネスのメトリック、及び知覚されたブロッキングメトリックの間での相互作用を計算することを可能とするためにさらに構成される、
請求項１５記載の装置。
【請求項２３】
該結合された知覚される作用を計算するため、該メモリは、該プロセッサが該複数のイメージメトリクスの少なくとも幾つかから測定された、知覚されたリンギングのメトリックと知覚されたブロッキングのメトリックとの間の相互作用を計算することを可能とするためにさらに構成される、
請求項２１記載の装置。
【請求項２４】
該結合された知覚される作用を計算するため、該メモリは、該プロセッサが、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、コントラストのメトリックと知覚されたクリッピングのメトリックとの間の相互作用を計算することを可能とするためにさらに構成される、
請求項２１記載の装置。
【請求項２５】
該結合された知覚される作用を計算するため、該メモリは、該プロセッサが、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、知覚されたシャープネスのメトリック、コントラストのメトリック、及びノイズのメトリックの間での相互作用を計算することを可能とするためにさらに構成される、
請求項２１記載の装置。
【請求項２６】
該結合された知覚される作用を計算するため、該メモリは、該プロセッサが、該複数のイメージメトリクスのうちの少なくとも幾つかから測定された、知覚されたクリッピングのメトリック、コントラストのメトリック、及びノイズのメトリックの間の相互作用を計算することを可能とするためにさらに構成される、
請求項２１記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータの品質を測定するための方法及び装置に関し、より詳細には、ソースビデオデータを参照することなしに画質を評価するための方法及びシステムに関する。
【背景技術】
【０００２】
最も知覚に訴えるビデオを視聴者に提供することがビデオ専門家の最終的な目標である。結果的に得られる画質が良好であるか否かを判定するための１つの方法は、視聴者パネルに所定のビデオ系列を見ること、及びそれらの意見を与えることを依頼することである。ビデオ系列を分析するための別の方法は、ビデオ品質の優秀性又は劣化を評価するための自動化されたメカニズムを提供することである。このため、様々なメトリック（metric）が使用されており、すなわち、全体的な画質の測度を評価するためのシャープネス、ブロッキング、リンギング、クリッピング、ノイズ、コントラスト、及び一時的な損傷である。客観的な品質のメトリックなしでは、形式的な主観的な試験を使用した決まりきったビデオ品質の評価を実行することは、時間を消費するものであり、高価であって、インサービスのアプリケーションでは不可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、本発明は、ソースデータを利用することなしに、改善及び劣化を測定可能なスチルビデオ及び符号化されたビデオのための客観的な品質評価を提案する。
本発明は、参照画像を使用することなしに、ビデオデータの品質を評価するための装置及び方法に向けられる。
【課題を解決するための手段】
【０００４】
本発明の１態様によれば、入力ビデオデータの品質を評価するために使用される、主観的な参照モデルを生成するための方法が提供される。本方法は、複数のサンプルビデオデータから複数の平均の主観的なスコアを取得するステップ、該複数の平均の主観的なスコアのそれぞれについて複数のイメージメトリックを計算するステップ、該複数のイメージメトリックの少なくとも幾つかを、対応する知覚される品質メトリックに変換するステップ、及び該複数のイメージメトリックと該知覚される品質メトリックとに基づくモデルを導出するステップを含んでいる。次いで、主観的な参照モデルは、如何なる所与の入力ビデオデータについて客観的な品質メトリックを生成するために使用される。予め決定された条件下で、複数のサンプルビデオデータを複数の視聴者に見せることで得られる平均の主観的なスコアは、予め決定された基準に従って、複数のサンプルビデオデータのそれぞれを複数の処理されたビデオデータに変換すること、及び該複数のサンプルビデオデータと対応する処理されたビデオデータとに基づいて平均の主観的なスコアを取得することである。実施の形態では、該複数のサンプルビデオデータは、平均的な消費者により典型的に視聴されるワイドレンジのビデオ系列を表している。複数のイメージメトリクスは、ブロッキングのメトリクス、リンギングのメトリクス、クリッピングのメトリクス、ノイズのメトリクス、コントラストのメトリクス、及びシャープネスのメトリクスのうちの少なくとも１つを含んでおり、知覚される品質メトリクスは、ブロッキング知覚メトリクス、リンギング知覚メトリクス、クリッピング知覚メトリクス及びシャープネス知覚メトリクスのうちの少なくとも１つを含んでいる。
【０００５】
本発明の上述された機能及び利点、並びに他の機能及び利点は、添付図面に例示される好適な実施の形態の更に詳細な説明から明らかとなり、この添付図面では、同じ参照符号は様々な図を通して同じ部材を示している。図面は、スケーリングすることは必ずしも必要ではなく、代わりに、本発明の原理を例示するために強調されている。
【発明を実施するための最良の形態】
【０００６】
以下の記載では、限定よりも説明のため、特定のアーキテクチャ、インタフェース、技術等のような特化した詳細が本発明の全体的な理解を提供するために述べられる。簡単さ及び明確さのため、不必要な詳細により本発明の説明を曖昧にしないように、公知の装置、回路及び方法の詳細な説明が省略される。
【０００７】
図１は、本発明の実施の形態が適用される場合がある画像処理システム１０を例示している。図１に示されるように、システム１０は、１以上のビデオ／イメージソース１２、１以上の入力／出力装置１４、プロセッサ１６、メモリ１８、及びディスプレイ装置２０を含んでいる。入力／出力装置１４、プロセッサ１６、及びメモリ１８は、通信媒体２２を通して通信する場合があり、この通信媒体は、すなわちバス、通信ネットワーク、１以上の回路の内部コネクション、回路カード又は他の装置、若しくはこれらの通信媒体と他の通信媒体の一部及び組み合わせを表している場合がある。メモリ１８は、すなわち、ディスクベースの光又は磁気記憶ユニット、電子メモリ、若しくはこれらの記憶装置と他の記憶装置の一部又は組み合わせを表している場合がある。なお、画像処理システム１０に関連される様々な機能の動作は、メモリ１８に記憶される１以上のソフトウェアプログラム／信号処理ルーチンで全体的又は部分的に実現される場合があり、プロセッサ１６により実行される場合がある。他の実施の形態では、本発明を実現するためのソフトウェア命令の代わりに、又は該ソフトウェア命令と共に特定用途向け集積回路（ＡＳＩＣ）のようなハードウェア回路が使用される場合がある。
【０００８】
さらに、用語「プロセッサ」又は「コントローラ」を明示的に使用することは、ソフトウェアを実行可能なハードウェアを排他的に示すものと解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性記憶装置を暗黙的に含んでいる。慣習的及び／又は一般的な他のハードウェアが使用される場合もある。それらの機能は、プログラムロジックの動作を通して、専用のロジックを通して、プログラム制御のインタラクション及び専用ロジックを通して実行される場合があり、又は手動的であっても、文脈からより特別に理解されるものとして実現者により特定の技術が選択可能である。
【０００９】
ここで、本発明の詳細な説明を図２及び図５を参照して以下に説明する。
当業者であれば理解されるように、一般に、客観的な品質メトリックにおける基本的なタスクは、主観的な画質を評価することであり、この主観的な画質評価は、制御された環境における視聴者グループの平均的な判断を表している。主観的な画質は、画像特性、すなわち損傷及び属性といった結合された知覚により影響される。したがって、本発明は、主観的な参照モデルを得るための手段を提供するものであって、この手段は、入力ビデオ画像の品質低下又はエンハンスメントを示す客観的な品質のスコアを生成するために使用される場合がある。
【００１０】
図２を参照して、主観的な参照モデルを生成するプロセスが説明され、このプロセスは、入力ビデオデータの客観的なイメージメトリックを生成するために使用される。はじめに、ステップ１００で、通常の視聴者が大部分のビデオアプリケーションで見るものを示すｎ個のビデオ系列のセットが生成される。Ｋ個のオリジナルのビデオのセット（当業者であれば理解されるように、これは損傷又は特別のエンハンスメントのないビデオであって、ビデオ捕捉／生成装置から直接のビデオを意味する）で始めて、それぞれのビデオのセットは、たとえばＬ個の多数の異なる処理を受け、評価のためにビデオ系列を多数の異なるビデオデータに変換するため、ブロック歪み、ノイズ、圧縮、シャープネス、エンハンスメント、又はこれらの組み合わせのような様々な程度の品質に寄与するファクタが適用される。たとえば、図４に示されるように、ビデオ系列Ｓ1は、４つの異なるグレードのシャープネスを生成するため、０．２５，０．５，０．７５及び１．０でのシャープネス設定により処理され、次いで、視聴者は、Ｓ11，Ｓ12，Ｓ13及びＳ14といった平均の主観的なスコアを取得するため、それぞれのセットのビデオ系列を見ることが依頼される。１Ｍｂ／ｓ，２Ｍｂ／ｓ及び５Ｍｂ／ｓのビットレートでの圧縮設定もビデオ系列Ｓ1に実行され、Ｓ21，Ｓ22及びＳ23といった対応する平均の主観的スコアが取得される。同様に、それぞれのレベルでの指定された量のブロック歪みを除去している間、同じビデオ系列Ｓ1は、３つの異なるレベルのビットレートＳ31，Ｓ32，Ｓ33で処理される。ノイズ、すなわち３０ｄＢ，３５ｄＢ及び４０ｄＢのガウシャンノイズは、ビデオ系列Ｓ1に更に印加され、Ｓ41，Ｓ42及びＳ43の平均の主観的なスコアを生成するために視聴を受ける。３０ｄＢ，３５ｄＢ及び４０ｄＢの３つの異なるレベルでのノイズは、０．２５，０．５及び０．７５のシャープネスの３つのレベルと混合され、Ｓ51，Ｓ52，Ｓ53，Ｓ61，Ｓ62，Ｓ63，Ｓ71，Ｓ72及びＳ73といった平均の設定値を取得するために視聴者により視聴される。０．２５及び０．５の２つのレベルのシャープネスによる３Ｍｂ／ｓ及び５Ｍｂ／ｓでの圧縮は、Ｓ81，Ｓ82，Ｓ83及びＳ84といった平均のスコアを生成する。ノイズ及び指定された量のノイズリダクションがビデオ系列Ｓ1に導入され、Ｓ91，Ｓ92及びＳ93といった平均的な主観的なスコアを生成する。仮に全体でｎ個のテスト系列を生成する場合、ｎはＫ×Ｌに等しく、すなわち複数の品質レベルを生成するためのオリジナルの数に処理回数を乗じたものである。なお、それぞれのオリジナルのビデオ系列は、例示の目的のために図４に示されるような特定の数のレベルに変換され、本発明の範囲に制限を課すものではない。したがって、他の変換の組み合わせも本発明の教示に従って可能であり、本発明の範囲に制限を課すものではない。
【００１１】
ステップ１２０では、対応する平均の主観的な品質スコアを取得するため、複数のビデオ系列が多数のテスト視聴者に示される。ここで、たとえば２１である多数の視聴者は、３つのグループに分割される（すなわち、同時に３人の視聴者によるテスト）。次いで、それぞれのグループは、広範囲のビデオ系列を評価し、それらをレーティングすることが依頼される。信頼性を増加するため、主観的な品質スコアは、国際電気通信連合（ITU: International Telecommunication Union）勧告５００で記載されるような、相互作用可能な手順を使用して取得されなければならず、この勧告５００の内容は、引用により本明細書に組み込まれる。ＩＴＵは、主観的な品質スコアを行うときに従うべきテスト条件のリストを提供する。
【００１２】
ステップ１３０では、それぞれｎ個のビデオ系列について平均の主観的なスコアである。結果は、図３に示されるように表にされ、ここでＶnは異なるビデオ系列を表し、Ｓnは視聴者から取得される対応する平均の主観的なスコアを表している。ステップ１４０では、図５に示されるように、ブロッキング（Ｂ）、リンギング（Ｒ）、クリッピング（Ｃ）、ノイズ（Ｎ）、コントラスト（ＣＮ）及びシャープネス（ＳＨ）のような損傷及び属性に関連する多数のイメージメトリクスは、ステップ１００で生成されたｎ個のビデオ系列のそれぞれから抽出される。当業者であれば、オリジナルのビデオ入力はビデオ捕捉手順の後に損傷ゼロ及びエンハンスメントなしであることが想定されていることを理解するであろう。しかし、受信端でのビデオ品質は、送信（すなわちノイズ）、圧縮（すなわちＭＰＥＧアーチファクト）、及び画像処理（すなわち有限精度の算術によるクリッピング）に関連される異なるファクタのために悪化する。図５に示されるような画像特性のセットは、入力ビデオ信号のブロッキング、リンギング、クリッピング、ノイズ、コントラスト及びシャープネスの全てからの、ステップ１３０で生成された主観的なスコアを計算する客観的な品質モデルを決定するために使用される。ステップ１００で生成されたビデオ系列が消費者のビデオ品質を表す場合、客観的な品質モデルは、そのセットに含まれていない新たなビデオ系列の主観的な品質を予測することができることを、当業者であれば理解されるであろう。
【００１３】
ステップ１５０では、図５に示されるように取得されたイメージメトリクスに基づいて、イメージメトリクスのそれぞれのセットの条件を満たす主観的な参照モデルＦが取得される（後に説明される）。実施の形態では、このようにして得られた主観的な参照モデルは、基準となるソースビデオ信号を利用することなしに、ビデオ品質を評価するために使用される機能モデルを提供する。
【００１４】
図６を参照して、図２のステップ１５０のイメージメトリクスに基づく主観的な参照モデルを導出するプロセスが説明される。ブロック２１０〜３００は、図５に示されるイメージメトリクスのそれぞれを表している。それぞれのイメージメトリックを計算することは様々なやり方で実行することができる当該技術分野で公知であるが、それぞれのイメージメトリックを計算するための特徴的かつ例示的なやり方が、完璧のために以下に簡単に説明される。
【００１５】
ブロック３１０は、ブロッキングアーチファクト（Ｂ）を表しており、このブロッキングアーチファクトは、ＭＰＥＧ符号化規格における（８×８画素ブロック）ＤＣＴ係数の
粗悪な量子化の結果である。最も良く知られているＭＰＥＧアーチファクトの１つがブロッキングアーチファクトであることを、当業者であれば理解するであろう。ブロッキングアーチファクトの量及び可視性は、増加される圧縮、すなわちより低いビットレートにつれて増加する。圧縮されたビデオの知覚された品質は、ブロッキングアーチファクトにより強度に影響される。ブロッキングアーチファクトは、画像の上にくる８×８グリッドに見られる１×８画素エッジの数として測定することができる。したがって、ブロック歪みは、使用される最も可能性の高い符号化グリッドに重なる垂直及び水平エッジの数に基づいている。
【００１６】
ブロッキングアーチファクト（Ｂ）を計算することは、様々なやり方で実行することができる当該技術分野において良く知られている。たとえば、ブロックを測定するための１つの良く知られた方法は、画素ｎと画素ｎ＋１の不連続性のサイズによるものであって、ｎは、８（グリッドサイズ）の倍数である。不連続性が存在し、閾値、すなわち２０よりも低い場合、不連続はブロックエッジにある。エッジが８つの連続するライン（ラインｉからラインｉ＋８）に見られる場合、ブロッキングアーチファクトであると考えられる。不連続性を定量化するための別の方法は、ブロックの両側にある画素の線形外挿の不連続性のサイズを使用することによる。
【００１７】
図６を参照して、
（外１）
2005533424.tif 000003
を列ｋ、行ｌ及び時間ｔに位置される系列のルミナンスブロックであるとする。図６に示されるように、２つのブロックＢ（ｋ，ｌ，ｔ）とＢ（ｋ＋１，ｌ，ｔ）の間のアーチファクトの値は、隣接する画素の外挿された値をもつ８つのラインについて評価される境界での不連続性である。したがって、ブロックのそれぞれの行ｊについて、外挿された画素値は、一次の外挿手段により従って計算される。
【００１８】
【数１】
2005533424.tif 000004
その後、垂直アーチファクト値は、８つの不連続の平均である。
【００１９】
【数２】
2005533424.tif 000005
ブロック３２０は、リンギングアーチファクト（Ｒ）を表しており、このリンギングアーチファクトは、二番目に最も良く知られたＭＰＥＧアーチファクトである。不均一又は滑らかな領域の存在に依存するブロッキングとは異なり、リンギングは、画像におけるエッジの量に依存する。高い値をもつ単一の画素が鋭いエッジの近くにあるか、不自然な滑らかな領域にある場合（漫画のような合成のビデオに主に見られる）、それらの画素のカウントとしてリンギングが検出される（所定の閾値を超える局所的な分散を引き起こす）。したがって、リンギングは、高いコントラストのエッジの回りのゆらぎ作用であり、エッジのダブリングとしてそれ自身を明らかにする指向性に依存する。リンギングアーチファクト（Ｒ）を測定することは、様々なやり方で実行することができる当該技術分野で良く知られている。たとえば、リンギングを検出及び測定するための１つのアルゴリズムは、以下のステップを含んでいる。
【００２０】
エッジの遷移のための高い閾値を使用して鋭いエッジを検出する。
分散が非常に低い、鋭いエッジに隣接する領域（低いアクティビティの領域）を検出する。
【００２１】
（２つの隣接画素を使用して計算される）局所的な分散が大きい画素は、リンギング画素として検出される。たとえば、低いアクティビティの領域における手近の画素の局所的な分散が３である場合、リンギング画素の局所的な分散は、その値の少なくとも４倍でなければならない。以下の条件が使用される。
【００２２】
【数３】
2005533424.tif 000006
σν,ｈは、画素Ｙｉ,ｊとその隣接画素Ｙｉ+１,ｊとの間のルミナンスの差である。画像の全てのリンギング画素の合計がリンギング値である。
【００２３】
ブロック３４０は、クリッピングアーチファクト（Ｃ）を表している。クリッピングは、使用されているプロセスの算術的な精度により課される、画像値（ルミナンス成分及びクロミナンス成分）のビット数のトランケーションである。このトランケーションにより制限されたレンジの値となり、これによりダイナミックレンジが低減され、詳細のロス又はハイコントラストの領域におけるアーチファクトの導入がもたらされる。しかし、ダイナミックレンジの制限を極値が超える場合、飽和が起こり、画素がクリップされる（すなわち、８ビットの精度のケースについて、画素は２５５又は０という最大／最小値を取る）。クリッピングの測定は、画像で見られるクリップされた画素の数の関数である。クリッピングメトリックは、画素がクリップされないときに０．０として定義され、１％以上の画素がクリップされるときに１．０として定義される。測定をスピードアップするのと同様に、帰線消去期間又はブラックバーをカウントすることを避けるため、５％のマージンが画像の左、右、上及び下に適用される。
【００２４】
クリッピング（Ｃ）を計算することは、様々なやり方で実行することができる当該技術分野で良く知られている。たとえば、クリッピング測定アルゴリズムは、上、下、左及び右の５％マージンを除いて画像の各画素をテストすることで実行される場合がある。次いで、画素値が０又はＭＡＸである場合（すなわち、精度が８ビットである場合に２５５）、クリップされた画素のカウントを増加する。カウントが終了したとき、パーセンテージとしてカウントを取得するため、（マージンを除いた）画像における全体の画素数で割る。クリップされた画素のパーセンテージは、以下のルールを使用してクリッピングメトリックになる。０％の場合にクリッピングは０であり、１％より低い場合にクリッピングはパーセンテージに等しく、１％以上である場合、クリッピングは１．０である。
【００２５】
ブロック３６０は、ノイズのアーチファクト（Ｎ）を表している。ノイズは、滑らかな領域すなわち滑らかな遷移をもつ領域で最も知覚することができる。これは、画像がクリーンではないか、又は何か意図されていないものが画像に重ね合わされているという、主観的な印象を与える。このように、ノイズは、空間又は時間的な次元におけるランダムな変動であり、画像の転送及び生成にリンクされるランダムプロセスの結果として、ビデオ画像における変動する程度であると見られる。あるケースでは、微小な量のノイズが（プラスティック又は合成の概観とは対照的に）テクスチャの不自然さに加わり、知覚された品質を増加することが分かっている。しかし、大部分のノイズは、詳細を曖昧にし、視覚的な情報の品質を低減する。
【００２６】
ノイズ（Ｎ）を計算することは、様々なやり方を実行することができる当該技術分野で良く知られている。たとえば、典型的なアルゴリズムは、以下のステップから構成される。
画像を小さなブロックに分割する。
各ブロックの強度の変動を測定する。
【００２７】
ノイズの強度は、信号よりも振幅において非常に小さいとすると、最小の変動をもつブロック（すなわち、最も小さい変動をもつブロックの平均）は、一定の明るさの領域に対応するべきである。
ＤＣ成分を除去するために高域通過フィルタ又は帯域通過フィルタのセットを使用する。
分散又はノイズを計算するために、フィルタの出力の合計が使用される。
【００２８】
アルゴリズムで使用されるフィルタは、以下に与えられる。
【００２９】
【数４】
2005533424.tif 000007
したがって、（それぞれのラインにおけるいずれかの側にある８つの境界の画素を除いて）それぞれの画素でそれぞれのフィルタによる画像及び結果的に得られる出力が得られる。クリッピング関数を使用して出力がクリップされ、このクリッピング関数は、知覚的に寄与するノイズのみがカウントされることを保証する。使用されるクリッピング関数は、以下に示される。
【００３０】
【数５】
2005533424.tif 000008
クリッピング関数の閾値は、知覚の閾値のワトソンのモデルから導出される。モデルは、以下の式により記述される。
【００３１】
【数６】
2005533424.tif 000009
如何なるフィルタのクリッピング閾値は以下により与えられる。
【００３２】
【数７】
2005533424.tif 000010
ここで、Ｓ（ｆ’）はフィルタの空間スペクトル応答である。ｆ’は前の式における空間周波数ｆの正規化されたバージョンであり、この正規化周波数は、視聴の距離を補償するものである。クリップされた応答は、最も低い変動のｍ個の窓のそれぞれの窓を通して平均される。ｍ個のかかる応答の平均は、特定のフィルタから得られるノイズの測定である。アルゴリズムの全体のノイズ測定は、４つのフィルタのノイズ測定の合計として計算される。
【００３３】
ブロック３８０は、コントラストのアーチファクト（ＣＮ）を表している。コントラストは、関心のある画素のルミナンスとバックグランドとの差であり、コントラストの感度は、対象物をバックグランドから区別する能力である。コントラスト（ＣＮ）を計算することは、様々なやり方で実行することができる当該技術分野で良く知られている。たとえば、コントラストを測定する基本アルゴリズムは、以下のようなものである。第一に、左、右、上及び下の５％マージンを除いた画像のルミナンスのヒストグラムが計算される。第二に、全体のエネルギーのそれぞれ５％を含むヒストグラムの上部及び下部が分離される。最後に、ヒストグラムにおける最大値により正規化、すなわち割り算されるヒストグラムの上部のルミナンスと下部のルミナンスとの間の差が計算される。
【００３４】
ブロック４００は、シャープネスのメトリックを表しており、このシャープネスメトリックは、空間領域におけるエッジの定義により測定することができるか、又は変換された領域における高周波の特徴により測定することができる。出願人は、2002年6月14日に米国出願シリアル番号10/172,416号を提出しており、この出願は、局所的なエッジの尖鋭度に基づいたシャープネスのメトリックの新たなやり方を開示しており、これにより、シャープネスメトリックを計算することに関連する共通の主題が引用により組み込まれる。簡単に言えば、シャープネスメトリックは、空間的及び局所的な周波数情報を考慮し、画像エッジを囲んでいる８×８ブロックの重み付けされた尖鋭度を使用している。結果として、シャープネスメトリックは、知覚されたシャープネスとの高い相関を示し、すなわち、品質の変化は、シャープネスによってのみ影響される。したがって、対応する米国出願シリアル番号08/846,982号に開示されている方法を使用して、知覚的なシャープネスのメトリックを決定することができる。
【００３５】
図４を引き続き参照して、先に説明されたそれぞれのメトリクスを決定した後、幾つかのメトリック出力を知覚的なメトリックに変更するため、ブロック３２０〜３６０が実行される。シミュレーションから、圧縮されたビデオ系列のセットに関する主観的なスコアに比較されるリンギング及びブロック歪みの値は、５〜８Ｍｂ／ｓを超えるビットレートで符号化された系列について主観的なスコアが最も高いこと、及びそれらの系列が僅かな量のリンギング及びブロック歪みを示すことを表している。ブロッキング及びリンギングは相関することがあるが、ブロッキングとリンギングは独立なアーチファクトであって、個別に考慮されなければならない。品質とブロッキング及び／又はリンギングとの間の依存性は線形ではない（すなわち、品質への知覚的な影響は、対数関数又は指数関数となる可能性が高い）。ブロッキングとリンギングの両方が存在するとき、ブロッキングとリンギングの結合された影響は、線形に付加的なものではない。さらに、リンギングとブロック歪みの相対的な割合は一定ではなく、ブロック歪みが支配的なことがあり、リンギングが支配的なこともある。かかるように、品質へのブロック歪みとリンギングの結合された知覚される作用を考慮するのと同様に、ブロック歪み／リンギングを知覚される品質ユニットに変換する必要がある。それぞれの特徴に適用される知覚的な関数は、線形から対数的又は多項式の形式への簡単な変化であるか、主観的なデータ（加えてスケーリングの正規化のために使用される定数要素）と良好に相関するために発見される関数の適用である。したがって、ブロック歪み（Ｂ）、リンギング（Ｒ）及びノイズ（Ｎ）の知覚的な関数が平方根であり（スケーリングファクタ４０も使用される）、クリッピングの知覚的な関数が、２．５プラス１倍の値であって、１．５のべき乗に上昇するように、ブロック３２０〜３６０が実行される。
【００３６】
ブロック歪み、リンギング及びクリッピングを知覚される品質ユニットに変換した後、それらの品質への結合された知覚される作用を考慮するため、ブロック３８０〜４６０が実行される。このプロセスは、以下のように数学的に表すことができる。
【００３７】
【数８】
2005533424.tif 000011
ステップ４８０では、ＮＲＯＯＭは、全ての相互作用を含んでいるか、又は主観的なスコアとの高い相関を得るために客観的なスコアを決定するときに如何なる組み合わせである。ＮＲＯＯＭは、以下のように数学的に表すことができる。
【００３８】
【数９】
2005533424.tif 000012
先に示されたように、ＮＲＯＯＭは、以下の相互作用を含んでいる。
ブロック歪み及びリンギングへのコントラスト及びシャープネスの促進作用。この促進作用は、それらのアーチファクトの増加される視覚性を考慮する（先の式のパート１ａ及び１ｂにおける第一項を参照）。
ブロッキングとリンギングとの間のマスキング作用。このマスキング作用は、低いブロック歪みが存在するとき、リンギングをより知覚可能にする（パート１ｂの第二項を参照）。
クリッピングへのコントラストの促進作用。この促進作用は、コントラストが高い場合にクリッピングをより知覚可能にする（パート１ｃにおける項（１＋ＣＮ）を参照）。
ノイズへのシャープネス及びコントラストの促進作用（パート１ｄを参照）。
ノイズへのクリッピングとコントラストのマスキング作用。このマスキング作用は、コントラストにより影響される、クリッピングが存在する場合に、ノイズが余りに深刻になるのを回避する。
【００３９】
なお、シャープネス（１ｇ）は、式１において唯一の正の項であり、知覚的なシャープネスの測度であるので、それ自身有効である。項１ｆは、０．４を超えるコントラストをもつコンテンツの（微小な）ベースラインを低減するために使用される。この項は、ベースラインのないコントラストメトリックが使用される場合に消えるべきであるが、コントラストの相互作用を考慮する項は残らなければならない。また、そのケースでは、コントラストの正の項が含まれる場合がある。
【００４０】
代替的な実施の形態では、動きアーチファクトのメトリクスは、ＮＲＯＯＭの全体のパフォーマンスを更に改善することができる。一時的な損傷の特性は、以下のうちの少なくとも３つの積和から構成される。
連続するフレームにおけるエネルギーの差（小さな動きのケースではアーチファクトを示す）。
ジャダー（フレームレート変換により引き起こされる、特に滑らかな動きの不自然な変調）。
ＩＢＰドリフト（２つのＩフレーム又はＧＯＰの間のＢ及びＰフレームにおいて増加する動き予測誤差により引き起こされる、Ｉフレームの前のフレームとの間の差）。
動きベクトルの動きの場の平滑性の標準偏差（動きベクトルは、ある画像から次の画像への物体の位置の変化を示し、低い標準偏差は、滑らかな動きを示す）。
モスキートノイズ（エッジ画素の周りの微小な周辺における画素のなかの合計又はフレームの絶対差として計算される、静止したエッジの周りのノイズ）。
【００４１】
上記を考慮して、代替的なＮＲＯＯＭの機能は、以下のように表すことができる。
【００４２】
【数１０】
2005533424.tif 000013
ここで、Ｆ（ＭＯＴ）は動きの異常に関する重み付け総和を表し、Ｇ（ＣＮ）はコンテンツに独立なコントラストのメトリックを表している。
【００４３】
図６を参照して、一般的な機能モデルがひとたび取得されると、システムにおいて実現することができ、このシステムは、テレビジョン、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、ポータブルビデオテレフォン、パーソナルデジタルアシスタント（ＰＤＡ）、及びビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置、従来のビデオ処理システム等のようなビデオイメージ記憶装置、並びにこれらの装置と他の装置の一部又は組み合わせを含んでいる。
【００４４】
上述したことから明らかなように、本発明は、イメージメトリックシステム１０が品質メトリックＮＲＯＯＭを与えるという点で利点を有しており、この品質メトリックは、ソースの参照データを使用することなしに、主観的なスコアとの高い相関を生じる。従来技術では、オリジナルビデオを基準として利用することは、インサービスのクオリティモニタリング及び連続的な品質制御システムの開発に適用することができなかった。したがって、本発明の教示は、ビデオイメージャの焦点制御、ビデオ処理アルゴリズム開発、リアルタイムビデオ品質モニタリング／制御、及びネットワークビデオのリアルタイム品質制御のような、多くのビデオアプリケーションに利益を与えることができる。
【００４５】
本発明の好適な実施の形態が例示及び記載されてきたが、本発明の範囲から逸脱することなしに、様々な変形及び変更が行われる場合があり、等価な構成がそのエレメントに代わり置き換えられる場合があることを、当業者であれば理解されるであろう。さらに、主要な範囲から逸脱することなしに特定の状況及び本発明の教示に適合するため、多くの変更が行われる場合がある。したがって、本発明は、本発明を実行することが意図される最良の形態として開示される特定の実施の形態に制限されるものではなく、本発明は、特許請求の範囲に含まれる全ての実施の形態を含むことが意図されている。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態が適用される簡略化されたブロック図である。
【図２】本発明に係る客観的な品質スコアを予測するために使用される主観的なスコア基準を取得する動作ステップを例示するフローチャートである。
【図３】図２の主観的なスコア基準を取得する処理の間に生成されるテーブルである。
【図４】図２の主観的なスコア基準を取得する処理の間の生成される別のテーブルである。
【図５】図２に示される動作ステップに従い生成される主観的なスコア基準を例示する図である。
【図６】本発明に係る画像処理システムの詳細な機能ブロック図である。
【図７】本発明に係る主観的なスコア基準から導出される一般的な機能に従う客観的な品質スコアのコンポーネントを取得する処理を例示する機能図である。
【図１】
2005533424.tif 000014
【図２】
2005533424.tif 000015
【図３】
2005533424.tif 000016
【図４】
2005533424.tif 000017
【図５】
2005533424.tif 000018
【図６】
2005533424.tif 000019
【図７】
2005533424.tif 000020
【図８】
2005533424.tif 000021
【国際調査報告】
2005533424.tif 000022
2005533424.tif 000023
2005533424.tif 000024