(57)【要約】本発明は、ビデオ画像のビデオ品質を自動的に評価する拡張可能な客観的メトリックを与える改良されたシステム及び方法である。このシステムは、複数のメトリック・モデル・ユニットからメリットの複数の客観的メトリック量を受け取る能力を備えた客観的メトリック・コントローラを含む。メトリック・モデル・ユニットの一部は非依存的であり、別の一部は相互依存的である。このシステムは、メリットの複数の客観的メトリックから拡張可能な客観的メトリックを決定する。拡張可能な客観的メトリックは、ビデオ画像の客観的メトリック測定量とビデオ画像の主観的測定量との最良の相関を表す。このシステムは、複数の客観的メトリック・モデル・ユニットが新しいビデオ画像を受け取ったときに、拡張可能な客観的メトリックの新しい値を連続的に決定することができる。
2004518344.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステムであって、
複数の客観的メトリック・モデル・ユニットから複数の客観的メトリック量を受け取ることが可能であり、該複数の客観的メトリック量から該拡張可能な客観的メトリックを決定することが可能である客観的メトリック・コントローラを含み、
該複数の客観的メトリック・モデル・ユニットの中の少なくとも１組のペアは相互依存的である、
ビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項２】
該複数の客観的メトリック量の個数は、Ｎが整数を表すとき、２からＮまで変化する、請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項３】
該客観的メトリック・コントローラは、該複数の客観的メトリック・モデル・ユニットの中の該少なくとも１組のペアの相互依存性の数学的記述から導出された相関係数から、該拡張可能な客観的メトリックを決定することが可能である、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項４】
該客観的メトリック・コントローラは、客観的品質スコアと主観的品質スコアの両方を利用するニューラル・ネットワーク・アルゴリズムを使用して導出された相関係数から該拡張可能な客観的メトリックを決定することが可能である、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項５】
メリットについての複数の非相互依存的な客観的メトリック量に対し、該メリットの客観的メトリック量毎に相関係数ｒ（ｉ）を使用して、重み値を割り当てる重み付けユニットを更に有し、
メリットの客観的メトリック量毎の各相関係数ｒ（ｉ）は、メリットの客観的メトリック量がビデオ画像特性をどの程度表現できているかを表現している、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項６】
該複数の客観的メトリック・モデル・ユニットは、望ましいビデオ画像特徴に対する少なくとも一つの客観的メトリック・モデル・ユニットと、望ましくない画像特徴に対する少なくとも一つの客観的メトリック・モデル・ユニットとを含む、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項７】
該客観的メトリック・コントローラは、該相互依存的な客観的メトリックの相互依存性の数学的記述を使用して、相互依存的な客観的メトリックから該拡張可能な客観的メトリックの値Ｆを計算する、
請求項５記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項８】
該客観的メトリック・コントローラは、複数の非相互依存的な客観的メトリックに対する複数の和を計算することが可能であり、
各和Ｓ（ｒ（ｉ））は、該相関係数ｒ（ｉ）の各々に対する重み値ｗ（ｉ）とメリット量ｆ（ｉ）の積和に一致する、
請求項５記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項９】
該客観的メトリック・コントローラは、複数の和Ｓ（ｒ（ｉ））の最大値となるように該拡張可能な客観的メトリックを選択することにより、該客観的メトリックを獲得することが可能であり、
該最大値は該ビデオ画像の客観的メトリック測定量と該ビデオ画像の主観的測定量の最良相関を表現する、
請求項８記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項１０】
該客観的メトリック・コントローラは、該複数の客観的メトリック・モデル・ユニットが新しいビデオ画像を連続的に受け取るときに、該メリットについての複数の客観的メリット量の新しい値から該拡張可能な主観的メリットの新しい値を継続的に決定することが可能である、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項１１】
該客観的メトリック・コントローラは、少なくとも一つの客観的メトリックを該メリットについての複数の客観的メトリック量に追加することが可能であり、
該客観的メトリック・コントローラは、該メリットについての複数の客観的メトリック量から少なくとも一つの客観的メトリックを削除することが可能である、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項１２】
該客観的メトリック・コントローラは、
複数の客観的メトリック・モデル・ユニットからメリットについての複数の客観的メリット量ｆ（ｉ）を受け取ることができるコントローラと、
該コントローラに接続されたメモリに格納されたメトリック計算アルゴリズムと、
を含み、
該メトリック計算アルゴリズムは、該メリットについての複数の客観的メトリック量の重み付き平均から、該拡張可能な客観的メトリックに対する値Ｆを決定するため該コントローラによって実行され、
該複数の客観的メトリック・モデル・ユニットの中の少なくとも１組のペアは相互依存的である、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項１３】
相互依存的である少なくとも１組のペアを含む複数の客観的メトリック・モデル・ユニットと、
該複数の客観的メトリック・モデル・ユニットからメリットについての複数の客観的メトリック量を受け取ることが可能である客観的メトリック・コントローラと、
を有し、
該客観的メトリック・コントローラは、メリットについての複数の非相互依存的な客観的メトリック量ｆ（ｉ）から、該拡張可能な客観的メトリックに対する値Ｆを決定することが可能であり、少なくとも二つの相互依存的な客観的メトリックから該拡張可能な客観的メトリックに対する値Ｆを決定することが可能であり、
該値Ｆは、ビデオ品質の客観的メトリック測定量とビデオ品質の主観的測定量の相関の最大レベルを表現する客観的メトリックを表している、
請求項１記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステム。
【請求項１４】
ビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供する方法であって、
客観的メトリック・コントローラで、少なくとも１組の相互依存的なペアを含む複数の客観的メトリック・モデル・ユニットから、メリットについての複数の客観的メトリック量を受け取る手順と、
該メリットについての複数の客観的メトリック量から該拡張可能な客観的メトリックを決定する手順と、
を有する、
ビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供する方法。
【請求項１５】
該複数の客観的メトリック・モデル・ユニットが新しいビデオ画像を受け取ったとき、該客観的メトリック・コントローラで該複数の客観的メトリック・モデル・ユニットから、該メリットについての複数の客観的メトリック量の新しい値を受け取る手順と、
該メリットについての複数の客観的メトリック量の該新しい値から該拡張可能な客観的メトリックの新しい値を継続的に決定する手順と、
を更に有する、
請求項１４記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供する方法。
【請求項１６】
該メリットについての複数の客観的メトリック量毎に重み値ｗ（ｉ）を決定する手順と、
該重み値を一定に維持する手順と、
一定の該重み値を使用して該拡張可能な客観的メトリックを計算する手順と、を更に有する、
請求項１４記載のビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供する方法。
【請求項１７】
ビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供する方法であって、
客観的メトリック・コントローラで、各々が非依存的である複数の客観的メトリック・モデル・ユニットから、メリットについての複数の客観的メトリック量を受け取る手順と、
客観的品質ソースと主観的品質ソースの両方を利用するニューラル・ネットワーク・アルゴリズムを使用して導出された相関係数から該拡張可能な客観的メトリックを決定する手順と、
を有する、
方法。
【発明の詳細な説明】
【０００１】
［発明の技術分野］
本発明は、ビデオ品質を評価するシステム及び方法に係り、特に、ビデオ画像のビデオ品質を自動的に評価する拡張可能な客観的メトリックを提供する改良されたシステム及び方法に関する。
【０００２】
［発明の背景］
ビデオの専門家は、ビデオ画像の品質を改良する新しいアルゴリズム及び方法を絶えず探している。主たる目標は、できるだけ視覚的に魅力的なビデオ画像を取得することである。最終的な規準は、「得られた画像が観察者にどの程度気に入られるか」という問題である。この問題に対する一つの回答法は、あるビデオシーケンスを視聴する観察者のグループを準備し、得られた画質に関する観察者の意見を記録することである。しかし、その結果は、観察グループ間の変動性に応じてグループ毎に変化するであろう。この問題は、主観的な人の意見に頼っているときに一般的に起こる問題である。この問題の重大性は、観察グループが非専門家によって構成される場合に増大する。
【０００３】
人の認識と主観的な意見だけに基づく結果は、通例的に、続いて、主観的結果の非決定論的な性質を取り除くため、統計的に解析される。線形ヒューリスティック統計的モデル及び非線形ヒューリスティック統計的モデルは、これらのタイプの主観的結果を正規化し、ビデオ品質の良さ（若しくは悪さ）を表現するある種のメリットの量を獲得するため提案されている。このような方法でビデオ品質を測定する処理は、「主観的ビデオ品質評価」と呼ばれる。
【０００４】
主観的ビデオ品質評価方法は、可視的なビデオ・アーティファクトの妥当な指標を与える。しかし、主観的ビデオ品質評価方法は、確率的性質であり、複雑であり、時間がかかり、適用することが困難な場合がある。その上、観察グループのための適当な観察者を選択する際に問題が生じる。訓練を受けていない観察者は、新しいビデオ処理方法の適合性の判断が苦手である。しかし、訓練を受けていない観察者は、市場の一般的な消費者を正確に代表する可能性がある。これに対し、訓練を受けた専門観察者は、一般的な消費者が決して気付かない軽微な欠点を検出する方向へ過度に偏っている。
【０００５】
ビデオ品質を評価する主観的方法に伴う欠点を回避するためには、ビデオ品質を評価するために自動化された客観的方法を使用する方が望ましい。自動化された客観的方法は、ビデオ品質の良さ（若しくは悪さ）を定量化するため、メリットの客観的量を獲得しようとする。ビデオ品質の一つ以上の客観的測定量を獲得する方法は、ビデオ・アルゴリズムがビデオ・ストリームに順次に出現するときに、様々なタイプのビデオ・アルゴリズムを迅速に解析できるように自動化する必要がある。
【０００６】
ビデオ品質の客観的測定量は完全に決定論的である。即ち、その結果は、（同一設定条件が維持された場合）、テストが繰り返されるとき、常に同じである。
【０００７】
究極的な目標は観察者に最も魅力的な画像を提示することであるため、最終的に判断されるビデオ品質の客観的測定量の値は、客観的測定量と主観的結果との相関の度合いである。通常、客観的に獲得された（自動的に生成された）結果を（人の意見から）主観的に獲得された結果の相関を求めるため統計的解析が使用される。
【０００８】
ビデオ品質を自動的に測定する改良されたシステム及び方法が技術的に必要である。ビデオ品質を自動的に測定する方法は、「客観的ビデオ品質評価」と呼ばれる。
【０００９】
客観的ビデオ品質評価を与えることができる数種類のアルゴリズムが提案されている。これらのアルゴリズムは、一般的に、「客観的ビデオ品質モデル」と呼ばれる。ビデオ品質専門家グループ（ＶＱＥＧ）からのレポートには、１０通りの客観的ビデオ品質モデルに基づいて行われた評価の結果が記載されている。このレポートは、１９９９年１２月付けのレポートであり、題名は、「ビデオ品質評価の客観的モデルの検証に関するビデオ品質専門家グループからの最終報告（Ｆｉｎａｌ Ｒｅｐｏｒｔ ｆｒｏｍ ｔｈｅ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｏｎ ｔｈｅ ｖａｌｉｄａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｉｖｅ Ｍｏｄｅｌｓ ｏｆ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ）」である。このレポートは、ｈｔｔｐ：／／ｗｗｗ−ｅｘｔ．ｃｒｃ．ｃａ／ＶＱＥＧのワールド・ワイド・ウェブで入手可能である。
【００１０】
各客観的ビデオ品質モデルは、「客観的メトリック」と呼ばれるそれぞれの固有の独特なビデオ品質の測定規準を与える。「ダブルエンド型」客観的メトリックは、１番目の原ビデオ画像と２番目の処理ビデオ画像を使用してビデオ品質を評価する客観的メトリックである。「ダブルエンド型」客観的メトリックは、原ビデオ画像の変化を判定することによりビデオ品質を評価するため、１番目の原ビデオ画像を２番目の処理ビデオ画像と比較する。「シングルエンド型」客観的メトリックは、原ビデオ画像を参照することなく、ビデオ品質を評価する客観的メトリックである。「シングルエンド型」客観的メトリックは、ビデオ画像の品質を評価するため、ビデオ画像にアルゴリズムを適用する。
【００１１】
あらゆる条件下であらゆるビデオ・アーティファクトに対して、他のすべての客観的メトリックよりも優れている唯一の客観的メトリックは未だ見つかっていない。各客観的メトリックは、固有の利点と欠点がある。客観的メトリックは、性能（即ち、客観的メトリックの結果が主観的品質評価結果と相関している良さの程度）、安定性（即ち、異なるタイプのビデオ・アーティファクトを巧く処理できる程度）、並びに、複雑さ（即ち、アルゴリズム計算を実行するために必要な計算パワーの量）に非常に差がある。
【００１２】
客観的メトリックは広範囲のアプリケーションに適用される。例えば、高速リアルタイム客観的メトリックは、放送ビデオ信号の品質を判断するために必要である。これに対して、より複雑で信頼性の高い客観的メトリックは、非リアルタイムのビデオ・シミュレーションの品質を判断するためにより好適である。
【００１３】
唯一の客観的メトリック（及び、唯一の客観的ビデオ品質モデル）しか使用しない場合、ビデオ信号の品質の評価が、使用された客観的メトリックから獲得可能な評価のレベルに制限される。したがって、ビデオ品質評価のためには、二つ以上の客観的メトリックを使用することが望ましい。ビデオ品質評価のため二つ以上の客観的メトリックを使用する改良されたシステム及び方法は、Ａｌｉ外によって２０００年１２月１２日に出願された、発明の名称が”Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ ａ Ｓｃａｌａｂｌｅ Ｄｙｎａｍｉｃ Ｏｂｊｅｃｔｉｖｅ Ｍｅｔｒｉｃ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｖａｌｕａｔｉｏｎ”である米国特許出願第０９／７３４，８２３号（代理人書類番号ＰＨＵＳ０００３８４）に記載されている。
【００１４】
［発明の概要］
ビデオ品質評価のためのより効率的な客観的メトリックを形成するため、客観的メトリックを組み合わせる改良型のシステム及び方法が技術的に必要である。
【００１５】
本発明は、概略的に説明すると、ビデオ画像のビデオ品質を自動的に評価するため相互依存的な客観的メトリックを利用する拡張可能な客観的メトリックを提供する改良型のシステム及び方法である。本発明は独立請求項によって規定される。従属請求項は有利な実施例を規定する。
【００１６】
本発明の有利な実施例では、本発明の改良型のシステムは、複数の客観的メトリック・モデル・ユニットから複数の客観的メトリック量を受け取ることができる客観的メトリック・コントローラを含む。客観的メトリック・コントローラは、望ましいビデオ画像特性と望ましくないビデオ画像特性の両方の特性のための客観的メトリックを使用することができる。客観的メトリック・コントローラは、複数の相互依存的な客観的メトリックを使用することが可能である。客観的メトリック・コントローラは、複数の相互依存的な客観的なメリット量から拡張可能な客観的メトリックを決定することができる。
【００１７】
本発明の有利な実施例では、本発明の改良型の方法は、客観的メトリック・コントローラで、相互依存的である客観的メトリック・モデル・ユニットの少なくとも１組のペアを含む複数の客観的メトリック・モデル・ユニットからメリットの複数の客観的メトリック量を受け取る手順と、メリットの複数の客観的メトリック量から拡張可能な客観的メトリックを決定する手順と、を有する。
【００１８】
本発明の主要な目的は、相互依存的な客観的メトリック・モデル・ユニットを使用してビデオ画像のビデオ品質を自動的に評価する拡張可能な客観的メトリックを提供する改良型のシステム及び方法である。
【００１９】
有利な実施例において、本発明は、客観的メトリック・モデル・ユニットの少なくとも１組の相互依存的なペアの相互依存性の数学的記述から導出された相関係数から拡張可能な客観的メトリックを提供する。
【００２０】
有利な実施例において、本発明は、客観的品質スコアと主観的品質スコアの両方を利用するニューラル・ネットワーク・アルゴリズムを使用して導出された相関係数から拡張可能な客観的メトリックを提供する。
【００２１】
有利な実施例において、本発明は、メリットの複数の客観的メトリック量の新しい値から拡張可能な客観的メトリックの新しい値を継続的に決定する。
【００２２】
上記の説明では、当業者が本発明の詳細な説明をより良く理解できるようにするため、本発明の機能及び技術的利点がかなり広範に亘って記載されている。請求項に係る発明の対象となる本発明の更なる機能及び利点は後述される。当業者は、本発明の同じ目的を実現するため他の構成を変更若しくは設計するための基礎として、開示された概念及び具体的な実施例を容易に使用できることを認める筈である。当業者は、このような等価的な構造は、最広義の本発明の範囲に包摂されることを認めるであろう。
【００２３】
本発明の詳細な説明を始める前に、本願明細書で使用されるある種の語句の定義を説明しておく方がよい。用語「含む」及び「有する」、並びに、これらの派生語は、無制限に包含することを意味する。用語「又は」は包括的であり、「及び／又は」の意味である。「関連した」や「関連させられた」等の句、及び、それらの派生句は、「包含する」、「包含される」、「相互に連結する」、「格納する」、「格納される」、「つながる」若しくは「連結する」、「つなぐ」若しくは「結び付く」、「連絡可能である」、「協働する」、「交互にする」、「並列にする」、「接近する」、「付く」若しくは「付けられる」、「もつ」、「所有する」などを表す。用語「コントローラ」、「プロセッサ」、又は、「機器」は、少なくとも一つの動作を制御する装置、システム、或いは、それらの一部を意味し、このような装置は、ハードウェア、ファームウェア、ソフトウェア、或いは、それらのうちの少なくとも二つの組み合わせによって実現される。尚、特定のコントローラに関連付けられた機能は、局所的でも遠隔的でもよく、集中型若しくは分散型のいずれでもよい。このような語句の定義は、本願明細書の全体で行われているので、当業者は、殆どの場合ではなくても、多くの場合に、このような定義がこのような定義された語句の過去並びに未来の用法にも当てはまることを認めるであろう。
【００２４】
本発明と本発明の効果が十分に理解されるように、以下の記述では、添付図面を参照する。添付図面中、同じ番号は同じ対象を表している。
【００２５】
［発明の詳細な説明］
本発明の改良型のシステム及び方法の原理を説明するための図面並びに種々の実施例は、一例として使用されたものに過ぎず、本発明の範囲を限定するものとして解釈されるべきではない。当業者は、本発明の原理がビデオ品質を評価するあらゆるタイプの装置に巧く適用されることを容易に認めるであろう。
【００２６】
図１には、自動ビデオ品質評価用の拡張可能な客観的メトリックを提供するシステム１００が示されている。システム１００は、ビデオストリーム１１０を受信する。複数の客観的メトリック・モデル・ユニット（１２０，１３０，・・・，１４０）の各々は、ビデオストリーム１１０のビデオ信号のコピーを受け取る。客観的メトリック・モデル・ユニット１２０は、第１のメリット量ｆ（１）を獲得するため、第１の客観的メトリック・モデル（「メトリック１」と呼ぶ）を適用する。第１のメリット量ｆ（１）は、第１の客観的メトリック・モデルに基づいてビデオ信号の品質を表現する。このメリット量ｆ（１）は、コントローラ１５０へ供給される。
【００２７】
同様に、客観的メトリック・モデル・ユニット１３０は、第２のメリット量ｆ（２）を獲得するため、第２の客観的メトリック・モデル（「メトリック２」と呼ぶ）を適用する。第２のメリット量ｆ（２）は、第２の客観的メトリック・モデルに基づいてビデオ信号の品質を表現する。このメリット量ｆ（２）も、コントローラ１５０へ供給される。以下同様にして、他の客観的メトリック・モデル・ユニットは、最後の客観的メトリック・モデル・ユニット１４０が追加されるまで追加される。客観的メトリック・モデル・ユニット１４０は、最後の客観的メトリック・モデル（「メトリックＮ」と呼ぶ）を適用する。客観的メトリック・モデル・ユニット（１２０，１３０，・・・，１４０）は、複数のメトリック量（ｆ（１），ｆ（２），・・・，ｆ（Ｎ））を獲得し、これらをコントローラ１５０へ供給する。
【００２８】
メトリック量（ｆ（１），ｆ（２），・・・，ｆ（Ｎ））は、Ｎ通りの客観的メトリックによるビデオストリームの品質のＮ個の評価の系列を表現する。このメトリック量（ｆ（１），ｆ（２），・・・，ｆ（Ｎ））は、ｉの値が１からＮまで変化するとき、ｆ（ｉ）としても表される。
【００２９】
以下で詳述するように、本発明のシステム１００は、拡張可能な客観的メリットを計算するためメリット量ｆ（ｉ）を使用するシステム及び方法を提供する。図１に示された文字「Ｆ」は、本発明の拡張可能な客観的メトリックを表す。
【００３０】
本発明のシステム１００は、コントローラ１５０とメモリ１６０を含む。コントローラ１５０は、従来のマイクロプロセッサ・チップ若しくは専用設計されたハードウェアを含む。コントローラ１５０は、（図１に示されるように）信号通信ラインを介して複数の客観的メトリック・モデル・ユニット（１２０，１３０，・・・，１４０）に接続される。コントローラ１５０は、データを処理し、データを記憶し、データを取り出し、データを出力するため、メモリ１６０に置かれたオペレーティングシステム（図示せず）と連動して動作する。コントローラ１５０は、メモリ１６０に記憶されたコンピュータ命令を実行することにより、拡張可能な客観的メトリックＦを計算する。
【００３１】
メモリ１６０は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、又は、ランダム・アクセス・メモリ（ＲＡＭ）とリード／オンリー・メモリ（ＲＯＭ）の組み合わせを含む。本発明の有利な実施例では、メモリ１６０は、フラッシュメモリのような不揮発性ランダム・アクセス・メモリ（ＲＡＭ）を含む。メモリ１６０は、ハードディスク装置（図示せず）若しくはコンパクト・ディスク・リード・オンリー・メモリ（ＣＤ−ＲＯＭ）（図示せず）のような大容量記憶装置を含む。
【００３２】
尚、本発明のシステム及び方法は、非限定的な例として、ＲｅｐｌａｙＴＶ（商標）ビデオレコーダ若しくはＴｉＶＯ（商標）ビデオレコーダのようなハードディスク装置ベースのテレビ及びハードディスク装置ベースのビデオレコーダを含む多種類のビデオ処理システムで使用される。
【００３３】
コントローラ１５０及びメトリック計算アルゴリズム１７０は、併せて、本発明を実施することができる客観的メトリック・コントローラを構成する。メモリ１６０に記憶されたメトリック計算アルゴリズム１７０のコンピュータ計算命令の下で、コントローラ１５０は、メリット量ｆ（ｉ）を使用して拡張可能な客観的メトリックＦを計算する。
【００３４】
コントローラ１５０内の重み付けユニット１９０は、ビデオシーケンスの現在出現中の特性を動的に検出する。現在出現中の特性には、鮮明さ、色、彩度、動きのような特徴、並びに、同様のタイプの特徴が含まれる。重み付けユニット１９０は、値（若しくは重み）ｗ（ｉ）を客観的メトリック（メトリック１，メトリック２，．．．，メトリックＮ）の各々に割り当てる。例えば、メトリック１が第１のタイプのビデオ信号に使用されたとき、特に優れているならば、ｗ（１）の値には、他のｗ（ｉ）の値よりも大きい値が与えられる。反対に、メトリック２が同じ第１のタイプのビデオ信号に使用されたとき、非常に悪いならば、ｗ（２）には、他のｗ（ｉ）の値よりも小さい値が与えられる。第２のタイプのビデオ信号が存在する場合、メトリック１とメトリック２が第２のタイプのビデオ信号に使用されたとき、メトリック１はメトリック２に比べてよくない場合がある。その場合、ｗ（２）には他のｗ（ｉ）の値よりも大きい値が与えられ、ｗ（１）には他のｗ（ｉ）の値よりも小さい値が与えられる。
【００３５】
一般的に、重み付けユニット１９０が選択するｗ（ｉ）の値は、重み付けユニット１９０が動的に検出したビデオ信号のタイプに依存して変化する。コントローラ１５０は、重みｗ（ｉ）とメトリック量ｆ（ｉ）の積の和Ｓを計算するため、メトリック計算アルゴリズム１７０を使用する。即ち、
2004518344.tif 000003
又は、
2004518344.tif 000004
である。式中、ｉの値は１からＮまで変化する。
【００３６】
相関係数ｒ（ｉ）は、各メトリック量ｆ（ｉ）に関連付けられる。相関係数ｒ（ｉ）は次の式、
2004518344.tif 000005
から獲得され、ここで、
2004518344.tif 000006
であり、ｊの値は１からＮまで変化し、
2004518344.tif 000007
である。
【００３７】
Ｘ（ｉ，ｊ）の値は、一つのビデオ画像に対するｎ個の客観的データ値の組の値である。Ｙ（ｉ，ｊ）の値は、同じビデオ画像に対するｎ個の主観的データ値の組の値である。即ち、Ｘデータ点の個数（ｎ）はＹデータ点の個数（ｎ）と同じである。
【００３８】
値ｒ（ｉ）は、スペアマン・ランク相関係数と呼ばれる。値ｒ（ｉ）は、客観的データＸ値が主観的データＹ値と一致する程度を表す測定量である。各メリット量ｆ（ｉ）に対する相関係数ｒ（ｉ）の値は既知であり、統計的解析によって予め決められている。相関係数ｒ（ｉ）の値は、メモリ１５０のメトリック・パラメータ・ルック・アップ・テーブル１８０に保存される。
【００３９】
拡張可能な客観的メトリック「Ｆ」に対する「最良適合」値が望まれる。Ｆの最良適合値は、（自動的に生成された）ビデオ品質の客観的メトリック測定量と（人の意見からの）ビデオ品質の主観的測定量との最高レベルの相関を表す。Ｆの最良適合値は、ビデオ品質の客観的測定量によるビデオ品質の主観的測定量の最良近似を表す。ビデオストリームのビデオ画像は絶えず変化しているので、最良適合は、一定の自動更新機能を必要とする。用語「動的」は、本発明の客観的メトリックが、ビデオストリーム中のビデオ画像の継続的な変化を考慮するため、客観的メトリック値を継続的に変化させる能力を表す。
【００４０】
上述のように、重みユニット１９０は、ビデオシーケンスの特性が出現したとき、継続的に（即ち、動的に）ビデオシーケンスの特性を検出する。相関係数ｒ（ｉ）毎に、重み付けユニット１９０は、ｗ（ｉ）の値を各メリット量ｆ（ｉ）へ継続的に割り当てる。Ｆの最良適合値を動的に獲得するため、メトリック計算アルゴリズム１７０は、各値ｒ（ｉ）に対して値Ｓを最大化させるｗ（ｉ）の値を決定する。これらの値の最高値（即ち、最大値）は、拡張可能な客観的メトリックＦになるように選択される。即ち、
2004518344.tif 000008
である。
【００４１】
拡張可能な客観的メトリックＦが「拡張可能」であると言われる理由は、（相関係数ｒ（ｉ）が定義されている限り）新しい客観的メトリック・モデル・ユニットを容易に追加できるからである。
【００４２】
本発明の拡張可能な客観的メトリックＦは、非常に大きいフレキシビリティを提供する。例えば、高速（リアルタイム）ビデオ信号の場合、複雑な測定の客観的メトリックは、スイッチがオフに切替えられるので、その客観的メトリックのメリット量はメトリック計算処理で考慮されない。メトリック計算を実行するために非常に長い時間を使用することができるシミュレーションとビデオ回路最適化のアプリケーションの場合、より複雑な測定の客観的メトリックがオンに切替えられるので、そのメリット量はメトリック計算処理中に考慮される。
【００４３】
本発明の拡張可能な客観的メトリックは、単独の客観的メトリックの欠点を回避する。なぜならば、重み付けユニット１９０は、あるアーティファクトの組が存在する場合に不完全にしか動作しない客観的メトリックに対し、小さい値をｗ（ｉ）割り当てるからである。本発明の拡張可能なメトリックは、単独の客観的メトリックと比較すると、主観的なテストの結果との間で最大相関を達成する。本発明の拡張可能な客観的メトリックは、少なくとも、あらゆる状況下での最良の単独の客観的メトリックと同程度に優れている。拡張可能な客観駅メトリックは、任意の客観的メトリックを包含することができるので、本発明のシステム及び方法は、特定のタイプの客観的メトリック（例えば、シングルエンド型客観的メトリック若しくはダブルエンド型客観的メトリック）と共に使用しなければならないという制限がない。
【００４４】
尚、ソフトウェアで実現された本発明の要素（例えば、重み付けユニット１９０）は、必要に応じて、ハードウェアで実現してもよい。
【００４５】
図示されるように、本発明のシステム１００は、ニューラル・ネットワーク・ユニット１９５を更に含む。一実施例において、ニューラル・ネットワーク・ユニット１９５は、コントローラ１５０に設けられる。ニューラル・ネットワーク・ユニット１５０の動作は後で詳述される。
【００４６】
本発明のシステムの動作方法は、以下の通りである。ビデオストリーム１１０からのビデオ画像は、Ｎ個の客観的メトリック・モデル・ユニット（１２０，１３０，．．．，１４０）に供給される。Ｎ個の客観的メトリック・モデル・ユニット（１２０，１３０，．．．，１４０）は、ビデオ画像を評価し、Ｎ個の各メリット量ｆ（ｉ）を獲得する。
【００４７】
客観的メトリック・コントローラ１５０の重み付けユニット１９０は、ビデオ画像のビデオ特性を動的に検出し、Ｎ個の重みｗ（ｉ）をＮ個のメリット量ｆ（ｉ）に割り当てる。相関係数ｒ（ｉ）毎に、客観的メトリック・コントローラ１５０は、重みｗ（ｉ）とメリット量ｆ（ｉ）の積和と一致する和Ｓ（ｒ（ｉ））を計算する。
【００４８】
客観的メトリック・コントローラ１５０は、ビデオ品質の客観的測定量とビデオ品質の主観的測定量との最良相関に対応した和Ｓ（ｒ（ｉ））の最大値を選択する。客観的メトリック・コントローラ１５０は、その値を、拡張可能な客観的メトリックＦの値に割り当てる。客観的メトリック・コントローラ１５０は、Ｆの値を出力する。
【００４９】
Ｆの値が出力された後、客観的メトリック・コントローラ１５０がビデオ画像を受信し続けているかどうかを判定する。ビデオが終了した場合、処理は終了する。ビデオが未だ終了せず、ビデオ画像が受信され続けている場合、制御は、ユニット１２０−１４０によって実行される第１の手順へ戻され、客観的コントローラ１５０は、上述した方法で動作し続ける。
【００５０】
本発明は、ビデオ画像のビデオ品質を評価する拡張可能な客観的メトリックを提供するシステムとして説明されている。本発明の拡張可能な客観的メトリックは、一般的なケースを表しているが、その部分集合として、静的な客観的メトリックを供給するより具体的なケースを含む。静的な客観的メトリックを提供するため、本発明は、複数の客観的メトリック・モデル・ユニットからメリットについての複数の客観的メトリック量を受け取り、複数の客観的メトリック量の各々に対し、重み値ｗ（ｉ）を決定し、ビデオストリーム１１０の客観的メトリックＦを計算する処理中に重み値ｗ（ｉ）を一定に保つ（即ち、変化させない。）。
【００５１】
本発明は、望ましい画像特徴を表現する単一の客観的メトリックと、望ましくない画像特徴を表現する単一の客観的メトリックの両方を使用することにより、客観的メトリックＦを計算するシステム及び方法を含む。望ましい画像特徴の例は、鮮明さ（シャープネス）とコントラストである。望ましくない画像特徴の例は、ノイズ、濃淡むら、及び、エイリアシングである。良好な結果を生じする動的な客観的メトリックＦは、競合する単一の客観的メトリックを使用することによって獲得される。即ち、望ましい画像特徴と望ましくない画像特徴の両方を表現する単一の客観的メトリックを組み合わせるべきである。
【００５２】
単一の客観的メトリックは相互依存的でもよい。例えば、単一の鮮明さの客観的メトリックが画像にノイズが存在する状況に依存する場合を考える。画像の鮮明さを高周波帯ＢＨ内の信号電力ＰＨで表す。画像の鮮明さを増加することは、この周波数帯内の信号電力をＰＨ’へ増加させる。ここで、ＰＨ’は、ＰＨにＰＨの変動（即ち、ΔＰＨ）を加えたものに一致する。このことは、
2004518344.tif 000009
によって表現される。
【００５３】
測定された信号電力は、画像鮮明さの指標である。
【００５４】
クリーン画像に白色ノイズを加えると、
2004518344.tif 000010
のように信号電力が増加する。
【００５５】
ここで、ＮＨは、周波数帯ＢＨにおけるノイズ電力を表す。鮮明さのメトリックは、総信号電力ＰＨから測定されたノイズ電力ＮＨを差し引いたものとして定義される。鮮明さメトリックは、ノイズメトリックに相互依存する。
【００５６】
相互依存的でない単一の客観的メトリックが使用される場合、拡張可能な客観的メトリックＦは式（６）で計算される。望ましい特徴に割り当てられた重み係数は、望ましくない特徴に割り当てられた重み係数の符号と反対の符号が与えられる。
【００５７】
相互依存的ではない単一の客観的メトリックが使用される場合、拡張可能な客観的メトリックＦは、必ずしも、単一の客観的メトリックの値の線形関数ではない。相互依存的な単一の客観的メトリックが存在する場合、拡張可能な客観的メトリックＦの値は、数式との相互依存性を記述する式（１）と、相互依存性に対応した画像と主観的品質スコアを相関させる式（２）とによって決定される。
【００５８】
或いは、拡張可能な客観的メトリックＦの値は、客観的品質スコアと主観的品質スコアの両方のスコアを利用するニューラル・ネットワーク・アルゴリズムを使用して決定される。本発明の本実施例では、コントローラ１５０は、相互依存型の客観的メトリック値から拡張可能な客観的メトリックＦの値を計算するため、ニューラル・ネットワーク・ユニット１９５を利用する。一実施例において、ニューラル・ネットワーク・ユニット１９５は、コントローラ１５０に設けられる。一実施例では、ニューラル・ネットワーク・ユニット１９５は、コントローラ１５０の外部に設けられる。
【００５９】
本発明のシステムの別の動作方法は、以下の通りである。ビデオストリーム１１０からのビデオ画像は、Ｎ個の客観的メトリック・モデル・ユニット（１２０，１３０，．．．，１４０）に供給される。Ｎ個の客観的メトリック・モデル・ユニット（１２０，１３０，．．．，１４０）は、ビデオ画像を評価し、対応したＮ個のメリット量ｆ（ｉ）を獲得する。
【００６０】
客観的メトリック・コントローラ１５０内の重み付けユニット１９０は、ビデオ画像のビデオ特性を動的に検出し、Ｎ個の重みｗ（ｉ）をＮ個のメリット量ｆ（ｉ）に割り当てる。非依存的（即ち、非相互依存的）な客観的メトリックの場合、客観的メトリック・コントローラ１５０は、相関係数ｒ（ｉ）を使用して、和Ｓ（ｒ（ｉ））を計算する。和Ｓ（ｒ（ｉ））は、重みｗ（ｉ）とメリット量ｆ（ｉ）の積和に一致する。
【００６１】
非依存的（即ち、非相互依存的）な客観的メトリックの場合、客観的メトリック・コントローラ１５０は、次に、和Ｓ（ｒ（ｉ））の最大値を選択する。この最大値は、ビデオ品質の客観的測定量とビデオ品質の主観的測定量の最大相関に対応する。客観的メトリック・コントローラ１５０は、その値を、拡張可能な客観的メトリックＦの値に割り当てる。
【００６２】
相互依存的な客観的メトリックの場合、客観的メトリック・コントローラ１５０は、相互依存的な客観的メトリックの相互依存性の数学的記述から拡張可能な客観的メトリックＦの値を計算する。
【００６３】
客観的メトリック・コントローラ１５０は、Ｆの値を出力する。Ｆの値が出力された後、客観的メトリック・コントローラ１５０がビデオ画像を受信し続けているかどうかを判定する。ビデオが終了した場合、処理は終了する。ビデオが未だ終了せず、ビデオ画像が受信され続けている場合、制御は、最初の手順へ戻され、客観的メトリック・コントローラ１５０は上述の方法で動作し続ける。
【００６４】
次に、本発明のシステムの別の動作方法を説明する。ビデオストリーム１０からのビデオ画像は、Ｎ個の客観的メトリック・モデル・ユニット（１２０，１３０，．．．，１４０）に供給される。Ｎ個の客観的メトリック・モデル・ユニット（１２０，１３０，．．．，１４０）は、ビデオ画像を評価し、対応したＮ個のメリット量ｆ（ｉ）を獲得する。
【００６５】
依存的又は相互依存的な客観的メトリックの場合、客観的メトリック・コントローラ１５０は、相互依存的な客観的メトリックの値から拡張可能な客観的メトリックＦの値を計算するため、ニューラル・ネットワーク・ユニット１９５を使用する。ニューラル・ネットワーク・ユニット１９５のニューラル・ネットワーク・アルゴリズムは、主観的ビデオ品質スコアを用いて予め学習済みである。
【００６６】
客観的メトリック・コントローラ１５０は、Ｆの値を出力する。Ｆの値が出力された後、客観的メトリック・コントローラ１５０がビデオ画像を受信し続けているかどうかを判定する。ビデオが終了した場合、処理は終了する。ビデオが未だ終了せず、ビデオ画像が受信され続けている場合、制御は、最初の手順へ戻され、客観的メトリック・コントローラ１５０は上述の方法で動作し続ける。
【００６７】
本発明は詳細に説明されているが、当業者は、独立請求項に記載されているような最広義の意味で本発明の範囲から逸脱することなく、様々な変更、置換及び代替をなし得ることがわかる。請求項中、括弧で囲まれた参照符号は、請求項に係る発明を限定するものとして解釈されるべきではない。「有する」、「含む」のような語は、請求項に列挙されていない要素若しくは手順の存在を排除するものではない。要素に付けられた冠詞は、複数の要素の存在を排除するものではない。本発明は、幾つかの別々の要素を含むハードウェア、及び、適当にプログラミングされたコンピュータを用いて実施可能である。幾つかの手段を列挙する装置クレームにおいて、幾つかの手段は、全く同一のハードウェア品によって具現化してもよい。ある種の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段を組み合わせて使用しても有利ではない、ということを示すものではない。
【図面の簡単な説明】
【図１】
ビデオストリームからメリットの複数の客観的メトリック量を獲得する複数の客観的メトリック・モデル・ユニットと、拡張可能な客観的メリットを決定するためメリットの複数の客観的メトリック量を使用する能力を備えた客観的メトリック・コントローラとを説明するブロック図である。
【国際公開パンフレット】
2004518344.tif 000011
2004518344.tif 000012
2004518344.tif 000013
2004518344.tif 000014
2004518344.tif 000015
2004518344.tif 000016
2004518344.tif 000017
2004518344.tif 000018
2004518344.tif 000019
2004518344.tif 000020
2004518344.tif 000021
2004518344.tif 000022
2004518344.tif 000023
2004518344.tif 000024
2004518344.tif 000025
2004518344.tif 000026
2004518344.tif 000027
2004518344.tif 000028
【国際調査報告】
2004518344.tif 000029
2004518344.tif 000030
2004518344.tif 000031