(57)【特許請求の範囲】
【請求項１】
視覚的品質特性を評価する方法であって：
少なくとも第一の画像もしくはビデオ信号および第二の画像もしくはビデオ信号にアクセスする段階と；
アクセスされた少なくとも第一および第二の画像もしくはビデオ信号を処理する段階と；
少なくとも部分的に前記処理する段階に基づいて、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の差を測定する段階とを含み、前記視覚的品質特性は、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差の大きさに関係し；
前記少なくとも第一および第二の画像もしくはビデオ信号はダイナミックレンジまたは色範囲の一つまたは複数を含み；
前記視覚的品質特性は、少なくとも部分的に、前記測定する段階に基づいて評価され、
前記視覚的品質特性の前記評価は、前記視覚的品質特性に関係した線形の知覚モデルまたは主観的な推定の少なくとも一方に少なくとも部分的に基づく評価プロセスとは独立に実行または執行され、
前記ダイナミックレンジが視覚ダイナミックレンジ（VDR）または高ダイナミックレンジ（HDR）の少なくとも一方を含む、
方法。
【請求項２】
前記色範囲が、拡張された色範囲または広色範囲（WCG）の少なくとも一方を含む、請求項１記載の方法。
【請求項３】
前記線形の知覚モデルは、人間の視覚系（HVS）の一つまたは複数の特性または属性を表す、請求項１記載の方法。
【請求項４】
前記線形の知覚モデルまたは前記主観的な品質推定の一つまたは複数が、視覚的差分予測（VDP）または最小可知差異（JND）測定の一つまたは複数を含む、請求項１記載の方法。
【請求項５】
処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差を報告する段階をさらに含む、請求項１記載の方法。
【請求項６】
前記報告する段階が、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差に基づく視覚的品質評価を出力する段階を含む、請求項５記載の方法。
【請求項７】
報告される、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差が：
処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差に関係した数値データ；または
処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差を表す差分マップ、
の一つまたは複数を含む、請求項５記載の方法。
【請求項８】
前記差分マップが、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差を、グラフィカルなフォーマットで表す、請求項７記載の方法。
【請求項９】
グラフィカルにフォーマットされた前記マップが、処理された少なくとも第一および第二の画像の間の測定された差を、前記少なくとも第一および第二の画像との対応または位置合わせの一つまたは複数において表す、請求項７記載の方法。
【請求項１０】
処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差にマーク付けする段階をさらに含み、
前記差分マップが、前記少なくとも第一および第二の画像もしくはビデオ信号に空間的に適合する、マークされた測定された差の表現を有する、
請求項７記載の方法。
【請求項１１】
前記少なくとも第一および第二の画像もしくはビデオ信号の少なくとも一つが、前記視覚的品質特性が評価されるターゲット画像を含み、
前記少なくとも第一および第二の画像もしくはビデオ信号の少なくとも一つが、前記視覚的品質特性が前記ターゲット画像について評価される比較の対象となる参照画像を含む、
請求項１記載の方法。
【請求項１２】
前記処理する段階が、複数の関係したパラメータ表現された関数に従って前記少なくとも第一および第二の画像もしくはビデオ信号の一つまたは複数の成分を計算する段階を含む、請求項１記載の方法。
【請求項１３】
前記計算する段階が写真マッピングを計算することを含む、請求項１２記載の方法。
【請求項１４】
前記少なくとも第一および第二の画像もしくはビデオ信号の前記一つまたは複数の成分が、前記少なくとも第一および第二の画像もしくはビデオ信号の輝度または色特性に関係する、請求項１２記載の方法。
【請求項１５】
前記ダイナミックレンジまたは前記色範囲の一つまたは複数がそれぞれ第一のダイナミックレンジまたは第一の色範囲を含み、前記処理する段階が、前記少なくとも第一および第二の画像もしくはビデオ信号に関連する色空間を：
第一のダイナミックレンジから、該第一のダイナミックレンジより広い少なくとも第二のダイナミックレンジに；または
第一の色範囲から、該第一の色範囲より広い少なくとも第二の色範囲に、
変換する段階を含む、請求項１４記載の方法。
【請求項１６】
前記色空間を変換する段階が：
前記一つまたは複数の第一のダイナミックレンジまたは前記第一の色範囲に関連する第一の複数の非線形値を、第二の、本質的に線形な値に変換する段階と；
前記第二の、本質的に線形な値を、前記第二の、本質的に線形な値に変換する段階に関連する知覚的な非一様性に対応する非線形因子でスケーリングする段階とを含む、
請求項１５記載の方法。
【請求項１７】
前記第一の複数の非線形な値はガンマ・エンコードされたRGB信号に関連付けられた値を含み、前記第二の、本質的に線形な値に変換する段階は、前記RGB信号に関連するガンマ・エンコードを打ち消すまたは該ガンマ・エンコードの逆を行う段階を含み、前記RGB信号は本質的に線形化されている、請求項１６記載の方法。
【請求項１８】
前記スケーリングする段階が、前記少なくとも第一および第二の画像もしくはビデオ信号の輝度関係の成分または色特性の一つまたは複数に対して適用される、請求項１６記載の方法。
【請求項１９】
前記少なくとも第一および第二の画像もしくはビデオ信号の輝度関係の成分および／または色特性の一つまたは複数をスケーリングする際、前記少なくとも第一および第二の画像もしくはビデオ信号のスケーリングされた輝度関係の成分または色特性に従って前記差を測定する段階をさらに含む、請求項１８記載の方法。
【請求項２０】
前記本質的に線形化されているRGB信号はXYZ色空間を含む、請求項１７記載の方法。
【請求項２１】
前記XYZ色空間をスケーリングされたRGB色空間に変換する段階と；
スケーリングされたRGB色空間をガンマ値でエンコードする段階と；
ガンマ・エンコードされたスケーリングされたRGB色空間に従って前記差を測定する段階とをさらに含む、
請求項２０記載の方法。
【請求項２２】
処理された少なくとも第一および第二の画像もしくはビデオ信号の間の差を測定する前記段階は、構造的類似性インデックス値を測定する段階を含む、請求項１記載の方法。
【請求項２３】
前記構造的類似性インデックス値を測定する段階は：
前記少なくとも第一および第二の画像もしくはビデオ信号に関連する強度に関係する値を比較する段階と；
前記少なくとも第一および第二の画像もしくはビデオ信号に関連するコントラストに関係する値を比較する段階と；
前記少なくとも第一および第二の画像もしくはビデオ信号に関連する構造に関係する値を比較する段階とを含む、
請求項２２記載の方法。
【請求項２４】
前記処理する段階または前記差を測定する段階の一つまたは複数は、画像またはビデオ・チャネルの属性の一つまたは複数に対して計算、実行または執行される動作を含み、前記属性は強度または色の一つまたは複数を含む、請求項１記載の方法。
【請求項２５】
前記第一および第二のビデオ信号は、フレーム、スライスまたはフィールドのうちの一つまたは複数を複数個含み、当該方法がさらに：
各フレーム、スライスまたはフィールドについての差を個々の差として測定する段階と；
測定された個々の差をさらに処理する段階と；
前記複数のフレーム、スライスまたはフィールドを含むビデオ・シーケンスについての全体的な差の値を生成する段階とを含む、
請求項１記載の方法。
【請求項２６】
視覚的品質特性を評価するシステムであって：
少なくとも第一の画像もしくはビデオ信号および第二の画像もしくはビデオ信号にアクセスする手段と；
アクセスされた少なくとも第一および第二の画像もしくはビデオ信号を処理する手段と；
少なくとも部分的に前記処理する段階に基づいて、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の差を測定する手段とを有しており、前記視覚的品質特性は、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差の大きさに関係し；
前記少なくとも第一および第二の画像もしくはビデオ信号はダイナミックレンジまたは色範囲の一つまたは複数を含み；
前記評価する手段は、前記視覚的品質特性を、少なくとも部分的に、前記測定する段階に基づいて評価し、
前記視覚的品質特性の前記評価は、前記視覚的品質特性に関係した線形の知覚モデルまたは主観的な推定の少なくとも一方に少なくとも部分的に基づく評価プロセスとは独立に実行または執行され、
前記ダイナミックレンジが視覚ダイナミックレンジ（VDR）または高ダイナミックレンジ（HDR）の少なくとも一方を含む、
システム。
【請求項２７】
一つまたは複数のプロセッサで実行するときに、前記プロセッサに視覚的品質特性を評価させる、前記プロセッサを視覚的品質特性を評価するよう制御するまたは前記プロセッサを視覚的品質特性を評価するようプログラムする命令を含む非一時的なコンピュータ可読記憶媒体であって：
少なくとも第一の画像もしくはビデオ信号および第二の画像もしくはビデオ信号にアクセスする段階と；
アクセスされた少なくとも第一および第二の画像もしくはビデオ信号を処理する段階と；
少なくとも部分的に前記処理する段階に基づいて、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の差を測定する段階とを含み、前記視覚的品質特性は、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差の大きさに関係し；
前記少なくとも第一および第二の画像もしくはビデオ信号はダイナミックレンジまたは色範囲の一つまたは複数を含み；
前記視覚的品質特性は、少なくとも部分的に、前記測定する段階に基づいて評価され、
前記視覚的品質特性の前記評価は、前記視覚的品質特性に関係した線形の知覚モデルまたは主観的な推定の少なくとも一方に少なくとも部分的に基づく評価プロセスとは独立に実行または執行され、
前記ダイナミックレンジが視覚ダイナミックレンジ（VDR）または高ダイナミックレンジ（HDR）の少なくとも一方を含む、
記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
〈関連出願への相互参照〉
本願はここにその全体において参照によって組み込まれる、２０１０年４月１９日に出願された米国特許仮出願第61/325,614号の優先権を主張する。
【０００２】
〈技術〉
本発明は、概括的には画像およびビデオの品質評価に関する。より詳細には、本発明のある実施形態は、高ダイナミックレンジ、視覚ダイナミックレンジおよび広色範囲の画像およびビデオの品質評価に関する。
【背景技術】
【０００３】
〈高ダイナミックレンジ、視覚ダイナミックレンジおよび広色範囲〉
本稿での用法では、ダイナミックレンジという用語は画像中のルミナンス（たとえば強度）の範囲に関係しうる。現実世界のシーンにおけるダイナミックレンジは大きい。画像およびビデオ信号の取り込み、表現および呈示のために今日使われている種々の画像およびビデオ・アプリケーションは異なるダイナミックレンジをもつことがある。たとえば、写真のネガは比較的大きなダイナミックレンジをもつことができる一方、写真プリント、いくつかの現存する（たとえば従来の）テレビジョン（TV）セットおよびコンピュータ・モニタはより小さなダイナミックレンジをもつことがある。
【０００４】
本稿での用法では、「低ダイナミックレンジ（LDR:  low  dynamic  range）」という用語は、多くの現行のTVまたはモニタ・ディスプレイに関連するダイナミックレンジに関しうる。LDR画像と対照的に、高ダイナミックレンジ（HDR:  high  dynamic  range）画像は、HDR画像のベースとなるもとのシーンにおけるダイナミックレンジの本質的にすべてを含む。LDR画像は、今日普及している8ビット・ディスプレイでレンダリングされる画像が典型例である。HDR画像は10ないし14ビット・ディスプレイでレンダリングされうる。
【０００５】
頒布および表示のための圧縮のようないくつかの用途のためには、HDRをエンコードすることは必要ないことがあり、実際、計算上高価および／または帯域幅を消費するきらいがあることがある。しかしながら、これら現代の用途のいくつかについて、LDR画像はあらゆる目的のためにとても十分ではない。その代わり、そのような用途は、視覚ダイナミックレンジ（VDR:  Visual  Dynamic  Range）によって特徴付けされてもよい画像をより有利に使用、記憶、伝送またはレンダリングしうる。VDR画像は、典型的な人間の視覚系（HVS:  human  visual  system）が同時に知覚できる（たとえば、任意の所与の時点において視覚的に知覚できる）ルミナンスおよび色の本質的にすべてを網羅する。
【０００６】
背景となる図１は、同時に可視のルミナンスの範囲（たとえば、上の「同時可視」範囲の矢印内に示されるVDR）をもつ人間の可視ルミナンスの範囲全体（たとえば、中央の「適応範囲」の矢印で示されるHDR）と、典型的な8ビットのガンマ・マッピングされるディスプレイの範囲（たとえば、下の「装置」範囲の矢印内で示されるLDR）との間の比較を描いている。このように、図１は、本発明の実施形態に関連しうる背景情報として、HDR、VDRおよびLDRの比較を描いている。
【０００７】
本稿での用法では、色範囲（color  gamut）という用語は、色のある種の部分集合に関しうる。色範囲は、CIE1931色度図内の領域として普通に表現される。これは、色、画像、ビデオ、ディスプレイ、映画および写真（たとえば、「カラーの画像およびビデオ」）の分野における当業者にはおなじみである。これらの分野における当業者は、CIE1931色度図のいくぶん「馬蹄形」の領域が可能な色度の範囲全体を表すことを認識する。
【０００８】
しかしながら、どんな表示装置についても、再現または表示できる色の集合には物理的な限界がある。たとえば、陰極線管（CRT）、液晶ディスプレイ（LCD）またはプラズマ・ディスプレイといった既存の表示装置は典型的には、色空間全体における比較的小さな領域しかカバーしない。CIE1931色度図を参照すると、色、画像およびビデオ分野の当業者は、たいていの従来型装置において利用可能な色範囲が三角形として表現でき、その三角形が、存在しうる可能な色度の範囲全体を表すCIE1931色度図の、有意に（たとえば実質的に）より大きな馬蹄形の領域全体内にあることを認識する。
【０００９】
特定の色モデル内で表示、レンダリングまたは再現されることのできないある種の色は、本稿では色範囲外と称されることがある。そうした色を扱い、再現し、表示するには、追加的な処理が典型的には必要となる。そのような追加的な処理は本稿では色範囲マッピング（gamut  mapping）と称されることがある。本稿での用法では、広色範囲（WCG:  wide  color  gamut）という用語は、CIE1931色度図の馬蹄形内の前記のより小さな三角形に画定された装置より多くの色を、そして本質的には極限において、HVSが知覚できるすべての色を網羅する色範囲に関しうる。背景となる図２は、この色度図の例示的なグレースケール表現を描いている。これは、少なくとも画像、色、ビデオ、映画、写真などに関する分野の当業者にはおなじみなはずである。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記セクションに記載されるアプローチは、追求されることのできるアプローチであるが、必ずしも以前に着想または追求されたアプローチではない。よって、特に断りのない限り、上記セクションに記載されるアプローチのいずれかが、単にこのセクションに含まれているというだけで、従来技術の資格があると想定すべきではない。同様に、一つまたは複数のアプローチに関して同定される問題は、特に断りのない限り、このセクションに基づいて、従来技術において認識されていたと想定すべきではない。
【課題を解決するための手段】
【００１１】
本発明は、限定ではなく例として、付属の図面において例解される。図面において、同様の参照符号は同様の要素を指す。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に関連しうる背景情報として、HDR、VDRおよびLDRの間の比較を描く図である。
【図２】本発明の実施形態に関連しうる背景情報として、色度図の例示的なグレースケール表現を描く図である。
【図３】本発明のある実施形態を実施するのに用いうるVDPの例を描く図である。
【図４】本発明のある実施形態を実施するのに用いうる、VDPメトリックのHDR空間への例示的な拡張を描く図である。
【図５】本発明のある実施形態に基づく、HDR、VDRおよびWCGの画像および／またはビデオ信号の対の間の視覚的な差の例示的な評価を描く図である。
【図６】本発明のある実施形態を実施するのに用いうる、例示的なHDR/VDR色空間に変換されるガンマ・エンコードされたRGB信号を描く図である。
【図７】本発明のある実施形態に基づく、例示的な非線形スケーリングされたHDR/VDRルミナンス値の表現を描く図である。
【図８】本発明のある実施形態に基づく信号強度の例示的な比較を描く図である。
【図９】Ａ、Ｂは、本発明のある実施形態に基づいてなされた試験シーケンス画像の例示的な比較を描く図である。Ｃ、Ｄは本発明の諸実施形態に基づいてなされた例示的な品質評価差分マップを描く図である。
【図１０】Ａ、Ｂは、本発明のある実施形態に基づいてなされた試験シーケンス画像の例示的な比較を描く図である。Ｃ、Ｄは本発明の諸実施形態に基づいてなされた例示的な品質評価差分マップを描く図である。
【図１１】Ａ、Ｂは、本発明のある実施形態に基づいてなされた試験シーケンス画像の例示的な比較を描く図である。Ｃ、Ｄは本発明の諸実施形態に基づいてなされた例示的な品質評価差分マップを描く図である。
【図１２】本発明のある実施形態が使用されうる例示的なビデオ・エンコード・システムを描く図である。
【発明を実施するための形態】
【００１３】
高ダイナミックレンジ、視覚ダイナミックレンジおよび広色範囲の画像およびビデオの品質評価がここで記載される。以下の記述では、説明の目的で、本発明の十全な理解を提供するために数多くの個別的詳細が記載される。しかしながら、本発明がこうした個別的な詳細なしでも実施されうることは明白であろう。他方、本発明を無用に隠蔽したり、かすませたり、埋没させたりするのを避けるため、よく知られた構造および装置は網羅的な詳細さで記載されてはいない。
【００１４】
〈概観〉
本稿に記載される例は、高ダイナミックレンジ、視覚ダイナミックレンジおよび広色範囲の画像およびビデオの品質評価に関する。視覚的品質特性を評価することは、少なくとも第一の画像もしくはビデオ信号および第二の画像もしくはビデオ信号にアクセスし、これを処理することを含む。アクセスされた画像またはビデオ信号を処理することに少なくとも部分的に基づいて、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の差が測定される。視覚的品質特性は、処理された第一および第二の画像もしくはビデオ信号の間の測定された差の大きさに関係する。前記少なくとも第一および第二の画像もしくはビデオ信号はあるダイナミックレンジおよび／または色範囲を含む。視覚的品質特性は、少なくとも部分的に、測定された差に基づいて評価される。ダイナミックレンジは視覚ダイナミックレンジ（VDR）および／または高ダイナミックレンジ（HDR）を含み、色範囲は、拡張された色範囲または広色範囲（WCG）の少なくとも一方を含む。
【００１５】
本稿で記載される技法は、少なくとも第一および第二の画像もしくはビデオ信号との関係で記載されるが、二つより多くの画像もしくはビデオ信号に対して適用されてもよいことは理解しておくべきである。本稿の記述は、画像もしくはビデオ信号または両方に言及することがあるが、一方の用語への言及が両方の用語を記述することを意図している（特定の記述もしくはその一部がその特定の場合においてそうでないことを明白に述べているのでない限り）ことも理解しておくべきである。
【００１６】
ある実施形態は、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差を、たとえば、処理された第一および第二の画像もしくはビデオ信号の間の測定された差に基づく視覚的品質評価の出力をもって報告する。報告された、処理された第一および第二の画像もしくはビデオ信号の間の測定された差は、処理された第一および第二の画像もしくはビデオ信号の間の測定された差に関係した数値データおよび／または処理された第一および第二の画像もしくはビデオ信号の間の測定された差を表すマップを含んでいてもよい。差分マップは、処理された少なくとも第一および第二の画像もしくはビデオ信号の間の測定された差を、グラフィカルなフォーマットで表現してもよい。グラフィカルにフォーマットされたマップは、処理された少なくとも第一および第二の画像の間の測定された差を、少なくとも第一および第二の画像との対応または位置合わせの一つまたは複数において表す。ある実施形態は、処理された第一および第二の画像もしくはビデオ信号の間の測定された差をマークする。こうして、差分マップは、第一および第二の画像もしくはビデオ信号との空間的な適合におけるマークされた測定された差を表す。
【００１７】
ある実施形態では、前記第一および第二の画像もしくはビデオ信号の少なくとも一方は視覚的品質特性が評価されるターゲット画像を含む。こうして、前記画像もしくはビデオ信号の少なくとも第二のものは参照画像を含む。視覚的品質特性は、ターゲット画像について、参照画像との比較で評価される。
【００１８】
ある実施形態では、アクセスされた画像もしくはビデオ信号を処理することは、複数の関係したパラメータ表現された関数（parameterized  functions）に従って前記少なくとも第一および第二の画像もしくはビデオ信号の一つまたは複数の成分を計算することを含む。ある実施形態では、複数の関係したパラメータ表現された関数に従って前記少なくとも第一および第二の画像もしくはビデオ信号の成分を計算することは、写真マッピング（photographic  mapping）を計算することを含む。第一および第二の画像もしくはビデオ信号の成分は、第一および第二の画像もしくはビデオ信号の輝度（brightness）特性（たとえば強度（intensity）、ルミナンス（luminance）、ルーマ（luma））または色（color）特性（たとえばクロミナンス（chrominance）、クロマ（chroma））に関係する。
【００１９】
ある実施形態のダイナミックレンジおよび／または色範囲はそれぞれ、第一のダイナミックレンジまたは第一の色範囲を含む。アクセスされた画像もしくはビデオ信号を処理することは、前記少なくとも第一および第二の画像もしくはビデオ信号に関連付けられた色空間を変換することを含む。色空間は、第一のダイナミックレンジから少なくとも第二のダイナミックレンジに変換されてもよい。追加的または代替的に、色空間は、第一の色範囲から少なくとも第二の色範囲に変換されてもよい。
【００２０】
色空間の変換は、第一のダイナミックレンジおよび／または第一の色範囲に関連付けられた複数の第一の非線形値を、本質的に線形な特性をもつ複数の第二の値に変換することを含んでいてもよい。第二の値は、非線形スケーリング因子に従ってスケーリングされる。該非線形スケーリング因子は、非線形な値から本質的に線形な値への変換に関連しうる知覚的な非一様性に対応するものである。第一の非線形な値はガンマ・エンコードされたRGB信号に関連付けられていてもよい。よって、本質的に線形な値に変換することは、RGB信号に関連するガンマ・エンコードを打ち消すまたは逆転させることを含んでいてもよい。非線形スケーリングは、第一および第二の画像もしくはビデオ信号の輝度関係の成分および／または色特性に対して適用されてもよい。輝度関係の成分および／または色特性をスケーリングする際、第一および第二の画像の間の差は、スケーリングされた輝度関係の成分および／またはスケーリングされた色特性に従って測定されてもよい。本質的に線形化されたRGB信号はXYZ色空間を含んでいてもよい。ある実施形態は、XYZ色空間をスケーリングされたRGB色空間に変換し、スケーリングされたRGB色空間をガンマ値でエンコードしてもよい。第一および第二の画像もしくはビデオ信号の間の差はガンマ・エンコードされたスケーリングされたRGB色空間に従って測定されてもよい。
【００２１】
ある実施形態では、処理された第一および第二の画像もしくはビデオ信号の間の差を測定することは、両者の間の構造的類似性インデックス（SSIM:  structural  similarity  index）値を測定することを含む。構造的類似性インデックスを測定することは、画像強度（たとえば輝度）、コントラストおよび構造に関係する値を比較することを含む。強度、コントラストおよび構造は第一および第二の画像もしくはビデオ信号に関連付けられている。
【００２２】
第一および第二のビデオ信号は、複数のフレーム、スライスおよび／またはフィールドを含んでいてもよい。ある実施形態は、各フレーム、スライスおよび／またはフィールドについての差を個々の差として測定し、測定された個々の差をさらに処理し、前記複数のフレーム、スライスまたはフィールドを含むビデオ・シーケンスについての全体的な差の値を生成する。
【００２３】
ある実施形態は、マイクロプロセッサ、デジタル信号プロセッサ（DSP）、ゲート・アレイ（たとえばFPGA）およびマイクロコントローラのような構成設定可能もしくはプログラム可能な論理デバイスおよび特定用途向け集積回路（ASIC）を含む、多様なシステム、ビデオ品質評価装置、集積回路（IC）でこれらの技法を実行、執行もしくは実装してもよい。
【００２４】
〈例示的な画像およびビデオ品質評価〉
画像もしくはビデオ信号の視覚的品質に関係する属性を評価することは、これに限られないが、画像もしくはビデオ信号の取り込み、圧縮、送達および表示を含みうる画像およびビデオ用途において有意でありうる。品質評価は、画像およびビデオ信号の「品質属性」（たとえば、視覚的または映像的な秀逸さ、立派さ、確度、精度または価値の一つまたは複数の側面の主観的または客観的な知覚または測定に関係する特性）をベンチマーク試験、モニタリング、調整および／または最適化するために使用されることができる。
【００２５】
一般に、画像およびビデオ品質評価方法は、主観的または客観的品質評価の少なくとも一方にはいる。主観的な品質評価を達成するには、典型的には多数の人間の観察者が、制御された環境においてターゲット画像および表示されたビデオ信号を視覚的に評価する。ターゲット画像または表示されたビデオ信号を評価する際、人間の観察者は、各被験者観察者によって知覚された観察された画像およびビデオ信号の知覚的な品質に関係する判断、意見または傾向に関して投票を求められる。観察者の判断は次いで、典型的にはさらに処理されて平均オピニオン評点（MOS:  Mean  Opinion  Score）を形成する。
【００２６】
主観的な品質評価によって確立された評価意見は一般に、有意な「基礎的な事実」指標と考えられる。しかしながら、主観的な品質評価は典型的には、完了するために時間および費用のかなりの投資を要求する。さらに、用途によっては、主観的な品質評価は時に本質的に非実用的であることがある。主観的な品質評価が時に本質的に非実用的となりうる用途は、これに限られないが、少なくとも部分的にリアルタイムの評価フィードバックから裨益しうる画像およびビデオ・プロセス（たとえばアルゴリズム）最適化を含みうる。
【００２７】
リアルタイムの評価フィードバックが有益でありうる状況では、客観的な品質評価が、主観的な品質評価より適切なアプローチとなりうる。客観的な品質評価は、ターゲット画像もしくはビデオ信号を評価し、該画像もしくは信号の視覚的品質に関係して、視覚的品質に関係した解析または報告を形成する（たとえば測定、生成、出力または公布する）。客観的な品質評価は典型的には、信頼できるまたは頼れる対応する主観的品質評価に一致するまたはこれをできるだけ近く近似する評価値またはスコアを達成するよう努める。
【００２８】
客観的品質評価は：（１）完全参照、（２）縮小した参照または（３）参照なしの客観的品質評価という三つのクラスの少なくとも一つに分類されうる。完全参照（FR:  full-reference）評価は完全な参照画像を使う。参照画像はターゲット画像との比較のために入手可能であると想定される。縮小参照（RR:  reduced-reference）品質評価は、抽出された特徴（たとえば「メディア・フィンガープリント」、他のハッシュ関係の署名またはメタデータの形などの参照画像が部分的に利用可能な場合になされる。参照なし（NR:  no-reference）品質評価は、参照画像が知られていないまたは入手可能でない場合になされる。NRおよびRR客観的品質評価は典型的には効率的、迅速かつ経済的に達成するのは難しい。本発明のある実施形態は、完全参照（FR）画像品質評価に関係する。
【００２９】
FR客観的品質評価（OQA:  objective  quality  assessment）は一つまたは複数の任意的な技法に従ってなされてもよい。FR  OQAを達成するためにピーク信号対雑音比（PSNR:  Peak  Signal-to-Noise  Ratio）を使ってもよい。PSNRは平均平方誤差（MSE:  Mean  Squared  Error）から導出されてもよい。長さNの二つのベクトルx＝{xi|i＝1,…,N}およびy＝{yi|i＝1,…,N}が与えられると、xとyの間のMSEおよびPSNRはそれぞれ次の式(1A)および(1B)に従って計算されてもよい。
【００３０】
【数１】
0005635677.tif 000002
式(1B)では、Lは当該画像の可能な最大ピクセル値を表す（たとえば8ビットLDR画像および[0,255]の間のビデオ信号についてはL＝255）。
【００３１】
MSEおよび／またはPSNRは比較的単純な計算である。MSEおよびPSNR計算の単純さは、画像およびビデオ用途を含む信号処理において広く使われている。さらに、MSEおよびPSNR計算は、閉じた形の最適化の解を提供できる二次表現から裨益しうる。しかしながら、MSEまたはPSNRは常にMOSと強く相関するとは限らない。本発明のある実施形態は、MSEおよびPSNRアプローチに比して、MOSとより信頼できる仕方で相関しうる、または他の仕方で信頼性を改善しうる品質評価を提供する。
【００３２】
本発明のある実施形態は、MSE/PSNR（以下では時に単に「PSNR」と称される）に関係したアプローチに対して画像およびビデオ品質評価を改善するために使用されることのできるモデルを提供するために、人間の視覚系（HVS）をエミュレートする。HVSに基づく客観的品質評価メトリックは、視覚的差分予測子（VDP:  Visual  Difference  Predictor）および最小可知差異（JND:  Just  Noticeable  Difference）メトリックを含む。ある実施形態は、MOS統計量もしくは非常に信頼できると考えられる類似のメトリックと統計的に類似しているもしくは匹敵する視覚的品質についての判断をするために、人間の視覚系が視覚的品質を評価するのに典型的に用いる機構、モダリティまたはプロセスを正確に記述するHVSモデルを使う。
【００３３】
図３は、本発明のある実施形態を実施するのに用いうるVDPの例を描いている。他のいくつかのHVSベースの品質評価方法と同様、画像信号はまずスケーリングされる。画像信号のスケーリングは、ルミナンスに対するHVSの非線形な応答に対処する。これは振幅圧縮（Amplitude  Compression）と称されることがある。コントラスト感度関数（CSF:  contrast  sensitivity  function）に少なくとも部分的に基づくフィルタリングが適用される。CSFフィルタリングは、異なる空間的および時間的周波数に対するHVSの相対的な（たとえばまたは変化する）感度に対処する。次いで皮質変換（cortex  transform）および視覚的マスキングが画像を空間的、時間的および配向チャネルに分離し、各チャネルにおける知覚される誤差を計算する。最後に、すべてのチャネルにおける計算された誤差が単一の値に組み合わされる。
【００３４】
しかしながら、残念なことに、HVSベースの客観的品質評価方法は、きわめて複雑でありかつ非線形なHVSに依拠する。さらに、人の視覚および視覚的な知覚が実際にどのようにはたらいているかの深い、実際的な理解は、よくて、科学的発展の非常に初期の段階にある。人間の視覚のいくつかの従来のモデルは、スポット、バーまたは傾斜（ramp）のようなきわめて単純化された刺激を使って線形または準線形モデルとしてHVSを特徴付けるある種の想定に基づいている。これらの本質的に線形または準線形な品質評価メトリックに関連するパフォーマンス・メトリックは、PSNRのようなより単純なメトリックと比較して、ほとんどの部分について、現時点では決定的ではない。しかしながら、これらの線形または準線形な品質評価メトリックのいずれも、そのようなメトリックが典型的に要求する著しくより高い計算コストおよび複雑さにも関わらず、統計的により信頼できるものではないことが示されている。このため、PSNRは、画像およびビデオ用途についての優勢な定量的パフォーマンス・メトリックに留まっている。
【００３５】
〈HDR、VDRおよびWCG画像およびビデオ品質評価の例〉
PSNRアプローチは、LDR画像およびビデオ用途において使われる。実は、LDR空間ではPSNRアプローチに対する効果的な代替策はほとんどない。残念ながら、MSE/PSNRアプローチのパフォーマンスは、HDRおよび／またはVDR画像に適用されるとき、問題がある（たとえば劣化する）。HDR/VDR画像およびビデオ信号でのいくつかの用途については、PSNRアプローチのパフォーマンスは単に、受け容れ可能な性能を発揮しないことがある。たとえば、何らかの最低限の満足のレベルまたはメトリックを満たさないのである。このPSNRアプローチ・パフォーマンス問題に対する少なくとも有意な理由は、人間の視覚系が画像シーンの非常に明るい領域から非常に暗い領域まで線形および／または一様にスケーリングすることが比較的できないことに関係する。
【００３６】
ダイナミックレンジが典型的に2〜3桁の範囲を含むLDR画像およびビデオ信号の場合のように、包含される全ダイナミックレンジが比較的小さい場合、そのような非線形性または非一様性は、たとえ完璧ではなくても認容できる。しかしながら、HDR/VDR画像およびビデオ信号は5〜6桁またはそれ以上のダイナミックレンジを含みうる。そのように広いダイナミックレンジでは、そのような非線形性および／または非一様性の影響は実質的により有意である。
【００３７】
一時的に知覚的な影響（たとえば、典型的な人間の視聴者に対する影響）のことはわきに置いて（たとえば、無視して）、さらに単に数値的な差のみに焦点を合わせると、PSNRアプローチは高輝度領域における差を過大評価し、低輝度領域における差を過小評価する傾向がある。たとえば、背景が10cd/m2のルミナンスのとき、5cd/m2（カンデラ毎平方メートル、時に「ニト」と称される）の差は、10,000cd/m2の背景における同じ差よりも、ずっと目立つ。しかしながら、どちらの背景ルミナンスでも、5cd/m2の差のPSNRへの寄与は同じである。
【００３８】
図４は、本発明のある実施形態が機能する際のHDR空間へのVDPメトリックの例示的な拡張を描いている。いわゆる「HDR  VDP」は完全参照HDR品質評価メトリックを含む。本質的には、HDR  VDPは、VDPメトリックのHDR空間への拡張を含むまたは表す。
【００３９】
VDPに比べ、「HDR  VDP」は三段階にわたって拡張されている。それら三段階の第一では、HVSに関係するモデリングが実行される。HDR/VDRにおける有意な（たとえば目立ったまたは劇的な）コントラスト変化の効果を取り入れるため、画像はまず光学的伝達関数（OTF:  Optical  Transfer  Function）でフィルタ処理されてもよい。OTFは典型的な人間の目の角膜、水晶体および網膜において散乱する光をシミュレートする。典型的には光受容体をモデル化するVDPに比べ、HDR  VDPはルミナンス値を非線形空間に変換する。三段階の第二では、HDR  VDPがルミナンス値を変換した非線形空間がJDN単位でスケーリングされる。三段階の第三では、CSFが、HDR  VDPアプローチに関係する感度の損失があればそれをモデル化する。
【００４０】
三段階にわたるHDR  VDPの拡張（たとえばVDPと比べての）およびVDP自身のHVSモデル化特性の追加は、著しい複雑さおよび計算上その他のコストを追加する。よって、HDR  VDPへの従来のアプローチは実際的ではなく、比較的大規模な実装については本質的に実現不能であることがありうる。しかしながら、そのような大規模な実装は、画像およびビデオ・プロセスを最適化することを含む用途（たとえば画像／ビデオ・アルゴリズム最適化）では有用であることがある。
【００４１】
〈例示的実施形態〉
本発明の例示的な実施形態は、第一の画像および／またはビデオ信号と第二の画像および／またはビデオ信号との間の視覚的な差を評価する。前記第一の画像および／またはビデオ信号と第二の画像および／またはビデオ信号のそれぞれは高ダイナミックレンジ（HDR）または視覚ダイナミックレンジ（VDR）および／または広色範囲（WCG）をもつ。前記画像および／またはビデオ信号は処理され、評価される。評価の出力は、数値的な結果または第一および第二の画像およびビデオ信号の間の差のレベルがマークされている差分マップの形で与えられる。ある例示的な実施形態では、HDR、VDRおよびWCG画像およびビデオ信号は知覚的な非一様性を取り入れるために処理される。ある例示的な実施形態では、処理される信号の間の視覚的な差が測定される。ある例示的な実施形態では、評価結果が出力として生成される。評価結果出力は、第一および第二の画像およびビデオ信号の差のレベルがマークされた数値的な結果および／または差分マップの形であってもよい。ある例示的な実施形態では、パラメータ表現された関数の族がHDR、VDRおよびWCG画像およびビデオ信号を処理するために使われる。ある例示的な実施形態では、これらの品質評価プロセスは色チャネルに適用される。ある例示的な実施形態では、これらの品質評価技法は画像およびビデオ・プロセス（たとえば、アルゴリズム最適化）を最適化するために適用される。
【００４２】
図５は、本発明のある実施形態に基づく、HDR、VDRおよびWCG画像およびビデオ信号の対の間の視覚的な差の例示的な評価を描いている。第一の信号は参照信号、たとえば既知の、標準的なまたは基準レベルの視覚的品質の信号を表す。第二の信号はターゲット信号を表し、その視覚的品質が参照信号の視覚的品質との関係で評価される。先の二つの文のコンテキストにおいて、用語「第一」および「第二」は参照信号およびターゲット信号を識別可能な仕方で区別し、ラベル付けしまたは名付けることに関するのであって、順序または時間的な意味で使われているのではないことを明記しておく（たとえば、そうでないとしたら、第一、第二という用語は参照信号が時間または順序においてターゲット信号に先行することを含意することになってしまう）。
【００４３】
図５での用法では、点線で囲まれて描かれているブロックはある実施形態におけるシステムの任意的なコンポーネントである。信号はまずHDR/VDR互換の色空間に変換される。次いで、測定が行われる前に知覚的な非一様性を取り入れるために非線形スケーリングが色変換された信号に適用される。評価結果は、数値によって表現されるまたは差分マップで視覚化されることができる。
【００４４】
参照信号はまずHDR/VDR互換の色空間に変換される。色科学、測色、画像、ビデオ、写真などに関係する分野の当業者に知られているCID1931  XYZ色空間は、例示的なHDR/VDR色空間を含むまたは表す。図６は、本発明のある実施形態を実装するのに用いうる、例示的なHDR/VDR色空間に変換されるガンマ・エンコードされたRGB信号を描いている。
【００４５】
ある実施形態では、ガンマ・エンコードされたRGB信号をHDR/VDR色空間に変換することは、ガンマ・エンコードを反転することで始まる。ガンマ・エンコードが取り消されて、本質的に線形なRGB値が得られてもよい。そのような線形のRGB値は、色科学、測色、画像、ビデオ、写真などに関係する分野の当業者に知られていることがありうる一つまたは複数の行列で変換されて、CIE  XYZ三刺激値を生じてもよい。(R,G,B)三刺激値から(X,Y,Z)三刺激値への例示的な変換行列は国際電気通信連合（ITU）勧告ITU-R  BT.709によって、次の式(2A)のように定義されている。
【００４６】
【数２】
0005635677.tif 000003
ある実施形態は、次いで、ルミナンス関係の値Yに非線形スケーリングを適用する。非線形スケーリングは、色空間変換に際して生じうる知覚的な非一様性を取り入れる助けとなる。スケーリングはルミナンス成分Yに制約されなくてもよい。ある実施形態は、色チャネルにおけるスケーリングを提供する。これは色範囲マッピングを可能にする。たとえば、Yに対する非線形スケーリングは、次の式(2B)に従って計算されるパラメータ表現された関数の族（￣付きのF）で表現できる。
【００４７】
【数３】
0005635677.tif 000004
式(2B)において、表現fi(.)はHDR/VDRルミナンス値Yの関数を表す。
【００４８】
ある実施形態は、次いで、ルミナンス関係値Yに非線形スケーリングを適用する。図７は、本発明のある実施形態に基づく、例示的な非線形スケーリングされたHDR/VDRルミナンス値の表現を描いている。非線形スケーリングは、色空間変換に際して生じうる知覚的な非一様性を取り入れる助けとなる。
【００４９】
人間の視覚系の現行のモデル化は複雑で、いくつかの点で少なくとも部分的に不正確である。しかしながら、ある実施形態は、たとえば下記の式(3A)で計算される写真マッピング（photographic  mapping）に少なくとも基づくモデルを使う。ある実施形態に基づく写真マッピングは単純だが、非常に明るい領域および非常に暗い領域において高いコントラスト詳細を維持しつつ、効果的にダイナミックレンジをスケーリングする。下記の式(3)で、
【数４】
0005635677.tif 000005
である。ここで、￣付きのYはあるシーンに関連する対数平均ルミナンスを表し、aはそのシーンについてのキーを表すパラメータを表す。デフォルトのキー値aが、通常の中間グレー値に対応する18%に近づくまたは近似する値を含む実施形態が実装されてもよい。このように、式(3A)はスケーリングされた値を
【数５】
0005635677.tif 000006
として計算する。ここで、表現Lwhiteは「純粋な白」にマッピングされる最小のルミナンス値を表す。次いで、ある実施形態は、非線形にスケーリングされた信号を、次の式(3B)に従ってより線形なXYZ三刺激値に変換する。
【００５０】
【数６】
0005635677.tif 000007
ある実施形態は式(3A)のように計算されたXYZ三刺激値を使うか、あるいは代替的に（または追加的に）別の色を使う。たとえば、ある実施形態は、次の式(3C)で計算されるようにして、XYZ三刺激値をさらにRGB色空間に変換し、その結果をガンマ・エンコードする。
【００５１】
【数７】
0005635677.tif 000008
式(3C)において、指数表現γは選択されたガンマ値を表す。このようにして、評価は、ガンマ・エンコードされたRGB空間上で実行されうる。同様の（たとえば本質的に同一の）プロセスが３ターゲット信号に適用されてもよい。
【００５２】
次いで、二つの処理された信号が測定ユニットにおいて比較されて、視覚的な差を決定する。測定は、既存のまたは新しい品質測定方法に基づいてであることができる。たとえば、ある実施形態は、構造的類似性インデックス（SSIM）ベースの測定を用いて実装されてもよい。（二つの信号の間の平均平方差分を測定するだけの）PSNRアプローチとは対照的に、SSIMは三つの別個の成分を含む：（１）強度比較、（２）コントラスト比較および（３）構造比較である。これら三つの別個の成分は、HDR/VDR信号における視覚的相違をよく取り入れる。さらに、SSIMの計算は、PSNRアプローチより若干複雑かもしれないが、VDPまたはJNDのようなHVSベースのメトリックを超える効率を達成する。
【００５３】
図８は、本発明のある実施形態に基づく、信号強度の例示的な比較を描いている。参照信号からの変換されスケーリングされた信号である信号は表現rで表される。ターゲット信号からの変換されスケーリングされた信号である信号は表現tで表される。これら二つの信号の強度が比較され、比較の指標l(r,t)が計算される。平均強度は信号から控除され、結果として得られる信号の標準偏差が比較される。それを用いて信号コントラスト差c(r,t)に関係する推定値が計算される。ある実施形態は、比較される信号がそれぞれ単位の標準偏差をもつよう、信号を規格化する。ある実施形態は、規格化された信号を比較して、構造的な差s(r,t)に関係する値を示す。ある実施形態は三つの指標を組み合わせ、これが前記二つの入力信号の全体的な品質の指標を効果的に計算する。
ある実施形態は、式
【数８】
0005635677.tif 000009
に従って組み合わされた品質評価Q(r,t)を計算する。ここで、α＞0、β＞0およびγ＞0はこれら三つの成分の重要性を調整するために使われるパラメータであり、
【数９】
0005635677.tif 000010
であり、ここで、μrおよびμtはrおよびtのローカルなサンプル平均を表す。
【００５４】
【数１０】
0005635677.tif 000011
ここで、Nはサンプルのサイズを表し、σrおよびσtはrおよびtのローカルなサンプル標準偏差を表す。
【００５５】
【数１１】
0005635677.tif 000012
ここで、σnはrおよびtのサンプル相互相関を表す。
【００５６】
【数１２】
0005635677.tif 000013
ここで、C1、C2およびC3は比較的小さな正の定数であり、サンプル平均0付近での数値的な不安定性を避けるものである。
【００５７】
ある実施形態は、デフォルト値をα＝β＝γ＝1に設定し、そのため次のようになる。
【００５８】
【数１３】
0005635677.tif 000014
このように、ある実施形態は、ピクセル・レベル、ブロック・レベルおよび／または画像レベルで視覚的品質を評価してもよい。ある実施形態では、諸ブロックは重なりがあっても、重なりがなくてもよい。各ピクセル、ブロックまたは画像について、ある実施形態は、[0,1]の間の数値をQ(r,t)に割り当て、ここで、大きな数ほど、参照信号とターゲット信号の間のよりよい一致を表す。ピクセルまたはブロック・レベルで評価が行われる場合、ある実施形態は、画像またはフレーム全体の品質特性との関係で全体的な数値AQを割り当てる。これは、画像またはフレームの個々の各ブロックの品質評価を、たとえば次の式(4)のように組み合わせてもよい。
【００５９】
【数１４】
0005635677.tif 000015
式(4)では、表現Mは画像／フレームのブロック(rj,tj)の数を表す。
【００６０】
この実施形態で使われるアプローチは、ルミナンス関係のチャネルに対して適用される。しかしながら、ある実施形態は、クロミナンス、クロマまたは他の色関係の属性といった他の画像特性に関係したチャネルに対して同様のアプローチを適用してもよい。複数チャネルに対する画像品質を評価するために、ある実施形態は、各チャネルに関連付けられた個々の値を得る。得られた諸値は、画像またはフレーム全体についての単一の全体的な値を得るためにさらに処理されてもよい。たとえば、ある実施形態は、個々の各チャネルについて得られた値に対して実行される単純な平均計算で、前記得られた諸値を処理してもよい。
【００６１】
ある実施形態は、ビデオ信号間の視覚的な差を評価する。ビデオ信号は最初、フレーム、スライスまたはフィールドのシーケンスに分割される。上記の、たとえば式(4)を参照してのアプローチは、各フレーム、スライスまたはフィールドに適用され、そのそれぞれについて数値が得られる。ある実施形態は、すべてのフレーム、スライスおよびフィールドについて諸値をさらに処理し、ビデオ・シーケンス全体についての単一の全体的な値を得る。たとえば、ある実施形態は、個々の各フレーム、スライスまたはフィールドについて得られた値に対して実行される単純な平均計算で、前記得られた諸値を処理してもよい。
【００６２】
ある実施形態は、[0,1]の間の範囲にある評価結果値をLビットの一様な表現に量子化することで評価結果を視覚化する。ここで、Lビット表現における2L−1が評価結果の1に対応し、Lビット表現における0が評価結果の0に対応する。量子化された結果は、もとのピクセルまたはブロックと同じ空間的位置に配置され、Lビット画像として出力される。
【００６３】
多様な試験画像および試験シーケンスがビデオ、撮像、写真、映画などに関係する分野の当業者にはおなじみであり、異なる技法またはアプローチの間の比較などのために一様な空間的な視覚的情報を呈示するさまざまな努力（たとえば、奮闘、試験、実験、実証、描画および記述）において使われる。空間的な視覚的情報を一様に呈示するために時に使われる二つのおなじみの試験シーケンスは、一般に「日没」および「海への脱出」として称される（たとえば、関係分野においてよく知られている）。図９のＡ、Ｂ、図１０のＡ、Ｂ、図１１のＡ、Ｂは試験シーケンス画像の例示的な比較を描いている。図９のＡおよびＢは、「日没」試験シーケンスから取られた例示的な試験シーケンス部分の例示的な隣接する（たとえば、時間的または順序的に逐次の）画像（たとえばフレーム）９０１および９０２を描いている。
【００６４】
視覚的品質評価結果は、差分マップ、たとえば画像シーケンス中の二つ以上の画像の間の目に見える差に関連付けられた値のマップとして出力、記憶および／または表示されてもよい。たとえば、ビデオ信号中の二つの時間的に隣接するフレームのような、画像のシーケンスにおける二つの順序的に隣接する画像の間の差を示す差分マップが計算されてもよい。図９のＣ、Ｄ、図１０のＣ、Ｄ、図１１のＣ、Ｄは差分マップの例示的な比較を描いている。図９のＣおよびＤはそれぞれ、「日没」試験シーケンスにおける第一のフレーム９０１および第二のフレーム９０２に関連付けられた、区別される例示的な視覚的品質評価差分マップを描いている。図９のＣでは、差分マップ９０５は、第一のフレーム９０１と第二のフレーム９０２の間の例示的なHDR  VDPベースの視覚的品質評価差分マップを描いている。比較のために、図９のＤでは、差分マップ９０６は、ある実施形態に従って生成される例示的な視覚的品質評価差分マップを描いている。
【００６５】
図９のＡおよびＢに描かれる例示的な「日没」試験シーケンスおよび（図１０のＡ、Ｂとの関係で後述する）「海への脱出」試験シーケンスはいずれも、相対的に非常に明るい領域において現れる目に見える詳細および同じ画像内で相対的に非常に暗い領域において現れる詳細をもつ。上記のように、ある実施形態は、[0,1]の間の範囲にある評価結果値のLビットの一様表現への量子化を用いて評価結果を視覚化する。Lビット表現における値2L−1が評価結果の1に対応し、Lビット表現における値0が評価結果の0に対応する。量子化された結果は、もとのピクセルまたはブロックと同じ空間的位置に配置され、Lビット画像として出力される。
【００６６】
図９のＤでは、差分マップ９０６は、値L＝8である実施形態に従って計算された視覚化技法に従ってマークされている。例示的な比較のための図９のＣでは、差分マップ９０５はHDR  VDP技法に従ってマークされている。（たとえば画像９０１および９０２の）各ピクセルについて、HDR  VDPは値pを計算する。これは、それらのピクセルにおいて参照信号とターゲット信号が相違する確率に対応する。[0.5,1]の間である1−0.5*pの値が[128,255]に一様に量子化される。ここで、値255はp＝0に対応し、値128はp＝1に対応する。
【００６７】
図９のＣに示されるHDR  VDP試験の結果およびある実施形態に基づく図９のＤに示される試験の結果は、数値的に整列していない。それぞれに関連付けられた値が同じ意味や定義をもつものでないからである。このように、これらの視覚的評価試験の数値的な結果は直接比較可能ではないかもしれないが、差分マップ９０５および差分マップ９０６の両方において、両差分マップにおいてより暗く見える領域は、より明るく見える領域に比べ、参照信号とターゲット信号の間の、より有意なまたはより明らかな視覚的な相違を示す。逆に、より明るく見える領域は、参照信号とターゲット信号との間の比較的有意でない（または比較的明らかでない）視覚的な差を示す。
【００６８】
例示的な画像９０１および９０２はそれぞれ、「日没」試験シーケンスにおける第一のもとのフレームおよび第二のもとのフレームを含む。画像９０１および画像９０２はそれぞれ、たとえば輝度関係の値に関係した、ダイナミックレンジにおける約5または6桁の範囲をカバーする。それらのダイナミックレンジの広がりは、明るい領域（これは本質的に中心位置にある太陽を描いている）から薄暗い領域（これは群衆のように見えるものを描いている）までの範囲にわたる。画像９０１および９０２は、それぞれのダイナミックレンジの高い端と低い端の両方でコントラスト詳細をもつ。（しかしながら、本願の図９のＡおよびＢの記憶、レンダリングおよび印刷に関連するダイナミックレンジおよび色に関係した制約のため、HDR画像９０１およびHDR画像９０２のそれぞれに存在するダイナミックレンジの一部しかグレースケールでレンダリングされていないことがあり、両方の画像９０１および９０２が利用可能なダイナミックレンジ・スケールの同じ部分を示していることを注意しておくべきである。）
それぞれ図９のＣおよびＤに描かれる視覚的品質評価試験マップ９０５および９０６は、いずれも／それぞれ、高反射領域（両方の画像９０１および９０２において、描かれている海の特徴上に見られる）を、比較的低い視覚的品質であるとしてハイライトする。このハイライトは、直接反射を示す画像９０１および９０２のそれぞれにおける領域との関連で、最も明白であるかもしれない。それほど有意でない差をもつ画像９０１および９０２の領域（および／または差のない領域）では、ある実施形態に従って計算された評価結果は、従来のHDR  VDP技法で計算された評価結果とよく相関する。そのような高相関があるので、本発明の諸実施形態は、画像、ビデオ、映画、写真、色、測色などに関係する分野の当業者によってよく受け入れられ、使用されている従来のHDR  VDPで達成される視覚的評価結果に付随する精度に匹敵する精度を達成する。
【００６９】
しかしながら、従来のHDR  VDP計算には、有意なまたは顕著なレイテンシー〔遅延〕が付随することがありうる。VDP測定は人間の視覚系を（たとえば不完全に）モデル化する。さらに、HDRへのVDP拡張は、何らかの人の視覚的知覚上の挙動を取り入れる一層込み入ったモデル化に関わる。これらの追加モデルは、HDR  VDP品質評価に著しい複雑さを追加する。ある実施形態は、そのような知覚的モデル化とは独立した視覚的品質評価を実行してもよく、よって、HDR  VDPアプローチより少ないレイテンシーで機能しうる。
【００７０】
ある実施形態は、HVSの複雑な（および／または不完全な）知覚ベースのモデル化とは独立した（たとえばそのようなモデル化なしの）視覚的品質評価を計算する。ある実施形態は、写真技法（photographic  technique）と同様であってもよい比較的単純なモデルを使う。ある実施形態は、HDR/VDR信号を、視覚品質評価が知覚ベースのアプローチより単純に測定されうる表現空間または次元の集合にマッピングする。同様の試験環境において、ある実施形態は、HDR  VDPのような知覚ベースのモデルに比べ有意に短縮されたレイテンシーで視覚的品質結果を評価する。
【００７１】
諸実施形態は、従来のHDR  VDPまたは他の知覚ベースのアプローチで達成されうるよりも有意に低いレイテンシーをもって視覚的品質結果を評価する。たとえば、HDR  VDPより1ないし2桁（たとえば約50倍）高速に視覚的品質を評価する実施形態が実装されうる。さらに、ある実施形態は、知覚ベースの評価システムのいくつかの実装に比べて単純かつ効率的な、モジュラー構造を特徴としてもよい。よって、ある実施形態のソフトウェアおよびハードウェア実装はさらなる（たとえば新たに開発される）最適化に開かれていてもよい。
【００７２】
図１０では、評価結果が、「海への脱出」試験シーケンスにおける一対の隣接するまたは時間的および／または順序的に逐次のもとのフレーム１００１および１００２に対して描かれている。フレーム１００１およびフレーム１００２はそれぞれ／いずれも（描かれている太陽特徴近くの）より明るい領域での詳細および（花を描く）より薄暗い領域における詳細を含む。「海への脱出」試験クリップは、業務用品質のカメラで撮影され、業務用レベルのポストプロダクション設備で処理されたものである。本稿での用法では、「業務用」という用語は、画像、ビデオ、色、測色、写真、映画などに関係する分野の当業者によって使用されうるまたはそのような当業者に付随しうる品質、複雑さ、機能、ノウハウおよび／または技量のレベルに関係しうる。
【００７３】
上記実施形態に基づく「海への脱出」のフレーム１００１および１００２（および／または日没のフレーム９０１および９０２）試験シーケンスのような画像コンテンツの視覚的品質の評価は、その中の画像を取り込むために使われるカメラおよびその他の装置の品質を最適化および／または低レイテンシー・ベンチマーク試験およびモニタリングすることを許容する。フレーム１００１および１００２はそれぞれ、約5ないし6桁の範囲をカバーする。（しかしながら、本願の図１０のＡおよびＢの記憶、レンダリングおよび印刷に関連するダイナミックレンジおよび色に関係した制約のため、HDR画像１００１およびHDR画像１００２のそれぞれに存在するダイナミックレンジの一部しかグレースケールでレンダリングされていないことがあり、両方の画像１００１および１００２が利用可能なダイナミックレンジ・スケールの同じ部分を示していることを注意しておくべきである。）
画像１００１と画像１００２の間の差は、ある実施形態に従ってマークされて図１０のＤに示されている。例示的な比較のために、画像１００１と画像１００２との間の差は、従来のHDR  VDPアプローチによってマークされて、差分マップ１００５に示されている。差分マップ１００１および１００２は、フレーム１００１および１００２のそれぞれにおける、高い有意性の差をもつ領域および低い（またはゼロの）差をもつ領域を同定することにおいて密接に対応している。よって、ある実施形態は、HDR  VDPのようなよく確立され、広く使われている知覚ベースのアプローチと少なくとも同じくらい正確に視覚的品質を評価しうる。
【００７４】
さらに、たいていの場合、同様の試験環境のもとでは、ある実施形態は、従来の知覚ベースのアプローチより有意に少ないレイテンシーで視覚的品質評価を計算する。たとえば、同様の試験条件下で計算されながら、ある実施形態は、一般に使われるHDR  VDP技法が差分マップ１００５を生成したよりも優に2桁ほど少ないレイテンシーで差分マップ１００６を生成した。差分マップ１００６との関係で示される実装では、ある実施形態は、比較のために差分マップ１００５との関係で示されているHDR  VDPアプローチが使われた場合より約100倍高速に機能する。
【００７５】
図１１のＡおよびＢは、いずれも「日没」試験シーケンスからの例示的な画像を描いている。図１１のＡは、「日没」試験シーケンスからのもとの画像１１０１を描いている。図１１のＢは、「日没」試験シーケンスからの画像インスタンス１１０２を描いている。画像インスタンス１１０２を生成するために、もとの画像１１０１がまず圧縮されたVDRフォーマットでエンコードされ、次いで、その後、もとの画像１１０１の圧縮されたエンコードされたインスタンスからデコードされて圧縮解除されたVDR画像１１０２にされる。図１１のＣおよびＤは、もとの画像１１０１と圧縮されたおよび圧縮解除されたエンコードされた画像インスタンス１１０２との間の例示的な差分マップを描いている。図１１ＣはHDR  VDPで生成された差分マップ１１０５を描いている。図１１Ｄは、ある実施形態に基づいて生成された差分マップ１１０６を描いている。
【００７６】
図１１のＣおよびＤにそれぞれ描かれている視覚的品質評価試験マップ１１０５および１１０６はいずれも／それぞれ、高反射領域（両方の画像１１０１および１１０２において、描かれている海の特徴上に見られる）を、比較的低い視覚的品質であるとしてハイライトする。このハイライトは、直接反射を示す画像１１０１および１１０２のそれぞれにおける領域との関連で、最も明白であるかもしれない。それほど有意でない差をもつ画像１１０１および１１０２の領域（および／または差のない領域）では、ある実施形態に従って計算された評価結果は、従来のHDR  VDP技法で計算された評価結果ともよく相関する。そのような高相関があるので、本発明の諸実施形態は、従来のHDR  VDPで達成される視覚的評価結果に付随する精度に匹敵する精度を達成する。
【００７７】
差分マップ１１０５および１１０６は、フレーム１１０１および１１０２のそれぞれにおける、高い有意性の差および低い（またはゼロの）差をもつ領域を同定することにおいて密接に対応している。よって、ここでもまた、ある実施形態は、よく確立され、広く使われている知覚ベースのアプローチと少なくとも同じくらい正確に視覚的品質を評価しうる。ある実施形態は、HDR  VDPで差分マップ１１０５が計算されたのより約50倍高速に差分マップ１１０６を計算した。知覚ベースのアプローチに比べ、ある実施形態に基づく視覚的品質の評価における有意なレイテンシー短縮は、各画像またはビデオ・フレームのエンコードまたは処理において数百または数千の測定が使用されうる画像およびビデオ・アルゴリズムのようなプロセスにおける最適化を促進する。このように、ある実施形態は、ビデオ・エンコーダを実装するのに有用でありうる。
【００７８】
図１２は、本発明の実施形態とともに使用されうる例示的なビデオ・エンコード・システム１２００を描いている。ビデオ・エンコーダ１２００はレート／歪み最適化モジュール１２０５を含む。ある実施形態は、レート／歪み最適化器１２０５を用いて実装されてもよい。ある実施形態は、ピクセル、ブロックまたはフレーム・レベルのうちの一つまたは複数で、エンコードされた信号（たとえばターゲット信号）ともとの信号（参照信号）との間の視覚的な差Dを計算する。ある実施形態は、ターゲット領域をエンコードするためのビットレートRをも計算する。ある実施形態は、下記の式(5)に従って全体的なレート歪みコスト関数Cを計算する。
【００７９】
C＝R＋λ・D        (5)
式(5)において、項λは、たとえばラグランジュ・コスト最適化係数のような、ビットレートと目標とされる歪みパラメータとの間のトレードオフをバランスする係数を表す。ある実施形態は、可能な各エンコード・モードについてレート歪みコスト関数計算を評価する。ある実施形態では、レート／歪み最適化係数１２０５は、最も小さいレート歪みコスト関数をもつと評価されるエンコード・モードを選択する。
【００８０】
〈等価物、拡張、代替その他〉
以上、高ダイナミックレンジ、視覚的ダイナミックレンジおよび広色範囲画像およびビデオの品質評価の例示的実施形態が記載されている。上記明細における本発明の諸実施形態は、実装によって異なることがある数多くの個別的詳細に言及して記述されている。よって、何が本発明であり、出願人によって本発明であると意図されているかの唯一にして排他的な指標は、本願から発する特許請求項の集合であり、その後の訂正があればそれも含め、そのような請求項が発される形においてである。そのような請求項に含まれる用語についての本稿で明示的に述べられる定義は、請求項で使われるそのような用語の意味を支配する。よって、請求項において明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性はいかなる仕方であれそのような請求項の範囲を限定すべきではない。よって、明細書および図面は、制約する意味ではなく例解する意味で見なされるべきである。
【図１】
0005635677.tif 000016
【図２】
0005635677.tif 000017
【図３】
0005635677.tif 000018
【図４】
0005635677.tif 000019
【図５】
0005635677.tif 000020
【図６】
0005635677.tif 000021
【図７】
0005635677.tif 000022
【図８】
0005635677.tif 000023
【図９Ａ】
0005635677.tif 000024
【図９Ｂ】
0005635677.tif 000025
【図９Ｃ】
0005635677.tif 000026
【図９Ｄ】
0005635677.tif 000027
【図１０Ａ】
0005635677.tif 000028
【図１０Ｂ】
0005635677.tif 000029
【図１０Ｃ】
0005635677.tif 000030
【図１０Ｄ】
0005635677.tif 000031
【図１１Ａ】
0005635677.tif 000032
【図１１Ｂ】
0005635677.tif 000033
【図１１Ｃ】
0005635677.tif 000034
【図１１Ｄ】
0005635677.tif 000035
【図１２】
0005635677.tif 000036