(57)【特許請求の範囲】
【請求項１】
複数の入力画像を有する検査画像シーケンスと参照画像シーケンスとの差分の可視度を査定する方法であって、前記複数の入力画像の各々がクロミナンス構成要素を含み、該方法は、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記複数の入力画像の各々のクロミナンス構成要素を、複数の解像度レベルの該クロミナンス構成要素を有するピラミッドを作り出すために、分解するステップ（a）と、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記クロミナンス構成要素の前記ピラミッドの前記レベルの内の少なくとも1つに時間的フィルターリングを適用して、クロミナンス時間的応答とするステップ（b）と、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記クロミナンス時間的応答における各ピクセルのコントラストを表すコントラスト画像を生成し、前記検査画像シーケンスの前記クロミナンス時間的応答から生成されたコントラスト画像と前記参照画像シーケンスの前記クロミナンス時間的応答から生成されたコントラスト画像との間の絶対差に基づく丁度可知差異（ＪＮＤ）マップを生成するステップ（c）と、
を具備する方法。
【請求項２】
前記複数の入力画像の各々が、各フレームの半分の高さを有する請求項１記載の方法。
【請求項３】
前記複数の入力画像の各々がさらに輝度構成要素を含んでおり、該方法は、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記複数の入力画像の各々の前記輝度構成要素を、複数の解像度レベルの該輝度構成要素を有するピラミッドを作り出すために、分解するステップ（a’）と、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記輝度構成要素の前記ピラミッドの前記レベルの内の少なくとも1つに時間的フィルターリングを適用して、輝度時間的応答とするステップ（b’）と、
を更に具備し、
前記ステップ（c）において、前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記輝度時間的応答における各ピクセルのコントラストを表すコントラスト画像を生成し、前記検査画像シーケンスの前記輝度時間的応答から生成されたコントラスト画像と前記参照画像シーケンスの前記輝度時間的応答から生成されたコントラスト画像との間の絶対差に更に基づく前記ＪＮＤマップを生成する、
請求項１記載の方法。
【請求項４】
前記ステップ（a）に先立ち、入力画像の前記クロミナンス構成要素をCIELUV均一色空間に変換するステップ（a’’）を更に具備する請求項１記載の方法。
【請求項５】
前記ステップ（a）に先立ち、入力画像の前記輝度構成要素をCIE 1931の三刺激値Yに変形するステップ（a’’）を更に具備する請求項３記載の方法。
【請求項６】
前記ステップ（c）が
前記輝度時間的応答から別々の輝度ＪＮＤマップを生成するステップ（c’）と、
前記クロミナンス時間的応答から別々のクロミナンスＪＮＤマップを生成するステップ（c’’）と、
前記輝度ＪＮＤマップおよび前記クロミナンスＪＮＤマップから前記ＪＮＤマップを生成するステップ（c’’’）と、
を具備する請求項３記載の方法。
【請求項７】
前記ステップ（b’）が前記輝度構成要素の前記ピラミッドの最低レベルに時間的フィルターリングを適用して、輝度時間的応答とし、
該方法は、前記輝度構成要素の前記ピラミッドの残っているレベルに空間的フィルターリングを適用して、輝度空間的応答とするステップ（b’’）を更に具備する、
請求項３記載の方法。
【請求項８】
前記クロミナンス時間的応答における各ピクセルの前記コントラストの二乗であるコントラストエネルギーを、前記輝度時間的応答における各ピクセルのコントラストの二乗であるコントラストエネルギーと前記輝度空間的応答における各ピクセルのコントラストの二乗であるであるコントラストエネルギーとの和により割ることにより、前記クロミナンス時間的応答における各ピクセルのコントラストを表す前記コントラスト画像が生成される、請求項７記載の方法。
【請求項９】
複数の入力画像を有する検査画像シーケンスと参照画像シーケンスとの差分の可視度を査定する装置であって、該複数の入力画像の各々がクロミナンス構成要素を含んでおり、該装置は、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記複数の入力画像の各々の前記クロミナンス構成要素を、複数の解像度レベルの該クロミナンス構成要素を有するピラミッドを作り出すために、分解するピラミッドジェネレーター（410，510）と、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記ピラミッドジェネレーターに接続された時間的フィルターであって、前記クロミナンス構成要素の前記ピラミッドの前記レベルの内の少なくとも1つに時間的フィルターリングを適用して、クロミナンス時間的応答とする、該時間的フィルター（520）と、
前記時間的フィルターに接続された画像メートリックジェネレーターであって、前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記クロミナンス時間的応答における各ピクセルのコントラストを表すコントラスト画像を生成し、前記検査画像シーケンスの前記クロミナンス時間的応答から生成されたコントラスト画像と前記参照画像シーケンスの前記クロミナンス時間的応答から生成されたコントラスト画像との間の絶対差に基づく丁度可知差異（ＪＮＤ）マップを生成する、該画像メートリックジェネレーター（250,550）と、
を具備する装置。
【請求項１０】
複数の命令を格納したコンピューター読み込み可能な媒体であって、該複数の命令は、プロセッサーによって実行されるときに、
各々がクロミナンス構成要素を含む複数の入力画像を有する検査画像シーケンスと参照画像シーケンスのそれぞれについて、前記クロミナンス構成要素の複数の解像度レベルを有するピラミッドを作り出すためにステップ（a）と、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記クロミナンス構成要素の前記ピラミッドの前記レベルの内の少なくとも1つに時間的フィルターリングを適用して、クロミナンス時間的応答とするステップ（b）と、
前記検査画像シーケンスと前記参照画像シーケンスのそれぞれについて、前記クロミナンス時間的応答における各ピクセルのコントラストを表すコントラスト画像を生成し、前記検査画像シーケンスの前記クロミナンス時間的応答から生成されたコントラスト画像と前記参照画像シーケンスの前記クロミナンス時間的応答から生成されたコントラスト画像との間の絶対差に基づく丁度可知差異（ＪＮＤ）マップを生成するステップ（c）と、
を該プロセッサーに実行させる、媒体。
【発明の詳細な説明】
ここで引用することによって取入れられた、1997年4月4日に出願された米国暫定出願（U.S. Provisional Applications）第60/043,050号および1998年2月2日に出願された米国暫定出願第60/073,435号の便益を、この申請書は要求する。
本発明は信号処理システムの性能を評価し且つ改善するための装置および随伴式手段に関する。さらに詳細には、2つの信号シーケンス間差分の可視度を査定する方法および装置に本発明は関する。
発明の背景
コントラスト、解像度および／または、圧縮／減圧（コデック）処理におけるビットレート効率のような物理的なパラメーターに関して、例えば撮像システムといった信号処理システムの設計者は、多くの場合設計の性能を査定する。これらのパラメーターは簡単に測定されることができる一方、性能を評価するための正確な基準には成り得ない。人為構造の可視度または歪みのような主観的な視覚性能、また幾つかの場合、例えばMRI（磁気共鳴イメージング）画像またはCAT（コンピューター断層撮影）走査像といった画像におけるふくらみの存在のような情報を表すことができるこれらの画像機能の拡張に、撮像システムのエンド・ユーザは通常より関心があるというのが理由である。
例えば、2つの異なるコデック（codec）画像を生成するために、2つの異なるコデック計算論理を用いて入力画像は処理されることができる。人間の視覚の精神物理学的性質を考慮しないで両方のコデック画像上で二乗平均誤差（MSE）計算を実行するようなパラメーターに、コデック（codec）画像の忠実度測定が単に基づく場合、より高いMSE値を有するコデック画像よりも目立つ歪みを、より低いMSE値を有するコデック画像が実際に含むことはあり得る。
したがって、例えば撮像システムといった信号処理システムの主観的な性能に対する物理的パラメーターの影響を査定する方法および装置の技術のなかに、必要性は存在する。特に、時間と共に変化する視覚画像の2つのシーケンス間差分の可視度を査定する方法および装置のために必要性は存在する。
発明の要約
本発明は、例えば画像シーケンスといった2つの入力信号シーケンス間差分の可視度を査定する方法および装置である。この装置は、入力信号処理セクション、輝度処理セクション、クロミナンス処理セクションおよび知覚メートリック生成セクションを有する知覚メートリックジェネレーターを具備する。
入力信号処理セクションは、入力信号を例えば輝度構成要素およびクロミナンス構成要素といった精神物理学的に定義された数量に変換する。輝度処理セクションは輝度構成要素を輝度知覚メートリックに処理し、一方、クロミナンス処理セクションはクロミナンス構成要素をクロミナンス知覚メートリックに処理する。最後に、知覚メートリック生成セクションが、輝度知覚メートリックとクロミナンス知覚メートリックとを関連付けて、例えば、丁度可知差異（just-noticeable-difference）（JND）マップといった一体化知覚画像メートリックとする。
【図面の簡単な説明】
本発明の教示は、付随する図と共に以下の詳細な説明を考慮することによって容易に理解される。ここで、
図1は、本発明の信号処理システムのブロック図を示す。
図2は、知覚メートリックジェネレーターのブロック図を示す。
図3は、入力信号処理セクションのブロック図を示す。
図4は、輝度処理セクションのブロック図を示す。
図5は、クロミナンス処理セクションのブロック図を示す。
図6は、輝度処理セクションの詳細なブロック図を示す。
図7は、輝度メートリック生成セクションのブロック図を示す。
図8は、クロミナンス処理セクションの詳細なブロック図を示す。
図9は、クロミナンスメートリック生成セクションのブロック図を示す。
図10は、輝度空間的感度のデータを示すグラフである。
図11は、輝度時間的感度のデータを示すグラフである。
図12は、輝度コントラスト判別のデータを示すグラフである。
図13は、ディスク検出のデータを示すグラフである。
図14は、チェッカーボード検出のデータを示すグラフである。
図15は、エッジ鮮明度判別のデータを示すグラフである。
図16は、クロミナンス空間的感度のデータを示すグラフである。
図17は、クロミナンスコントラスト判別のデータを示すグラフである。
図18は、定格予測のデータを示すグラフである。
図19は、輝度処理セクションの代替実施例のブロック図を示す。
図20は、図19の輝度処理セクションの代替実施例の詳細なブロック図を示す。
図21は、輝度メートリック生成セクションの代替実施例の詳細なブロック図を示す。
図22は、半値高画像処理のための輝度処理セクションのブロック図を示す。
図23は、半値高画像処理のための輝度メートリック生成セクションのブロック図を示す。
図24は、クロミナンス処理セクションの代替実施例の詳細なブロック図を示す。
図25は、クロミナンスメートリック生成セクションの代替実施例の詳細なブロック図を示す。
図26は、半値高画像処理のためのクロミナンス処理セクションのブロック図を示す。
図27は、半値高画像処理のためのクロミナンスメートリック生成セクションのブロック図を示す。
詳細な説明
図1は、本発明を利用する信号処理システム100を表す。信号処理システムは、信号受信セクション130、信号処理セクション110、入出力装置120および検査下システム140から成る。
信号受信セクション130は、例えば撮像装置からの画像シーケンスまたはマイクないし記録媒体からの音声信号のような他の時間と共に変化する信号といった入力データ信号を受信するのに適する。このように、本発明は以下に画像に関して記載されるけれども、上記のように本発明は他の入力信号に適用されることができると解釈されるべきである。
信号受信セクション130は、データ受信セクション132およびデータ記憶セクション134を含む。データ受信セクション132は、モデムおよびアナログ-デジタル変換器のような多数の装置を含むことが可能である。モデムは、電話線または他の通信チャネルを通じて２進データを送受信するための変調器および復調器を具備する周知の装置であり、一方、アナログ-デジタル変換器は、アナログ信号をディジタル形式に変換する。したがって、信号受信セクション130は「オンライン」または「リアルタイム」での入力信号を受信することができ、必要に応じて、その入力信号をディジタル形式に変換することができる。このように、セクション130は、コンピューター、カメラ、ビデオ記録器または種々の医療用撮像装置のような単数または複数の装置から信号を受け取ることができる。
データ記憶セクション134は、データ受信セクション132によって受信される入力信号を記憶するのに適する。データ記憶セクション134は、ディスクドライブ、半導体メモリーまたは他の記憶媒体のような単数または複数の装置を含む。入力信号に遅延を適用するための方法か、または次の処理のための入力信号を単に記憶することを、これらの記憶装置は提供する。
好適な実施例においては、画像処理を容易にするために、知覚メートリックジェネレーター（または、そうでなければ視覚判別測定（VDM）として知られている）112，中央処理装置（CPU）114及びメモリー116を有する汎用コンピューターを信号処理セクション110は具備する。知覚メートリックジェネレーター112は、種々のフィルターまたは通信チャネルを通してCPUに接続されるプロセッサーから構成される物理的な器具でありえる。もう一つの選択肢として、入出力装置120またはメモリー116から呼び出されて、信号処理セクションのCPUによって実行されるソフトウェアアプリケーションとして、知覚メートリックジェネレーター112は実現されることができる。このように、本発明の知覚メートリックジェネレーターは、コンピューターで読み込み可能な媒体上で記憶されることが可能である。
例えばハードディスクドライブまたはコンパクトディスクドライブといった、磁気および光学ドライブ、ディスケットまたはテープを含むがそれらに限定されてはいない、キーボード、マウス、ビデオモニタまたは記憶装置のような複数の入出力装置120に信号処理セクション110はまた接続される。入力装置は、入力画像を処理するための信号処理セクションに入力（制御信号およびデータ）を提供するのに適し、一方、出力装置は、例えばディスプレイ上に知覚メートリックを表示するといった、結果を表示または記録するのに適している。
例えば劣化していない相対物と関連している劣化カラー画像シーケンスといった2つの信号シーケンスに人間事項（human subject）が割り当てる知覚の定格を、知覚メートリックジェネレーター112を用いた信号処理システム100は予測することができる。知覚メートリックジェネレーター112は、入力画像の2つのシーケンスまたは流れ間の差分の可視度を査定し、かつそのシーケンス間の知覚差分の単一メートリックを含むいくつかの差分推定値を作り出す。これらの差分は、モデル化された人間の、丁度可知差異（just-noticeable difference）（JND）メートリックの単位で量を定められる。このメートリックは、JND値、JNDマップまたは確率予測として表すことができる。その結果、ディジタル画像圧縮、画質測定および標的検出を含むが、それに限定されない種々なプロセスを最適化するために、CPUはJND画像メートリックを利用することができる。
実例を示すと、入力画像シーケンスは2つの異なる経路またはチャネルを通って信号処理システム100に移る。その入力画像シーケンスは、1つの経路（参照チャネルまたは参照画像シーケンス）上で処理されることなく信号処理セクションに直接移り、一方、同一の入力画像シーケンスは、画像シーケンスがいくつかの形式（検査下チャネルまたは検査画像シーケンス）で処理される検査下システム140を通ってもう一つの経路上を通過する。信号処理システム100は、その2つの画像シーケンス間の差分を測定する知覚メートリックを生成する。例えば検査下システム140は音声またはビデオ符号器でありえるといった経済的な理由のために、検査下システム140によって生成される歪をたびたび招く。実際、例えばデコーダー、伝送チャネルそのもの、音声またはビデオ記録器、スキャナー、ディスプレイまたは送信機といったどんな個数の装置またはシステムにも、検査下システム140はなりえる。このように、参照画像シーケンスと関連している検査画像シーケンスの主観的品質を評価するために信号処理システム100は使用されることができ、それによって、符号化プロセス、解読プロセス、伝送チャネルの歪またはどんな「検査下システム」の性能に関する情報をも提供する。知覚メートリックジェネレーター112を用いることによって、参照シーケンスと関連している検査画像の主観的品質の評価は、人間が観察することなく実行されることができる。
最後に、経路150を経た検査下システムのパラメーターを修正するかまたは制御するために、知覚メートリックは用いることができる。例えば、符号化画像が解読される場合に、より目立たない歪といった改良型の知覚定格を有する符号化画像を作り出すために、符号器のパラメーターは修正できる。さらに、別々の装置として例示されるにもかかわらず、例えばビデオの符号化方法といった、信号処理セクションのメモリー116において存在しているソフトウェア・インプリメンテーションとして検査下システム140は実現されることができると当業者は理解するであろう。
図2は、知覚メートリックジェネレーター112の簡略ブロック図を示す。好適な実施例において、知覚メートリックジェネレーターは、入力信号処理セクション210、輝度処理セクション220、クロミナンス処理セクション230、輝度メートリック生成セクション240、クロミナンスメートリック生成セクション250および知覚メートリック生成セクション260を具備する。
入力信号処理セクションは、入力信号205を例えば画像信号の輝度構成要素およびクロミナンス構成要素といった精神物理的に（psychophysically）定義された数量に変換する。入力信号は、任意の長さの２つの画像シーケンスである。図2において、一つの入力信号だけが示されているが、入力信号処理セクションは同時に複数の入力信号を処理できると理解されるべきである。入力信号処理セクション210の目的は入力画像信号を光出力に変換することであり、そして、この光出力を、輝度およびクロミナンスを別々に特徴づける、精神物理的に定義された数量に変換することである。
より詳細には、各入力シーケンスの各フィールドに対して、例えばD1テープから生じ、Y’、Cb’およびCr’と名称をつけられた３つのデータセットが図2の最上位にある。そして次に、Y’、Cb’およびCr’データは表示された画素値を生じるR’、G’およびB’電子銃電圧に変換される。入力信号処理セクションにおいて、R’、G’およびB’電圧は、次の処理段階またはセクションに移される１つの輝度画像および２つのクロミナンス画像にそれらの電圧を変換する更なる処理を経る。
ディスプレイの最大輝度のフラクション（fraction）として表される輝度Yの２つの画像（検査および参照）を輝度処理セクション220は受け取る。以下に記述するように、種々の時間的および空間的処理に起因する時間的および／または空間的応答として、輝度処理セクション220からの出力は広く定義できる。これらの出力は輝度メートリック生成セクション240に移され、そこにおいて、輝度JNDマップが生成される。JNDマップは、対応する画素位置での検査および参照画像間のJND数に比例する濃度レベルを有する画像である。
同様にして、クロミナンス処理セクション230は入力信号のクロミナンス構成要素をクロミナンス知覚メートリックに処理する。すなわち、（クロミナンス画像u*及びv*の各々に対して発生する）CIE L*u*v*均一色空間に基づき、かつディスプレイの最大クロミナンスのフラクションとして表されるクロミナンスの２つの画像（検査および参照）をクロミナンス処理セクション230は受け取る。また、以下に記述するように、種々の時間的および空間的処理に起因する時間的および／または空間的応答として、クロミナンス処理セクション230からの出力も広く定義できる。そして次に、クロミナンスJNDマップを作り出すために、クロミナンスメートリック生成セクション250によって、処理するu*及びv*の出力は受信されかつ結合される。
さらに、経路225を経て、「マスキング（masking）」と呼ばれ、知覚された差分を輝度画像の構造に従い多少見えるようにする輝度チャネルからの入力によって、クロミナンスおよび輝度処理の両方が影響される。マスキング（自己（self）または交差（cross））は、通常、あるチャネルまたは近隣のチャネル内の存在情報における感度の低減に関する。
クロミナンスJNDマップ、輝度JNDマップ及び結合された輝度−クロミナンスJNDマップは、これらのマップから得られる少数の合計測定と共に、知覚メートリック生成セクション260への出力として各々有効である。単一JND値（JND合計）出力が検査シーケンス内の歪に関する観測器（observer）の総体定格をモデル化するのに役立つのに対して、JNDマップは位置および人為構造（artifact）の重大度に関するより詳細な見解を与える。次に、知覚メートリック生成セクション（画像メートリックジェネレーター）260は、輝度知覚メートリックとクロミナンス知覚メートリックとを関連付けて、例えば、総体的な丁度可知差異（JND）マップといった一体化知覚画像メートリック270とする。
その２つの基本仮定が本発明の基礎をなす点に留意する必要がある。第１に、各画素は、「スクエア」であり、かつ視角の.03度の弧に対する。この数は、480画素のスクリーンの高さおよび4つのスクリーンの高さの視距離（「Rec.500」標準により規定された最も近い視距離）から得られた。本知覚メートリックジェネレーターが４つのスクリーンの高さより長い視距離で人間知覚と比較される場合、知覚メートリックジェネレーターは空間的詳細に対する人間の感度を過大に見積もるかもしれない。したがって、視距離上の厳しい制約がない場合、知覚メートリックジェネレーターは、「Rec 500」の推奨の範囲内で、できるだけ敏感に調整される。しかしながら、知覚メートリックジェネレーターの感度は、特別なアプリケーションのために調整されることが可能である。
第２に、知覚メートリックジェネレーターは.01-100 ft-Lのスクリーン輝度に適用される（そのために、総体的感度は校正された）が、約20ft-Lにおいて最高精度を有する（そのために、全ての空間時間的（spatiotemporal）周波数は校正された）。また、輝度を変更することは全ての空間時間的周波数において比例感度変更を招くと仮定され、かつこの仮定は付加校正が発生した20ft-Lの近くではあまり重要でない。校正および実験データは以下に提示される。
図2において示される処理セクションは、以下に、図3、4、5、6及び7に関して、更に詳細に記載されている。
図3は、入力信号処理セクション210のブロック図を示す。好適な実施例において、各入力信号は４つのフィールドのセット305において処理される。したがって、図3の最上位でY’，Cb’及びCr’と名称をつけられた４つのフィールドのスタック（stack）は、検査または参照画像シーケンスのどちらか一方からの４つの連続フィールドのセットを示す。しかしながら、本発明はこの種の実現に限られてはおらず、また他のフィールドを１つの集まりとする方法を用いることが可能である。
多重変換は入力信号処理セクション210に含まれる。要するに、入力信号処理セクション210は、Y’、Cb’及びCr’というビデオ入力信号を、最初に電子銃電圧に、そして三蛍光体の輝度値に、最後に輝度構成要素およびクロミナンス構成要素に分かれる精神物理的な（psychophysical）変数に変換する。以下で計算される三刺激値Yは、クロミナンス処理の前に用いられる「モデル強度値」にとって代わる。加えて、クロミナンス構成要素であるu*及びv*はCIE均一色仕様に従って１画素ずつ生成される。
入力信号がすでに許容範囲内の均一色空間にある場合、入力信号処理セクション210は選択的に実現され得る点に留意する必要がある。例えば、入力信号は適当なフォーマットにあらかじめ処理されることができ、かつ例えば磁気または光学ドライブ及びディスクといった記憶装置に保存されることが可能であった。さらに、国際規格均一色空間というCIELUVにマップされる画素については本発明は実現されるけれども、他の空間にマップされる入力信号を処理するために本発明が実現されることができ、かつそれに適していることが可能である点に留意する必要がある。
最初の処理段階310は、Y’、Cb’、及びCr’データをR’、G’、及びB’銃電圧に変換する。さらに詳細には、以下に概説されるステップは、Y’、Cb’、及びCr’画像フレームからＣＲＴディスプレイを駆動するR’、G’、及びB’電圧信号への変換の特徴を述べる。ここで、符号器において、入力信号がガンマで前修正された（gamma-precorrected）ことをアポストロフィは示す。すなわち、ガンマ非線形によって密接に近づけられることが可能な電圧電流伝達関数を有するＣＲＴディスプレイ装置を、これらの信号は変換後に駆動できる。
入力ディジタル画像は、輝度相関物Y’上の全解像度、またクロミナンス相関物Cb’及びCr’に対して水平な半解像度である4:2:2フォーマットであると仮定し、ここで、Y’、Cb’、及びCr’データは、ANSI/SMPTE Std.125M-1992において特定される順序で記憶されると仮定される。すなわち、
C’b0，Y’0，C’r0，Y’1，C’b1，Y’2，C’r1，Y’3,...,C’bn/2-1，Y’n-1，C’rn/2-1，Y’n-2,...
以下に列挙されるステップにおいて、アップサンプリング（upsampling）のための２つの実施例または代替およびY’ Cb’ Cr’からR’G’B’へのマトリックス変換のための３つの実施例または代替がある。例えば、種々のアプリケーションにおいて遭遇するかもしれない必要条件を解読するといった種々の共通必要条件をこれらの代替は含む。
さらに詳細には、最初のクロミナンスアップサンプリング実施例においては、単一フレームからのY’ Cb’ Cr’アレイが受け取られ、そこでCb’及びCr’アレイはY’画像の全解像度に拡大される。まず最初に、Cb’及びCr’アレイは半解像度で水平になり、それから全解像度フィールドをつくるためにアップサンプリングされる。すなわち、データストリーム内で偶数番号をつけられたY’iに行上の代替Cb’、Cr’画素は割当てられる。それから、i）反復または（ii）隣接値との平均値算出のどちらか一方により、偶数番号をつけられたY’iと関連があるCb’、Cr’ペアは計算される。
第2のクロミナンスアップサンプリングの実施例において、全解像度Y’，Cb’，Cr’アレイは２つのフィールドに分けられる。Y’の場合、最初のフィールドはY’アレイの奇数ラインを含み、また第2のフィールドはY’アレーの偶数ラインを含む。第１および第２のCb’およびCr’フィールドを作り出すために、同一の処理がCb’およびCr’アレイに実行される。
Y’ Cb’ Cr’のR’ G’ B’へのマトリックス変換において、対応するY’ Cb’ Cr’値は２つのフィールドの各々内の各画素に対する銃入力値R’，G’，B’に変換される。Y’ Cb’ Cr’値は、以下の３つの代替方程式のうちの1つによってR’G’B’値に関係があるとみなされる。Video Demystified, by Keith Jack, HighText, San Diego, 1996（Ch. 3, p. 40-42. Equation（3）は、A Technical Introduction to Digital Video,by C. A. Poynton, p. 176 Wiley, 1996のEquation 9.9に相当する）において、最初の２つの方程式は見つけることができる（CbはUに置換され、またCrはVに置換された）。好適な実施例において、関心事のディスプレイ測定が別な方法で指示を出す場合を除き、方程式（2）は用いられるべき初期設定値として選択される。
【数１】
0004700144.tif 000002
または
【数２】
0004700144.tif 000003
または
【数３】
0004700144.tif 000004
または
【数３a】
0004700144.tif 000005
それから、R’、G’及びB’アレイは、入力信号処理セクション210内の第2処理段階320により受信される。第2処理段階320は、各R’、G’、B’画像にポイント-非線形を適用する。この第2処理段階は、R’、G’、B’銃電圧の転送をディスプレイ（最大輝度のフラクション）の強度（R、G、B）にモデル化する。非線形もまた、ディスプレイによって各平面内に低輝度でクリッピングを実行する。
さらに詳細には、１つは各画素値を独立して変換し、またもう１つは画素値上で空間的フィルターリングを実行する２つの部分を、（R’，G’，B’）と（R，G，B）との間の変換は含む。２つの部分を以下に記載する。
画素値変換
第１に、入力R’に対応する最大輝度のフラクションRが各画素に対して計算される。同様に、輝度のフラクションGおよびBが入力G’、B’から計算される。各銃からの最大輝度は入力値255に対応すると仮定される。以下の方程式が（R’、G’、B’）から（R、G、B）への変換を記述する：
【数４】
0004700144.tif 000006
初期設定閾値tdは、ディスプレイの黒レベルに対応する16になるように選ばれ、またγは2.5を初期設定値とする。
約1000：1である（255/16）2.5のダイナミックレンジをディスプレイに提供するために、tdに対して16という値が選ばれる。このダイナミックレンジは比較的大きく、また周囲照度が最大の白ディスプレイの約1%のところでは必要ないかもしれない。したがって、100：1のダイナミックレンジを依然として提供する16という値の代わりに、40という値を黒レベルとして知覚ジェネレーターが用いる場合であっても、物理的忠実度は維持される。すなわち処理において1或いは2ビットを節約するという計算サイクルにおける節約を、実際、より低いダイナミックレンジは作り出す。
ディスプレイについての２つの観察を以下に示す。最初の観察は絶対スクリーン輝度への依存を含む。知覚メートリックジェネレーターが校正された輝度レベルにのみ、知覚メートリックジェネレーターの予測は暗に適用される。
典型的な校正データに対して（（J. J. Koenderink and A. J. van Doorn, ″Spatiotemporal contrast detection threshold surface is bimodal, ″Optics Letters 4, 32-34（1979））、直径2mmの瞳孔初期設定値を用いることによって、網膜照度は200トロランドであった。これは、63.66cd/m2又は18.58ft-Lのスクリーン輝度を意味する。主観的な定格検査で用いられるディスプレイの輝度に校正輝度は匹敵する。例えば、２つの実験の最大白輝度が71及び97ft-Lであったにもかかわらず、画素値128での輝度はそれぞれ15及び21ft-Lであった。これらの値および知覚メートリックジェネレーターの総体感度は.01から100ft-Lに校正されたという事実を考慮に入れると（F. L. van Nes, J. J. Koenderink, H. Nas, and M. A. Bouman, ″Spatiotemporal modulation transfer in the human eye, ″J. Opt. Soc. Am. 57, 1082-1088（1967）のデータを用いて）、知覚メートリックジェネレーターは約20から100ft-Lまでのスクリーン輝度に適用されると結論づけることができる。
第2の観察は方程式（4）と他のモデルとの関係を含む。方程式（4）を、ポイントンによって進歩を遂げたモデルに変換するのに（例えば、陰極とTVスクリーンとの間のグリッド設定からの）オフセット電圧tdは用いられることができる（C. A. Poynton, ″Gamma″and its disguises: The nonlinear mappings of intensity in perception, CRTs, Film, and Video,SMPTE Journal, December 1993, pp. 1099-1108）。ここで、R=k［R’＋b］γ（G及びBに対しても同様に）である。R’’=R’-tdという新しい電圧を定義することによってポイントンモデルは得られる。したがって、R=k［R’’＋td］γ、またG及びBに対しても同様である。ポイントン方程式よりむしろ方程式（4）を書くことによって、オフセット電圧は-tdであると仮定される。また、周囲照度が無いとも仮定される。
周囲照度cがある場合には、電圧オフセットは取るに足りなくなり、また方程式（4）はマイヤーによって進歩を遂げたモデルと概ね等しくなり（″The importance of gun balancing in monitor calibration, ″in Perceiving, Measuring, and Using Color（M. Brill, ed.）, Proc. SPIE, Vol. 1250, pp. 69-79（1990））、すなわち、R=kR’γ＋cとなる。
同様の式がG及びBに対しても生じる。周囲照度が存在する場合、方程式（4）はk=（1/255）γ及びc=.01を有するマイヤーモデルにより置き換えられる。
各フレーム（進歩的な画像内の）に対して、かつ奇数および偶数のフィールド（織り交ぜられた画像内の）に対して画像（R、G、B）の垂直表現を特定するための３つのオプションを、本知覚メートリックジェネレーターは提供する。
オプション1フレーム
画像は全値高（full-height）であり、かつ１つの進歩的な走査画像を含む。
オプション2全値高のインタレース
織り交ぜられたスクリーンにある場合、半値高（half-height）画像はブランク行を点在させられ、かつ全値高になる。以下に記載されるように、内挿によってブランク行はその後いっぱいになった。
オプション3半値高インタレース
半値高画像は直接処理される。
最初の２つのオプションはビデオ画像構造に、より正確であるが、一方、第3オプションは処理時間および必要メモリーを50%まで縮小する利点を有する。両方のオプションが全値高画像に作用するので、輝度およびクロミナンス処理はオプション1及び2に対して同一である。以下に、これら３つのオプションは詳細に記載されている。
空間的プレフィルターリング
空間的前処理は上記のオプション1及び3に対しては必要でない。
しかしながら、全値高インタレース・オプション2と関連がある空間的プレ・フィルターリングがある。
フィールド内のラインからライン間の画素への光の広がりを適応させるために、R、G及びBフィールド画像もまた、ライン内挿プロセスを受ける。内挿の４つの異なる方法は以下に示されるが、本発明はこれらの内挿法に限られてはいない。各方法において全フレームは読み込まれ、それから不活性フィールドに属しているライン上の各画素は、すぐ上および下の画素から計算された値に置き換えられる。方法（3）及び（4）に対しての計算もまた、不活性フィールドからの画素値を用いる。
Pinactiveは差し込まれる非活動チャネル画素を示し、またPabove及びPbelowはそれぞれPinactiveの上及び下の活動チャネル画素を示す。４つの方法は以下の通りである
0004700144.tif 000007
方法（1）の平均値は初期設定値である。
図3に一旦戻って、非線形プロセスに続いて、上および下から差し込まれた値によってR、G、Bフィールド内のライン間の値を置き換えることにより、ライン間の位置に広がる垂直な電子ビームスポットを第3処理段階330はモデル化する。それから、フィールド内の各画素でのベクトル（R,G,B）は、CIE 1931の三刺激座標（X、Y、Z）への一次変換（それは、ディスプレイ蛍光体に依る）を受ける。上記のように、このベクトルの輝度構成要素Yが輝度処理セクション220に移される。
さらに詳細には、輝度フラクション値R、G、Bを与えられた各画素に対して、CIE 1931の三刺激値X、Y及びZは計算される。このプロセスは、ディスプレイ装置の依存事項である以下の入力を必要とする：３つの蛍光体の色度座標（xr，yr），（xg，yg），（xb，yb）及びモニタ白色点（xw，yw）の色度。
（xw，yw）=（.3128，.3292）といった光源D65と一致するように、白色点は選ばれる（G. Wyszecki and W. S. Stiles, Color Science, 2nd edition, Wiley, 1982, p. 761を参照のこと）。赤、緑および青の蛍光体に対するそれぞれの値（xr，yr）=（.6245，.3581），（xg，yg）=（.2032，.716）および（xb，yb）=（.1465，.0549）は、NTSC蛍光体に密接に近づく目下有効な蛍光体と一致する。しかしながら、表1は他のディスプレイ蛍光体座標（蛍光体主色度）オプションを以下に示す。ITU-R BT.709（Rec.709）は初期設定値である。
【表1】
ディスプレイ蛍光体座標オプション
0004700144.tif 000008
上記のパラメーター値を用いることで、画素値X、Y、Zは以下の方程式によって与えられる：
【数５】
0004700144.tif 000009
ここで、zr=（1-xr-yr），zg=（1-xg-yg），zb=（1-xb-yb）で、かつ値Y0r，Y0g，Y0bは以下によって与えられる。
【数６】
0004700144.tif 000010
ここで、zw=（1-xw-y）である（D. Post, colorimetric measurement, calibration, and characterization of self-luminous displays, in Color in electronic Displays, H. Widdel and D. L. Post（eds）, Plenum Press, 1992, p. 306）を参照のこと）。
装置の白色点の三刺激値Xn、Yn、Znもまた必要とされる。これらの値は色度（xw，yw）に対応し、かつ全蛍光体活性化で（R’=G’=B’=255）、Y=1といったものである。したがって、白色点に対する三刺激値は、（Xn，Yn，Zn）=（xw/yw，1，zw/yw）である。
値X、Y、Zを導き出す際のオプションの最終段階として、ディスプレイスクリーンからの反射をおおい隠すための仮の周囲光を適応させるために調整が実行されることは可能である。この調整は次のフォームをとる：
【数６a】
0004700144.tif 000011
ここでは、LmaxおよびLaといった２つのユーザー特定可能パラメーター（user-specifiable parameters）が、初期設定値に導かれて且つ割り当てられる。ディスプレーの最大輝度であるLmaxは、商用ディスプレーと一致する100cd/m2に設定される。Rec 500の条件下で測定されたスクリーン値と一致する5cd/m2に、隠蔽光Laは設定される。
周囲光の色度は、ディスプレイ白色点の色度と同一であると仮定される。中立点（Xn、Yn、Zn）を計算しない、輝度のみの実現オプションにおいては、以下のことに留意する必要があり、その調整は：
【数６b】
0004700144.tif 000012
方程式（6a）の代わりになされる。Ynは常に1なので、これは方程式（6a）のYの構成要素と等しい。数量Lmax *Yがcd/m2でのディスプレイ輝度であることは、また、強調されるべきである。
図3に一旦戻って、等輝度色差に色空間の近似の知覚均一性を保証する（各画素で）ために、第４処理段階340におけるCIELUV国際規格均一色空間（Wyszecki and Stiles, 1982を参照のこと）に個々の画素はマップされる。この空間のクロミナンス構成要素u*，v*はクロミナンス処理セクション230に移される。
さらに詳細には、X，Y，Z値は画素ごとに1976 CIELUV均一色システム（uniform-color system）に変換される（Wyszecki and Stiles, 1982, p. 165）
【数７】
0004700144.tif 000013
【数８】
0004700144.tif 000014
【数９】
0004700144.tif 000015
ここで、
【数１０】
0004700144.tif 000016
【数１１】
0004700144.tif 000017
【数１２】
0004700144.tif 000018
【数１３】
0004700144.tif 000019
座標L*は輝度処理セクション220に移されない点に留意する必要がある。L*はクロミナンス座標u*およびv*を計算する際にのみ用いられる。従って、u*およびv*画像だけが更なる処理のために保存される。
図4は、輝度処理セクション220のブロック図を示す。輝度処理ステップのフローチャートとして、または例えばフィルター、種々の回路構成要素および／または特定用途向けＩＣ（ASIC）といったこの種の輝度処理ステップを実行するための複数のハードウェア構成機器のブロック図として、図4は知覚されることができる。
図4を参照すると、精神物理的かつ生理的に観察される着信視覚信号の分解を、異なる空間的周波数帯域412-418にモデル化するために、各輝度フィールドはフィルターをかけられ、かつ４レベルガウシアンピラミッド410（ピラミッド・ジェネレーター）において、ダウンサンプル（down-sampled）される。分解後、例えばフィルターリングへの適応、各ピラミッド・レベル（解像度レベル）での適用といった次のオプション処理が実行されることは可能である。
次に、ピラミッド分解に続いて直ちに非線形オペレーション430が実行される。この段階は、最もきめの粗いピラミッド・レベルの範囲内における最大輝度の（フィールド全体での）時間依存ウィンドウ化された平均（time-dependent windowed average）に基づく利得設定オペレーション（規格化）である。この規格化は、知覚メートリックジェネレーターの全面利益を設定し、かつ明るいシーンから暗いシーンまでの遷移後の視感度の損失のような影響をモデル化する。
中間規格化プロセス420は中間値Inormを導き出すために実行される点に留意する必要がある。以下に示すように、４つのピラミッド・レベルの各々を基準化するためにInorm値は使用される。
規格化後、最低解像度ピラミッド画像418は時間的フィルターリング（時間的フィルター）およびコントラスト計算450を受け、かつ他の３レベル412-416は空間的フィルターリングおよびコントラスト計算440を受ける。各々の場合において、コントラストは、適切に基準化された局在的な和で割られる画素値の局在的な差分である。知覚メートリックジェネレーターの定式化において、これは、知覚メートリックジェネレーターの次の段階に伝えられる「１つのJND」の定義を確立した。（以下に示される中間知覚メートリックジェネレーター段階における1−JND解釈を校正は繰り返し修正する）。各々の場合において、コントラストエネルギーとして知られていることを作り出すためにコントラストは二乗される。画像比較（JNDマップ計算）のちょうど前で、コントラストの代数符号は再付着のために保存される。
各々の適応された応答（コントラストエネルギー）が全てのコントラストエネルギーの関数で割られる更なる利得設定オペレーションを次の段階460及び470（コントラストエネルギー・マスキング）は構成する。「使用中」画像領域内の歪に対する感度の減少のような視覚「マスキング」影響をモデル化することに、他の局在的な応答による各応答の結合された減衰は含まれる。知覚メートリックジェネレーターのこの段階において、時間的構造（ちらつき）は空間的差分をマスクするために作られ、また空間的構造も時間的差分をマスクするために作られる。以下に示されるように、輝度マスキングもまたクロミナンス側に適用される。
輝度JNDマップ480を作り出すために、マスキングされたコントラストエネルギー（コントラスト符号と共に）は用いられる。要するに、輝度JNDマップは、以下により作り出される：
1）各画像を正および負の構成要素（半波整流（half-wave rectification））に分けること、
2）局在的プーリング（pooling）（精神物理学の実験において、観察される局在的な空間的総和をモデル化するための平均算出およびダウンサンプリング）を実行すること、
3）チャネルによって、絶対画像差分チャネルを評価すること、
4）スレショルディング（thresholding）（コアリング）、
5）コアリングされた画像差分をあるパワーまで上げること、
かつ、
6）同一解像度（それは、プーリング段階によって、本来の画像の半分の解像度になる）へのアップサンプリング。
図19は、輝度処理セクション220の代替実施例のブロック図を示す。さらに詳細には、図4の規格化段階420および430は、輝度圧縮段階1900に置き換えられる。要するに、詳細に以下に記される圧縮非線形を、入力信号における各輝度値は最初に受ける。図19における他の段階は、図4における段階と同様である。このように、これらの類似段階の記述は上記に提供される。異なる段階に対して、図19の輝度処理セクションの詳細記述は、図20に関して以下に提供される。
一般に、図19の輝度処理セクションは好適な実施例である。
しかしながら、これらの２つの実施例は異なる特性を示すので、異なるアプリケーションの下ではそれらの性能は異なる可能性がある。例えば、10-bit入力画像対より低いダイナミックレンジといった、より高いダイナミックレンジにおいて、図4の輝度処理セクションが充分に実行することは観察された。
図5は、クロミナンス処理セクション230のブロック図を示す。図5は、クロミナンス処理ステップのフローチャートとして、または例えばフィルター、種々の回路構成要素および／または特定用途向けＩＣ（ASIC）といったこの種のクロミナンス処理ステップを実行するための複数のハードウェア構成機器のブロック図として知覚されることができる。クロミナンス処理は、いくつかのアスペクトにおける輝度処理と平行している。マイケルソンコントラスト（かつウェーバーの法則）が輝度処理セクションにおける検出閾値を定義するために用いられる方法に類比して、CIELUV空間のクロミナンス（u* 502およびv* 504）の画像内の差分は、クロミナンスオペレーションに対して検出閾値を定義するために用いられる。また、輝度オペレーションに類比して、u*及びv*の差分により定義されるクロマティック「コントラスト」はマスキング・オペレーションを受ける。両方の画像に共通しているコントラストエネルギーに依る一つの画像ともう一つの画像との間のコントラスト増分の判別を変換器非線形は作る。
さらに詳細には、輝度処理セクションにおけるように、ピラミッド分解処理510を受ける各クロミナンス構成要素u* 502、v* 504を図５は示す。しかしながら、好適な実施例における四つのピラミッド・レベル分解を輝度処理が実現するのに対して、クロミナンス処理は七つの（7）レベルについては実現される。この実現は、クロミナンスチャネルが輝度チャネルよりはるかに低い空間的周波数に敏感であるという経験的な事実について言及する（K. T. Mullen, ″The contrast sensitivity of human colour vision to red-green and blue-yellow chromatic gratings, ″J. Physiol. 359, 381-400, 1985）。さらに、色差は広く均一な範囲において、観察されることが可能であるという直観的な事実をこの種の分解は考慮に入れる。
次に、ちらつきにクロミナンスチャネル固有の無感覚を反映するために、時間的処理520は、四つの画像フィールドの平均値を算出することにより達成される。それから、ラプラシアン・カーネル530による空間的フィルターリングは、u*およびv*に実行される。（均一色空間の定義によって、）測量的にちょうど認知できる（just-noticeable）色差に接続しているu*、v*における色差をこのオペレーションは作り出す。この段階における1の値は、輝度回路におけるウェーバーの法則に基づいたコントラストの役割に類比して、単一のJNDが成し遂げられたことを意味すると考えられる。（輝度処理の場合のように、校正の間、1-JNDクロミナンスユニットは再解釈を経なければならない）。
この色差値は、重み付けされ、二乗されて、コントラスト-エネルギー・マスキング段階540に移った（コントラスト代数符号と共に）。マスキング段階は、輝度処理セクションにおけるものと同一の関数を実行する。オペレーションは輝度チャネルおよび差分が評価されているクロミナンスチャネルからのみの入力を受信するので、いくぶん単純である。最後に、段階550におけるクロミナンスJNDマップを作り出すために、ちょうど輝度処理セクションでなされたように、マスキングされたコントラストエネルギーは処理される。
ビデオ-シーケンス比較における各フィールドに対して、輝度およびクロミナンスJNDマップは、すなわち、輝度およびクロミナンスJND値といった単一数合計に、最初に引き下げられる。各々の場合において、マップから数への換算は、ミンコフスキー加え算による全ての画素値の合計によって成される。それから、再びミンコフスキー加え算により、知覚メートリック生成セクション260により処理されるフィールドに対するJND推定値を作り出すために、輝度およびクロミナンスJND数は結合される。ミンコフスキー・センス（Minkowski sense）において、各フィールドのJND推定値を加えることによって、シーケンスビデオの多数のフィールドに対する単一の性能指標270は限定される。
図6は、図4の輝度処理セクション220の詳細なブロック図を示す。入力検査および参照フィールド画像は、それぞれIkおよびIrefkにより示される（k=0、1、2、3）。IkおよびIrefk内の画素値は、それぞれIk（i,j）およびIrefk（i,j）により示される。これらの値は、入力信号処理セクション210において、計算されるY三刺激値605である。Irefk処理は同一なので、フィールドIkだけが以下に示される。4-フィールドシーケンス内の最も新しいフィールドをk=3が示す点に留意する必要がある。
解像度の連続的によりきめの粗い各々のレベルで2の因子によって、画像を不鮮明にし且つダウンサンプルする（downsamples）ピラミッド処理またはピラミッド分解と呼ばれている計算上効率的な方法によって、４つの解像度レベルでの空間的分解は達成される。本来の全解像度画像は、G0=I3（i,j）のピラミッドの零番目のレベル（レベル0）と呼ばれている。より低い解像度での次のレベルは、REDUCEと呼ばれているオペレーションによって、得られる。すなわち、画像の各向きにおいて、ぼんやりした画像を生成するために、重量（1,2,1）/4を有する３タップ・ローパスフィルター610は連続してG0に適用される。次のレベルG1をつくるために、結果として起こる画像はそれから2の因子（その他の画素は除去する）によって、サブサンプル（subsampled）される。
１つのピラミッド・レベルによるフィルターリングおよびダウンサンプリングのオペレーションとしてfds1()を示すと、REDUCEプロセスは次のように表されることができる。
【数１３a】
Gi+1=fds1（Gi），for i=1,2,3.
REDUCEプロセスは、再帰的に各々の新しいレベルに適用される（P. J. Burt and E. H. Adelson, ″The Laplacian pyramid as a compact image code, ″IEEE Transactions on Communications, COM-31, 532-540（1983）により記述されるように）。
逆に、オペレーションEXPANDは、同一の3x3カーネルによって、アップサンプル（upsamples）し、かつフィルターをかけると定義される。このオペレーションは、usf1()により示され、かつ以下に現れる。
各向き（水平および垂直）のfds1およびusf1フィルター・カーネルは、それぞれkd［1,2,1］およびku［1,2,1］であり、ここで均一フィールド値が保存されるように、恒数kdおよびkuは選ばれる。fds1に対して恒数はkd=0.25であり、ufs1に対して恒数はku=0.5（アップサンプルされた画像ではゼロのため）である。usf1を適当なオペレーションとして実現するために、カーネルは0値を置き換えるための等価線形補間により置き換えられる。しかしながら、概念上の簡潔さのために、それは「アップサンプル-フィルター（upsample-filter）」と称することができる。
次に、各フィールド（k=0,1,2,3）に対するレベル3画像内の最大画素値である４つの値を平均することによって、中間値（Ilvl3により示された）が計算されるところにおいて、規格化が適用される。このステップは、ピラミッド分解プロセスにおける固有の平滑化によって、全解像度（レベル0）画像内の外れ値の影響を和らげる。Ilvl3は、それから、以前の時期（k=2）に使われた規格化因子であるInormの減らされた値と比較される。現在の時期（k=3）に対するInormは、これらの２つの値より大きいものに等しく設定される。それから、最新のフィールドに対する四つ全てのピラミッド・レベルの画像は、Inormの新しい値を用いることによって、基準化され、かつ飽和非線形を受ける。
以下の方程式は、このプロセスを記述する。上記からのピラミッド・レベルがI3.l（ij）の場合、
ここで、3および1は、それぞれ最新のフィールドおよびピラミッド・レベルを示し、その場合
【数１４】
0004700144.tif 000020
（620）Inorm=max［αInorm（′），Ilvl3］615であり、Inorm（′）は、mが２に初期設定されたフィールド-3ピラミッド・レベルを規格化するために、以前の時期において用いられたInormの値であり、また
【数１５】
0004700144.tif 000021
Δtはフィールド周波数の逆数であり、thalf=1/2は、明るい刺激の除去に続く人間視覚システムの適合割合に関する。50および60Hzに対する値は、それぞれ0.9727および0.9772である。光がない場合に存在し、かつ0.01の値を初期設定値とする残余視覚応答（ノイズ）を恒数LDは表す。
方程式（14）における飽和非線形は、生理的に基づくモデル（Shapley and Enroth-Cugell, 1984を参照のこと）から導き出される。
指向空間的フィルター（中心および周辺）は、レベル0、1及びフィールド3に対する２つの画像に適用される。コントラスト的に、時間的フィルターは最も低い解像度レベル（レベル3）に適用される。すなわち、フィールドの最初および最後のペアは、それぞれ早い（Early）及び遅い（Late）画像に直線的に結合される。
中心および周辺フィルター625及び627は分離可能な3x3フィルターであり、かつ方位の全結合を生む：中心垂直（CV）、中心水平（CH）、周辺垂直（SV）、及び周辺水平（SH）。フィルター・カーネルは、次の通りである：
【数１６】
0004700144.tif 000022
レベル3の早い（Early）630及び遅い（Late）632の画像は、それぞれ
【数１７】
E3=teI3,1（i,j）+（1-te）I3,0（i,j）
【数１８】
L3=tlI3,3（i,j）+（1-tl）I3,2（i,j）
60Hzに対する恒数te及びtlはそれぞれ0.5161及び0.4848であり、50Hzに対してはそれぞれ0.70及び0.30である。
コントラスト計算のための入力は、中心および周辺画像CVi、CHi、SVi及びSHi（ピラミッド・レベル0、1及び2に対してi=0,1,2）、かつ早い（Early）及び遅い（Late）画像E3及びL3（ピラミッド・レベル3に対して）である。コントラスト比を計算するために用いられる方程式はマイケルソンコントラストに類似している。水平および垂直方位に対する、画素ごとのそれぞれのコントラストは：
【数１９】
0004700144.tif 000023
同様に、時間的構成要素に対するコントラスト比は：
【数２０】
0004700144.tif 000024
精神物理的な検査データを用いた校正によって決定されるように、i=0,1,2,3に対するwiの値はそれぞれ0.015、0.0022、0.0015及び0.003である。
前述の2つの方程式によって定義される画素値を二乗することによって、水平および垂直なコントラスト-エネルギー画像640及び642は計算され、このように得られる：
【数２１】
0004700144.tif 000025
同様に、時間的コントラスト-エネルギー画像650は、画素値を二乗することによって計算される：
【数２２】
0004700144.tif 000026
二乗する前の各コントラスト比画素値の代数符号は、後の使用のために保持される。
コントラスト-エネルギー・マスキングは、コントラストエネルギーまたは方程式21及び22で計算した画像の各々に適用される非線形関数である。マスキング・オペレーションは、検査画像シーケンスにおける歪の判別にならって参照画像シーケンスにおける空間的時間的構造の影響をモデル化する。
例えば、検査および参照画像は低振幅空間的正弦波によって異なる。両方の画像が均一フィールドを含む場合よりも、共同で同一空間的周波数の中間−コントラスト正弦波を有する場合に、この差分がより見えることは知られている（Nachmias and Sansbury, 1974）。しかしながら、共通の正弦波のコントラストがあまりに大きいならば、画像差分はより見えなくなる。他の空間的周波数の正弦波がコントラスト差分の可視度に対して影響を有することが可能であることは、また、事実である。低コントラストエネルギーにおいてＳ字状であり、かつ高コントラストエネルギーに対して増加する検出力関数である非線形によって、この性質はモデル化されることが可能である。さらに、以下の基準は、人間の視覚でおよそ観察されることができる。各チャネルはそれ自体をマスクし、高空間的周波数は低い空間的周波数をマスクし（しかし、逆方向のものはしない）、また時間的ちらつきは空間的コントラスト感度をマスクする（逆方向もまた）。人間の視覚のこれらの属性に応じて、非線形の以下のフォーム（画素ごとに適用される）660は適用される：
【数２３】
0004700144.tif 000027
ここで、yはマスクされるコントラストエネルギーである：空間的なHiまたはVi（方程式（21））、または時間的な（T3）（方程式（22））。yが属するピラミッド・レベルiに依存する画像に数量Diは（画素ごとに）言及する。知覚メートリックジェネレーター校正によって、数量β、σ、a及びcはそれぞれ1.17、1.00、0.0757及び0.4753であることがわかり、またdyは、二乗される前にコントラストyの点で固有だった代数符号である。
Diの計算は、ピラミッド構築（フィルターリング及びダウンサンプリング）とピラミッド再構築（フィルターリング及びアップサンプリング）の両方を必要とする。このDiの計算は図6で示される。第１に、E0は、H0とV0の和として計算される。この和は、段階652によってフィルターをかけられ、ダウンサンプリングされて、かつE1を生み出すためにH1+V1に加えられる。次に、E1はさらにフィルターをかけられ、ダウンサンプリングされて、かつE2を生み出すためにH2+V2に加えられる。その結果、E2はさらにフィルターをかけられて、E3を生み出すためにダウンサンプリングされる。一方、時間的コントラストT3の画像は、mtによって増やされ、かつD3を示す和を作り出すためにmftE3に加えられる。
その結果、T2、T1及びT0を作り出すために段階654によって、D3は繰り返しアップサンプリングされ、かつフィルターをかけられる。最後に、画像Diは、Di=mfEi+Ti、i=0,1,2として定義される。ここで、mfは、校正によって0.001と等しくなるように決定され、mftは0.0005と等しく設定され、また、mtは0.05と等しく設定される。フィルターリング、ダウンサンプリング及びアップサンプリングステップは、以前に示したものと同一である。
より高い空間的周波数がより低い空間的周波数をマスクし（Diはi以下のピラミッド・レベルによって影響されるので）、かつ時間的チャネルは全ての空間的チャネルによってマスクされることを上記の処理は示す。このマスキング・オペレーションは、一般に精神物理的な観察と調和する。以下に示すように、数量Di、i=0,1,2、もまたクロミナンスコントラストをマスクする（しかし逆方向のものはしない）。
図20は、図19の輝度処理セクション220の代替実施例の詳細なブロック図を示す。図19の輝度処理セクションは図6の輝度処理セクションの段階に類似した多くの段階を含むので、同じでない段階のためだけに、以下の説明は提供される。
1つの重要な違いは、図20における輝度圧縮（圧縮非線形）段階2000による図6の規格化段階への置換である。すなわち、非線形は恒数によって減速する検出力関数オフセットを含む。3が最新のフィールドを示すところで、最新のフィールドからの相対輝度アレイをY3（i,j）とする。それから：
【数２３a】
0004700144.tif 000028
ディスプレイの最大輝度であるLmaxは、100cd/m2に設定される。この関数は、8c/degにおいてコントラスト-感度データで校正される。このように、調整可能パラメーター、m及びLDが、それぞれ0.65及び7.5cd/m2であるとわかる。すなわち、0.01から100ft-Lまでの輝度レベルでコントラスト検出データと一致するようにLdおよびmの値は選ばれた（van Nes and Bouman, 1967）。言い換えると、例えば、方程式（23a）は、ディスプレイの最大輝度を変更することは合計輝度出力に影響を及ぼすといった絶対輝度に対して校正することを可能にする。別の方法で方程式（23a）を考察すると、その方程式（23a）は、知覚メートリックジェネレーターが輝度依存型コントラスト−感応性関数（luminance-dependent contrast-sensitivity function）を取り入れることを可能にする。
もう一つの選択肢として、この知覚メートリックジェネレーターが、コントラスト感度を輝度および空間的周波数の関数としてモデル化することを可能にするために、更なる輝度圧縮段階2000（図20において破線で描かれた枠で示された）は、各ピラミッド・レベルで挿入されてもよい。一方、2つのパラメーターだけで1つの輝度圧縮段階2000を実現することは、他の空間的周波数をモデル化するのには不十分である。
さらに詳細には、各輝度画像のピラミッド分解後、非線形は各ピラミッド・レベルkに適用される。それから、ピラミッド・レベルkに対して圧縮非線形は以下により与えられる。
【数２３b】
L3（i,j;k）=［LmaxY3（i,j;k）+La］m（k）+LD（k）m（k）
ここで再び、0.01から100ft-Lまでの輝度レベルでコントラスト検出と一致するようにm（k）およびLD（k）は選ばれる（van Nes et al.,1967）。値Laは周囲スクリーン照度（スクリーン測定に基づく5cd/m2に設定）のオフセットであり、またLmaxはディスプレイの最大輝度である（それは、一般に約100cd/m2である）。
方程式（23b）を校正するためのデータは、以下で表にされる：
【表２】
0004700144.tif 000029
上記のテーブルでの各コントラスト変調Cmは、空間的周波数fsおよび網膜照度I0の正弦波のちょうど判別可能な（just-discriminable）コントラストに結びつく実験的な値である。2mmの人工瞳孔が校正で用いられるので、輝度値（cd/m2でのL）を読み出すために、網膜照度値（トロランドでのI0）はπによって増やされる点に留意する必要がある。良い校正始点とは、全てのm（k）及びLD（k）に対して、適当指数mが.65であり、かつLDの適当値が7.5cd/m2である8c/deg正弦波検出のための初期設定値を用いることにある。
輝度の空間的および時間的フィルターリングは、図6および図20の両方の知覚メートリックジェネレーターで同一である。しかしながら、図20の知覚メートリックジェネレーターに対する輝度コントラスト計算は、二乗オペレーションなしで成し遂げられる。段階640、642及び650は、図20における段階2040、2042及び2050と取り替えられる。
さらに詳細には、上記の方程式（19）及び（20）によって定義される数量の絶対値の省略されたバージョンとしてコントラスト-応答画像は計算される。これらの数量は以下のように計算される：
【数２３ｃ】
0004700144.tif 000030
【数２３ｄ】
0004700144.tif 000031
絶対値オペレーションより前の各コントラスト比画素値の代数符号もまた、後の使用のために保持されなければならない。
図6と図20との知覚メートリックジェネレーターの間の別の重要な違いは、コントラストエネルギー・マスキングの実現である。図6と違って、図20の知覚メートリックジェネレーターは、2つの別々の段階におけるコントラストエネルギー・マスキング2060を実現する：水平および垂直チャネルのそれぞれに対する交差マスキング（cross masking）段階および自己マスキング（self masking)段階（図20を参照のこと）。自己マスキングは現在のチャネルの範囲内で情報の存在における感度を減らし、一方、交差マスキングは近隣のチャネルで情報の存在における感度を減らす。実際、これら2つの別々のマスキング段階の順序は逆にすることができる。これらのコントラストエネルギー・マスキング段階は以下のフォームを有する：
【数２３e】
0004700144.tif 000032
ここで、yはマスクされるコントラストである：空間的なHiまたはVi（方程式（23c））、または時間的な（T3）（方程式（24d））。数量Diは、yが属するピラミッド・レベルiに依存する画像に言及する（画素ごとに）。モデル校正によって、数量b、a，c，mf及びmtが、それぞれ1.4、3/32、5/32、10/1024及び50であるとわかった。dyは、絶対値をとる前に保存されるコントラストyの代数符号である。
以上に示したように、Diの計算は図6の計算に似ている。すなわち、fds1()は、1つのピラミッド・レベルによるダウンサンプリングに先行する3x3フィルターリングを示し、またusf1()は、3x3フィルターリングに先行する1つのピラミッド・レベルによるアップサンプリングを示す。第１に、アレイE0は以下のように計算される：
【数２３ｆ】
E0=H0+V0
それから、i=1，2に対してアレイEiは再帰的に計算される：
【数２３ｇ】
Ei=Hi+Vi+fds1（Ei-1）,for i=1,2.
【数２３ｈ】
E3=fds1（E2）
それから、コントラスト分母アレイDiを与えるために、アレイEiは以下のように時間的コントラスト画像T3および画像Tiと組み合わせられる：
【数２３i】
D3=mtT3+mftfds1（E2）
T2=usf1（D3）  Ti=usf1（Ti+1）,for i=1,0,and
【数２３j】
Di=Ei+Ti,for i=0,1,2.
ここで、パラメーターmft=3/64は、時間的（ちらつき）輝度チャネルが全ての空間的-輝度チャネルによって共にマスクされる強度を調整し、また、パラメーターmt=50は、空間的−輝度チャネルの各々が時間的（ちらつき）輝度チャネルによってマスクされる強度を調整する。
図7は、輝度メートリック生成セクション240の詳細なブロック図を示す。再び、輝度メートリック生成ステップのフローチャートとして、または例えばフィルター、種々の回路構成要素また/および特定用途向けＩＣ（ASIC）といったこの種の輝度メートリック生成ステップを実行するために複数のハードウェア構成機器を有する輝度メートリック生成セクションのブロック図として、図7は知覚されることができる。以下に記述される構築は、上記の図6で生成される全てのマスクされたコントラスト画像にあてはまる：ピラミッドH及びV（すなわち画像H0、V0、H1、V1、H2及びV2）における画像、画像T3（レベル3で解像度を有する）、かつ参照シーケンスから導き出された対応画像（図6および図7において上付添字refで示される）。
以下のプロセスにおける最初の4つのステップは、別々に上記の画像にあてはまる。以下の説明において、Xは検査シーケンスから導き出されるこれらの画像の何れをも示し、また、Xrefによって、参照シーケンスから導き出される対応画像を示す。この記号を与えられて、ステップは次の通りである：
ステップ（または段階）710において、1つは正コントラスト712に対し、またもう1つは負コントラスト714に対する2つの半値波-整流化画像（half-wave-rectified images）によって画像Xは分けられる。正コントラスト画像（X+と呼ばれる）において、Xコントラスト（以上で示したように別々に記憶される）からの符号は、負コントラストを有するX+においてゼロを全ての画素に割り当てるために用いられる。反対のオペレーションは、負コントラスト画像X-で起こる。
ステップ（または段階）720において、各画像X+とX-に対して、0.25（1,2,1）のフィルター・カーネルで画像を水平および垂直に通すことに3x3フィルターを適用することによって、局在プーリングオペレーションは実行される。
さらに、ステップ720で、プーリングオペレーションから生じている冗長度を取るために、各方向で2の因子によって結果として生じる画像はダウンサンプリングされる。Xに適用するものと同一の処理が、対応する参照画像Xrefに対して実行される。
ステップ（または段階）730において、絶対差分画像｜X+−X+ref｜及び｜X--X-ref｜は画素ごとに計算される。結果として生じる画像は、JNDマップである。
ステップ（または段階）740において、コアリング（coring）オペレーションがJNDマップで実行される。すなわち、閾値tc未満の全ての値はゼロに設定される。好適な実施例において、tcは0.5の値を初期設定値とする。
ステップ（または段階）750において、これらの画像の第Qのパワーが決定される。好適な実施例において、Qは2の値を初期設定値とする自然数である。
このプロセスが全てのX、Xrefのペアに対して完了された後、繰り返しアップサンプリングし、フィルターをかけ、かつ必要レベルまで全画像を加えることによって、合計測定は決定される。これは次のように成し遂げられる：
ステップ（または段階）760において、レベル-2画像を導き出すためにT3、T3refから導き出されるレベル-3画像に、アップサンプリングおよびフィルターリングは適用される。
ステップ（または段階）761において、H2、H2ref、V2およびV2refから導き出されるレベル-2画像を有するステップ760からレベル-2画像の和にアップサンプリングおよびフィルターリングは適用される。
ステップ（または段階）762において、H1、H1ref、V1およびV1refから導き出されるレベル-2画像を有するステップ761からレベル-2画像の和にアップサンプリングおよびフィルターリングは、適用される。
ステップ（または段階）763において、H0、H0ref、V0およびV0refから導き出されるｒレベル-2画像を有するステップ762からレベル-2画像の和にアップサンプリングおよびフィルターリングは、適用される。ステップ（または段階）からの経路765上の出力763が輝度JNDマップである。
最終的な処理ステップ763の前に、結果として生じる画像が本来の画像の半分の解像度である点に留意する必要がある。同様に、この処理セクションでの各ピラミッド-レベル指数は、フィルターリング/ダウンサンプリング後のレベルと結びつけた解像度の２倍であり、それを元々導き出したピラミッド・レベルに言及する点に留意する必要がある。
上記において繰り返しアップサンプリングし、フィルターリングし、かつプロセスを加えることによって生成される全画像が第ＱパワーＪＮＤ画像である点にもまた留意する必要がある。レベル-0画像は2つの形態において使われ、そこで、その画像は、経路764の合計処理に直接送られるか、またはステップ763で目的のディスプレイのための本来の解像度にアップサンプリングされ、かつフィルターをかけられる。
図21は、輝度メートリック生成セクション240の代替実施例の詳細なブロック図を示す。図21の輝度メートリック生成は、図7の輝度メートリック生成に類似する多数の段階を含みので、説明は異なる段階だけに対して以下に提供される。
さらに詳細には、「コアリング」段階740及び「第Ｑパワーへの増加」段階750は、チャネル出力の実行合計と実行最大を維持する、複数の最大および合計段階と取り替えられる。段階730までは、図21によって示されるプロセスは図7のプロセスと同一なので、図21のプロセスは、絶対差分画像｜X+−X+ref｜及び｜X--X-ref｜が決定された点から始まることを記述される。
次に、プロセスがX、Xrefの全てのペアに対して完了されたあと、段階2140で、T3、T3refから導き出されるレベル-3画像の合計を含むために実行-合計画像（running-sum image）は初期化される。同様に、段階2142で、｜T3+-T3+ref｜及び｜T3--T3-ref｜のポイントごとの最大値として実行-最大画像（running-maximum image）を含むために、実行-最大画像が初期化される。
次に、2つのレベル-2画像を含むために、実行-合計および実行-最大画像はそれぞれ段階2140a及び2142aによってアップサンプリングされ、かつフィルターをかけられる。それから、段階2144によって、実行-合計画像は、H2、H2ref、V2及びV2refから導き出されるレベル-2画像をそれに加えることによって更新される。同様に、実行-最大画像は、それをH2、H2ref、V2及びV2refから導き出されるレベル-2画像と比較することによって段階2146によって更新される。
次に、2つのレベル-1画像を含むために、実行-合計および実行-最大画像は、それぞれ段階2144a及び2146aによってアップサンプリングされ、かつフィルターをかけられる。それから、段階2148によって、実行-合計画像は、H1、H1ref、V1及びV1refから導き出されるレベル-1画像をそれに加えることによって更新される。同様に、実行-最大画像は、それをH1、H1ref、V1及びV1refから導き出されるレベル-1画像と比較することによって段階2150によって更新される。
次に、2つのレベル-0画像を含むために、実行-合計および実行-最大画像は、それぞれ段階2148a及び2150aによってアップサンプリングされ、かつフィルターをかけられる。それから、段階2152によって、実行-合計画像は、H0、H0ref、V0及びV0refから導き出されるレベル-0画像をそれに加えることによって更新される。同様に、実行-最大画像は、それをH0、H0ref、V0及びV0refから導き出されるレベル-0画像と比較することによって段階2154によって更新される。
最後に、以下に従って輝度JNDマップを作り出すために、段階2160で、実行-合計および実行-最大画像のポイント毎の線形結合は実行される：
【数２３ｋ】
JNDL（i,j）=kLRunning_Max（i,j）+（1-kL）Running_Sum（i,j）
ここで、kL=0.783。kのための値はミンコフスキーQ-ノルムに接近することによって決定される。まとめるためにQの値および画像Nの数が与えられると、全ての比較されたエントリー（画素で）が同一で、かつ唯一のゼロ以外のエントリーがある場合に概算測定がQ-ノルムと正確に一致することを、値kL=［N-N1/Q］/［N-1］は確実にする。この場合、N=14（チャネルの数）かつQ=2である。
このプロセスの後、結果として生じる画像が本来の画像の半分の解像度である点に留意する必要がある。同様に、このプロセスでの各ピラミッド-レベル指数は、フィルターリング/ダウンサンプリング後のレベルに結びついた解像度の２倍であり、そのレベルが元々導き出されたピラミッド・レベルに言及する点に留意する必要がある。
最後に、繰り返されるフィルターリング/ダウンサンプリング及びプロセスを加え/最大化することによって生成される全てのイメージは、JND画像を生み出すために、ウェイトkLおよび1-kLに加えられることが可能である点に留意する必要がある。レベル-0画像は、2つの形態において処理されることが可能であり、そこでレベル-0画像は、経路2161を経たJND合計処理に直接送られるか、または段階2170によって目的のディスプレイのための本来の解像度にアップサンプリングされ、かつフィルターをかけられる。
一般に、図21の輝度メートリック生成セクションは好適な実施例であり、一方、図7の輝度メートリック生成セクションは代替実施例である。1つの理由は、計算上、最大合計方法（max-sum method）はあまり高価でないということである。このように、整数実現（integer implementation）でのダイナミックレンジが要求されるならば、図21の輝度メートリック生成セクションはむしろ好まれる。一方、浮動小数点プロセッサが使用されるならば、図7の輝度メートリック生成セクションがまた、同様に使われることが可能である。
半値高輝度処理
記憶要求および計算のサイクルは重要な処理問題であるので、例えばインタレース画像の上下フィールドといった半値高画像を処理する能力がある知覚メートリックジェネレーターの代替実施例を、本発明は提供する。この実施例は、全値高画像を記憶するために必要な記憶空間的量を減らして、同時に、計算のサイクルの数を減らす。
本当の画像の高さにゼロ-充填なしで半値高画像が直接通過されることになっている場合、固有の垂直解像度が固有の水平解像度のわずか半分であることを反映するために上記の輝度処理セクション220は修正されなければならない。図22及び図23は、輝度処理セクション及び半値高画像を処理するための輝度メートリック生成セクションのブロック図である。
多数の段階が同一であることを、これらの図（図22及び図23）の比較および全値高インタレース画像（図20及び図21）に対応する図は明らかにする。このように、図22及び図23に対する以下の説明は2つの実現（implementation）間の違いに限られている。
第１に、最高解像度の水平チャネルであるH0は除去される。第２に、ウェイト（1/8、3/4、1/8）を有する3×1の「ケル」フィルター（垂直フィルター）2210で、最高解像度画像は垂直にローパスフィルターをかけられる（すなわち、列に沿って）。このフィルターは、垂直次元において半分の空間的周波数でラインがサンプルにとられるという事実による影響を取り除くためのアンチエイリアスフィルター（anti-aliasing filter）である。すなわち、それは垂直にぼやけるローパスフィルターである。それから、垂直にフィルターをかけられた結果として生じる画像であるL0は、1x 3のフィルター2220（カーネル0.25［1,2,1］）で水平にフィルターをかけられる。結果として生じる画像であるLP0は、L0の水平にローパスされたバージョンである。
次に、他の指向チャネルの（S-C）/（S+C）応答に類似しているローパス（LP0）指向応答によって分けられるバンドパス（LP0-L0）を作り出すために、L0及びLP0は結合される。
その結果、段階2200において、全値高半解像度画像（full height half-resolution image）（360 x 240）に、画像LP0（720 x 240画素の半値高画像）は水平にダウンサンプリングされる。この点で、縦横比はこの画像に処理を施し、かつ残っている三つのピラミッドレベルを通して、全値高オプションの場合のように継続可能である。
次に、レベル0からの半値高画像とレベル1の全値高画像との間のダウンサンプリング及びアップサンプリングは、段階2232による1x3フィルターリング/水平ダウンサンプリング（1 x 3 filter & d.s.と名称をつけられた）及び段階2234による水平アップサンプリング（h.u.s.）/1x3フィルターリングで、それぞれ行われる。水平次元で2の因子によって、すなわち画像のその他の列を投げ出すといったデシメーション（decimation）を水平ダウンサンプリングは適用する。既存画像の各2つの列の間で、水平アップサンプリングはゼロの列を挿入する。以上で触れられる理由のために、アップサンプリング後のフィルター・カーネルは、0.5［1,2,1］によって定義される。
図23は、半値高画像を処理するための輝度メートリック生成セクションを示す。第１に、最高解像度の水平チャネルであるH0は存在しない。V0チャネルに対して、他のチャネルで用いられるように3x3フィルターリング及びダウンサンプリング段階を取り替えるために、1x3フィルターリング及び水平ダウンサンプリング段階である2300は、提供される。
H0チャネルが欠けているので、種々のパラメーター、かつ実行-最大および実行-合計の「歩道」は修正される。例えば、kを決定するNの値は14から12まで変更される。同一値であるk=0.783は、全値高および半値高処理の両方に対して用いられ、また上記で与えられる方程式から計算される全値高および半値高恒数の平均値である。
最後に、全値高の実施例での場合のように、合計測定のための輝度マップは、ディスプレイされる前に全画像解像度に至らなければならない。ちょうどディスプレイに先立ち、段階2310においてアップサンプリングし、かつ1x3フィルターリング（カーネル0.5［1,2,1］）に従うことによって、最終的なJNDマップは水平方向において全解像度に至る。垂直方向において、ラインを２倍にする（line-doubling）ことが段階2320で実行される。
各空間的フィルターは水平および垂直空間的依存を有するので、全値高の実施例と比較すると半値高の実施例においていくつかの違いがある点に留意する必要がある。しかしながら、主観的な定格との相関において半値高の実施例がわずかな摂動を単に示すことが観察された。このように、ノンインタレース・オプション（non-interlace option）は、インタレース・オプション（interlace option）に対して実行可能でかつ時間を節約する代替として使用されることが可能である。
図8は、クロミナンス処理セクション230の詳細なブロック図を示す。再び、クロミナンス処理ステップのフローチャートとして、または例えばフィルター、種々の回路構成要素また/および特定用途向けＩＣ（ASIC）といったこの種のクロミナンス処理ステップを実行するために複数のハードウェア構成機器を有するクロミナンス処理セクションのブロック図として、図8は知覚されることができる。レベル0、1、2を有するピラミッドを除いて、u* 802及びv* 804の両方に対して、レベル0,1、...、6で、クロミナンス処理セクション230がピラミッドを計算する点に留意する必要がある。
中間受容器（inter-receptor）間隔によってではなく、中間画素（inter-pixel）間隔によって解像度は駆動されるので、クロミナンスチャネルの空間的解像度（すなわち最も高いピラミッド・レベルの解像度）は輝度の解像度と等しくなるように選ばれる。中間受容器の間隔は視覚の0.007度であり、また中間画素の間隔は、高さ480画素のスクリーンから導き出され、その高さの４倍に見られる0.03度である。他方、Morgan及びAiba（1985）は、等輝度において、他の種類の鋭さのために３つの中間受容器間隔と同等視されることになっている因子である3の因子によって赤−緑副尺視力が減らされるということを発見した。
また、視角の約2’（または.033度）未満の弧に対している光に対して、視覚系はトリアノピック（tritanopic）（青に対してブラインド（blue blind））であるという事実によって、青−黄クロミナンスチャネルの解像度は制限される（Wyszecki and Stiles, 1982, p.571を参照のこと）。輝度およびクロミナンスチャネルの画像解像度を同等に考えるために適切なこれらの値の最大値に、0.03度の視角の画像解像度は非常に近い。
クロミナンスピラミッドはレベル6に及ぶ。大きくて空間的な均一色フィールド間の差分にオブザーバが言及するという証拠を、これは支持する。この影響は、空間的に長いJNDマップを用いることによって言及されることができる。
この種の低い空間的周波数によるJNDへの寄与の量的な証拠は、Mullen（1985）によって提示された。
図8に一旦戻って、輝度処理と同様に、各々の連続的により粗い解像度レベルでの2の因子による画像を不鮮明にし、かつダウンサンプリングするピラミッド分解によって7つの解像度レベルでの空間的分解は成し遂げられる。本来の全解像度画像は、ピラミッドの零番目のレベル（レベル0）と呼ばれている。より低い解像度で、次のレベルは、REDUCEと呼ばれているオペレーションによって得られる。すなわち、ウェイト（1,2,1）/4による3タップ・ローパスフィルター805は、ぼけた画像を生成するために画像の各向きで順にレベル0に適用される。結果として生じる画像は、それから次のレベルであるレベル1をつくるために2の因子によってサブサンプリングされる（その他の画素は取り除かれる）。
ステップ（または段階）810において、タップ・ウェイト（0.25、0.25、0.25、0.25）で、各解像度レベルに対して、４つのフィールド平均はu*画像に、またv*画像にも実行される。すなわち：
【数２３ｌ】
0004700144.tif 000033
ここで、jはフィールド指数である。この平均算出オペレーションは、カラー・チャネルの固有のローパス時間的フィルターリングを反映し、かつ時間的輝度チャネルの「早い−遅い（early-late）」処理を取り替える。
ステップ（または段階）820において、指向されていないラプラシアン空間的フィルター820がu*及びv*画像の各々に適用される。フィルターは、以下の3x3カーネルを有する：
【数２４】
0004700144.tif 000034
これは、0合計ウェイトを有するように、かつ間に単位値差分を有する2つの均一領域の間で任意のまっすぐなエッジに、1の最大強度で応ずるように選ばれる。（最大応答は、水平または垂直エッジによって達成される）。これは、u*及びv*画像を、均一色空間（JND）単位で評価されるクロミナンスマップに差し出す。
ステップ（または段階）830において、輝度処理セクションで計算されるマイケルソンコントラストと類似して解釈されるように、クロミナンスコントラストピラミッドとしてステップ820から生じているu*及びv*画像上で、コントラスト計算は直接実行される。輝度コントラストとの類似において、クロミナンスコントラストは、ラプラシアン・ピラミッドによってもたらされるイントラ画像比較を通して計算される。空間的平均によって分けられるラプラシアン差分が、ウェーバーの法則を通して1-JNDレベル（検出閾値）で一定値を仮定するマイケルソン・コントラストを正に表すように、u*およびv*に作用しているラプラシアン・ピラミッドが1-JND解釈を有する。同様に、この解釈は、校正のうちに修正される。修正は、本発明の全部分の相互作用および1-JND応答を引き出している刺激が知覚メートリックジェネレーターに関して単純でないという事実を反映する。
さらに、ステップ（または段階）830において、レベルごとのコントラスト・ピラミッド画像が、校正によってそれぞれ1000、125、40、12.5、10、10、10であると決定される7つの恒数qi（i=0,... ,6）によって分けられる。これらの恒数は、輝度処理セクションの数量wi（i=0,... ,3）に類似している。
ステップ（または段階）840において、全てのu*及びv*コントラストの二乗（squares）は決定されるが、代数符号は後の使用のために再び保存される。二乗オペレーションにおける符号損失の曖昧性のため、2つの異なる画像間で符号保存は0のJNDを記録する可能性を防ぐ。その結果は、2つのクロミナンス二乗-コントラスト・ピラミッドCu，Cvである。
ステップ（または段階）850において、コントラストエネルギー・マスキングが実行される。第１に、更なる修正なしで、分母ピラミッド・レベルDm（m=0、1、2）は、輝度処理セクション220から直接採用される。しかしながら、レベル3、...、6に対して、D2の順次フィルターリング及びダウンサンプリングは、新しいタームを加えること以外は輝度処理の場合と同じ手段を用いて実行される。輝度はJNDを決定するものとしてより重要であるので、クロミナンスに対する輝度の影響は輝度に対するクロミナンスの影響よりも重要であると推定されるという認識においては、これらのDm値は、摂動論の精神においてステップ840で用いられる。すなわち、輝度影響がほとんどの場合クロミナンス影響を圧倒することになっているので、クロミナンス処理セクションは輝度処理セクションの上で第１次摂動として見られることができる。したがって、輝度（Dm）の影響は、逆でない、クロミナンスをマスクするようにモデル化される。
輝度-チャネル分母ピラミッドDm及び全てのピラミッド・レベルm=0、1、2に対して、クロミナンス二乗-コントラスト・ピラミッドをマスクするために輝度変換器に対して用いられる同じ関数フォームとを用いることによって、マスクされたクロミナンスコントラスト・ピラミッドは生成される：
【数２５】
0004700144.tif 000035
【数２６】
0004700144.tif 000036
ステップ830で取り除かれる代数符号は、因子であるsum及びsvmを通して再び付けられる点に留意する必要がある。このオペレーションは、u*及びv*に対してマスクされたコントラスト・ピラミッドを作り出す。ac=0.15、cc=0.3、k=0.7、σc=1.0及びβc=1.17という値を校正は決定した。さらに、mcを1の値に設定することは、全ての校正および予測において十分な性能を作り出した。
図24は、クロミナンス処理セクション230の代替実施例の詳細なブロック図を示す。図24のクロミナンス処理セクションは、図8のクロミナンス処理セクションに類似する多数の段階を含むので、異なる段階のみに対して下の説明は提供される。
クロミナンスの空間的および時間的フィルターリングは図8及び図24の両方の知覚メートリックジェネレーターに対して同一である。しかしながら、図24の知覚メートリックジェネレーターに対するクロミナンスコントラスト計算は、二乗オペレーションなしで成し遂げられる。すなわち、段階830は図24で段階2400と取り替えられる。
さらに詳細には、ステップ（または段階）830において、それぞれ384、60、24、6、4、3、3になるように校正によって決定される7つの恒数値qi（i=0,... ,6）によって、レベルごとのコントラスト・ピラミッド画像は分けられる。これらの恒数は図8の恒数と異なる点に留意する必要がある。これらの恒数は、輝度処理セクションにおける数量wi（i=0,...,3）に類似している。
次に、全てのui及びv*コントラスト［ここでclip（x）=max（0，x-e）］の省略された絶対値が、ここでe=0.75で計算される。再び、後の使用のために代数符号は保存され、かつ再び付着する。絶対値オペレーションでの符号損失の暖昧性のため、これは2つの異なる画像間で0のJNDを記録する可能性を妨げる。その結果は、2つのクロミナンスコントラスト・ピラミッドCu，Cvである。
図8及び図24の知覚メートリックジェネレーター間の重要なもう一つの違いは、コントラスト・エネルギー・マスキングの実現である。図8と違って、図24の知覚メートリックジェネレーターは、コントラスト・エネルギー・マスキング2410を２つの別れた段階において実現する：水平かつ垂直なチャネル（図24を参照のこと）の各々に対する交差マスキング段階および自己マスキング段階。自己マスキングは現在のチャネルの範囲内で情報の存在において感度を減らし、一方、交差マスキングは近隣のチャネルで情報の存在において感度を減らす。実際、これらの2つの別々のマスキング段階の順序は逆にされることが可能である。
全てのピラミッド・レベルm=0、...,6に対して、輝度チャネル分母ピラミッドDm及びクロミナンスコントラストピラミッドをマスクするための輝度変換器に対する同じ関数フォームを用いると：
【数２６a】
0004700144.tif 000037
また、i>2の場合、Diは、フィルターをかけられ且つダウンサンプルされた、D2のバージョンである。同様に、
【数２６ｂ】
0004700144.tif 000038
上記で取り除かれた代数符号は、因子であるsumとsvmを通して再び付けられたことに注意すること。これは、ui及びviに対してマスクされたコントラスト・ピラミッドを作り出す。校正は、ac=1/2、cc=1/2、βc=1.4及びmc=mf=10/1024という値を決定する。一般に、図24のクロミナンス処理セクションは好適な実施例であり、一方、図8のクロミナンス処理セクションは代替実施例である。
図9は、クロミナンスメートリック生成セクション250のブロック図を示す。再び、クロミナンス処理ステップのフローチャートとして、または例えばフィルター、種々の回路構成要素また/および特定用途向けＩＣ（ASIC）といったこの種のクロミナンス処理ステップを実行するために複数のハードウェア構成機器を有するクロミナンス処理セクションのブロック図として、図9は知覚されることができる。クロミナンスJNDマップの構築は、図7に関して上で示したように輝度JNDマップの構築に類似している。クロミナンスの事例において、プロセスは上の段階840によって生成される全てのマスクされたコントラストクロミナンス画像にあてはまる：すなわち、Cu0，Cv0，...，Cu6、Cv6という画像および参照シークエンスから導き出されるその対応画像（図8及び図9において上付添字refと示されいる）。
以下のプロセスでの最初の4つのステップは上記の画像に別々にあてはまる。以下の説明で、Xは検査シークエンスから導き出されるこれらの画像の何れをも示し、また参照シーケンスから導き出される対応画像をXrefによって示す。この記号を与えられた場合、ステップは次の通りである：
ステップ（または段階）910において、1つは正コントラスト912に対し、またもう1つは負コントラスト914に対する2つの半値波-整流化画像によって画像Xは分けられる。正コントラスト画像（X+と呼ばれる）において、Xコントラスト（以上で示したように別々に記憶される）からの符号は、負コントラストを有するX+においてゼロを全ての画素に割り当てるために用いられる。反対のオペレーションは、負-コントラスト画像X-で起こる。
ステップ（または段階）920において、各画像X+とX-に対して、0.5（1,2,1）のフィルター・カーネルで画像を水平および垂直に通すことに3x3フィルターを適用することによって、局在プーリングオペレーションは、実行される。
さらに、ステップ920で、プーリングオペレーションから生じている冗長度を取るために、各方向で2の因子によって結果として生じる画像はダウンサンプリングされる。Xに適用するものと同一の処理が、対応する参照画像Xrefに対して実行される
ステップ（または段階）930において、絶対差分画像｜X+−X+ref｜及び｜X--X-ref｜は画素ごとに計算される。結果として生じる画像は、JNDマップである。
ステップ（または段階）940において、コアリング（coring）オペレーションがJNDマップで実行される。すなわち、閾値tc未満の全ての値はゼロに設定される。好適な実施例において、tcは0.5の値を初期設定値とする。
ステップ（または段階）950において、これらの画像の第Qのパワーが決定される。好適な実施例において、Qは2の値を初期設定値とする自然数である。
このプロセスが全てのX、Xrefのペアに対して完了された後、繰り返しアップサンプリングし、フィルターをかけ、かつ必要レベルまで全画像を加えることによって、合計測定は決定される。これは次のように成し遂げられる：
ステップ（または段階）960において、レベル-5画像を導き出すためにCu6、Cu6ref，Cv6，Cv6refから導き出されるレベル-6画像に、アップサンプリングおよびフィルターリングは適用される。
次のステップ（または段階）において、Cu5、Cu5ref、Cv5、Cv5refから導き出されるレベル-5画像を有するステップ960からレベル-5画像の和にアップサンプリングおよびフィルターリングは適用される。このプロセスはレベル０を通して続けられる。
輝度処理と同様に、最終的な処理ステップ963の前に、結果として生じる画像が本来の画像の半分の解像度である点に留意する必要がある。同様に、この処理セクションでの各ピラミッド-レベル指数は、フィルターリング/ダウンサンプリング後のレベルと結びつけた解像度の２倍であり、それを元々導き出したピラミッド・レベルに言及する点に留意する必要がある。
上記において繰り返しアップサンプリングし、フィルターリングし、かつプロセスを加えることによって生成される全画像が第ＱパワーＪＮＤ画像である点にもまた留意する必要がある。レベル-0画像は2つの形態において使われ、そこで、その画像は、経路964の合計処理に直接送られるか、またはステップ963で目的のディスプレイのための本来の解像度にアップサンプリングされ、かつフィルターをかけられる。
以前に示されたように、出力合計ステップに移される輝度およびクロミナンスJNDマップは第ＱパワーＪＮＤ画像であって、本来の画像の半分の解像度で表現される。これは、各マスクされたコントラスト段階でプールすることを実行したことで固有の冗長度を活用する。これらの半解像度画像の各々は、ミンコフスキー加え算を通して全ての画素を平均することによって単一のJND性能指標になることが可能である：
【数２７】
0004700144.tif 000039
【数２８】
0004700144.tif 000040
Npは各JNDマップにおける画素の数であり、JNDluminance及びJNDchrominanceは合計測定であり、またLJNDQ及びCJNDQはそれぞれ輝度及びクロミナンスマップ構築からの半解像度マップである。各々の場合において、合計は画像における全ての画素に関している。以前に定まったので、ミンコフスキー指数Qの値は2に初期設定する。
輝度及びクロミナンス合計測定から、フィールドに対する単一の性能指標はミンコフスキー加え算によって計算される、すなわち、
【数２９】
0004700144.tif 000041
ここで、Qは再び2に初期設定する。
各フィールドに対するJND値を加えることによるビデオ・シーケンスのNフィールドに対する単一性能指標であるJNDfieldは、再びミンコフスキーセンスにおいてである。Qは2に初期設定する。
【数３０】
0004700144.tif 000042
図25は、輝度メートリック生成セクション250の代替実施例の詳細なブロック図を示す。図25の輝度メートリック生成は、図9の輝度メートリック生成に類似する多数の段階を含みので、説明は異なる段階だけに対して以下に提供される。
さらに詳細には、「コアリング」段階940及び「第Ｑパワーへの増加」段階950は、チャネル出力の実行合計と実行最大を維持する、複数の最大および合計段階と取り替えられる。段階930までは、図25によって示されるプロセスは図9のプロセスと同一なので、図25のプロセスは、絶対差分画像｜X+-X+ref｜及び｜X--X-ref｜が決定された点から始まることを記述される。
次に、プロセスがX、Xrefの全てのペアに対して完了されたあと、段階2540で、Cu6，Cu6ref，Cv6，Cv6refから導き出されるレベル-6画像の合計を含むために実行-合計画像は初期化される。同様に、段階2542で、これらと同一画像のポイントごとの最大として実行-最大画像が初期化される。
次に、2つのレベル-5画像を含むために、実行-合計および実行-最大画像はそれぞれ段階2540a及び2542aによってアップサンプリングされ、かつフィルターをかけられる。それから、段階2544によって、実行-合計画像は、Cu5、Cu5ref、Cv5及びCv5refから導き出されるレベル-5画像をそれに加えることによって更新される。同様に、実行-最大画像は、それをCu5、Cu5ref、Cv5及びCv5refから導き出されるレベル-5画像と比較することによって段階2546によって更新される。このプロセスはピラミッドレベル０まで繰り返される。
最後に、クロミナンスJNDマップを作り出すために、上記のステップで実行された実行-合計および実行-最大画像のポイント毎の線形結合は実行される：
【数３０a】
JNDC（i,j）=kCRunning_Max（i,j）+（1-kC）Running_Sum（i,j）
ここで、kc=0.836。kcのための値は、ミンコフスキーQ-ノルムに接近することによって決定される。まとめるためにQの値および画像Nの数が与えられると、全ての比較されたエントリー（画素で）が同一で、かつ唯一のゼロ以外のエントリーがある場合に概算測定がQ-ノルムと正確に一致することを、値kc=［N-N1/Q］/［N-1］は確実にする。この場合、N=28（チャネルの数）かつQ=2である。
輝度処理の場合のように、これらのオペレーションの後、結果として生じる画像は本来の半分の解像度である。フィルターリング/ダウンサンプリング後のレベルと関連する解像度の２倍であり、それが元々導き出されたピラミッド・レベルに、このプロセスでの各ピラミッド-レベル指数は言及する点に留意する必要がある。
繰り返されるフィルターリング/ダウンサンプリング及びプロセスを加え/最大化することによって生成される全てのイメージは、JND画像を生み出すために、ウェイトkc及び1-kcに加えられることが可能である点に留意する必要がある。レベル-0画像は、2つの形態において用いられ、そこで、レベル-0画像は合計処理に直接送られるか、または目的のディスプレイのための本来の解像度にアップサンプリングされる。
一般に、図25の輝度メートリック生成セクションは好適な実施例であり、一方、図9の輝度メートリック生成セクションは代替実施例である。1つの理由は、計算上、最大合計方法（max-sum method）はあまり高価でないということである。このように、整数実現（integer implementation）でのダイナミックレンジが要求されるならば、図25の輝度メートリック生成セクションはむしろ好まれる。一方、浮動小数点プロセッサが使用されるならば、図9の輝度メートリック生成セクションがまた、同様に使われることが可能である。
半値高クロミナンス処理
本当の画像の高さにゼロ-充填なしで半値高画像が直接通過されることになっている場合、固有の垂直解像度が固有の水平解像度のわずか半分であることを反映するために上記のクロミナンス処理セクション230は修正されなければならない。図26及び図27は、クロミナンス処理セクション及び半値高画像を処理するためのクロミナンスメートリック生成セクションのブロック図である。
多数の段階が同一であることを、これらの図（図26及び図27）の比較および全値高インタレース画像（図24及び図25）に対応する図は明らかにする。このように、図26及び図27に対する以下の説明は2つの実現（implementation）間の違いに限られている。
第１に、最高解像度のクロミナンスチャネルであるu0*及びv0*は除去される。通常、クロミナンス感度は高い空間的周波数では低いので、このチャネルの損失は重要でない。
第２に、次の最高解像度クロミナンス画像u1*及びv1*を作り出すために、ウェイト（1/8、3/4、1/8）のカーネルを有するローパス「ケル」フィルター2600は、垂直に適用される（すなわち、列に沿って）。全値高実施例の3x3のフィルターの垂直成分によって実行されるフィルターリングと共に、このオペレーションは、仮のインターレースのフィルターの結合フィルターリングと一致する。垂直にフィルターをかけられた、結果として生じる画像は、それからウェイト0.25（1、2、1）のカーネルを有する1×3のフィルター2610で、水平にフィルターをかけられる。このu*及びv*画像のフィルターリングは、解像度において半値高画像を等方性にする。解像度は全値高ピラミッド-レベル1の解像度である。
図27は、半値高画像を処理するためのクロミナンスメートリック生成セクションを示す。第１に、0-レベルは存在しない。このように、種々のパラメーター、かつ実行-最大および実行-合計の「歩道」は修正される。例えば、kを決定するNの値は、28から24まで変更される。同一値であるk=0.836は、全値高および半値高処理の両方に対して用いられ、また上記で与えられる方程式から計算される半値高恒数の平均値である。
クロミナンス実施例におけるピラミッド・レベル1で、最大および合計のストリームは充分に累算されるので、合計測定に対するクロミナンスJNDマップは、充分に累算された輝度マップのわずか半分の寸法（水平および垂直に）である。このように、合計JNDマップを作り出すために、クロミナンスおよび輝度マップを結合する前に、クロミナンスマップは最初に輝度マップと同一解像度に持ってこられなければならない。この目標を成し遂げるために、3x3フィルターによって進められるアップサンプリング2705は、合計測定のためのクロミナンスJNDマップを作り出すために実行される。
全値高の実施例での場合のように、合計測定のためのクロミナンスマップは、ディスプレイされる前に全画像解像度に至らなければならない。輝度マップのオペレーションに類似する一致性という理由で、段階2710においてアップサンプリングし、かつ1x3フィルターリング（カーネル0.5［1,2,1］）に従うことによって、クロミナンスJNDマップは水平方向において全解像度に至る。垂直方向において、ラインを２倍にする（line-doubling）ことは段階2720で実行される。
JND出力合計
上で示したように、出力合計ステップに移される輝度およびクロミナンスJNDマップは、JND画像であり、かつ本来の画像の半分の解像度で表現される。これは、各マスクされたコントラスト段階でプールすることを実行したことで固有の冗長度を活用する。
次に、輝度およびクロミナンスJNDマップであるJNDL及びJNDCは、合計フィールドJNDマップであるJNDTに結合される。JNDL及びJNDCマップを作り出すチャネルの結合による類似で、その結合は近似関数ミンコフスキー加え算で達成される：
【数３０ｂ】
JNDT（i,j）=kTmax［JNDL（i,j）,JNDC（i,j）］
+（1-kT）［JNDL（i,j）］+JNDC（i,j）
ここでkT=0.586。kTの選択は、ミンコフスキーQ-ノルムに近づくことによって決定される。この場合、最大/合計およびQ=2において、2つの（2）タームがある。
その結果、半解像度JND画像（各フィールドに対する３つ：輝度、クロミナンスおよび合計フィールド）の各々は、以下のヒストグラム・プロセスによるJAMと呼ばれている単一のJND性能指標に減らされる：
第１に、JND値（ビン寸法1/8 JNDで）のヒストグラムがつくられるが、閾値レベルであるtc=1/2より小さい値は含まれない。100JNDより大きい全ての値は100JNDとして記録される。
第２に、JAMは、上記の短縮ヒストグラムからのJND得点の第90の百分位数として選ばれる。この形態で、３つの値であるJAMluma、JAMchroma及びJAMtotalは、それぞれJNDL、JNDC及びJNDTに相当する合計測定に対して計算される。これは、ビデオ・シーケンスにおいて各フィールドに対して成し遂げられる。
ビデオ・シーケンスにおけるN単一フィールドであるJAMfield値から、単一の性能指標JAMNは、2つの形態のうちの1つにおいて、シーケンスの長さに依存して計算される。
N>10に対して：
JAMNは、JAMfield値のヒストグラムの第90の百分位数に等しい。
0004700144.tif 000043
に対して:
Nが増加するにつれて、連続度を提供する以下のプロセスによって、JAMNは決定される。さらに詳細には、JAMfield値のヒストグラムは、初めにつくられる。第２に、本物のヒストグラムと同一の最小、最大および平均を有する「虚偽のヒストグラム」によって、このヒストグラムは近づかれる（見積もられる）が、最小値または最大値のどちらかでの単一のビン・ピークを有する恒数から成る。
第３に、N-フィールドJAMは、上記の虚偽のヒストグラムからのJAMfield得点の第90の百分位数として選ばれる。
短いビデオ・シーケンスに対して、その主観的な定格データは雑音が多くて（例えば1/2秒または15フレーム未満）且つあてにならない点に留意する必要がある。このように、JAM推定値は、短いシーケンスに対して、主観的な定格と不完全に相関する可能性がある。
画像境界処理
本知覚メートリックジェネレーターにおいて、人為構造（artifact）を輝度およびクロミナンスJNDマップに各段階での境界反射が伝播される可能性があることが観察され、それによってJNDマップがこれらの人為構造によって汚染されないようにするために切り取りを必要とした。この臨界について言及するために、方法は、スクリーン境界を無限範囲の灰色のベゼル（bezel）と取り替えるために開発されたが、辺上で6つ以上の画素によって実像寸法を強化することなく機能する。この「仮想ベゼル」の使用は、境界人為構造を避けるためにJNDマップを切り取る必要性を排除する。無限の灰色ベゼルは、表示条件をモデル化して、それゆえに、非人為構造であるとみなされることができる。この解釈で、全てのJNDマップは、人為構造によって汚されておらず、かつ画質アナライザー（Picture Quality Analyzer）によって示されることが可能である。
以下の説明で、至る所に6つの画素を詰められた画像は「詰め物をした画像（padded image）」として言及され、かつ詰め物をされていない画像、または詰め物をした画像の範囲内の軌跡は、「適正画像（image proper）」と呼ばれる。
画像オペレーションは局在的であるので、仮想無限ベゼルは能率的に実現されることができる。適正画像の外側で十分に遠く、無限のベゼルは、与えられた任意段階で、同一で一定の値のセットを結果とする。この一定の範囲で実行される、例えばフィルターリングといった画像オペレーションの影響は、計算されたアプリオリ（a priori）でありえる。このように、狭い境界（現在の実現での6つの画素）は、適正画像から無限のベゼルまで適当な推移を提供することができる。
入力で、ベゼルはY’=90，U’=V’=0という値を与えられる。（Y’=90という値は、最大スクリーン輝度の15%であるRec 500背景値の半分と一致する）。しかしながら、画像境界を越えて広がる空間的な相互作用がこの段階の後まで発生しないので、フロントエンド処理の後までベゼルは必要でない。輝度チャネルにおいて、輝度圧縮の後まで境界は画像に追加されない（したがってベゼル値はない）。クロミナンスチャネルにおいては、フロントエンド処理の後、境界は追加される。
輝度チャネルにおいて、輝度圧縮後の最初のベゼル値は、
【数３０ｃ】
0004700144.tif 000044
u*及びv*チャネルにおいて、最初のベゼル値は両方とも0である。
３つのやり方で、処理の次の段階を通してこれらの値は伝播される：
1）画素ごと関数は新しいベゼル値を作り出すために古いベゼル値に作用する。例えば、1.4の検出力関数から生じているベゼル値は以下の通りである。
【数３０ｄ】
bezel_out=（bezel_in）1.4
2）行と列の合計がPになる3x3空間的フィルターは、入力ベゼル掛けるPに出力ベゼル値を設定する。
3）コントラスト関数の分子及び４フィールド時間フィルター（ゼロのタップ合計を有する）は、出力ベゼル値を0に設定した。
コントラスト段階またはその後に、すなわち空間的に一定のアレイ上のゼロサム（zero-sum）の線形カーネルで機能する論理的帰結といった、輝度およびクロミナンスチャネルにおいて、ベゼルは値0を与えられる。
仮想ベゼルを生成するための現在の方法は、US特許出願1997年12月23日に出願の第08/997267号で開示され、また「画像ピラミッド境界の生成方法（Method for Generating Image Pyramid Borders）」と称する。ここで、このUS特許出願第08/997267号は参照で取り入れられる。
積分画像及びベゼル
モデルのピラミッド段階から始めて、境界は供給される必要がある。ＮｘＭ入力画像の最初の境界オペレーションは、適切なベゼル値（圧縮輝度画像に対する第１輝度ベゼルと、かつu*及びv*画像に対する0）で、画像に6画素を（至る所に）詰めることになっている。詰め物をされた画像は、次元（N+12）x（M+12）を有する。第kピラミッド・レベル（kが0から7まで変動することができるところ）に対して、詰め物をされた画像は、次元（［N/2k］+12）x（［M/2k］+12）を有し、ここで、「［x］」はxにおける最大整数を示す。
適正画像の左上コーナーで、全てのピラミッド・レベルにおける画像は互いに登録される。適正画像指数は
0004700144.tif 000045
から実行する。適正画像の左上コーナーは、常に指数（0,0）を有する。ベゼル画素指数は0未満の高さ及び幅値を有する。例えば、上の左手ベゼル画素は（-6、-6）である。幅w（画像＋ベゼルの幅はw+12）の画像に対して、左手エッジから始まるx次元に沿って見る場合、ベゼル画素はx=（-6,-5,...,-1）によってインデックスを付けられ、実像は（0,1,...,w-1）によってインデックスを付けられ、また右手ベゼル指数は（w,w+1,...,w+5）に及ぶ。
詰め物をされた画像を与えられると、処理の次の段階に依って起こる４つのことがある。これらのオペレーションを下で記述することにおいて、空間的な処理を合計するために単一の画像ラインを使う（類似している結果が垂直方向で起こると思うことで）。
（a）画素ごとのオペレーションに対して。次のオペレーションが画素ごとに機能することになっている（例えば、非線形で）とき、詰め物をされた画像は単にオペレーションに通され、また、出力-画像次元は入力-画像次元と同じものである。オペレーションが異なるフィールドまたは異なるカラー-バンドにおいて対応する画素間にあるとき、同じものが発生する。
（b）3x3空間的フィルターに対して。詰め物をされない入力画像が（一次元で）次元Nkを有する場合、詰め物をされた入力画像は次元Nk+12を有し、同様に詰め物をされた出力画像は次元Nk+12を有する。出力ベゼル値は、最初に計算されて、次の画像オペレーションによって別の方法では満たされないベゼル画素に、少なくとも書き込まれる。そして、詰め物をされた入力画像の左エッジから離れて1つの画素を始めると、3x3カーネルは、入力画像の上で機能して、出力画像のベゼル値に上書きし、画像の右（または底）エッジ（本来のベゼル値が生き残るところ）から離れて1つの画素を止める。予め書かれたベゼル値は、本来の（詰め物をされた）画像の外側にこれまで行っていたカーネル・オペレーションが、これらの値を計算することを無用にする。
（c）REDUCEでのフィルターリング及びダウンサンプリングに対して。次元Nk+12を有する、入力詰め物をされた画像を与えられて、出力アレイは、次元［Nk/2］+12で割り当てられる。ベゼル値は、次のフィルター及びダウンサンプリングによって別の方法では満たされないベゼル画素に、少なくとも書き込まれる。それから、上記（b）に従って入力画像はフィルターをかけられるが、入力画像が使い尽くされるまで、フィルターは画素-4、-2、0、2、4で適用され、また更なる場所が出力画像になくなるまで、出力値はシーケンス画素-2、-1、0、1、2、...に書き込まれる。新しい画像での画素0の位置が新しい画像の左の末端からの7つの画素である点に注意するべきである。Nkが奇数の場合、フィルターの最後の画素アプリケーションは、入力画素Nk+3に出力画素［Nk/2］+2を持っていき、また、Nkが偶数の場合、入力画素Nk+4を出力画素［Nk/2］+2に持っていく。（ここで、3画素カーネルの中心と一致している画素として、フィルターの入力画素に言及する）。
輝度校正および予測
精神物理的なデータが、2つの目的のために用いられた：1）輝度処理セクションを校正するため（すなわち、確かな処理パラメーターに対する値を決定するため）及び2）それが一旦校正された場合に輝度処理セクションの予測値を確認するため。全ての事例において、刺激が、輝度処理に先立ち直ちにY値画像として知覚メートリックジェネレーターに導入された。
校正
輝度処理セクション220は、２つのデータセットを用いて繰り返し校正されることが可能である。輝度処理セクションのステップ640、642及び650において、予めマスキングしている恒数（wi、te及びtl）を調節するために1つのデータセットが用いられる。輝度処理セクションのステップ660において、マスキング段階の恒数σ，β，a及びcを調節するためにデータの他のセットが用いられる。JND値は常にステップ660の後、評価されるので、第２のデータセットによるステップ660での恒数の調整は最初のデータセットによるステップ640、642と650の恒数の再調整を必要とした。更なる変更が1つの反復から次の間に観察されなくなるまで、これらの恒数の再調整は続けられた。視覚出力の1つのJNDとしてマスキングされていないコントラスト（ステップ640、642及び650）の単位値を解釈することによって上記の反復プロセスは始まるけれども、マスキングプロセスがこの解釈を混乱させることを留意する必要がある。調整の細目は、以下のサブセクションで記述される。
コントラスト-規格化恒数の調整（ステップ640、642及び650）
マスキングに先立つ、空間的及び時間的なコントラスト感度に対する知覚メートリックジェネレーター予測は、Koenderink及びVan Doorn（1979）によって提示される正弦波に対してコントラスト感度データに一致した。知覚メートリックジェネレーターに基づく曲線の上でポイントを生成するために、知覚メートリックジェネレーター（空間または時間のどちらにおいても）への検査画像として小振幅正弦波が提示され、また1つのJND出力のためのコントラスト閾値が査定された。各事例において、検査フィールドと同一の平均輝度を有する均一フィールドを参照画像は暗に有した。
知覚メートリックジェネレーターのステップ640、642及び650において、コントラストピラミッド感度パラメーターw0、w1及びw2を調節するために、データへの空間的コントラスト感度の適合（最終適合に対しては図10を参照）が用いられた。図10での破線は、合計感度（実線）を含む別々のピラミッド・チャネルの感度を表す。図１０における空間的モデル適合は、4つのスクリーンの高さの視距離といった、前述した視距離の拘束と一致した15サイクル/度（cycles/deg）を越えて広がらなかった点に留意する必要がある。より長い視距離は下層の解像度ピラミッド・レベルを必要とするかもしれず、かつこれらは低計算の費用で簡単に取り入れられることができた、わずかに異なる視距離を適応させるために、w0、w1及びw2への同様の調整が実行されることが可能である。
コントラストピラミッド感度パラメーターw3と同様に時間フィルタータップ・パラメーター・te及びtlを調節するために、データへの時間的コントラスト感度の適合（最終適合に対しては図11を参照）が用いられた。これらのパラメーターに適合するために用いられる方法は、空間的コントラスト校正に類似している。種々の時間的周波数におけるVan Doorn及びKoenderinkの最低空間的周波数データは、空間的に均一な時間的正弦波に対して計算される感度に対して一致した。各事例において、50及び60Hzで視域モデル・フィールド比率は時間的な正弦波をサンプリングし、これは上記の制限パラメーター値を引き起こした。
マスキング恒数の調整（ステップ660）
マスクされたコントラスト判別に対する予測をCarlson及びCohen（1978）によって得られるデータで比較することによって、マスキング-パラメーター値、σ，β，a及びc（知覚メートリックジェネレーターのステップ660で）は適合された。最終適合比較の結果は図12に記載される。Carlson-Cohen研究から、典型的であり且つ十分なデータ点も有する基準に従って単一オブザーバのデータが選ばれた。この場合、検査および参照フィールドで与えられたペデスタル・コントラストの空間的正弦波と、加えて検査フィールド正弦波のコントラスト増分とから、知覚メートリックジェネレーター刺激は成った。1つのJNDを成し遂げるために必要なコントラスト増分は、各コントラストペデスタル値に対する知覚メートリックジェネレーターから決定され、それから図12でプロットされた。
予測
知覚メートリックジェネレーター校正後、知覚メートリックジェネレーター予測は、正弦波でなかった刺激からの検出及び判別データと比較された。これは、より一般的な刺激への正弦波結果の移動可能性をチェックするために成された。10サイクル/度（cycles/deg）より上の公称空間的周波数を有するパターンに予測が適用されなかったことは、図13、14及び15から参照される。そのようなパターンは、15サイクル/度より上の空間的周波数での感知できるエネルギーを有し、かつ画素サンプリングレート（１度につき30サンプル−前述を参照のこと）でエイリアジングしたであろう。
最初の研究（図13）で、検査フィールドにおける低コントラスト・ディスクが、均一な参照フィールドに対して検出された。実験データは、ブラックウェル及びブラックウェル（Blackwell and Blackwell）（1971）からである。この特定の研究のために知覚メートリックジェネレーターを実行することにおいて、空間的なQ-norm合計測定を最大に取り替えることは必要だった。一方、JND結果は、ディスクの背景サイズに（すなわち、イメージサイズに）敏感だった。
小振幅チェッカーボードの検出という第２の研究（図14）において、データはSarnoffの未発表の研究で得られた。
第3の研究（Carlson and Cohen，1980からのデータ）は、いくぶん最初の２つとは幾分異なっていた。erf（ax）によって与えられるぼけたエッジが参照画像で提示された、そして、判別は検査画像でerf（a’x）によって与えられるエッジに対して試みられた。ここで、xは視覚次数（visual degree）でのレチナール（retinal）距離であるa=πf/［ln（2）］0.5，a’=π（f+Δf）/［ln（2）］0.5であり、そして、fはサイクル/度（cycles/deg）が単位である。ここで、Δfは1つのJNDのために必要なfにおける変化分である。図15でのプロットは、Δf/f対fである。
４つのスクリーンの高さ視距離での画面の空間的周波数指標のレンジのために、知覚メートリックジェネレーター予測がデータにかなり適合されるということを見ることができる。
クロミナンス校正
輝度パラメーター校正の場合のように、精神物理的なデータが、クロミナンスパラメーターを校正するために（すなわち、最高モデル適合のために値を調節するために）用いられた。全ての事例では、刺激は、CIELUVへの変換直前でのCIE X、Y及びZにおける画像として知覚メートリックジェネレーターに導入された4つの等しいフィールドであった。
コントラスト-規格化恒数の調整（ステップ830）
マスキングに先立つクロマティックコントラスト感度のための知覚メートリックジェネレーター予測は、Mullen（1985）によって作り出されるコントラスト感度データに一致された。用いられた検査シークエンスは、各々が（X、Y、Z）値として導入された、水平に変化をつける空間的正弦波格子を有する4つの等しいフィールドであった。校正のために使われるデータは、各テストが赤−緑等輝度正弦波であったものに一致するMullenの図6からであった。画素iで、検査-画像正弦波は、以下によって与えられる三刺激値を有した。
【数３１】
X（i）=（Yo/2）｛（xr/yr+xg/yg）+cos（2πfai）Δm（xr/yr-xg/yg）｝
Y（i）=Yo、
Z（i）=（Yo/2）｛（zr/yr+zg/yg）+cos（2πfai）Δm（zr/yr-zg/yg）｝
ここでは、Δmは閾値増分判別コントラストであり、（xr，yr）=（.636、.364）は赤い干渉フィルター（602nmの）の色度であり、（xg，yg）=（.122、.823）は緑の干渉フィルター（526nmの）であり、zr=1-xr-yr，zg=1-xg-yg及びa=.03deg/pixelである。参照-画像は、Δm=0以外で、方程式（28）によって表される均一フィールドである。知覚メートリックジェネレーターの目的のためには、Yo=1に設定すれば十分である。
モデルに基づく曲線上でポイントを生成するために、上記の刺激はfの種々の値で提示され、また、1つのJND出力に対するコントラスト閾値Δmが査定された。データ（最終適合に対しては図16を参照のこと）へのモデル化されたクロマティックコントラスト感度の適合は、知覚メートリックジェネレーターにおいてパラメーターであるqi（i=0,... ,6）を調節するために使われた。
マスキング恒数の調整（ステップ840）
クロミナンスマスキングのための知覚メートリックジェネレーター予測は、Switkes.ほか（1988）によって提示されるデータに一致した。用いられた検査シークエンスは、各々が（X、Y、Z）値として導入された水平に変化をつける空間的正弦波格子を有する4つの等しいフィールドであった。その作業（クロミナンスのクロミナンスマスキング）の図4と一致するために、画素iで、検査-画像正弦波は、以下に与えられる三刺激値を有した。
【数３２】
X（i）=（Yo/2）｛（xr/yr+xg/yg）+cos（2πfai）［（m+Δm）（xr/yr-xg/yg）］｝
Y（i）=Yo、
Z（i）=（Yo/2）｛（zr/yr+zg/yg）+cos（2πfai）［（m+Δm）（zr/yr-zg/yg）］｝
ここで、Δmが閾値増分判別対照であり、（xr，yr）=（.580、.362）は赤い蛍光体の色度であり、（xg，yg）=（.301、.589）は、緑の蛍光体の色度であり、zr=1-xr-yr，zg=1-xg-yg及びそして、fa=2 c/deg*.03 deg/pixel=.06である。参照-画像正弦波は、Δm=0のとき以外の検査-画像正弦波と同じものである。知覚メートリックジェネレーターの目的のためには、Yo=1を設定すれば十分である。
モデルに基づく曲線上でポイントを生成するために、上記の刺激はマスク・コントラストmの種々の値で提示され、そして、1つのJND出力に対するコントラスト閾値Δmが査定された。データ（最終適合に対しては図17を参照のこと）へのモデル化されたクロマティックコントラスト感度の適合は、知覚メートリックジェネレーターでのパラメーターであるσc，βc，ac，cc，及びkを調節するために使われた。
定格データによる比較
各々が種々の歪度を有する4つの画像シーケンスは、現在の知覚メートリックジェネレーターをDSCQS定格データと比較するために使われた。結果は、図18でプロットされて、知覚メートリックジェネレーターとデータとの間で相関0.9474を現す。シーケンスの各々に対して、知覚メートリックジェネレーターは30のフィールド（前のリリースを検査するために使われる4つのフィールドに対して）を処理した。いくつかのデータ点は、前のリリースで存在したプロットから取り除かれた。これらのポイントは、2つの理由のために削除された：
（1）全ての事項の「ウォーミングアップ」検査と一致した5つのポイントは、削除された。シーケンスでの最初の5つの検査が事項の判断のスタビリゼーションを表すので、それらは削除されなければならないことを、Rec 500は示唆する。
（2）「グウェン（Gwen）」シーケンスのうちの1つに対して、フォアグラウンドが正確に検査と参照の間で整列していても、バックグラウンドのツリーの画像の間で発生する参照シーケンスに関する検査シークエンスの小さいシフトがある。この特定の事例での時間的な調整誤差を有する検査と参照に対して青いスクリーン・ビデオは、別に導入された。
JNDマップ解釈
JNDマップは、次の処理が任意の空間的または時間的なウィンドウの範囲内のJNDを決定するためにふさわしいフォームである。上記のように、マップでの値は、単純なJND単位というよりも第Ｑパワーまで増加されるJNDの単位である。ビデオストリームの任意の空間的時間範囲に対する単一のJND値を得るために、その範囲内のJNDマップからの値を合計し、それから第Ｑルートをとることのみが必要である。
一組の実例が、この処理を明らかにする。各画素（多分最も典型的な所望出力）に対して1つのJND値を読み出すために、JNDマップにおける各画素の第Ｑルートをとるべきである。
しかしながら、典型的なMPEG-2符号器解析アプリケーションに対して、各画素に対してよりはむしろ各16x16画素マクロブロック（macroblock）に対して単一のJND値を有することは有効である。マクロブロックにつき1つのJNDを得るために、最初に、各マクロブロックの範囲内で全てのJNDマップ出力を合計し、それから第Ｑルートをとるべきである。その結果は、JND値のマクロブロック-解像度マップである。
ピラミッド構築：イメージサイズ及び境界要求
よりすばらしい画像次元N及びより小さい画像次元Mが以下の条件を満たす場合、ピラミッド方法の現在の実現は画像-次元課題に遭遇しない。
1）Mは、少なくとも128でなければならない
2）Mは、64より小さい商を読み出すように2のＰ倍で割り切れなければならない
3）Nも、また、2によってP回割れなければならない。
知覚メートリックジェネレーターは、これらの条件を満たさないどんな画像でも無効であると確認する。これらの規則がどのように作用するかの実例として、画像次元N=720，M=480とみなすべきである。M>128なので条件（a）は、満たされる。Mは2によって３回割れて、３分割目（したがって、P=3）で６４未満基準に遭遇するので、条件（b）は合う。最後に、Nもまた、整数を生むために２によって３回割れるので、条件（c）は満たされる。
インタレース考察
以下の説明の目的は、現在の知覚メートリックジェネレーターでフィールド・インタレース（そして、特に、インターライン空間）の処理を明らかにすることになっている。インターライン空間が黒値によってモデル化される場合、このインターライン空間は人間が確認するディスプレイによっては見えないが、知覚メートリックジェネレーターで顕著な影響を作り出す。知覚メートリックジェネレーターによるラインの可視度の結果、任意の空間的周波数における垂直画像歪は、高周波ライン構造によってマスクされる。さらに、インタレース・シーケンスがノンインタレース・シーケンスと比較されるとき、ライン構造の可視度はJND人為構造の主原因である。
この臨界への解答は、ディスプレイ自体に起こる、空間及び時間における既知の平均算出を取り入れるディスプレイ・モデルを変更することになっている。そのような平均算出は、インターライン空間をあまり見えなくする。最初のステップは、適切なモデルを決定するためにこれらの影響の大きさを定義することになっている。
蛍光体が有限の崩壊時間を有するので、時間的な平均算出はディスプレイで起こる。それで、例えば、フィールドNから偶数のラインからの第１次放出の時点で、フィールドN-1からの奇数ラインの崩壊しているレムナント（remnant）が常にある。しかしながら、インター・フィールド間隔（16500マイクロセカンド）と比較して、蛍光体崩壊時間は、例えば青い蛍光体では70マイクロセカンド、緑の蛍光体では100マイクロセカンド及び赤い蛍光体では700マイクロセカンドというように概して非常に短い。したがって、ディスプレイ・モデルでの時間的な平均算出は、かなり平滑化しているインター・ラインに貢献しない。
画素からの放出が公称画素境界を越えて広がるので、空間的な平均算出はディスプレイで起こる。インタレース・ディスプレイで、電子ビームスポット構造は、インタレース体系で共同設計された。その結果、ライン間空間で満ちるように、したがってそのライン間空間をより見えないように、垂直方向でより顕著にするために、画素広がりは巧みに処理された。高輝度値に、したがって画像の最も目立つ部分に、相当する高量ビーム電流で広がりは特に表明される。したがって、ディスプレイ遠近画法から、空間的な平均算出は、平滑化しているインター・ラインのための良い物理モデルである。
もう一つの選択肢として、いくつかの時間的平均算出が、インター・ラインの平滑化をもたらすために使われることができる。視覚系は、インターライン空間を見えなくするのに十分に時間的な平均算出を実行するように見えるだろう。しかしながら、以下の説明と関係ないので、現在の知覚メートリックジェネレーターでの眼球運動の欠如は、存在しなければならない時間的な平均算出挙動から立ち去るために知覚メートリックジェネレーターを提出した。
高空間的であるが、低時間的な解像度を有する「持続（sustained）」及び高時間的であるが、低空間的解像度を有する「過渡（transient）」といった空間的時間応答の2つの異なったクラスを有する機構によって、人間の視覚が促進に寄与されることが観察された。
この知覚メートリックジェネレーターの1つの実現は、2つのチャネルの応答を形づくるために分離可能な空間/時間フィルターを使う。この選択をモデル化する即時の帰結は、ディスプレイを代表する60Hzの時間的なサンプリングレートと比較して時間において非常にローパスである持続チャネルの時間フィルターである。過渡応答さえ、60Hzのサンプリングレートに反応しない。しかしながら、持続/過渡モデルに入らない1要素は、眼球運動の影響であり、特に画像における動く対象をトラッキングための目の能力である。強制的な刺激を有する精神物理的な試験に正確である知覚メートリックジェネレーター・フィルターによって、捕らえられないやり方において、このトラッキングは、注目された対象での詳細への視感度を強化する。
画像シーケンスでの歪み測定の動作の影響は、かなりでありえる。目が画像で動いている対象をトラッキングしない場合、持続時間的な応答から生じる画像のぼやけは、1つのチャネルで非常に時間的な平均算出を有する知覚メートリックジェネレーターで正確に反映される。しかしながら、目は動いている対象をトラックするので、画像はぼやけた動きにはならない。動く対象をトラックする能力なしで、時間的な視覚応答の量を定めることを意味している知覚メートリックジェネレーターは、動作のぼやけを表示しなければならない。しかしながら、そのようなぼやけは、正確なJNDマップの生成を妨げる。
トラッキング・モデルなしでこの困難を解決するために、フィールドのいくつかの時間平均の上でよりもむしろ最後のフィールドの上で機能するとして空間的なチャネル（それは、空間的詳細に敏感な「持続」チャネルの役割を得る）を表すことで妥協がなされた。この処理法の結果、空間的チャネルは、画像シーケンスで注目された対象の動作をトラックした目のための事例になるようなよく集中するJNDマップを現す。
上記の妥協の精神に合わせて、それが2つのフィールド、したがって1つ以上の構造を平均するような空間的チャネルの「もっともらしいプレゼント（specious-present）」性質は緩和されることができた。この測定は、飛越しフィールドでのブランク・ラインの可視度を減少させ、「もっともらしいプレゼント」解答より物理的に、そして、生理的にまことしやかである。しかしながら、1つの人為構造は2つのフィールドの時間的な平均算出を乗り切り、そして、それはなめらかな動くエッジがなければならない「くし」の外観である。
くしが2-フィールド平均算出を有するモデルに現れる理由を理解するためには、偶数のフィールド（それをフィールドNと言う）と奇数のフィールド（それをフィールドN+1と言う）の間で時間間隔で動いている対象を視覚化することで十分である。フィールドの間で水平に5つの画素を動かす垂直エッジを対象が有すると仮定する。また、対象エッジがフィールドNで偶数のラインの画素nにあると推測する。それから、このエッジは、フィールドN+1で奇数のラインの画素n+5で、現れる。特定のフィールドのラスター・ラインの間に「充填」がない場合、もはや垂直でなく、画素n及びn+5の間の代替になるエッジをフィールドN及びN+1の平均算出は作り出す。これは、「くし」効果である。
実際の視覚系がこの櫛状効果を見ない理由を理解するために、目が忠実にそれをトラックするように、対象が十分に面白いと想像する。それは、網膜が次のフィールドに対象の動作を予期するので、対象が網膜上で動かないことを意味する。対象のエッジがフィールドNの偶数のラインの画素nにある場合、単に対象に対する目のトラッキングがほとんど完全だったので、それはまたフィールドN+1の奇数のラインの画素nにある。
くしと他のインタレース人為構造を避けるために、知覚メートリックジェネレーターはディスプレイで各フィールドのライン間で空間的な充填を実行することができる。それが瞬間的な空間的なエッジ（少しの時間的な平均算出も、そうしないだろう）の修飾を提供するので、この垂直平均算出は櫛状効果を避ける。また、電子ビームスポット構造の既知の空間的な広がりで互換性があるやり方では、垂直平均算出は、インタレースライン構造の可視度の本来の課題を解く。
画像の正確さ及び視覚作業アプリケーションを改善するために、2つの入力画像シーケンス間差分の可視度を査定する斬新な方法及び装置がこのように示され、かつ記述された。多数の変更、修正、バリエーション及び本発明における他の使用およびアプリケーションは、しかしながら実施例を開示した明細書および添付図を考慮した後、当業者に明らかになるであろう。
【図１】
0004700144.tif 000046
【図２】
0004700144.tif 000047
【図３】
0004700144.tif 000048
【図４】
0004700144.tif 000049
【図５】
0004700144.tif 000050
【図６Ａ】
0004700144.tif 000051
【図６Ｂ】
0004700144.tif 000052
【図７】
0004700144.tif 000053
【図８】
0004700144.tif 000054
【図９】
0004700144.tif 000055
【図１０】
0004700144.tif 000056
【図１１】
0004700144.tif 000057
【図１２】
0004700144.tif 000058
【図１３】
0004700144.tif 000059
【図１４】
0004700144.tif 000060
【図１５】
0004700144.tif 000061
【図１６】
0004700144.tif 000062
【図１７】
0004700144.tif 000063
【図１８】
0004700144.tif 000064
【図１９】
0004700144.tif 000065
【図２０Ａ】
0004700144.tif 000066
【図２０Ｂ】
0004700144.tif 000067
【図２１】
0004700144.tif 000068
【図２２Ａ】
0004700144.tif 000069
【図２２Ｂ】
0004700144.tif 000070
【図２３】
0004700144.tif 000071
【図２４】
0004700144.tif 000072
【図２５】
0004700144.tif 000073
【図２６】
0004700144.tif 000074
【図２７】
0004700144.tif 000075