(57)【要約】【課題】直接見たピクチャ又はビデオと記憶から呼び戻したピクチャ又はビデオとの間の相対品質の評価を行う。【解決手段】記憶から呼び戻した色と被試験ビデオ内の直接見た色との間の知覚差分を予測するプロセッサを開示している。このプロセッサは、記憶効果による色の歪み用の補償係数を発生し、基準ビデオからのデータ又は被試験ビデオからのデータに補償係数を適用するように構成された記憶効果プロセッサを含んでいる。補償係数は、時間経過に伴う飽和の変化、色相角度の変化、不確実性の変化との係数と、記憶内にて時間経過に伴って基本色の中心に向かうシフト傾向を反映するカテゴリ分類係数とを含んでいる。【選択図】図１
2013141240.tif 000002
【特許請求の範囲】
【請求項１】
記憶から呼び戻した色と被試験ビデオ内の直接的に見た色との間の知覚差分を予測するプロセッサであって、
基準ビデオ及び上記被試験ビデオを受ける入力と、
記憶効果による色の歪みに対する補償係数を発生し、上記基準ビデオからのデータ又は上記被試験ビデオからのデータに上記補償係数を適用するように構成された記憶効果プロセッサと、
１組の知覚差分測定結果を導出するように構成された出力と
を具えたプロセッサ。
【請求項２】
試験ビデオ及び基準ビデオの間の知覚差分を予測するシステムであって、
上記試験ビデオ及び上記基準ビデオを受ける入力と、
上記試験ビデオ及び上記基準ビデオの両方に対する表示モデル製作器と、
上記試験ビデオ及び上記基準ビデオの両方に対するビュー・モデル製作器と、
上記試験ビデオ及び上記基準ビデオの両方に対し、上記試験ビデオ用の知覚応答と上記基準ビデオ用の知覚応答とを発生する知覚モデル製作器と、
上記試験ビデオ用の上記知覚応答と上記基準ビデオ用の上記知覚応答に対する入力を有し、記憶効果による色の歪みに対する補償係数を発生し、上記試験ビデオ用の上記知覚応答と上記基準ビデオ用の上記知覚応答に上記補償係数を適用するように構成された記憶効果プロセッサを含む知覚差分予測計算器と
を具えたシステム。
【請求項３】
記憶から呼び戻した色と被試験ビデオ内の直接的に見た色との間の知覚差分を予測する方法であって、
基準ビデオ及び上記被試験ビデオを受け、
記憶効果による色の歪みに対して色記憶効果プロセッサ内で補償係数を発生し、
上記基準ビデオを記述するデータ又は上記被試験ビデオを記述するデータに上記補償係数を適用し、
１組の知覚差分測定結果を出力する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピクチャ品質分析に関し、特に、直接見たピクチャ又はビデオと、記憶から受けたピクチャ又はビデオとの間の相対品質の評価を行うシステムに関する。
【背景技術】
【０００２】
ビデオは、しばしば、オリジナルのビデオ・ストリームから、変更されたビデオ・ストリームに変化される。変化への刺激は、変更されたビデオ・ストリームが伝送されるターゲット媒体の帯域幅にしばしば関連するが、ビデオを変更する種々の理由がある。ビデオを処理する他の理由には、例えば、編集、圧縮及び復元、再フォーマット、ビデオ挿入及びオーバレイ、変換エラーの最小化、異なる表示に対する色の変更がある。
【０００３】
２つのビデオを互いに比較するいくつかのシステムには２つの入力があり、一方が試験されるビデオであり、他方が基準ビデオである。かかるシステムの１つは、オレゴン州ビーバートンのテクトロニクスから入手可能なＰＱＡ５００／６００型又はＰＱＡＳＷ型の如き一連のＰＱＡ製品である。これら２つのビデオが直接的に比較され、オリジナル、変更、又はこれらの間の比較を記述する種々の測定結果を生じる。２つのビデオを比較する他のシステムは、先ず、オリジナル・ビデオを示し、次に、変更されたビデオを迅速に示すか、又は、その逆である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９９３８０号公報
【特許文献２】米国特許第６９７５７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
かかるシステムは、時間がかかるだけではなく、かかる比較は、原因不明の人間の色記憶の歪みと、人間観察者に固有の色記憶の衰えにより、同時に行う比較ほど正確ではない。継続的に見ることの方が優れており、また、これは、人によるほぼ反復可能で信頼性のあるビデオ品質評価において、できるだけ完全にビデオを比較する際の可能な方法でもある。
【０００６】
記憶から呼び戻されたイメージを評価する際に、いくつかのシナリオにおいて、色バイアスの効果が生じる。例えば、ビデオ・データの圧縮及び復元（コーディック）技術には、固有の損失があり、エラーが生じる。最高の技術では、知覚インパクトで生じるエラーが最小である。しかし、あるビデオ・コンテンツを用いると、及び／又は選択されたビット・レートが低すぎるように設定されると、良好に見えるビデオを発生する非常に良好なコーデック技術でさえ、やっかいなアーティファクトを発生する。色アーティファクトは、発生する複数のアーティファクトの中にある１つである。主観的に品質を評価する工業的標準の最良の方法は、ＩＴＵ−Ｒ＿ＢＴ．５００であり、これには、人がビデオを観察し評価して、評価したこれらの中の最上のものを示す統計を求める多くの方法が記載されている。一般的に、８〜１２秒の短いビデオ・クリップを用いて、連続的に評価する。複数クリップ間の最短時間は、一般的に約２秒であるので、対応する複数フレーム間の最短時間は、約１０秒である一方、対応する複数のフレーム間の最長時間を数分にできた。多くのエンジニアリング組織がＩＴＵ−Ｒ＿ＢＴ．５００に追従しているが、多くの場合、高価すぎ、及び／又は時間がかかりすぎる。これらの場合、個別の評価者が１つのクリップを、次に他のクリップを簡単に調査できる。これらの場合の全てにおいて、色の記憶を評価に用いるが、数秒から多数秒、複数分、無限の範囲で対応フレームの間に遅延がある（すなわち、以前の経験から、類似オブジェクトがどのように見えるかについて、基準を用いずに、単に記憶を用いている）。
【０００７】
呼び戻した色による色分析の他のシナリオは、分解能とフレーム・レートの間でのビデオ変換を含んでいる。例えば、ＨＤからＳＤへ、及びＳＤからＨＤへの変換の評価及び／又は最適化に特定された多くの変換器が販売されている。デジタル・テレビジョン伝送用の米国標準（ＡＴＩＳ）では、古い方法と新しい方法（ＳＭＰＴＥ−ＶＳ対７０９測色法）の両方がＳＤ分解能を求めるのに可能であるが、色のデジタル表現は、歴史的なＳＤよりもＨＤにおいて異なる。放送信号の種々の検査において、対応データ・フィールド内での測色法に対する適切なフラグを設定しないため、又は変換のために、不正確な測色法が放送されているのを見つけることが一般的であった。その結果の色エラーがしばしば微妙な一方、いくつかの場合には全く明白であった。再度、特に、表示される複数のビデオ標準の間での切換が煩わしいならば、各回に１回だけ実際の連続したビューイングがしばしば用いられるが、複数の評価方法は、コーデック評価の場合と同様である。
【０００８】
編集を含むシナリオにおいて、数時間に亘る期間に撮影された特定の戸外シーンのフィルム又はビデオのクリップを一緒に配置すると、太陽、雲などの位置の変化により照明が変化する。整合性を見るシーンでは、色編集が一般的に要求される。いくつかの場合、時間的制約により、又は、所定の色編集ツール内で利用できる制御により、他のクリップに一致するようにあるクリップを完全に色補正することは、実際的でないか又は実行できない。しかし、これら２個のクリップが、これらの間の第３クリップと共に示されると、第１の２個のクリップの間の結果遅延は、色差が判る人の能力のほとんどを低下させる。知覚した（記憶した及び直接の）色をこれら２つのクリップの間でマッチングさせるのに、何秒が必要かを（クリップの形式に応じて）予測することは、貴重な時間を節約できる。そうでなければ、試行錯誤を伴うトレーニングされた推測に頼る。
【０００９】
残念なことに、人間の色記憶の歪みと、人の観察者における固有の退色のために、たとえ、呼び出し期間が比較的に短くても、記憶から呼び戻されるビデオと比較される現在のビデオとの間では、色差の正確な予測が困難であるか、又は不可能である。
【００１０】
本発明の実施例は、従来のこの制限や他の制限を解決するものである。
【課題を解決するための手段】
【００１１】
本発明の第１概念によれば、記憶から呼び戻した色と被試験ビデオ内の直接的に見た色との間の知覚差分を予測するプロセッサであって；基準ビデオ及び上記被試験ビデオを受ける入力と；記憶効果による色の歪みに対する補償係数を発生し、上記基準ビデオからのデータ又は上記被試験ビデオからのデータに上記補償係数を適用するように構成された記憶効果プロセッサと；１組の知覚差分測定結果を導出するように構成された出力とを具えている。
本発明の第２概念によれば、第１概念の上記プロセッサは；上記基準ビデオ及び上記被試験ビデオ用の知覚応答を発生するように構成された知覚応答発生器と; 上記基準ビデオ用の上記知覚応答と上記被試験ビデオ用の上記知覚応答にカテゴリ分類処理を適用し、上記カテゴリ分類された応答に上記補償係数を適用するように構成されたカテゴリ分類プロセッサとを更に具えることを特徴としている。
本発明の第３概念によれば、第１概念の上記プロセッサでは、上記補償係数が色飽和強調係数から成ることを特徴としている。
本発明の第４概念によれば、第１概念の上記プロセッサでは、上記補償係数が色角度変化係数から成ることを特徴としている。
本発明の第５概念によれば、第１概念の上記プロセッサでは、上記補償係数が不確定性係数から成ることを特徴としている。
本発明の第６概念によれば、第１概念の上記プロセッサでは、上記補償係数が、時間に伴って記憶内で基本色に向かう変化を考慮する係数から成ることを特徴としている。
本発明の第７概念によれば、第２概念の上記プロセッサでは、上記カテゴリ分類プロセッサの強度が制御可能であることを特徴としている。
本発明の第８概念によれば、試験ビデオ及び基準ビデオの間の知覚差分を予測するシステムは；上記試験ビデオ及び上記基準ビデオを受ける入力と；上記試験ビデオ及び上記基準ビデオの両方に対する表示モデル製作器と；上記試験ビデオ及び上記基準ビデオの両方に対するビュー・モデル製作器と；上記試験ビデオ及び上記基準ビデオの両方に対し、上記試験ビデオ用の知覚応答と上記基準ビデオ用の知覚応答を発生する知覚モデル製作器と；上記試験ビデオ用の上記知覚応答と上記基準ビデオ用の上記知覚応答とに対する入力を有し、記憶効果による色の歪みに対する補償係数を発生し、上記試験ビデオ用の上記知覚応答と上記基準ビデオ用の上記知覚応答に上記補償係数を適用するように構成された記憶効果プロセッサを含む知覚差分予測計算器とを具えている。
本発明の第９概念によれば、第８概念の上記システムは、上記試験ビデオ及び上記基準ビデオの間の上記予測した知覚差分を記述するデータを提供するシステム出力を更に具えることを特徴としている。
本発明の第１０概念によれば、第８概念の上記システムは、上記知覚差分予測計算器が、上記試験ビデオ用の上記知覚応答及び上記基準ビデオ用の上記知覚応答にカテゴリ分類処理を適用するように構成され、上記補償係数を上記カテゴリ分類応答に適用するカテゴリ分類プロセッサを更に具えることを特徴としている。
本発明の第１１概念によれば、第８概念の上記システムでは、上記補償係数が色飽和強調係数であることを特徴としている。
本発明の第１２概念によれば、第８概念の上記システムでは、上記補償係数が色角度変化係数であることを特徴としている。
本発明の第１３概念によれば、第８概念の上記プロセッサでは、上記補償係数が不確定係数から成ることを特徴としている。
本発明の第１４概念によれば、第８概念の上記プロセッサでは、上記補償係数が、時間に伴って記憶内で基本色に向かう変化を考慮する係数から成ることを特徴としている。
本発明の第１５概念によれば、記憶から呼び戻した色と被試験ビデオ内の直接的に見た色との間の知覚差分を予測する方法であって；基準ビデオ及び上記被試験ビデオを受け；記憶効果による色の歪みに対して色記憶効果プロセッサ内で補償係数を発生し；上記基準ビデオを記述するデータ又は上記被試験ビデオを記述するデータに上記補償係数を適用し；１組の知覚差分測定結果を出力する。
本発明の第１６概念によれば、第１５概念の上記方法は；上記基準ビデオの知覚応答と上記試験ビデオの知覚応答に対してカテゴリ分類処理を更に実行することを特徴としている。
本発明の第１７概念によれば、第１５概念の上記方法は、第１概念のプロセッサを用い、色記憶効果プロセッサでの補償係数の発生が色飽和強調係数の発生から成ることを特徴としている。
本発明の第１８概念によれば、第１５概念の方法は、第１概念のプロセッサを用い、色記憶効果プロセッサでの補償係数の発生が色角度変化係数の発生から成ることを特徴としている。
本発明の第１９概念によれば、第１５概念の方法は、第１概念のプロセッサを用い、色記憶効果プロセッサでの補償係数の発生が不確定性係数の発生から成ることを特徴としている。
本発明の第２０概念によれば、第１９概念の方法は、色記憶効果プロセッサでの補償係数の発生が、時間に伴って記憶内で基本色に向かう変化を考慮する係数の発生からなることを特徴としている。
【００１２】
色見えモデルの知覚差分成分を変更して、人間の記憶の色歪みを考慮する。本発明の実施例は、人間に生じる記憶の衰えによる歪み及び不確定さを正確に予測し取り入れることによって、記憶から呼び戻された人間の色差分の予測の精度を大幅に改善する。
【００１３】
本発明の特定実施例は、記憶から呼び戻された色と、被試験ビデオ内で直接的に見た色との知覚差分を予測するプロセッサに関する。このプロセッサは、記憶効果による色の歪みに対する補償係数を発生し、基準ビデオからのデータ又は被試験ビデオからのデータに補償係数を適用するように構成された記憶効果プロセッサを含んでいる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施例による動画イメージの色見えモデルを用いて評価を予測するシステムの機能ブロック図である。
【図２】図２は、本発明の実施例による不確定性補償を含む視覚差分のクロミナンス特定処理用の予測ブロックの機能ブロック図である。
【図３Ａ】図３Ａは、本発明の実施例による図１の色見えモデル・システム内のカテゴリ分類処理に用いられる種々のゆがみ係数のプロット例を示す図である。
【図３Ｂ】図３Ｂは、本発明の実施例による図１の色見えモデル・システム内のカテゴリ分類処理に用いられる種々のゆがみ係数のプロット例を示す図である。
【図３Ｃ】図３Ｃは、本発明の実施例による図１の色見えモデル・システム内のカテゴリ分類処理に用いられる種々のゆがみ係数のプロット例を示す図である。
【図４】図４は、本発明の他の実施例による知覚差分のクロミナンス特定処理用の簡略化された予測ブロックの機能ブロック図である。
【図５】図５は、本発明の他の実施例による知覚差分のクロミナンス特定処理用の他の簡略化された予測ブロックの機能ブロック図である。
【図６】図６は、本発明の実施例によるプロセッサからの記憶予測により予測した変化に対する人間の記憶での色における変化を示す１組のプロットである。
【図７】図７は、本発明の実施例によるプロセッサからの記憶予測により予測した変化に対する人間の記憶での色における変化を示す１組のプロットである。
【図８】図８は、本発明の実施例によるプロセッサからの記憶予測により予測した変化に対する人間の記憶での色における変化を示すプロットである。
【図９】図９は、本発明の実施例によるプロセッサからの記憶予測により予測した不確定性における増分に対して人間の記憶での色の間のマッチングの不確定性における増分を示すプロットである。
【発明を実施するための形態】
【００１５】
見た色を記憶から呼び戻した色と比較するとき、色差分の判断は、色を並べて見た場合又は直後にて見た場合の差分の判断と異なる。個別及びアプリケーション／タスクに応じて、記憶と比較したときに色差分についての感度の変化は、次の任意の組合せによる。
ａ）（特定のオブジェクトの及び／又は一般的な）色への注意の程度。
ｂ）記憶に作為的にゆだねない限り、時間と伴に増加する不確定さの結果により、見えるものの記憶の衰え。
ｃ）記憶にゆだねるならば、カテゴリ分類による量子化エラーが典型的には生じ、順次トレーニングのレベルに応じて、平均エラーの大きさが既知のカテゴリ分類の数に逆比例する。
ｄ）例えば、飽和が大きくなると、知覚色記憶が強調される傾向がある。
ｅ）色記憶の他のバイアス。
【００１６】
図１は、記憶から呼び戻したイメージを評価するときに呼出した色補償を含む動きイメージ色見えモデルを用いて評価を予測するシステムの機能ブロック図である。
【００１７】
図１の部分は、「ビデオ品質評価予測用の動画イメージ色見えモデルを実現するための方法及び装置」という名称で、２０１０年６月１７日に公開された米国特許出願公開第２０１０／０１４９３４４号明細書に記載されており、この記憶での背景及び動作細部を示している。ここでは、このモデルをＭＩＣＡＭと呼ぶ。
【００１８】
図１を参照し、ＭＩＣＡＭ１２において、一連のイメージの各々でもある試験イメージ及び基準イメージは、オプションである分離したフォーマット変換器２０、２１に分離した入力として受信される。フォーマット変換器２０、２１は、表示モデル２４、２５用に入力を変換し、次に、各ビュー・モデル及び知覚モデル２８、２９、３０及び３１の入力用のシミュレーションされた光の各入力に変換する。各知覚モデル３０、３１は、ＣＩＥＣＡＭ０２｛ａ，ｂ｝の単位にて、空間的（例えば、ピクセル）及び時間的（例えばフレーム）のサンプル毎に各色応答を出力する。ＣＩＥＣＡＭ０２は、ＣＩＥ技術委員会８−０１により２００２年に発行された「色管理システム用の色見えモデル」として広く知られている。これら各｛ａ，ｂ｝ビデオ応答を用いて、基準イメージ（複数）及び変更された（試験）イメージの間の知覚差分をエスティメーションする。
【００１９】
知覚モデル３０、３１に加えて、認識モデルをシステムに追加できる。イメージ内の関心領域を選択器４２にて選択でき、これは、空間又は時間又は両方のいずれの領域でもよい。いくつかの実施例において、関心のあるディフォルト領域は、試験及び基準のイメージ（単一又は複数）の全体の長さに亘るいずれかのフレーム（単一又は複数）である。ＭＩＣＡＭ１２の出力は、図１に示すように試験イメージ及び基準イメージの間の比較の１組の統計的サマリー４４である。複数の国際標準化団体が静的色パッチ用の色モデル化を提案しているが、ＣＩＥＣＡＭ０２をバイアスとして用いて、ビデオに対して色ビジョン・モデルを充分に正確とする。色差分のしきい値、方向及び大きさを決定するように、ＣＩＥＣＡＭ０２を設計し、校正し、照合する。
【００２０】
発表された論文を用いて、色相の変化を記述するための基本色相と共に、各基本色相に対する最大色相角度を決定した。これら論文は、異なる文化からと、異なる言語に対応する母語話者からの被験者を用い、本来的に基本色カテゴリが属する色空間の大部分を明らかにした。かかる参考文献の１つは、アール・エム・ボイントン、ラール・イー・マクラウリー及びケイ・ウチカワによる「２つの方法による比較された色カテゴリの中心」という名称であり、ピンク、赤、茶、オレンジ、黄、緑、青及び紫のＯＳＡｇｊＬ色空間を含んでいる。Ｌ軸が表す明度／ルミナンスにより主に区別される色相角度において、茶が赤及びオレンジと充分に一致するので、これを用いない。これは、ピンク、赤、茶、オレンジ、黄、緑、青及び紫を基本色として残す。連続的な基本色の間の色は、対応する名称の間でハイフォン又はスラッシュを用いて系統的に命名できる。例えば、緑及び黄の領域の間にある色は、「緑−黄」又は「緑／黄」と呼ばれる。
【００２１】
ボイントンによる参考文献の基本色の境界は、ＯＳＡ色空間に亘る色を徹底的にサンプリングし、基本色カテゴリ（又は、なし）における各々をカテゴリ分類することにより、識別された。各基本色カテゴリの１組の色は、プロプラエタリ方法を用いて、ＯＳＡｇｊＬからｘｙＹに変換され、更に、ＣＩＥＣＡＭ０１ドキュメントに概説された方法を用いて、ＣＩＥＣＡＭ０１ａｂ空間及び対応する色相角度ｈ（ａ，ｂ）に変換された。
【００２２】
図２は、本発明の実施例により、不確定性補償を含む知覚差分のクロミナンス特定処理用の予測ブロックの機能ブロック図である。この予測ブロックは、詳細に後述する如く、カテゴリ分類、飽和強調及び色相シフトを考慮する特定処理を含んでいる。
【００２３】
カテゴリ分類
多様性文化で完全に異なる母国語の人々でトレーニングされていない人々が用いる「基本色カテゴリ」の数は、比較的少ない。トレーニングされた個人は、１ダースよりも多くの色をカテゴリ分類でき、幾人かの個人は、数百又は数千をカテゴリ分類できるとされている。理論上の上限が数百万であると、幾分かは信じられている。カテゴリ分類は、記憶保持、本質的には損失圧縮スキームを改善するのに用いられる認識スキームであると知られているが、今日まで、この現象は、任意のビデオ品質評価方法において直接的に活用されていなかった。さらに、色カテゴリを記憶する意図的な努力がなされないときでも、これら基本色の方向にシフトして、知覚された色記憶が一層微妙となる効果がある。
【００２４】
色カテゴリと対応基本色の中心の数は、いくつかの係数に応じて、個別に、また、観察者のグループ内で異なっている。トレーニングの程度、特定のアプリケーションなどにより、各場合を予測できる。観察者のタイプ及び対応色カテゴリの例示の範囲は、以下を含む。
ａ）ディフォルトの「典型的な観察者」：ＣＩＥＣＡＭ０１ａ，ｂ空間におけるカテゴリ基本色の中心。
ｂ）色分析における高度な専門家にとっては、そのアプリケーションに適切で更に洗練されたカテゴリを含むことができる。
ｃ）これら洗練された記憶知覚にとって、観察者は次のいずれかである。
ｉ）認識負荷が低い究極の専門家には、わずかな色で意味のあるビデオがゆっくりと変化する。又は、
ｉｉ）ビデオの各部分を繰り返し比較するのに充分な時間があり、関心を持った注意深い個人。
または、ｉ）及びｉｉ）の両方であり、この場合、カテゴリ分類処理が視覚的に透明となる故に、その後の記憶歪みが低減される。
【００２５】
カテゴリ分類ブロック２２０への入力は、ＣＩＥＣＡＭ０１ａ，ｂ、色相角度及びオプションとして極座標の半径（radius）に変換されたデカルト／直交座標のいずれでもよく、または、この入力は、直接的に用いられる対応色相角度及び半径（極座標）でもよい。
【００２６】
量子化は、カテゴリ分類の正確なモデル化を適切に可能にする数学的処理である。
【００２７】
ＣＩＥＣＡＭ０２ａ，ｂ空間にて、例えば色相角度の例として、量子化は、本発明の実施例において、次のように生じる。
memAngle(sampleAngle, centriodAngle, limitAngle, memDelaySec) 
=centroidAngle+newLocation(sampleAngle - centroidAngle, |sampleAngle 
centroidAngle|*Cal_LimAngleSens*memDelayFactor(delay) ) + globalShift(delay)
ここで、
newLocation( sampleAngle, knee ) = sampleAngle * f(sampleAngle, knee)
f(sampleAngle,knee) = sampleAngle^Cal_power /(sampleAngle^Cal_power
+(0.5*(knee+Cal_kneeOS))^Cal_power)
memDelayFactor(delay) = 1 - e^(-delay/Cal_UncertaintyTimeConstantSec)
globalShift(delay) = Cal _maxGlobalShiftDeg * memDelayFactor(delay)^2
である。
【００２８】
量子化のレベルは、後述のように、Cal_kneeOS, Cal_LimAngleSens & Cal_powerに制御される。globalShift(delay)は、「色における他のシフト」により、以下の色相及び飽和における記憶歪みでの色相シフトのセクションを参照して述べる。
【００２９】
f(sampleAngle,knee)処理は、図３Ａ及び３Ｂを参照して述べる如く、量子化のソフトネス又はハードネスを決定する。
【００３０】
中心角度は、上述の基本色である。基本色の他に追加の色を加えて、マンセル又は他の色座標をａ，ｂ座標に変換し、近接した隣同士で境界を設定することにより、特定アプリケーション用にトレーニングした特定観察者及び／又は特定工業グループのトレーニング及び語彙に反映させてもよい。境界設定は、主観的データを用いて実行してもよいし、又は、主観的データの代わりに、複数中心の間の距離（ａ，ｂ）の半分として近似してもよい。
【００３１】
アプリケーションに応じて、予測される人間観測者（観察者）を多くの色カテゴリ、又は重要な基本色について入念にトレーニングしてもよい。量子化のハードネス又はソフトネスは、明確なサブカテゴリ又は基本カテゴリの変更、認識不可、及び他の要素について観測者がいかによく思い出すかの関数である。観測者のタイプが決まると、図３Ａ及び３Ｂを参照して説明するように、色記憶予測について、対応するハード又はソフトの限界形式の量子化を用いることができる。
【００３２】
実際において、基本色は、アトラクタゆがみ色空間なので、近くの色が密に引かれる。直接的に見る比較の場合、又は洗練された色カテゴリ分類における世界的専門家による場合に、効果的なゆがみの範囲は、無から、カテゴリ境界しきい値でややハードな限界をもたらすまでとなる。直接的に見られ知覚された角度から色相角度が極度に大きくは変化しない比較的ソフトな限界に対して、限界角度感度用のディフォルト値（Cal_limAngleSens = 0.6, CalKneeOS = .007）を、２及び４の間の乗数（Cal_power）と共に用いることができる。比較的ソフトな限界の例を図３Ａに示す。ここでは、曲線は、ゆがみのない点線と比較された一覧係数を用いて、計算されたソフトなゆがみである。図３Ａ、３Ｂ及び３Ｃにおいて、ｘ軸が瞬間の角度を表し、ｙ軸が記憶から呼び戻された角度を表す。
【００３３】
例えば、１０及び３０の間の大きな乗数（例えば、Cal_power=20）と共に用いて、限界角度感度に対する大きな値（例えば、Cal_limAngleSens=1.5）を用いて、ハードなゆがみを達成できる。かかる例を図３Ｂに示す。ここでは、この例において、オリジナルの色相角度差分が約６度未満ならば、基本色角度及び記憶色角度の間に区別がない。実際には、基本色の６度以内の色を全ての方法で基本色アトラクタに引き寄せる。これは、色カテゴリの多くのトレーニングを受けておらず、又は、少なくとも色カテゴリの改善の細部への充分な注意がないにもかかわらず、まさに色を決定する個人を表す。
【００３４】
直接的に見る場合、及び又は洗練された色カテゴリ分類での世界的専門家の場合に、カテゴリ分類量子化でなく、色空間ゆがみがなく、基本色アトラクタがないことに対して、Cal_limAngleSensを０に設定するが、これは図３Ｃに示されている。
【００３５】
カテゴリ分類の支配的な次元が色相であるが、図２のブロック２４０にて、飽和もカテゴリ分類されて、同様に量子化される。名目的に好ましい実施例にとって、飽和量子化は、一層変化がある又は不確定性を有する傾向があるので、この飽和量子化ステップを必要条件に考慮しないが、この不確定性は、量子化エラーに対して相対的に重要な傾向がある。以下に説明する処理を用いて、不確定性を予測する。しかし、いくつかの特定の専門的なアプリケーションに対して、（飽和に関連した）ａ，ｂ半径量子化メカニズムは、予測結果を改善できる。例えば、途中でトレーニングした個人の色記憶の裁量の予測に対して、同じ処理を用い、角度入力及び校正をａ，ｂ空間での半径用の類似のものに代えることにより、上述の量子化メカニズムをａ，ｂ半径に適用できる。
【００３６】
色相シフト
色の記憶を呼び戻したときに、色飽和が強調される。平均ローカル及びグローバル・ルミナンス、色などの変化によるバイアスのシフトを伴う知覚感度シフトを考慮する短期間適合効果は、図１を参照した上述のヒューマン・ビジョン・モデルに取り込まれる。
【００３７】
技術的には色相シフトが知覚色記憶／呼び出しの現象であっても、グローバル色相シフトは、上述のカテゴリ分類処理に含むことができる。色相処理をカテゴリ分類処理内に含むことは便利である。しかし、それは、角度処理をグループ化することを可能にするので、この処理をハードウェア、ＤＳＰ及びＦＰＧＡなどのファームウェア、及びソフトウェアにて実現する際、一層効率的になる。
【００３８】
グローバル色相シフトを次のように実行できる。
globalShift(delay) = Cal_maxGlobalShiftDeg*memDelayFactor(delay)^2
ここで、
Cal _maxGlobalShiftDeg = 5 degrees
memDelayFactor(delay) = wtdelay (delay) = 1 - e^(-delay/Cal_UncertaintyTimeConstantSec)
である。
【００３９】
等化なMathCADバージョンは、次のようになる。
【００４０】
【数１】
2013141240.tif 000003
【００４１】
飽和強調
飽和は、色記憶内にて強調され、色（ａ，ｂ）及び関連した半径（ここでは、半径＝上述で定義した長さ（ａ，ｂ））、最も近い対応基本色の中心半径、最初に見てからの遅延memDelaySecの関数として予測される。
【００４２】
飽和強調は、次のようになる。
memRadius(sampRad,centRad,a,b,memDelaySec) =
length( aRad(sampRad,centRad,a,b,memDelaySec),bRad(sampRad,centRad,a,b,memDelaySec))
ここで、
length(a,b) = sqrt( a^2 + b^2)
aRad(sampRad,centRad,a,b,memDelaySec) =a*( sampRad + 
centRad*aRadDeltaFactor(sampRad,centRad,a,b,memDelaySec))/(sampRad + centRad)
bRad(sampRad,centRad,a,b,memDelaySec) =b*( sampRad + 
centRad*bRadDeltaFactor(sampRad,centRad,a,b,memDelaySec))/(sampRad + centRad)
aRadDeltaFactor(sampRad,centRad,a,b,memDelaySec) =1 + 
Cal_aRadiusDeltaGain*memDelayFactor(delay)^Cal_MemSatTimeLapsePower 
bRadDeltaFactor(sampRad,centRad,a,b,memDelaySec) =1
+Cal_bRadiusDeltaGain*memDelayFactor(delay)^Cal_MemSatTimeLapsePower
となる。
名目上は、Cal_MemSatTimeLapsePower = 1なので、
aRad(sampRad,centRad,a,b,memDelaySec) = 1
+Cal_aRadiusDeltaGain*memDelayFactor(delay)) 
bRad(sampRad,centRad,a,b,memDelaySec) = 1 
+Cal_bRadiusDeltaGain*memDelayFactor(delay))
となる。
【００４３】
図２に戻って参照する。動作において、不確定性補償を行う知覚差分予測は、予測器４０に示される試験イメージ（又はイメージのグループ）と基準イメージ（又はイメージのグループ）の両方により開始する。マルチプレクサ２１０への入力は、記憶補償されのが試験イメージか又は基準イメージかを決定する。
【００４４】
直接経路及び記憶経路の両方は、上述のようにカテゴリ分類処理２２０、２２２を通過する。これは、図３Ａ、３Ｂ及び３Ｃを参照して説明した補償係数を用いる。次に、上述のように、記憶経路を、処理２３０にて色相シフト用に、処理２５０にて飽和強調用に補償する。
【００４５】
色相シフト補償処理２３０の出力は、シフトされた色相角度であり、飽和強調処理２５０の出力は、変化したサイズの半径である。シフトされた半径及びシフトされた色相角度の両方は、再び、他のカテゴリ分類処理２４０を通過する。カテゴリ分類処理２４０の出力は、比較され、直接経路からのカテゴリ分類処理２２２の出力から減算されるので、各試験色ベクトルを各基準色ベクトルから減算する。例えば、基準（Ｌ，ａ，ｂ）がマルチプレクサにより知覚記憶内の色になるように選択されると、その結果である図２の「Test-Ref」＝（cda,cdb）色差分は、次のようになる。
色差分= (cda,cdb) = (da,db) - (ma,mb) = (da - ma, db - mb)
そうでなければ、
色差分= (cda,cdb) = (ma,mb) - (da,db) = (ma - da, mb - db)
【００４６】
不確定性処理２６０は、読出したイメージ（ビデオ・フレーム）のオリジナルのビューイング、色のルミナンス・レベル、ＣＩＥＣＡＭ０２ａ，ｂ空間における位置の間の遅延、即ち、色原点（ほぼ相対飽和）からの距離（半径）及び色相角度に依存する。遅延は、次のように計算できる。
memDelayFactor(delay) = 1 - e^(-delay/Cal_U ncertaintyTimeConstantSec)
MathCADにおける等化なバージョンは、次のようになる。
【００４７】
【数２】
2013141240.tif 000004
【００４８】
【数３】
2013141240.tif 000005
【００４９】
ルミナンスは、次のように計算できる。
LumWt(n its) = n its^2/(nits^2 + Cal_U ncertaintyLumKneeN its^2)
MathCADにおける等化バージョンは、次のようになる。
【００５０】
【数４】
2013141240.tif 000006
【００５１】
半径は、次のように計算できる。
RadiusWt(radius) = Cal_UncertaintyRadiusWtdMin + radius/(radius + Cal_UncertaintyRadiusWtdKnee)
MathCADにおける等化バージョンは、次のようになる。
【００５２】
【数５】
2013141240.tif 000007
【００５３】
色相角度は、次のように計算できる。
【００５４】
【数６】
2013141240.tif 000008
【００５５】
遅延、ルミナンス及び特定の色（ＣＩＥＣＡＭ０２空間における半径及び角度）に基づいて不確定性を予測する処理を用いて、ｕａ及びｕｂ（ａの不確定性及びｂの不確定性）を発生する複合処理は、次のようになる。
【００５６】
【数７】
2013141240.tif 000009
【００５７】
なお、abRadiusは、単なるａ，ｂベクトル長（二乗の和の平方根）である。また、abAngle（ａ，ｂ色相角度）は、４つの四分円アークタンジェント関数を用いて、ＣＩＥＣＡＭ０２ａ，ｂ座標から計算されるので、アークタンジェント（ａ／ｂ）は、０度から１８０度までの角度（又は、ラジアンの同値）を提供する。
【００５８】
不確定性補償処理２７０は、効果的なマスキング処理であり、「ヒューマン・ビジョン知覚及び知覚差分の予測」という名称の米国特許第６９７５７７６号公報に記載されたのと同じ又は類似のノイズ・マスキング・モデルを用いる。ここで、
【００５９】
【数８】
2013141240.tif 000010
【００６０】
なお、ノイズ値は、次のように不確実性から導出される。
【００６１】
【数９】
2013141240.tif 000011
【００６２】
なお、ＪＮＤ（最小可知差異）は、約０．０２５である。
【００６３】
このマスキングを色差分のａ（ｃｄａ）及びｂ（ｃｄｂ）成分の両方に別々に適用する。
【００６４】
この不確実性マスキングの解釈は、しきい値に関連する。直接ビューイング及び色の補償により、最小可知差異用のしきい値が存在する。その下の色は同じようである。記憶用の不確実性関数の結果、このしきい値が増加するので、その結果の知覚差分は、ＣＩＥＣＡＭ０２ａ，ｂ空間で約０．０２５のＪＮＤに対応する。よって、例えば、時間に伴って記憶が薄れて不確実性が増すと、記憶に一致した色（カテゴリ分類、飽和強調、及びグローバル角度シフトによりシフトされている）と直接見た色との間のしきい値差が増加する。
【００６５】
不確定性により信号（ｃｄａ又はｃｄｂ）のマスキングの例は、次のようになる。
【００６６】
JND:=.025
Uncertainty:=.08
差成分ｃｄａが、不確実性によるしきい値増分に一致した場合を考察する。
cda:=Uncertainty
NoiseExample:=noiseFromUncertainty(cda,JND) 
NoiseExample=0.116
noiseMaskedSignal(cda,NoiseExample)=0.0025
【００６７】
記憶の衰えと不確実性とは、色カテゴリの数が増加することにより変更され得る。ローカル色カテゴリ密度に比例して、位相角度及び飽和（ａ，ｂ半径）における記憶歪みと不確実性とが全て減少する。上述の基本色での中心の名目上の場合と、追加した基本カテゴリ色での任意の新たな特定の場合との両方を決定するために、２ＤＩＩＲ空間フィルタ（上述の’７７６特許の水平及び垂直双方向ＩＩＲフィルタのカスケード接続に基づく）を、基本色の中心に対応するａ，ｂ空間内のインパルスに適用できる。ａ，ｂ空間での任意のポイントでの相対的増分フィルタ応答は、次の近似を用いて、色相角度シフト、飽和強調及び不確実性の低減を決定する。
relativeChangeReductionFactor(newDensity(a, b),nominal Density(a, b)) = 2*nominalDensity(a, b)/(nominalDensity(a, b) + newDensity(a, b))
なお、
newDensity(a,b) = 2DIIRLPF( Impulse(NewCardinalColorCentroid(n) ) nominalDensity(a, b) = 2DIIRLPF(Impulse(NominalCardinalColorCentroid(n) )
である。
【００６８】
認識負荷の限界まで注意焦点内の色を記憶する場合、又は、ＤＭＯＳにおける如き全体応答を予測する場合、又は多数の人による多数のビューイングに基づいた他の類似の主観的スコアの場合において、また、少なくともいくらかの重要な観察者により多くの色カテゴリが知られている場合、平均で新たに等化な基本色の中心密度を決定して、注意の焦点の領域に適用する。全ての色が首尾よく記憶される（通常の場合ではない）最高の色カテゴリ密度に対して、記憶による変化が実質的には存在しない。
【００６９】
図４は、図２で説明した知覚差分ブロックの別の実施例であり、ある程度の精度を犠牲にして速度を改善している。不確実性補償器２６０及びカテゴリ分類ブロック２３２、２４０による中間出力の全てを処理する代わりに、関心のあるフル（Ｌ，ａ，ｂ）レンジと必要な分解能（又は利用可能な記憶からＬＵＴ空間に適合するように実行可能）と共に図２の対応処理を用いることにより、ルックアップ・テーブル（ＬＵＴ）を初期化できる。
【００７０】
図２のマルチプレクサを各ＬＵＴ初期化用に動作できる点に留意されたい。基準及び試験チャネルの入力Ｌ，ａ，ｂをマルチプレクスする代わりに、各ＬＵＴを初期化して、オプションのカテゴリ分類によってもよらなくても、Ｌ，ａ，ｂを直接的に初期化、又は記憶ａ，ｂに初期化できる。
【００７１】
図５は、図２で説明した知覚差分ブロックの更に別の実施例である。不確実性が補償された知覚差分プロセッサがＬＵＴに交換されていることを除いて、図５は、図４に類似している。この不確実性が補償された知覚差分ＬＵＴは、ａ及びｂチャネルのために２つの独立した数を発生するが、一方が｛ｕａ，ｍａ，ｄａ｝の入力とｍｄａ出力を伴い、他方が｛ｕｂ，ｍｂ，ｄｂ｝の入力とｍｄｂ出力を伴う。
【００７２】
図６は、人間の記憶での色の変化（直接的な実験に匹敵する）と本発明の実施例によるプロセッサからの記憶予測により予測した変化とを示す刺激パラメータの１次元の２つのプロットを含んでいる。上のプロットは、ｍａ−ｄａ応答（実線が人間で、点線がモデル）を示し、下のラインがｍｂ−ｄｂを同様に示す。独立したｘ軸は、種々の試験の試験番号であり、ｙ軸は、ＣＩＥＣＡＭ０２の単位である。各プロットの２つの水平ラインは、ほぼ正及び負のＪＮＤ／しきい値差分を示す。
【００７３】
図７は、本発明の実施例によるプロセッサからの記憶予測が予測した変化に対する人間の記憶での色の変化（直接的な実験に匹敵する）のプロットを示す。これらのプロットは、独立した軸が色角度である点を除いて、図６のプロットに類似している。ＪＮＤを同様に示す。
【００７４】
図８は、人間の記憶での色の変化（直接的な実験に匹敵する）と本発明の実施例によるプロセッサの記憶予測により予測した変化とプロットを示す。従属軸は、ＣＩＥＣＡＭ０２ａ，ｂ空間での記憶色半径（ほぼ相対飽和に対応する）を表し、独立（水平）軸は、基準（直接的に見る）色半径、即ち、人間応答にとっては０で、モデル応答にとっては＋に対応する。頂部から底部までの３つの斜めのラインは、上側しきい値限界、変化なし、及び下側しきい値限界を夫々示す。
【００７５】
図９は、人間記憶色（直接的な実験に匹敵）と本発明の実施例によるプロセッサの記憶予測により予測された不確実性での増分との間の一致の不確実性での増分のプロットを示す。独立（水平）軸は、ＣＩＥＣＡＭ０２ａであり、従属（垂直）軸は、ＣＩＥＣＡＭ０２ｂである。MacAdam楕円に類似して、各楕円は、記憶から呼び戻した色と直接見た色（ｕａ，ｕｂ）の間の識別（最小可知差異又はＪＮＤ）のしきい値（ＣＩＥ１９３１ｘｙ空間などの代わりのＣＩＥＣＡＭ０２ａ，ｂ空間で）における増分を示す。人間応答区別増分は、ダイヤモンド（１０秒遅延、８ニッツ）、０（３秒遅延、１２ニッツ）及び矩形（３０秒遅延、２０ニッツ）で表せる。本発明の実施例による予測応答区別増分は、明るい＋（１０秒遅延、８ニット）、暗い＋’ｓ（３秒遅延、１２ニット）及び暗いｘ’ｓ（３０秒遅延、２０ニット）により表される。最大偏差は、エラーの実験データ・マージンに一致する。
【００７６】
種々の実施例において、本発明の構成要素は、ハードウェア、ソフトウェア又はこれら２つの組合せで実現でき、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、用途限定集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などで構成できる。
【００７７】
上述から、本発明がヒューマン・ビジョン・モデリングの分野で顕著な進歩性を有することが明らかであろう。本発明の特定実施例を説明のために図示し説明したが、本発明の要旨及び範囲を逸脱することなく種々の変更を可能なことが理解できよう。よって、添付の請求項を除いて、本発明は限定されない。
【符号の説明】
【００７８】
１２：ＭＩＣＡＭ
２０：フォーマット変換器
２１：フォーマット変換器
２４：表示モデル
２５：表示モデル
２８：ビュー・モデル
２９：ビュー・モデル
３０：知覚モデル
３１：知覚モデル
４０：予測器
４２：選択器
４４：統計的サマリー
【図１】
2013141240.tif 000012
【図２】
2013141240.tif 000013
【図４】
2013141240.tif 000014
【図５】
2013141240.tif 000015
【図３Ａ】
2013141240.tif 000016
【図３Ｂ】
2013141240.tif 000017
【図３Ｃ】
2013141240.tif 000018
【図６】
2013141240.tif 000019
【図７】
2013141240.tif 000020
【図８】
2013141240.tif 000021
【図９】
2013141240.tif 000022
【外国語明細書】
2013141240.tif 000023
2013141240.tif 000024
2013141240.tif 000025
2013141240.tif 000026
2013141240.tif 000027
2013141240.tif 000028
2013141240.tif 000029
2013141240.tif 000030
2013141240.tif 000031
2013141240.tif 000032
2013141240.tif 000033
2013141240.tif 000034
2013141240.tif 000035
2013141240.tif 000036
2013141240.tif 000037
2013141240.tif 000038
2013141240.tif 000039
2013141240.tif 000040
2013141240.tif 000041
2013141240.tif 000042
2013141240.tif 000043
2013141240.tif 000044
2013141240.tif 000045
2013141240.tif 000046
2013141240.tif 000047
2013141240.tif 000048
2013141240.tif 000049
2013141240.tif 000050
2013141240.tif 000051
2013141240.tif 000052
2013141240.tif 000053
2013141240.tif 000054
2013141240.tif 000055
2013141240.tif 000056
2013141240.tif 000057