(57)【特許請求の範囲】
【請求項１】
基準画像信号から得たテスト画像信号の可視劣化の程度を求めるために、空間的モデルを有する形式の実時間ヒューマン・ビジョン・システムの行動モデル化を改良する方法であって、
空間的モデル化の前に、上記基準画像信号及び上記テスト画像信号を時間的に処理するステップを具えて、
ニューラルのアタック及び減衰をエミュレーションして、ピーク感度におけるシフトを考慮すると共に、空間的−時間的感度の関数における周波数の倍加を考慮することを特徴とする実時間ヒューマン・ビジョン・システム行動モデル化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に、ビデオ映像の品質評価に関し、特に、実時間ヒューマン・ビジョン・システム（人間視覚系）の行動モデル化方法に関する。
【０００２】
【従来の技術】
一般的に、ヒューマン・ビジョン・システム（ＨＶＳ: Human Vision System）を調べるのに用いられている刺激は、次のパラメータを用いて記述できる。すなわち、これらパラメータには、時間的周波数（temporal frequency）と、空間的周波数（spatial frequency）と、平均ルミナンス又はラテラル・マスク効果（lateral masking effects）と、網膜上でのターゲット画像の角度範囲（angular extent）又はサイズと、視覚（網膜の中心窩）の中央からの偏心（eccentricity）又は角距（angular distance）と、等価的な目の動きと、回転方向と、環境とがある。さらに、刺激の多くは、次のカテゴリの１つに分類できる。すなわち、これらカテゴリには、定在波と、進行波と、時間的パルス及びステップと、上述（回転と、ターゲット画像パターン及びマスクの両方と）の組合せと、「自然な」場面／シーケンスとがある。これら刺激に対する応答は、次のようにパラメータ化される。すなわち、これらパラメータには、識別におけるが如き知覚のしきい値と、しきい値より上（suprathreshold）の時間的コントラストの知覚と、周波数エリアシング／倍加（doubling）を含む知覚した空間的周波数と、フリッカなどを含む知覚した時間的周波数と、知覚した速度（スピード及び方向）と、知覚した幻像信号（ノイズ、残像、余分な／失ったパルスなど）と、知覚した画像品質と、ニューラル（神経: neural）応答（電圧波形など）とがある。
【０００３】
対応する１組の刺激による人間の応答を再現し、予測する方法を創造することが問題である。最終的な目標は、画像品質を予測することである。これを達成するためには、最低限、しきい値応答及びしきい値より上の応答をできるだけ模倣できなければならないことが当然である。さらに、空間周波数倍加や、追加（幻像）パルスを見ることに関連した視覚的錯覚を予測することが望ましいが、この重要度は、二次的なものであると考えられる。最終的には、予測がニューラル及び他の中間応答と首尾一貫していなければならない。
【０００４】
従来文献に記載されたＨＶＳモデルは、時間的応答を考慮していないし、基本的な状況（例えば、定在波、マスク、空間周波数倍加などの２つの空間的−時間的しきい値面（threshold surface）も考慮しない。また、かかるＨＶＳモデルは、ほとんどの実際的なアプリケーションにとって計算が複雑すぎるし、非効率的である。
【０００５】
特許文献１は、本願発明者により１９９９年１１月１１日に出願された米国特許出願第０９／４３８６９７号「実時間ヒューマン・ビジョン・システム行動モデル化」に対応する。かかる特許文献１は、従来のＨＶＳ行動モデル（behavioral modeling）アルゴリズムを記載しており、このアルゴリズムは、本質的に空間的であり、実時間ビデオ環境にて実行するのには充分に簡単である。分離した別々のチャネルで、基準画像信号及びテスト画像信号を処理する。各信号を空間的なロウパス・フィルタでろ波処理し、対応する領域にセグメント化し、その領域の平均値をろ波した信号から減算する。次に、ノイズを注入した後に、これら２つの処理済み画像信号を互いに減算し、セグメント単位で分散を求める。これら分散から、ビデオ画像品質の測定値を求める。しかし、このモデル化は、時間的影響を考慮していない。
【０００６】
【特許文献１】
特開２００１−１９７５２７号公報
【０００７】
ニューラル応答は、一般的に、アタック（開始）が早く、減衰が遅い。また、ある網膜神経セルが正の時間的パルスに応答し、別のいくつかの網膜神経セルが負の時間的パルスに応答し、また、別のいくつかの網膜神経セルが正及び負の両方の時間的パルスに応答するということが明らかになっている。各場合において、アタックが減衰よりも早いと、時間的周波数に依存する整流が生じる。整流が支配的になる重要な時間的周波数よりも上で、空間的周波数の倍加が生じる。この臨界の時間的周波数が、空間的−時間的応答での２次ピークに対応する。ここで、空間的周波数感度（及び関連したコントラスト感度対周波数、即ち、ＣＳＦ: contrast sensitivity versus frequency）曲線は、０ヘルツの感度から大雑把にオクターブで下がる。
【０００８】
【発明が解決しようとする課題】
よって、ＨＶＳの時間的応答を予測するための効率及び確度を改善する実時間ＨＶＳ行動モデル化のアルゴリズムが望まれている。
【０００９】
したがって、本発明は、ＨＶＳの時間的応答を予測する高効率且つ高確度の実時間ヒューマン・ビジョン・システムの行動モデル化方法を提供するものである。
【００１０】
【課題を解決するための手段】
本発明は、基準画像（基準ビデオ）信号から得たテスト画像（劣化ビデオ）信号の可視劣化の程度を求めるために、空間的モデルを有する形式の実時間ヒューマン・ビジョン・システムの行動モデル化を改良する方法であって、空間的モデル化（１０）の前に、上記基準画像信号及び上記テスト画像信号を時間的に処理するステップ（３５、３６）を具えて、ニューラルのアタック及び減衰をエミュレーションして、ピーク感度におけるシフトを考慮すると共に、空間的−時間的感度の関数における周波数の倍加を考慮することを特徴とする。
【００１１】
よって、本発明は、実時間ヒューマン・ビジョン・システム行動モデル化のために時間的処理アルゴリズムを追加するものである。この時間的処理アルゴリズムを空間的処理アルゴリズムの前に追加して、ＨＶＳ行動モデル化の時間的応答の予測を改善している。この時間的処理は、基準チャネル及びテスト・チャネルの各々で直列になった線形時間的フィルタと非線形時間的フィルタとを含んでいる。この基準チャネルへの入力信号は、基準画像信号であり、テスト・チャネルへの入力信号は、テスト画像信号である。このテスト画像信号は、基準画像信号が劣化を受けたものである。非線形時間的フィルタは、ニューラルのアタック及び減衰を伴った処理をエミュレーションして、ピーク感度におけるシフトを考慮すると共に、空間的−時間的感度の関数における周波数の倍加も考慮する。線形時間的フィルタは、空間的−時間的感度の関数における残留した鋭敏なもの（remaining subtleties）も考慮する。
【００１２】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の説明から更に明らかになろう。
【００１３】
【発明の実施の形態】
図１は、本発明を用いた映像品質評価装置のブロック図であり、上述の特許文献１と部分的に類似している。また、かかる図１は、本発明の方法による処理の流れを説明している。基準画像（基準ビデオ）信号及びテスト画像（劣化ビデオ）信号は、表示モジュール１１及び１２に夫々入力し、ルミナンス単位に変換される。これらルミナンス・データは、後述の時間的処理モジュール３５及び３６を介して、空間的モデル化アルゴリズム・モジュール１０に供給される。このモジュール１０は、ルミナンス・データの夫々に対する２次元（２Ｄ）２次ロウパス・フィルタ１３及び１４と、１個の潜在的なハイパス・フィルタとで構成されている。（このハイパス・フィルタでは、減算モジュール１７及び１８が、ブロック平均計算モジュール１５及び１６からの局部的平均（ロウパス）値を個別のピークの各々から夫々減算している。）このフィルタの組合せが、各方向、平均ルミナンス及びセグメント領域に関する文献に記載されたデータ（コントラスト感度対周波数）が示唆した条件を満足させる。このステージ（処理段階）からのたった１つの画像出力は、各画像に対する後続のステージにより処理される。この点が、従来技術のフィルタ・バンクからの多数の画像出力と対照的な点である。
【００１４】
ブロック平均計算モジュール１５及び１６により、３ピクセル×３ピクセルの如きブロックにおけるブロック平均を計算する。両方のチャンネルにおいて、セグメント境界判断モジュール２０は、モジュール１３、１４、１５及び１６と作用して、ブロック平均の中間及び他の簡単なブロック統計に基づいて画像をセグメント化する。しかし、計算資源を簡略化し且つ少なくするために、セグメント境界判断モジュール２０を削除してもよい。現在のセグメント化アルゴリズムに用いるブロック統計は、ローカル（ブロック）平均ルミナンス及び以前の分散を含んでいる。しかし、単純な最大値及び最小値を、領域を発展させるのに用いてもよい。各ブロックの中間を、それの属するセグメントにわたって平均化し、新たなブロック中間を作る。減算モジュール１７及び１８は、これらブロック中間を、対応ブロックの各ピクセルから減算する。なお、これらブロックは、潜在的なハイパス・フィルタに作用する。
【００１５】
コアリング動作モジュール２１及び２２は、ろ波された入力画像の絶対値と、ノイズの空間的に固定されたパターンの絶対値との間で大きい方を選択して、ノイズ発生器モジュール２４からのノイズを各ピクセルに注入する。ここで、
｜Ａ｜＞｜Ｂ｜の場合、
コア（Ａ，Ｂ）＝（｜Ａ｜−｜Ｂ｜）
であり、｜Ａ｜＜｜Ｂ｜の場合、
コア（Ａ，Ｂ）＝０
であり、これらコアの符号は、Ａの符号である。なお、Ａは信号であり、Ｂはノイズである。セグメント分散計算モジュール２７は、基準画像セグメントIrefに対する分散var(Iref')を計算する。減算セグメント２６は、基準画像セグメントIref及びテスト画像セグメントItestの間の差Iref-Itestを求める。セグメント分散計算モジュール２８は、この差Iref-Itestに対するセグメント分散(Iref'-Itest')を計算する。正規化モジュール３０は、各セグメントに対して、基準分散(Iref')により、テスト（差）チャンネル分散（Iref'-Itest'）を正規化（除算）して、２チャンネルのセグメント分散データ・セットを組み合わせる。
【００１６】
最後に、尺度モジュール３２で、各セグメントの正規化した分散の平均（平均（ｘ））のＮ乗根（１／Ｎ乗）を計算して、集合的な測定値を求める。この実施例では、Ｎ＝４であるが（１／４＝０．２５）、Ｎは、任意の整数値でよい。変換モジュール３４は、この集合的な測定値を拡大／縮小（スケーリング）するか、又は、ＪＮＤ、ＭＯＳなどの適切な単位に変換する。
【００１７】
本発明では、各チャネルにおいて、空間的モデル化アルゴリズム・モジュール１０に入力する前に、付加的な処理を行う時間的処理モジュール３５及び３６を追加する。従来の技術の欄でニューラル応答に関して上述したことから、周波数倍加と同じメカニズムが、空間的−時間的感度面の２次ピークの空間的−時間的周波数軸も考慮できることがわかる。空間的処理の前に、時間的処理モジュール３５及び３６にニューラルのアタック及び減衰を与えることは、ピーク感度におけるシフト（時間的周波数の関数としてのピークの空間的周波数位置）と、周波数倍加状態との両方をエミュレーションすることになる。これらモジュール３５及び３６は、図２に示すように、非線形時間的フィルタ３７及び３８により実現できる。そして、線形時間的フィルタ３９及び４０は、空間的−時間的感度相関における残留した鋭敏なもの（remaining subtleties）を考慮する。なお、これら線形時間フィルタ３９及び４０は、バンドパス・フィルタ（ＢＰＦ）を強調したロウパス・フィルタ（ＬＰＦ）であり、非線形時間フィルタ３７及び３８は、高速アタック及び低速減衰の特性を有する。これら線形フィルタ及び非線形フィルタの組合せも、次に述べる検出用しきい値を考慮する。すなわち、これらしきい値は、振幅及び継続期間の関数としてのパルスと、場面の変化に近似した振幅及び時間的な関数としての劣化と、変調振幅の関数としてのフリッカ及び臨界融合周波数とを検出するしきい値である。
【００１８】
図３は、線形時間的フィルタ３９及び４０の詳細を示し、これらフィルタは、ロウパス・フィルタ及びバンドパス・フィルタを組み合わせた特性を有する。ルミナンス・データが一連のフィールド遅延モジュール４１〜４４に入力し、これらモジュールは、各フィールド遅延に対応するタップを有する。これらのタップ出力は、夫々の乗算器４５〜４８に入力する。これら乗算器は、係数b0、Dec*b0、b1、Dec*b1により夫々重み付けされ、加算回路５０で加算される。本質的には、線形時間的フィルタ３９及び４０は、フレーム間の差を重み付けしたものであり、各フレームは、２つのフィールドの古い方に適切な減衰（Dec）を有する。空間的位置（x,y）における各ピクセルにとって、フィルタ出力LTF[field]は、フィルタ入力D[ ]により、次のように表すことができる。
LTF[field] = (D[field] + D[field -1 ]*Dec)*b0 + (D[field - 2] + D[field - 3]*Dec)*b1
なお、field は、シーケンスのフィールド番号であり、LTF[field] は、特定のピクセル（x, y, field）（特定フィールドfieldにおける座標x,yのピクセル）における線形フィルタ出力（LTF[x, y, field]）であり、D[field] は、この特定(x, y, field)座標におけるルミナンス・データからの得た入力ピクセルであり、b0、b1は、ＦＩＲフィルタ係数（例えば、b0=1; b1=-0.5）であり、Decは、減衰である。b0の係数は、通常１であり、b1の係数が約８Hzでのブースト（増強）量を制御する。非線形時間的フィルタ３７及び３８を計算した後に、b1パラメータを計算する。Decは、サンプル・レートに応じて、公称的には１以下である。
【００１９】
図４は、非線形時間的フィルタ３７及び３８の詳細を示す。これらフィルタの特徴は、エンベロープ・フォロワ（envelope follower）、即ち、振幅変調（ＡＭ）検波器／復調器である。このアタックは、減衰よりも早い。
LTF[field] < decay＊NTF[filed - 1] ならば、
NTF[field] = decay＊NTF[filed - 1] であり、
そうでなければ、
NTF[field] = (1 - attack) ＊ LTF[field] + decay＊NTF[filed - 1] ＊attack
である。なお、decayは、減衰係数であり、attackは、アタック係数であり、NTF[field] は、特定ピクセル(NTF[x, y, field]) における非線形フィルタ出力であり、attack=0.9 であり（より大きなアタック係数は、より遅い初期応答に対応する）、decay=0.98 である（より大きな減衰係数は、より遅い回復に対応する）。非線形時間的フィルタ３７及び３９の出力は、遅延回路５１に入力し、その後、第１乗算器５２にて、減衰係数と乗算される。比較器５４にて、乗算器５２の出力を、線形時間的フィルタ３９及び４０からの出力と比較する。この比較結果を第２乗算器５６で（１−アタック係数）と乗算して、整流器５８に入力する。整流器５８の出力と乗算器５２の出力とを加算回路６０で組み合わせて、フィルタ出力を発生する。空間周波数倍加の錯覚の空間的−時間的しきい値面及び対応する上のしきい値（supra-threshold）領域の両方に対するＨＶＳモデルを計算して、アタック及び減衰時間を決定する。非線形空間的フィルタ３７及び３８は、時間的マスク及び時間的関連可視幻覚の大部分に対する原因となる。
【００２０】
図示し上述した特定の実施例は、負遷移よりも正遷移に対してより敏感である。これは、負遷移への応答、又は、両方の遷移に等しく応答すると推定される網膜神経節セルを完全には考慮していない。光受容体形式の提案された理論上の分布に対応する疑似ランダム位置でのこれら応答を含むことによって、測定確度が改善される。整流器５８のみが、いずれかの極性か、又は両方の極性で絶対振幅（全波整流）での変化を必要とする。１０×１０ピクセル・グリッドで選択されたピクセル位置での全波整流の時間的処理を空間的に分布させることは、もはや数ピクセル以上ではない疑似ランダム偏位を伴い、動き反転及び興味を引くノイズ（scintillating noise）を含んだ種々の視覚幻覚を考慮している。しかし、必要とされる余分な処理は、いくつかのアプリケーションでは望ましくない。
【００２１】
【発明の効果】
よって、本発明は、空間的処理の前に、２段の時間的フィルタ、即ち、線形時間的フィルタの後に続く非線形時間的フィルタを挿入することにより、ニューラル・アタック及び減衰をエミュレーションすることによって、実時間ＨＶＳ行動モデル化に対する時間的処理を行う。したがって、本発明は、ＨＶＳの時間的応答を予測する高効率且つ高確度の実時間ヒューマン・ビジョン・システム行動モデルの時間的処理方法を実現できる。
【図面の簡単な説明】
【図１】本発明により主観的ビデオ品質評価の測定値を効果的に予測する装置のブロック図である。
【図２】本発明による図１の予測流れ図における時間的処理部分のブロック図である。
【図３】本発明による図２の時間的処理部分における線形時間的フィルタのブロック図である。
【図４】本発明による図２の時間的処理部分における非線形時間的フィルタのブロック図である。
【符号の説明】
１０  空間的モデル化アルゴリズム・モジュール
１１、１２  ルミナンス表示モジュール
３５、３６  時間的処理モジュール
３７、３８  非線形時間的フィルタ
３９、４０  線形時間的フィルタ
４１〜４４  フィールド遅延モジュール
４５〜４８、５２、５６  乗算器
５０  加算器
５１  遅延回路
５４  比較器
５８  整流器
６０  加算器
【図１】
0003955517.tif 000002
【図２】
0003955517.tif 000003
【図３】
0003955517.tif 000004
【図４】
0003955517.tif 000005