周辺視野特性を考慮した顕著性マップの作成
上野真実

1(指導教員 : 齋藤豪)

研究背景と目的

3.2

画像上で視覚的に注目を集めやすいものは顕著であることから、画像の顕著な箇所を計算で求めた結果が顕著性マップである。顕著性マップは運転時の注視点の推測や広告提示のための視線誘導に用いることができる。しかし、従来の顕著性マップは画像上の全ての点に同時に視点があるという状況を想定した結果であるため、視点移動時の一瞬において、人間の目の凝視している中央以外の周辺視野で視力や色みの低下が起きているという特性は考慮されていない。よって、従来の顕著性マップは、周辺視野を含む大きな画面での表示における顕著度としては適していない。本研究では、周辺視野による視力の低下を考慮して、ある点が凝視点であると仮定した際の顕著性マップを提案する。

2

図 1: 周辺視での CSF(それぞれ、視角 E=0(赤), 3(橙),7.5(緑), 14(青) 度での CSF を表す)
凝視点からの視角を E とし、Cowey と Rolls らのモ
デル [4] に従うと、CM F (E) は次式となる。A(E) はWertheim の実験結果から水平方向より垂直方向でより早く視力が衰える近似式を用いる。

先行研究

顕著性マップは、目に入ってくる光の刺激強度を、生理学や光学などの様々な観点で選択的に抽出して足し合わせることで計算されている。Itti ら [1] のモデル
では、輝度、色み、方向の 3 つの特徴について、異なる解像度の画像を複数用いてその差分から各特徴マップを作成し、顕著部分を強調させる重み付けを行った
のち、3 つの特徴マップを統合した顕著性マップが生成される。Itti らのモデルを発展させた様々な研究も行われてきたが、著者の知るかぎり、周辺視野による影響を考慮した顕著性マップについて言及している既存研究は見受けられなかった。
一方、周辺視野における視力や視感度に関する研究は多く行われている。Wertheim[2] は、周辺視における視力の測定を行い、人間の視力は視野の中心、眼の中心窩の部分で最も高い精度を持ち、中心窩から離れて視角が大きくなると急速に衰えることを示した。
視覚には、空間周波数ごとに正弦波格子のコントラストを変化させ、正弦波格子の知覚可能閾値を測定し、その逆数をとることにより求められるコントラスト感度特性 (Contrast Sensitivity Function : CSF) が存在する。また、中心視野に対応する視覚皮質の神経細胞は多く見られるが、周辺視野になるにつれて対応する神経細胞は減少するという視覚皮質の広さと視角の関係を表す皮質拡大係数 (Cortical Magnification Factor: CMF) が、現在様々なモデルとして提案されている。
Rovamo ら [3] は、周辺視で測定されたコントラスト知覚閾値から作られる周辺視野の CSF は、CMF の逆数で格子の空間周波数とコントラストをスケーリング
すると、中心窩での CSF と同形になると述べている
ため、中心視における CSF は、視野の中心視と周辺視の皮質の広さの比を表す CMF によって、周辺視野での CSF へと拡張が行える。

3

周辺視での CSF の決定(CM F (E) = −0.035 + 0.101

1A(E))−1(1)Rovamo らは、周辺視の CSF は CMF の値で適切にスケーリングを行うとほぼ同じ形の CSF になると述べており、ある視角 E の CSF(E,f ) は、視角 0◦ のCSF(f ) と次式の関係にあるとしている。
()()
CSF E, CM fF (E)CSF CMfF (0)≃(2)
CM F (E)CM F (0)という関係にある。視角 0◦ の CSF に、式 (3) で表される Mannos と Sakrison[5] らのモデルを共に用いることで CSF (E, f ) を計算する。CSF (E, f ) をいくつかの視角で図 1 に示す。赤線は中心視 (視角 0◦ ) でのCSF を表し、視角が大きく (橙〜青) なるにつれ感度が下がっていき、また、高周波成分も知覚できなくなる。

CSF (f ) = (0.05 + 0.2964f )e−0.114f

1.1

(3)

3.3 周波数成分の抽出
周波数 f に相当する入力画像の値を得るために、周波数空間で、入力画像 I(ω) を (n + 1) 個の周波数成分Ii (ω) に分割する。分割には、画像の再構成のためにガウス関数を用いる。I0 (ω) を低周波成分 (|f | < fmin )、In (ω) を高周波成分 (|f | > fmax )、[fmin : fmax ] の区
間は Ii (ω) ∈ {1, ..., n − 1}) として、式 (4)〜(7) で取り出す。今回は fmin には、最も凝視点から遠い点でCSF が最大になる周波数を、fmax は使用したディスプレイの解像度で表せる最大の周波数 (2[pixel] 相当)を用いる。

手法

本研究では、入力画像を特定の周波数成分を持つ画像に分解し、周辺視野での空間周波数毎のコントラスト感度を用いて、輝度の周波数情報に帯域通過処理を施し、凝視点に即した顕著性マップを作成する。通過できる周波数帯域は、CSF と CMF から求める。
3.1 入力画像と画面設定
入力画像と表示ディスプレイは、観察距離から計算して有効視野 20◦ の視角を超えて、周辺視角 30◦ 付近までの大きさを持つものとする。CIELAB の色空間でL*を求め、明度画像を作成する。

2Gi (ω) = e− ω22si(si = fmin +In (ω) = I(ω)(1 − Gn (ω))

67

fmax − fmini)
n(4)
(5)

Ii (ω) = (I(ω) −= (I(ω) −n∑k=i+1n∑Ik (ω))(1 − Gi (ω))
Ik (ω))Gi+1 (ω)(1 − Gi (ω))

k=i+2= I(ω)Gn (ω)Gn−1 (ω) · · · Gi+1 (ω)(1 − Gi (ω))≡ I(ω)Di (ω)(6)
n∑I0 (ω) = I(ω) −Ik (ω)(7)(a) 入力画像(b) 従来法による顕著性マップ(c) 周辺視特性考慮画像(d) (c) による顕著性マップ

k=1

画像空間でこの処理は、σi = 1/si とするガウシアンフィルタ (式) との畳み込みとなる。

Gi (x, y) =1e2πσi222− x +y2σ 2i

図 2: 結果画像 1(8)3.4 閾値による足し合わせ処理
畳み込みによって得られたある周波数帯域を主に持
つ画像 Ii (x, y) のある点 (x, y) でのコントラスト Ci が、閾値 (CSF で求められるコントラスト感度の逆数) を越えない場合、そのコントラストは認識されないとみなし、その周波数成分を重み wi でカットする。
Ci , wi は以下の式で求める。
Lmax − Lmin
Ci =2Lave
{()
Ci
11>
Di(fr )
CSF (E,fr )wi =0 (otherwise)n∑wk (x, y)Ik (x, y) + I0 (x, y)(c) 周辺視特性考慮画像(d) (c) による顕著性マップ(10)

図 3: 結果画像 25

まとめ

本研究では、ある凝視点での一瞬の視界において視点移動を促すような刺激となり得るコントラストを示すため、周辺視野でのコントラスト弁別可能閾値による閾値処理を行って、凝視点に付随した顕著性マップを作成した。処理中のバンドパス特性の評価、コントラスト評価のための局所選択の窓の大きさの評価が検討課題である。また、被験者実験による周辺視の見えの再現性も今後の課題である。

(11)

k=1

3.5 明度の顕著度に適用
最後に、Itti らの顕著性マップの入力画像として、この周辺視特性を加味した画像 I ′ を使用して顕著性マップを得る。このとき、輝度の顕著度には CIELAB 色空間の明度 L*を、色相の顕著度には a*と b*を用いる。

4(b) 従来法による顕著性マップ(9)

ここで Lmax , Lmin , Lave はそれぞれ Ii の局所的な最大値、最小値、平均値であり、fr は Ii に対応する Di (ω)の最大値を通る周波数である。
ある凝視点での周辺視特性を考慮した画像 I ′ (x, y)
は、画素毎に帯域通過を wi により選択的に行うことで生成する。ただし低周波成分画像 I0 (x, y) には閾値処理を行わない。

I ′ (x, y) =(a) 入力画像

参考文献[1] Laurent Itti, Christof Koch, and Ernst Niebur. A
model of saliency-based visual attention for rapid
scene analysis. IEEE Trans. Pattern Analysis andMachine Inteligence, Vol. 20, No. 11, pp. 1254–1259,
1998.
[2] Th. Wertheim.
Über die indeirekte sehschärf.
Zeitschrift für Psychologie und Physiologie der Sinnesorgane, Vol. 7, pp. 172–187, 1894.

結果

解像度 1920×1080[pixel]、大きさ 154×87[cm] のディスプレイを想定し、ディスプレイから正面中央にいる観察者までの距離を 50[cm] とした。凝視点を画面中央においたときの周辺視特性を加味した画像と顕著性
マップ、Itti らのモデルでの顕著性マップの結果を図2,3 に示す。
結果から従来法で顕著であるとされてきたエッジは、凝視点から離れた領域では、周辺視野での視力低下によって視認できなくなっていることがわかった。またそれにより、よく見えている中心視に存在するエッジが相対的に高い顕著度を示し、視認できなくなった周辺視野では顕著度が低く示されている。

[3] Rovamo Jyrki, Virsu Veijo, and Nasanen Risto. Cortical magnification factor predicts the photopic contrast sensitivity of peripheral vision. Nature, Vol. 271,
pp. 54–56, 1 1978.
[4] A. Cowey and E.T.Rolls. Human cortical magnification factor and its relation to visual acuity. Experimental Brain Research, Vol. 21, No. 5, pp. 447–454,
1974.
[5] James L. Mannos and David J. Sakrison. The eﬀects
of a visual fidelity criterion of the encoding of images.
IEEE Trans. Information Theory, Vol. 20, No. 4, pp.
525–536, Jul 1974.

68