計測自動制御学会東北支部 第 266 回研究集会(2011.7.20)
資料番号 266-10

画像による主観評価に用いる視線計測システムの開発
Development of View Point Measurement System for Opinion Test with Pictures○大須賀智洋*，田中元志*，井上浩*，新山喜嗣**○Tomohiro Oosuga*，Motoshi Tanaka*，Hiroshi Inoue*，Yoshitsugu Niiyama***

秋田大学大学院工学資源学研究科，**秋田大学大学院医学系研究科*

Graduate School of Engineering and Resource Science, Akita University**

Graduate School of Medicine, Akita University

キーワード：視線計測（view point measurement），視線停留（eye gaze）
画像（picture），主観評価実験（opinion test）

連絡先：〒010-8502 秋田市手形学園町 1-1
秋田大学大学院工学資源学研究科 電気電子工学専攻 井上研究室
大須賀智洋 Tel：018-889-2492，Fax：018-835-4651，E-mail：ohsuga@venus.ee.akita-u.a c.jp

1. はじめに量評価の指標とする研究 4),5)を進めている一

現在，製品の設計・開発など，ヒトが最終方，脳波だけでなく，生体生理信号と合わせ的な受け手となるものの多くに主観評価試て計測する試みを行っている．

験が行われており，重要な役割を果たしていヒトは，主観評価対象が与える刺激や感性る 1)．ヒトの生理情報を用いた主観評価の定情報を感覚器官から受容し，脳の高次認知処

量化に関する検討については，絵画鑑賞時の理によって生起される神経系活性化によっ

眼球運動と嗜好性の関係 2)，心拍変動によるて，心臓・眼球などの器官に様々な反応を引

3)

ディスプレイ作業意欲の評価 ，事象関連電き起こすと考えられる 6)．特に，視覚による位による画質評価 4)，など行われているが，情報量は全体の 83%といわれ，ほぼ支配的で主観評価との対応は明確な定量化としてはある 7)．また，興味のある視覚情報に対して得られていない．

は空間的・時間的分解能の高い中心窩で見よ

これまで，筆者らは画像を提示した時に，うとして，眼球運動を随意的に引き起こすこ

好き・嫌いなどと被験者が主観評価した時のとが報告されている 6)．すなわち，視線が停脳波（特に P300 などの事象関連電位）を定留して得られる視覚情報により脳の高次認-1-知処理が行われ，生起された感性による神経活性化が引き続く眼球運動を起こすと考えられる．視線は，眼球運動による注視（ある箇所に視線が停留あるいは追尾する眼球運動）とサッケード（注視する点を変える時に発生する眼球運動）によって形成される 8)．
サッケード中は網膜に投影される像が不鮮明となるため，視覚情報を取り入れることはできず，視線が停留した時に視覚情報を取り

図1

視線計測システム6)入れていることが知られている ．
従来の主観評価時の脳波（特に事象関連電標と視線座標への変換が，視覚生理との位）の計測に，視線の動きに対応する計測情関係で十分であることが必要である．

報を加えることは，新しい主観評価の定量化

2） 視線の停留を計測するために，視線の停法につながると考えられる．

留点を抽出し，停留する時間を計測でき

本研究は，主観評価中の視線情報と脳波をることが必要である．

同時計測するシステムの開発を目指して，画

3） 絶えず動く被験者の瞳孔を正確に，ノイ像の主観評価時の視線を計測可能な視線計

ズなく計測できることが必要である．

測システムを構成したものである．また最後

ヒトの視野について，眼球運動だけで対象に，食品画像を評価画像として，主観評価時を注視し，瞬時に特定情報を受容できる有効の視線の計測を行った例を示し，視線停留時視野（左右約 15°，上約 8°，下約 12°以間の可能性を明らかにした．

内）があることが知られている 8)．視線の動
きと主観評価の関係を見るためには，頭部運2. 主観評価に用いる視線計測シス
テム
2.1.

動を起こさずに，視線の動きのみを抽出できることが望ましい．評価対象と被験者間の視目標とする視線計測システムの仕様

距離を画面高の 2 倍とすることで，画面をほ被評価画像を提示し，それを被験者が主観ぼ有効視野内に収めることができる．

評価するときの視線を計測するシステムのまた，ヒトは中心窩の視角約 2°の範囲が構成は，図１のように構成する．

視力や色の弁別などの視機能が最も優れて視線の動きは，被験者の瞳孔の動きをいることが知られている 8)．そのため，視線CCD カメラにより 2 次元的に測定する．瞳停留点の誤差は視角 1°以内であることが望孔の方向に視線があると考えて，LCD 上のましい．また，視線停留点のばらつきは 1°視線の位置を特定する．すなわち，瞳孔を計以内であることが望ましい．

測した視線と画面の対応関係が正確に，しか一方，ヒトはサッケードの開始において一も動きとして計測できる必要がある．そこで， 定の潜時 150～250 ms を必要とするため 9)，検討すべき内容は以下になる．

注視からサッケードを行うまでに，少なくと1） 瞳孔の計測と画面との対応関係をつけるも 150 ms 以上視線は停留することになる．

こと．その場合に，画面上の空間分解能

この視線の停留を検出するためには，サンプが十分であること，すなわち瞳孔中心座リング周波数が 14 Hz 以上であればよいと-2-考えられる．以上から，開発する視線計測シ

450[pixel]pupil x [pixel]
Center pupil xCenter

ステムが目標とする仕様は以下のようにまとめられる．
視距離：画面高の 2 倍
サンプリング周波数：14Hz 以上
視線停留点の誤差：視角 1°以内
視線停留点のばらつき：視角 1°以内
視線の検出範囲を評価画像提示用モニタ（20 型 LCD）上に限定し，全域が有効視野角

y [pixel]
pupil pupilCenterCentery [pixel]

内に入るように，画面高の 2 倍とした．
視線追尾装置 ViewTracker（Ditect 社）を用いて，右目の瞳孔と被験者が見ている風景をそれぞれ CCD カメラで撮影し，瞳孔中心座標を検出した．各映像のサンプリング周波数は 30 Hz である．撮影された瞳孔の画像（480×640 pixel2）から瞳孔中心を検出し，風景画像（480×640 pixel2）上の視線の位置と対応関

40045035040030035025023150250250140454545Time [s]300(a) x 軸

1302001201501101001002502

係を求めることにより，視線の動きを検出す

33Time [s]Time [s](b) y 軸る．
図22.2.

Measured raw data
Filtered data

瞳孔中心座標の時間波形の例

瞳孔中心座標のノイズの処理

注視点を移動させたときの瞳孔中心座標

動角のばらつきが視角 1°以内（本システムを抽出した結果の例を図 2 に示す．図中の時では 10 pixel に対応）を満たすためには，こ刻約 3.2～3.4 秒がサッケード，それ以外が注れらノイズと考えられる成分を除去する必視をしているときの時間波形である．注視時要がある．の瞳孔中心座標のばらつきが大きい．眼球は注視時の瞳孔中心座標のばらつきを平滑ある箇所を注視している際も固視微動と言化し，かつサッケード成分の急峻な波形変化われる微小な運動を繰り返しており，その周を保存できる処理が必要である．その一方法

波数成分は 20～100 Hz 程度であることが知として，画像のエッジ保存平滑化などに利用8)られている ．サンプリング周波数 30 Hz のされる適応型 α-Trimmed 平均値フィルタ 10)本装置では，この運動を捉えることはできなの利用が考えられる．これは，信号の局所統い．よって，瞳孔中心座標のばらつきは，装計量を用いることで信号のエッジ成分やノ置自体および被験者の眼鏡などによる瞳孔イズの統計的性質の変化を検知し，エッジ保中心座標の検出偏差であると考えられる．ま

存平滑化とノイズ（ガウス性ノイズ+インパた，時刻 2～3 秒においてはインパルス性のルス性ノイズ）が重畳されている信号の平滑アーチファクトが多い．これは，まばたきや化が期待できるフィルタである．

まつ毛などによって瞳孔中心座標を検出で本システムでは，適応型 α-Trimmed 平均値きなかったことによるノイズである．眼球運フィルタを応用して，瞳孔中心座標のノイズ-3-除去を検討する．画像処理用に定義された入450[pixel]pupil x [pixel]
Center pupil xCenter

出力の関係 10)を，入力信号を x(n)，出力信号を y(n)として離散時間信号用に，
M N

 x(n  k )y ( n)  k  N  M
N (1  2 )(1)と書きなおした．x(n)の前後 M（正の整数）
点の信号が用いられ，N はフィルタの窓長
N=(2M+1) である．式(1)は，α=0 のときに移動平均フィルタとなり，α=(N-1)/2N のときはy [pixel]
pupil pupilCenterCentery [pixel]

Through（ y(n) = x(n) ）となる．
α は，フィルタ窓内の信号の統計量 K(n)から決定される．信号の平均値 ave(n)をM

 x(n  k )ave(n)  k  MN，(2)分散 var(n)を

 x(n  k )  ave(n)
Mvar(n) Measured raw data
Filtered data

400

450
350

Measured raw data
Filtered data

400
300
350
250

23300
150
250
250
140

N

54545(a)rawx 軸data
Measured
Filtered data
Measured raw data
Filtered data

130
200
120
150
110
100
1002502332k  M

4Time [s]Time [s]Time [s](b) y 軸(3)図3フィルタリング後のとすると，統計量 K(n)は瞳孔中心座標の時間波形

 2 ( n) n2   2 (n)フィルタ窓長を N=5 とし，図 2 の瞳孔中K ( n) (0  K (n)  1)

var(n)   n2 : if var(n)   n22
 (n)＝
0 : otherwise n2  1.483 med {| x(n  k )  x(n) |}心座標の時間波形について，ノイズの除去を(4)行った．このとき，フィルタは，瞳孔中心座標のばらつきによって，遮断周波数約 3 HzM k Mの LPF，遮断周波数約 5 Hz の LPF，およびと定義される．ここで，med{x}は中央値を求Through のいずれかとなる．結果を図 3 に示める関数である．フィルタ窓内に信号のエッ

す．x 軸の瞳孔中心座標の標準偏差（ばらつジ成分が含まれている場合，σ2(n)  σn2 となき）は，フィルタリング前は x 軸が 68.5 pixel，り K(n)は 1 に近い値となる．一方，処理点近y 軸は 34.1 pixel であったが，フィルタリン傍が滑らかな変化をしている時は σ2(n)  σn2

グ後は x 軸が 2.11 pixel，y 軸は 1.98 pixel ととなり K(n)は 0 に近い値となる．K(n)＝0 のなった．本処理の効果が確認できた．

とき α＝0，K(n)＝1 のとき α＝(N-1)/2N となるように

 (n)  N  K (n)  ( N  1) 2
2

3. 視線と停留の抽出(5)3.1.と定義した．ここで，   は丸め整数化処理

瞳孔中心座標の視線座標への変換

瞳孔中心座標から提示画像上の視線座標への変換が必要である．この変換は，計測前を示す演算式である．
-4-図4

1 次射影変換のモデル図
図5

視線計測システムにおける校正点の校正方法とも関連する．マグニチュード校正法 9)，アフィン変換を用いた校正法 11) などが従来用いられているが，被験者への負担が大きく，線形変換ではないことが問題となる．
線形変換が可能で，かつ被験者への負担が小さい方法の一つとして，1 次射影変換 12)が挙げられる．これは，4 点の座標による任図6
Fixation point and Eye position y [°]意の形の四角形を射影変換係数によって別の形の四角形に変換する方法である．1 次射影変換のモデル図を図 4 に示す．眼球の動きは，図 4 の左側の四角形のように歪んだ形となる．このように歪んだ形を任意の四角形に変換できる．モニタ上のある点に視線を向けたときの平均瞳孔中心座標を xi ，yi [pixel]とすると，モニタ上の視線の平均位置座標を
Xi ，Yi [pixel]は，a x  a 2 y i  a3Xi  1 i
a7 xi  a8 yi  1a x  a5 y i  a 6Yi  4 i
a7 xi  a8 yi  1

校正精度確認用固視点モデル

2015
105
Fixation point
Eye position

0-5-10-15-20-20 -15 -10 -5 0
5 10 15 20
Fixation point and Eye position x [°]図 7 図 6 の固視点モデル注視結果の例（被験者 A）(6)

うに，モニタ画面の 4 隅に校正点を置いた．
視線座標 d （式(6)で求めた Xi，Yi [pixel]）で定義される．ここで，a1～a8 は射影変換係

を次式で眼球運動角 θ （θx，θy [°]）に変換し数である．

た．

P d 
 2D 

射影変換係数は，4 点の校正点を注視させ  2 tan w

たときの瞳孔中心座標から求める．この過程（7）が校正である．射影変換係数を求めるために

ここで，D は視距離[mm] ，Pw は単位ピクセ

参照とする校正点としては，なるべく広い範ル幅[mm] である．

囲の注視位置と瞳孔中心座標の対応関係が

図 6 の固視点モデルを用いて，被験者が固求まる校正点が望ましい．本システムでは，視点を順に注視したときの結果の例を図 7

ヒトの有効視野角を考慮して，図 5 に示すよに示す．固視点座標と眼球運動角の差分をと-5-

Eye position x, y [°]40

Eye position x
Eye position y
Eye gaze point200

図9-200246Time [s]810図8

校正点注視中の停留抽出結果の例

評価用食品画像12（被験者 A）

り，その平均値を求めた結果，θx は 0.14°，
θy は 0.087°となった．被験者 3 名について行った結果，視角範囲約 0.7°の測定精度で，瞳孔中心座標から視線座標に変換できることが確認された．また，7°以上離れている

図 10 評価用画像の提示例

固視点注視中の視線が分離できることも確であり，校正点が提示されていた時間 3.0 秒

認できた．とほぼ一致した．本研究で定義した視線停留
3.2.

時間の抽出法を用いて，視線の停留とその時視線の停留点と停留時間の抽出間を抽出できることが確認できた．

第 2.1 節で述べたように，ヒトは中心窩の視覚約 2°の範囲で対象の視覚情報を得てお4. 好み評価時の視線の停留検出

り 8)，またサッケードの開始には潜時 150 ms以上が必要とされる 9)．これらの点から，視食品画像を例に，画像 2 枚を被験者に提示線が視角 2°の範囲内に 150 ms 以上停留しし，一対比較法 6)を用いて好みを評価させたていれば，停留箇所の視覚情報を取り入れてときの視線とその停留時間を，開発した視線いると考えられる．

計測システムを用いて検出した 13)．

そこで，停留を判断する眼球運動角については，被験者毎の計測値のばらつきを考慮し， 4.1.

実験方法

校正用画像（図 5）注視時の眼球運動角の標評価用画像として，図 9 に示す「寿司」を準偏差 xth，yth を求め，閾値とした．眼球運用いた 5)．評価用画像の提示例を図 10 に示

動角の差分値が「閾値 xth，yth 以下，かつ 150す．被験者に与える課題として，提示されたms 以上継続した場合」に停留と判定した．

2 枚の食品画像を比較評価し，「好き」な方

図 5 の校正点を注視させたときの視線にの画像を選択させた．そして，その画像に対ついて，視線停留を抽出した結果の例を図 8

応したボタンを評価時間中に押させた．被験に示す．注視時の眼球運動角の標準偏差は者の集中力の持続時間，疲労などを考慮し，xth=0.43°，yth=0.75°と求められ，これを停試行回数は 20 回とした．評価画像提示時間

留判定の閾値に用いた．サッケードと考えら中の抽出範囲内の視線停留時間と評価値をれる部分は，停留と判定されていない．また，測定した．頭部運動による装置のズレを防ぐ

校正点に視線が停留していた時間は約 2.9 秒

ために，顎を軽く固定して測定を行った．ま-6-

た，被験者には，瞬きを我慢しなくてもいい14121086420-2-4-6-8-10-12-140

Eye position y [°]ことと，目をなるべく細めないこと，の 2 点を指示した．被験者数は 10 名（21～24 歳，男性 9 名，女性 1 名）であり，同意を得たうえで実験を行った．
主観評価の流れを以下に示す．
① 校正用画像の提示
被験者毎の射影変換係数と停留の閾値 xth，

400

200

Observed countyth を求めるために，校正用画像として固視点

100 200 300
Observed count

モデルを 1 枚 3s 間の計 12s 間提示した．

100② 白画像の提示

0-18-16-14-12-10 -8 -6 -4 -2 0 2 4 6 8 10 12 14 16 18
Eye position x [°]中央に固視点を設けた白画像を 2s 間提示
し，被験者に固視点を注視するよう指示した．

図 11

好み評価時の視線の計測結果例③ 評価用画像の提示（被験者 A）
Average eye gaze time [s]寿司の画像 10 種類を使用し，図 10 に示す
ように，異なる 2 枚の画像をランダムにモニタ上に 3s 間提示した．
④ 評価
被験者には，白画像が提示されたら，「好き」と評価した画像に対応したボタンを押す

p<0.01210ように指示した．

ChosenNot chosen
Picture

図 12 好み評価時の視線停留時間の計測結果

4.2.

結果と検討

好み評価時における画像毎の視線座標の被験者毎に，評価用画像を提示した 3 s 間

眼球運動角を 2 次元座標上にプロットした内に，「好き」と評価した画像（Chosen）と，図，x および y 軸の視線座標のヒストグラム評価されなかった画像（Not chosen）それぞれの例を図 11 に示す．プロット図を見ると，について視線が停留した時間を求めた．視線

視線座標は画像内の食品に集中しているこ

停留時間の平均値と標準偏差を図 12 に示す．とが分かる．y 軸における視線座標のヒスト

図中の p は対応のある t 検定の有意確率であグラムを見ると，約 0°付近にピークが 1 つる．
「好き」と評価した画像の視線の停留時あることが分かる．これは，左右に配置した間は，他方の画像の停留時間に比べて有意に食品画像を見て好み評価を行うために，y 軸長い結果となった（p < 0.01）．好みによる視上の視線座標の動きにそれほど変化が起き線停留時間の違いを検出できることが確認なかったと考えられる．一方，x 軸の視線座できた．また，停留時間による主観評価の定標のヒストグラムを見ると，約 0°を境にピ量化の可能性が得られた．

ークが 2 つあることが分かる．これは，左右5. おわりにに配置した食品画像を見て好み評価を行ったためと考えられる．

画像を用いた主観評価時の視線を計測す-7-るために，視線計測システムを開発した．本労働科学研究所出版部，1998

システムを用いることで，視線の停留点座標10） 田口亮，村田裕，“局所統計量を用いた適応と停留時間の検出が可能であることを示し型 α-Trimmed 平均値フィルタの提案”，信学た．また，本システムを用いて，食品画像を技報，CAS93-23，pp.69-74，1993

評価画像として主観評価時の視線の計測を

11） Eui Chul Lee ， et. al. ， “A brain–computer

行った結果，評価による視線停留時間の違い

interface method combined with eye trackingを検出でき，視線停留時間の可能性を明らか

for 3D interaction”，Journal of Neuroscienceとした．今後は，画像の提示および評価方法

Methods, Vol. 190，pp.289-298，2010などの実験プロトコルについて検討と，視線

12） 長谷川浩司，“線形代数”，日本評論社，2005と脳波の同時計測システムの構築を行って

13） 大須賀智洋，田中元志，井上浩，新山喜嗣，いく予定である．

“画像を用いた好み評価時の視線停留時間に関する検討”，平成 23 年東北地区若手研究者

謝辞

被験者として協力頂いた方々に感謝

研究発表会，YS-9-E8，2011

する．また，本研究の一部は平成 21 年度文部科学省都市エリア産学官連携促進事業（秋田県央エリア）の援助で行われた．

参考文献
1） 石原他，“商品開発と感性”，海文堂，2005
2） 高橋英之，西森望，大森隆司，“絵画鑑賞時の視線の動きから嗜好を読み取る”，信学技報，NC2009-162，pp.437-442，20103） 永田健太郎，田村哲哉，飯田健夫，“機器操作時における精神的負荷の生理的計測”，
D&D98 講演論文集，pp.71-72，1988
4） 田中元志，井上浩，新山義嗣，“事象関連電位による画像品質評価のための課題に関する実験的検討”，映情学紙，Vol.63，No.2，pp.222-224，20095） 田中元志，本間智大，井上浩，新山喜嗣，高橋徹，熊谷昌則，秋山美展，“食品の好み評価時の事象関連電位に関する実験的検討”，
電学論 C，Vol.131，No.1，pp.96-101，20116） 飯田 健夫，“感覚生理工学”，コロナ社，20097） 教育機器編集委員会，“産業教育機器システム便覧”，日科技連出版社，1972
8） John M. Findlay，Iain D. Gilchrist，本田 仁視，“アクティブ・ビジョン”，北大路書房，2006
9） 古賀一男，“眼球運動実験ミニハンドブック”，-8-