GS3-2-6

LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)

複数カメラによる注視領域判別の研究

Research of eye gaze area discrimination by multiple cameras〇神長東京電機大学洋平,

鈴木 真

情報環境学部 情報環境学科

Yohei Kaminaga, Makoto Suzuki
Tokyo Denki University
Abstract: This paper proposes eye gaze area identification using multiple cameras that does not require calibration, for the application todigital signage. We considered that identification of gazing areas can be realized without calibration, because precise measu rement ofposition is not needed. Image processing method to identify whether the user gazes at left side or right side of the camera, was studied.
Gazing direction value is determined from the difference between the midpoint of iris center, and midpoint of eye corner of both eyes,
obtained by the Floodfill method. Using two cameras, the gazing area can be identified from left edge, right edge or other area. From theexperiments by the normal subjects, the proposed method could obtain gazing direction values if the stable value is measured.
Key words; Image Processing, Eye Gaze Input, Digital Signage, OpenCV

1.

背景

マンマシンインタフェースの研究は古くから進められており、その中で注視入力が注目されてきた(1)。目はコンピュータインタフェースとして優れた入力装置であり、小さな動きでディスプレイなど空間内の 1 点を直接的に指示できることが期待されたからである。
現在までに実用化されたものにマイトビー (2)という注視入力装置が挙げられる。この装置のアイトラッキングは、ほとんどの照明環境で、眼鏡やコンタクトレンズをしていても動作するもので、注視によってディスプレイ上のメニューを選択可能となっている。そのため、意思伝達の支援やコンピュータの入力インタフェースとして、障碍者を始め幼児から高齢者まで幅広いユーザーに対し、様々な生活場面で利用できる。この装置の使用前にはキャリブレーションが必要だが、その作業は簡便であり、特定の人物がユーザーである場合には実用上、問題ないものとなっている。
その他で注視の利用が考えられる分野に、デジタルサイネージ（電子看板）(3)が挙げられ、視聴者の有無の感知や、表示した情報のどこに注目しているかの検知に必要な技術として期待されている。ただし、デジタルサイネージでは対象が不特定の人物となるため、注視に先立ってのキャリブレーション作業は本質的に行えない。そこで、本研究では、この注視をデジタルサイネージに利用することを想定し、キャリブレーションなしに注視領域を判別できる手法の確立を目指している。
そこで、注視点を精密に計測するのではなく、画面上の複数の領域を注視しているかどうかだけを判別するようにすれば、注視入力として要求される分解能を下げることができ、キャリブレーションを無くせるのではないかと考えた。具体的に本研究では、画面の左端と右端のどちらの領域を注視しているか、あるいは、そのどちらでもない（他の場所を注視している、またはそもそも注視していない）かの 3 通りを判別させることを考えている。

本報では、この 3 通りを判別させるための画像処理による視線方向値の計算方法、及び健常被験者を対象とした実験による検証について報告する。

2.

注視領域の判別方法

まず、1 台のカメラについては、その左右どちらを注視しているかのみを判別することで、キャリブレーションを不要にできないかと考えた。そのための画像処理の流れを Fig.1に示す。
初めに HaarLike 特徴を用いて目を検出する。次に検出した目の領域内において X 軸上 40~60%、Y 軸上 25~50%の範囲内から最暗点を探索する。最暗点が存在すれば、その位置を起点として Floodfill 法を使い黒目と上瞼のエッジを塗りつぶす。
最後に、塗られた領域から顔の外側の端を目尻とし、領域内で最も縦幅の広い部分を黒目の中心とする。
これらの処理を左右の目に行い、X 軸（水平）方向についての両目の目尻の中点と、両目の黒目の中点を得る。その差を視線方向値として求め、正ならばカメラから見て左を、負ならばカメラから見て右を注視しているとした。目の動きと視線方向の関係を Fig.2 に示す。
この方法で、1 台のカメラについて、その左右どちらを注視しているかを判別できると考えた。そしてカメラを 2 台組み合わせることで、視線方向値がどちらも正なら画面の左端、どちらも負なら画面の右端のどちらを注視しているか、あるいはそれ以外かを判別することとした。注視領域の模式図
Fig.3 に示す。
Face detect(HaarLike)

Detect the both eyes intrimmed area(HaarLike)and find the darkest
point
Fill iris and eyelids
using flood fill

Determine iris centerand eye corner

Calculate gazing
direction

Fig. 1 Step of the image processing method−1−Gaze direction value②①①-② ≧0Gaze direction：LeftFig.

2

Relationship1.2

12①-② ≦0Gaze direction ：Rightbetween

theGaze direction： LIFE2012 Gaze2012 direction：
年11 月2 日I4 日愛知
Gaze(名古屋大学)
direction：LeftCenterRight170.82-32235

2245

-13

Fig. 3Right edge

Schema of eye gaze area

2285

0.6
0.4

0time
Fig. 4 Relation between the gaze direction andcalculated value of subject A（stable case）

10
Gaze direction value

Left edge

2275

0.2

eye

Right camera

2265

-8

movement and gaze direction values

Left camera

2255

Gaze direction：
Left

50895

Gaze direction ：CenterGaze direction ：Right1.2
1
0.8

905

915

925

935

-5

0.6
0.4
0.2

-10

time

0Fig. 5 Relation between the gaze direction andcalculated value of subject A（unstable results）

3.

被験者による注視領域判別実験

ここで提案した計算方法により、期待した視線方向値が得られるかを検証するため、被験者による計測を行った。
実験に使用した機材は、USB カメラ（Logicool HDProWebcam C910）2 台と、被験者が注視する 24 インチディスプレイ（BENQ GL2450）である。使用したプログラムの開発環境には Open CV 2.3.1 と VC++2008 を使用した。
実験では、被験者 3 人（20 歳代健常男性）にそれぞれモニター上の左、中央、右を 5 秒ずつ注視してもらい、その間の視線方向値を記録した。
安定して視線方向値が得られた被験者 A の例を Fig.4 に示す。視線方向値の符号は左注視時に正、右注視時に負と、期待した通りの符号が出力されており、さらに値のばらつきが小さかった。従って、安定して視線方向値が計測できれば、注視領域の判別が可能であることが示された。
Fig.5 に、同じ被験者で安定して計測できなかった場合を示す。左方向を注視時には右目の目尻が、右方向を注視時には左目の目尻が、それぞれ検出できない場合があった。ゆえに、期待する符号にならず、ばらつきも大きかった。
目尻を検出できなかった理由として、黒目が目尻から遠い位置に寄ったために、明るさが大きく変わってしまい、同一の領域として Floodfill により塗りつぶされなかったことが考えられる。

4.

りの注視判別を行うこととした。健常被験者による実験から、安定して目尻を検出できれば期待したように注視領域を判別できたが、局所的な明るさの違いにより目尻を検出できず、判別結果がばらつく場合があった。
今後は目尻を検出する方法として Active Appearance
Model(4)や GoodFeaturesToTrack(5)の導入を検討し、安定して視線方向値が得られる方法を確立して、デジタルサイネージに応用していく。

5.

参考文献

(1)

Richard A. Bolt, 鶴岡雄二,“マン-マシン・インタフェース進化論”,パーソナルメディア株式会社
トビー・テクノロジー・ジャパン, “重度障害者用意思伝達装置 マイトビーP10”<http://www.tobii.com/ja-JP/eye-tracking-research/japan/assi
stive-technology/mytobii-p10/>
WIRED ”Eye-Tracking Device Lets Billboards Know When
You Look at Them”<http://www.wired.com/gadgets/miscellaneous/news/2007/0
6/eyetracking>
T.F.Cootes, G. Edwards and C.J.Taylor.: “Active appearancemodels”, Proc. ECCV, Vol. 2, pp. 484–498 (1998)
Shi Jianbo Dept. of Comput. Sci., Cornell Univ., Ithaca,
NY Tomasi,C “Good Features to Track” 1994 IEEE 593-600．

(2)

(3)

(4)
(5)

まとめ

デジタルサイネージへの応用を想定し、複数カメラを用いることでキャリブレーションを不要とする注視領域判別について研究した。1 台のカメラについて、キャリブレーションせずに左右どちらを注視しているかのみを判別させるため、画像処理で得た両目の目尻の中点と、両目の黒目の中点の差から視線方向値を求める方法を提案した。さらにカメラを 2台組み合わせることで、画面の左端、右端、それ以外の 3 通−2−