OS2-3

LIFE2014

2014 年 9 月 24
2 日－26 日 北海海道

瞼瞼の形状近近似を利用しした操作イ
インタフェーースの開発
発Devvelopment ofo interface using approoximation ofo eyelid shhape○瀬川瀬中中沢辰之佑
佑（群馬大院院）
信明 （群馬大院院）

村川
松井

裕紀
紀（群馬大院院）
利一
一（群馬大院院）

Shhinnosuke SE
EGAWA, Gun
nma UniversityHiroki
HMURA
AKAWA, Gunma UniversityyNo
obuaki NAKA
AZAWA, Gun
nma Universitty
Tooshikazu MAT
TSUI,Gun
nma Universitty
Abbstract: In thhis paper, a gazing interfacce based on tthe special feeature points of an eye waas developed. Gazing poinnts
forrward to side directions weere derived byy the relative ddistance of ann iris and the outer corner oof left and rig
ght eyes. On thetoth
her hand, gaziing with respeect to the cammera was recoognized by th
he curvature ofo Bezier Curvve that was usedufour poinnts,
nammely, inner annd outer cornner of the eyee, and two coontrol points. The suggesteed recognitioon system was applied to thet
opeerations of thhe page turnerr machine. It was confirm
med that the developed
dsystem could juddge the user’’s states of boothreaading a book aand operatingg the equipmen
nt by the speccial feature pooints on an eyye.
man interface , Eyelid
Keey Words: Gaaze, Image proocessing, Hum
1. 緒言
近年，文章の近記述が紙媒体体から電子媒体体に移行しつつつあり，電子媒体の 書籍が増え続続けている．そその一方で，印印刷されれた書籍を好 む人々も多く，特に福祉分分野では，上肢肢等に障障害があるユ
ユーザのためののページめく り機 (1)(2) が開開発されれており，そ の需要は高い
い．従来の機器器開発では，ペペー
ジをを精巧にめく ることを中心心に展開されててきたが，操作作のためめのインタフ ェースは，接点点スイッチ，呼気などであり呼り，頭部部を動かすこ とによる負担担が問題となっっている．
そこで本研究そでは，ページめめくり機の操作作を前提とし て，画像像処理を用い た視線入力シシステムを構築築した．本シスステ
ムででは，ヒトの 虹彩位置を自動検出し，瞼瞼の形状をベジジエ
曲線線で曲線近似 することにより，視線方向のの認識を行っ た．
識システムの概概要
2. 視線方向認識
2.1 目尻・目頭 ・瞳孔の検出
本システムで本の様子を USB
B カメラで捉ええるは，顔の変化のことで視線方向 の認識を行う．画像処理のの様子を Fig.11 にす．USB カメ ラからの映像
像は，Microsoftt 社の DirectShhow示すを利利用すること で，サンプリンング間隔毎に Bitmap 画像にに変換さされ，視線方 向の認識を行行う．眼球周辺辺の画像処理範範囲を切切り出し，式 (1)により数値値化する．

1 ( Ri, j    )g i, j   
0 (Otherwise)

2.2
2 視線方向の認認識
左右視線方向左
いては，両目のの画像情報を利利用の認識についする．次式と Fiig.2 で示されれるように，目目尻と虹彩の x 方の相対位置より算出する.
向のR

x pr  x cr

(3)

x pl  x cl

ここでは，適正な閾値を決定定することで，凝視位置の認認識行う．一方，上下方向の認認識は，ベジエエ曲線の近似式式をを行用いいる．
n 次のベジエ曲線は，(n+1))個の制御点 Pi=(xi,yi)で定義義され，，軌跡 P(u)は以下のようにに表される．
∑
ここで

(4)
バーンスタイ ン関数であり，はバ1で与与えられる．なお，なパラメー
ータ u の定義域
域は[0,1]となる
る．
ベジジエ曲線は，制御点の両端端 P0=(x0,y0)および Pn=(xn,yn)を必ずず通る．ここでは，3 次ののベジエ曲線をを用いて瞼の形形状近似似を行う．
本システムで本
では，目の虹彩
彩両端 Ppl/pr=((xpl/pr,ypl/pr)，目目尻(1)

但し， Ri, j  は座
座標 i, j  でのの R 信号の輝度度， は閾値をを表してている．閾値 を調整するこことにより，虹虹彩を判別したた画像と瞼(目尻，目目頭)を判別し た画像が得らられる．虹彩をを判別 し た 画 像 か ら 式 (2) を 利 用 し て 左 右 の 虹 彩 の 中 心 座 標
Pgl//gr=(xgl/gr,ygl/gr)を求める.
x gl / gr (i  g (i, j)),y g (i, j)iij

gl / gr(5) ( j  g (i, j)) g (i, j)ji(2)Fig.1 Faciial image(,)(j

またた，虹彩，瞼両両方を検出した画像より，g[i,j]=1 となるる両端のの座標求め，左左右の目尻位置置，および目頭頭位置を求め た.

(,)(Fig.2 Evaluaation value ROS2-3-1,),)

2014 年 9 月 24
2 日－26 日 北海
海道

LIFE2014

Bezier Curvee
P2P1USB Camera

5500mmSubbjectPC

P0  Pcl

P3  Phl

Ppl

Fig.5 Expeeriment system

Fig.3 Approximattion by Bezier curve‐35‐30y‐axis(pixel)‐25‐20⑤‐15‐10③‐5①0510(a)Uppeer Gazing

15100

Fig.6120

140160x‐aaxis(pixel)

180200App
proximation linne in case of thhree states

0①‐0.5②(b)Low
wer gazing
Fig.4 Changess in eyelid shappe

‐1K

Pcl//cr=(xcl/cr,ycl/cr), 目頭 Phl/hr=(xcl/cr
る．Rc ,ycl/cr ) の座標を取得する
信号号の輝度を用 いて二値化をを行った後，Figg.3 に示すよう
うに，4 つの制御点をつ目尻，目頭を端点とし，虹虹彩両端の x 軸軸上に定定めることで ，ベジエ曲線ととして，瞼の形形状近似を行う
う．
Fig
g.4 は，カメラ に対して上方方向と下方向をを凝視しているる状態をを表している ．図(a)では瞼
瞼の形状が上にに凸となっていいるのにに対して，図((b)では下に凸凸となっている
ることが確認でできる．式(6)より， 目尻-目頭間のの中点における曲率 K を求求めるこことで，顔の 上下判定を行行った．

KΒ x (u ) B y (u )  Bx (u ) B y (u )B (u)  B (u) 
2xだし,ただ′

36′

36y912963912963661812266183(77)33(88)

0100

200

300

400

500

600

7700

800

900TTimeFig
g.7 Time trajecctory of value K
を見る際の瞼のの曲率の変化をを調置し，それぞれのポイントをた．被験者には，図に示ししたポイントをを①~⑤の順にに連べた続して一定時間ずつ見るよう に指示を出しした．
2 実験結果3.2
Fig.6
F
は，各ポイントを見てているときの瞼瞼に近似していいる
ベジ
ジエ曲線の形状である．図
図より形状が変変化しているこことが確確認できる．ここで，時系系列波形を Fig.7 に示す．図
図中の波
波形は，①~⑤⑤のポイントをを連続して見たときの曲率率Kの変変化を示したものである． 図より，上下下の視線位置ににより，，曲率が変化している様子子が確認できる
る．
4.結結言
本研究では，本
瞼の形状近似似に着目した視視線判別の手法法についいて提案を行った．USB カ
カメラで顔画像像を取り込み，虹彩両両端，目尻，目頭を検出すすることで，そそれぞれの特徴徴点の座座標を取得し，瞼の形にベベジエ曲線を近近似させ，そのの曲率を算出した．なお，現シスステムではパララメータの設定定が動入力となっているため， 今後は自動化化を目指す予定
定で手動ある．

(99)
186⑤‐2.566181223④‐2(66)2 3/ 2③‐1.56(100)

3.検検証実験
3.1
1 実験方法Fig.5
Fのようにに，カメラを中中心とし，上下下に 75mm 間隔隔で5 ポイントの印をポを設けた．カメラを被験者者の目の高さにに設

参考
考文献(1) http://www.nisic.co.jp/huku_TTop.html(2)

OS2-3-2d.co.jp/welfare/rereadable.html
http://www.j-d