GS3-1-9

LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)

視線の移動に基づく重度肢体不自由者のための視線入力インタフェース
Eye-gaze input interface for the severe physically handicapped based on movement of eye-gaze○渡部健二（匠工房）木村英基（ベテル病院）
岡田繁（匠工房）

難波田ゆう子（匠工房）

柴田論（愛媛大学）

Kenji WATANABE, Takumi Kobo
Hideki KIMURA, Beteru Hospital
Yuko NANIWADA, Takumi Kobo
Shigeru OKADA, Takumi Kobo
Satoru SHIBATAS, Ehime University
Abstract: An eye-gaze input system for the severe physical handicapped based on movement of eye-gaze is developed inthis research. The system is constructed with a personal computer and a web camera which can be utilized under naturallight. The measurement of the eye-gaze direction is realized by recognizing positional relationship between inner corner ofthe eye and the center of pupil. The selection of the targeted button on the screen using the measured eye-gaze direction isconducted by moving a mouse cursor based on judgment of direction that the eye-gaze moves from initial position. The
positioning of the mouse cursor is conducted by the stability of positioning of eye-gaze, which reflects assurance ofselecting items. In addition, the determination of the targeted button is conducted for the user to close his or her eyes on
purpose.
Key Words: Eye-gaze input, Movement of eye-gaze, Inexpensive system
1. はじめに
近年，ALS 患者など重度肢体不自由者のために，人間の視線方向を認識し，それによりコンピュータへ文字を入力したり，ソフトウェアを起動・実行したりするコミュニケーション支援ツールの開発が盛んに行われている．
これまで，視線入力装置における視線方向の検出方法としては，EOG 法，強膜反射法，角膜反射法などが報告されている (1)(2) が，患者に対して非侵襲ではない点や，赤外線を眼球に照射することに起因する疾病の危険性，赤外線を用いた市販の視線入力装置は高価であるなどの問題点が指摘されている．一方，自然光の下，眼球の撮影画像を画像処理し，その結果から視線計測を行うアプローチもいくつか報告されている (3)(4) ．自然光下の手法では，特殊な装置は不要であるが，眼球を抽出する画像処理が複雑であるな
どの理由により入力精度が低いという傾向があり，複数台のカメラを用いて計測に必要なパラメータを求めたり，頭部の移動を許容して視線計測の高精度化を図っているものもある．福祉の現場では，安価で設置が簡単な１台のカメラとパソコンの装置で使用できるシステムが望まれている．
１台のカメラとパソコンにより視線検出を行うシステム
に関する研究もいくつか報告されている．阿部らは自然光下で家庭用ビデオカメラとパソコン（モニタを含む）を用いて，強膜反射法を応用し，画像解析によって視線方向の検出を行う方法に基づくシステムを提案している (5)．このシステムは簡易な構成で高精度に視線方向を計測している
点で優れているが，視線入力により指標を選択し入力を決定する方法としてユーザの注視状態に基づく方法をとっている．これは，ユーザが画面上の指標（たとえばボタン）を注視することが，そのボタンを選択しているものという仮定に基づいているが，実際に重度肢体不自由者がこの方法に基づくシステムを利用すると，往々にしてユーザの意
図しないボタンが選択され続け，パニックに陥る場合が生じてしまう．これは，ユーザが何かものを考えている場合や休憩する場合（すなわち，ボタン選択の意思がない場合）にシステムがボタン選択の意思があるものと誤認識してしまうことが要因である．
このような注視状態にもとづく指標選択入力方法と異なるアプローチとして，医療福祉工学研究所はＣＣＤカメラを用いて視線を検知し視線の位置にマウスカーソルを移動させ，瞬きにより指標を選択するシステムを開発している(6)．この手法はマウスカーソルと瞬きを用いており，注視選択方法の問題点を解決することができる点で注目すべきものである．
本研究では，まず市販のパソコンとＵＳＢカメラを使用した安価な視線認識を画像認識手法に基づき行う．次に，視線を用いた項目の選択方法として，マウスカーソルの移動および随意的閉眼を用いる．モニタ画面上のマウスカーソルの位置決めは，現時点における視線位置とするのではなく，ユーザの視線位置決めの安定性（すなわち，項目選択意志の確かさ）を反映する方法を提案する．また，それとは異なるアプローチとして，視線が画面内のあるボタン上に位置している状態から４方向または８方向に対してどの方向へ移動したかという移動速度ベクトルにより，カーソルの移動を行う方法も提案する．項目の選択に用いられる随意的閉眼は，自然に行われる瞬きと区別することでユーザの意思に沿った動作を行うことを可能とする(7)．
2. 提案するシステム
2-1 システム構成
本研究における視線入力システムの構成を図 1 に示す．
操作者はベッド上の患者であり，顔の向く正面方向にモニタ画面が設置されている．モニタ画面の辺には市販の安価なＵＳＢカメラが装着されており，操作者の顔を撮影する．
操作者はモニタ上に表示されたカーソルを，視線を移動させることにより操作し，望ましい項目上で随意的閉眼を行うことによりその項目を選択する．

−1−

LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)とする．
Monitor

2-2-5 視線方向推定

CameraFig.6 Estimation of eye-gaze direction

目頭と瞳孔それぞれの中心部分のずれにより左右の視線推定を行う．

Computer

Fig.1

事前の正面顔登録により算出した と比較した場合，垂直方向の差が大きくなれば瞳孔位置が上方移動したと考えられ視線を上方向とし，差が小さくなれば下方向と推定す
る．視線の方向の大きさは，差の大きさに線形に比例するものとした．

System configuration

2-2 画像解析による視線計測手法
視線方向の検出は，まずユーザの顔検出を行い，それを基に目の検出を行う．そして，目頭の検出，瞳孔中心の検出を行って，それらを基に視線の計測を行う．
2-2-1 顔検出
オープンソースライブラリの顔検出機能を用いて鼻が大凡の中心となる領域の抽出を行う．誤検出防止のため検出位置とサイズの制限を設ける．
Fig.2 Detection of face
2-2-2 目の検出

2-3 計測した視線に基づくボタンの選択方法
前節の処理により得られた視線（モニタ画面上の注視点）の移動に基づき，モニタ画面上のマウスカーソルを移動させる．
2-3-1 モニタ画面上のマウスカーソルの移動方法
実際の物理的なデバイス（マウスなど）ではなく視線というある意味曖昧な入力方法のため急激な動作は好ましくないと考えられる．そのため直前の過去数件の視線推定位置と現在位置を平均化し移動方向を決定する．移動速度を抑えることでマウスカーソルをユーザが見失う事がなく視線が先行した場合も視線を追いかけてくる動作を行う．図7 に視線が右に移動した場合のマウスカーソルの動きの一例を示す．ただし，ユーザはフレームが進むにしたがって，ある一点に視線を集中させている．

画像の中心を鼻と仮定した場合に目の特徴的な形状の目頭と目の中心付近を含む領域を一般的な顔サイズの比率により限定する．

: eye-gaze record: current eye-gaze: average position of eye-gaze: mouse cursor: movement of mouse cursor per sampling time

Fig.3 Detection of eyes

First frame

2-2-3 目頭の検出
Second frame

輪郭線の画像に変換し，画像の中心軸から左右両サイド方向に目頭の特徴的な形状の検索を行う．

Third frame

Fig.4 Detection of inner corner of the eye

Fourth frame

2-2-4 瞳孔の検索

Fig.5 Detection of pupil

目頭を基準に目の領域の下限と上限を肌色との輝度境界より限定する．目尻の特定は困難なため平均的なサイズと仮定する．
抽出された目の領域をメディアンフィルタにより平滑化する．そして，画像の平均輝度に応じて特定の閾値で暗い部分を抽出する．

抽出結果より形状（円に対する近似度）と大きさ（最大の大きさを有するグループ）から黒目を特定し重心点を瞳孔

Fig.7 An example of movement of mouse cursor
マウスカーソルは，基本的に一定の速度で視線平均点に近づいていく．現時点から i 時刻過去の点における視点をex (i ) ，平均点を算出するためのサンプル数を n，平均点の座標を Ax ，現在から i サンプリング時刻過去の点におけるカーソル位置を cx (i ) ，カーソル位置が１サンプリングにおいて移動する大きさの標準値を wx ，カーソル位置が１サンプリングにおいて移動する大きさの実際の値を Δvxとすると，−2−

LIFE2012 2012 年11 月2 日I4 日愛知 (名古屋大学)
nAx = ∑ ex (i ) / n(1)cx (0) = cx (1) + Δvx

(2)

i =0

Δvx = wx ⋅ sig ( Ax − cx (1))

wx < Ax − cx (1)(3)Δvx = ( Ax − cx (1)) ⋅ sig ( Ax − cx (1))
wx > Ax − cx (1)(4)

で表される．これにより，視線平均点が直近視線に近づく，すなわち視線の変化が少なくなるとカーソルは一定の位置に停滞する．これは，ユーザがボタンの選択の意志を持って視線を集中させている場合と考えられる．ただし，n の大きさ， wx の大きさは，ユーザの特性，好みに応じて最適に調整される．
また，カルマンフィルタにより 1 時刻未来の画面上の視線を常に算出し，画像処理におけるノイズや操作者の反射的な眼球の動きがマウスカーソルに直接影響しないように利用される．
2-3-2 画面制御に基づく操作の容易化
ユーザが使いやすいと感じるためには，ユーザの操作特性（視線方向制御特性）の個人差に対応可能な画面制御手法が必要となる．そこで，x 方向画面制御，y 方向画面制御，および両者の融合である 2 次元方向画面制御手法を構築する．この手法を用いユーザの画面上の視点移動特性，ボタン選択特性を学習的に獲得し，これらのうちの最適なものを適応的に提示することが可能なシステムを構成する．
x 方向画面制御，y 方向画面制御と実験・検証を行うこと
により，精度，問題点，パフォーマンスなどのデータを取得し精査し，二次元方向画面制御に適用する．今回の目標は二次元方向画面制御ソフトウェアを目指す．さらに，ユーザが使いやすいボタンの配置や大きさといったパラメータを可変にし，個人差に対応して適応的に自動調整するインタフェースを実現する．

(a) X direction(b) Y direction(c) X-Y direction
Fig.8
Concept of direction screen control
2-3-3 随意的閉眼の認識に基づくボタンの選択方法
まず，目が開いているか閉じているかの判別を，閾値処理に基づく方法 (7)により行う．目が開いているときは虹彩と瞳孔の部分の画素値が，閉じているときの瞼の部分の画素値と異なり，この違いを用いて閾値処理により開閉を検出する．また，無意識的な瞬きと随意的閉眼の区別は，瞬きの閉眼時間が 150msec 以下であること，そして被験者による随意的閉眼に関する予備実験により，ある一定時間以上目を閉じている場合を随意的閉眼と判断することにより区別する．

3. 実験
本研究で提案した視線入力システムの有効性について，ベテル病院で重度肢体不自由者の看護をされている方々5名に実際に利用することにより評価していただいた．ただし，画面上のマウスカーソルの移動は 2-3-1 の方法を採用した．その結果，提案したシステムは，ボタンを注視することにより自動的に選択する方法に比べて重度肢体不自由者の誤操作の可能性が低減されること，およびカーソルの移動が操作者の意図を反映するものであることを確認した．
4. まとめ本研究では，市販のパソコンとＵＳＢカメラを用いて，オープンソースライブラリを使用した画像処理により安価な視線方向認識を実現した．視線を用いた項目の選択方法として，マウスカーソルの移動および随意的閉眼を用いた．
モニタ画面上のマウスカーソルの位置決めは，現時点における視線位置とするのではなく，ユーザの視線位置決めの安定性（すなわち，項目選択意志の確かさ）を反映する方法を提案した．そして，視線方向を用いた項目の選択方法
として，視線が画面に対して正対している状態から４方向または８方向に対してどの方向へ移動したか判断することで，現在選択されている項目から視線により判定された方向に対して選択中の項目の変更をマウスカーソルの移動により行う方法を提案した．さらに，選択中の項目を決定する動作は，随意的閉眼を認識することにより実現した．
提案した視線入力システムの有効性について，ベテル病院で重度肢体不自由者の看護をされている方々5 名に実際に利用することにより評価していただいた．その結果，重度肢体不自由者の誤操作の可能性が低減されること，およびカーソルの移動が操作者の意図を反映するものであることを確認した．

参考文献(1) 久野悦章，八木透，藤井一幸，古賀一男，内山嘉樹，
EOGを用いた視線入力インタフェースの開発，情報処
理学会論文誌，vol.39，no.5，pp.1455-1462，1998.
(2) 伊藤和幸，数藤康雄，伊福部達，重度肢体不自由者向け視線入力式コミュニケーション装置，信学論（D1），vol.J83-D-1，No.5，pp.495-503，2000.
(3) 落合積，石松隆和，高見修，松井稜治，目の動きを利用した身障者用文字入力装置の試作，日本機械学会論文集，vol.63, No.609号，Ｃ，pp140-144，1997．
(4) 岸本研志，米村貴裕，広瀬健一，長江貞彦，カーソル移動方式による視線入力システムの開発，映像情報メディア学会誌，Vol.55，No.6，pp.917-919，2001．
(5) 阿部清彦，佐藤寛修，大山実，大井尚一，視線による重度肢体不自由者向けコンピュータ操作支援システム，
映像情報メディア学会，Vol.60，No.12，pp.1971-1979，2006．
(6) 医療福祉工学研究所，肢体不自由者のための視線入力による就労支援装置，
http://www.ciicz.jp/clusterhp/cluster/pdf/a/a04.pdf，2005．
(7) 田中幹也，水上 嘉樹，瞬きを用いたコミュニケーションシステム，特願2001-387280，2006．

−3−