ヘッドフォンを用いた常時装用視線インタフェース
真鍋 宏幸

福本 雅朗

NTT ドコモ マルチメディア研究所

１ まえがきという課題がある．我々は，観測される EOG と視線方向の関係をモデル化し，多数の観測値から常時装用（ウェアラブル）インタフェースは，カルマンフィルタを用いて視線方向を推定するこ

いつでもどこでも即座に使用可能であることから，とにした．また多数の電極を用いるために，それ携帯電話や PDA など日常生活で使用する機器のぞれの電極ごとにドリフト量が異なり，電極の剥インタフェースとして適している．中でも視線イがれや接触状態の変化などに起因する信号異常がンタフェースは，ハンズフリーで他の日常動作を起こりやすいという課題についても，モデルに組邪魔せずに使えるというメリットがある．

み込むことで頑強な推定を目指す．なお，EOG

通常，視線計測には角膜反射光法や強膜反射法にカルマンフィルタを適用した研究[4]はあるが，などの光学式[1]や網膜角膜電位法（EOG 法）[2-4]

睡眠時における EOG のスロープ判定が目的であが用いられるが，用途の多くは短時間の計測であり，視線方向は推定できていなかった．

った．常時装用可能な視線インタフェースの実現

提案手法では，1 対の電極から計測されるのためには，視線検出デバイスを装着したまま日常生活をおくれるようにしなければならない．眼EOG(t)を，視線方向を表す 2 次元ベクトル x(t)，視線方向から EOG への変換行列 Z，DC オフセッ

鏡や帽子またはヘッドバンド型の視線検出デバイ

トとドリフトを含めたノイズ成分 e(t)を用いて，ス[1,3]は，視界を妨げる，顔の一部を覆ってしま次式の通りモデル化する．

うなど日常生活をおくるには非現実的であり，さEOG (t ) = Z ⋅ x (t ) + e(t )らに視線検出のために新たなデバイスを装着しなければならないという煩わしさも付きまとう．

ここで，ΔEOG(t) = EOG(t) – EOG(t-1)とし，一方，ヘッドフォンはデジタルオーディオプレ

さらにΔEOG(t) = {ΔEOG1(t), …ΔEOGn(t)}T とーヤの普及に伴い，常時装用のデバイスとなりつすれば，つある．そこで我々は，ヘッドフォンを用いた視線推定を行うことを考えた．

２ 提案手法ΔEOG (t ) = Z ⋅ Δx (t ) + Δe (t )となる．ここでΔe(t)は，DC オフセット成分は 0で全てチャネルごとのドリフト差分成分と見なす

ヘッドフォンの装着位置から視線を検出する場ことができる．これはカルマンフィルタにおける合，カメラの設置場所の制約から光学的手法は困観測方程式であり，状態Δx(t)を推定することで，難である．一方 EOG 法は，角膜が網膜に対して視線方向の差分が得られる．ドリフト量が電極毎正に帯電していることを利用した視線検出手法でに異なる問題，特定の電極で信号異常が発生するあり，通常は眼球近傍の上下左右に電極を貼付す問題は，共にΔe(t)の共分散行列を適切に与えればる．ここでヘッドフォンが装着される両耳近傍の位置（図 1 にヘッドフォンと電極配置の例を示す）からであっても，眼球運動に伴う EOG を観測することは可能である．しかしこの場合，電極貼付位置の制約から・SN 比が劣化する
・水平・垂直成分が重畳する
Headphone shaped eye-gaze interface
Hiroyuki Manabe, Masaaki Fukumoto,NTT DoCoMo Multimedia Laboratories

図 1：ヘッドフォンと電極位置

成分を差し引いた信号を雑音と見なし，これを用いてΔe(t)の共分散行列を更新すればよい．

３ 実験
提案手法を用いて行った実験結果を以下に示す．
図 1 に示した位置に左右それぞれ 4 個，アース電Horizonal Gaze Direction

対応可能であり，観測値から眼球運動に伴う EOG
右方向

0
左方向

2 [s]極，リファレンス電極の計 10 個の電極を貼付しTimeた．これらの電極から得られた信号を DC アンプ

図 2：視線方向推定結果で増幅し，PC に取り込んだ後に，瞬目アーチフ
ァクトの除去のため 0.4 秒のメディアンフィルタ動信号を算出し，カルマンフィルタの入力として与えた．なお，カルマンフィルタの初期値は実験

Observation
signalをかけた．左右 8 個の電極から 8C2=28 通りの差

disconnections

水平方向に置かれた 5 点のマーカ（約 20°間隔）を順次凝視した時の，視線推定結果を図 2 に示す．
図の後半で見られる大きな振幅は，眼球を左右にHorizonalgaze direction

前のキャリブレーションにより設定した．

fixed to initial matrix
dynamic update

02 [s]

最大限動かした際の推定値である．このように水平方向に 5 段階程度の分解能が得られることがわかった．次に観測信号に異常が生じた際の推定結果を図 3 に示す．図 3 は，上部に 8 つの観測信号を，下部に 2 通りの視線推定値，Δe(t)の共分散行列を初期値のままで固定した場合と，動的に更新した場合の結果を示している．電極が剥がれたことを想定し，計測の途中で電極のケーブルを断続的に切断した．雑音除去を行わない場合には，推定値にケーブル切断の影響が見られるが，提案手法では信号に異常が生じた場合であっても，安定して視線推定が行えていることがわかる．

４ アプリケーション
ヘッドフォン型であることから，視線をオーディオプレーヤの制御に利用することが考えられる．
またヘッドフォンにカメラを装着することで，ユTime

図 3：信号異常時の推定結果ヘッドフォン装着部からの視線推定手法を提案した．多チャンネルでの計測により SN 比の向上を図り，逐次誤差を推定することで電極剥がれにも強い視線推定が行えた．
現状では水平方向のみの推定であるため，垂直方向にも拡張していく．また提案手法では，個別のチャネルごとのドリフトを抑制することはできるが，全チャネル的の大局的なドリフトを抑制できているわけではない．この課題は EOG 法全般の課題とも言え，今後検討していく必要がある．
また，現状で電極とヘッドフォンが分離しており，電極の貼付に時間がかかってしまう．そこでヘッドフォンに電極やアンプを組み込んだポータブルな装置を開発していきたい．

ーザが注目している領域の撮影画像や，その領域参考文献内にある各種のタグ（例えば QR コード）を読み[1] http://www.eyemark.jp/lineup/EMR-8/EMR-8b.
html[2] 久野他, ”EOG を用いた視線入力インタフェースの開発”, 情処論, Vol.39, No.5, pp.1455-1462, 1998.
[3] http://lims.co.kr/eng/neurogate.htm[4] P. Bonnet, et al., “EOG segmentation using
Kalman and hysteresis filters”, proc. Annu. Int.
Conf. IEEE EMB, pp.2570-2571, 1992.

取り情報を取得することなども考えられる．これ
らのアプリケーションでは，見つめるだけで情報を取得できるので，日常生活を妨げることは少ないと考えられる．

５ まとめと今後の課題
常時装用可能な視線インタフェースを目指し，