情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20016
2020/3/9

アイウェア型赤外線距離センサアレイを用いた眼球および瞬目の認識手法
双見 京介1,a)

寺田 努2,b)

概要：目の活動のセンシングを常時行える技術が今後一般に普及すると，有益な情報やサービスが広範囲に提供されると予測できる．例えば，瞬きや眼球の運動を用いて心身の健康状態の推定やハンズフリー入力が常時行え，また，日常全体の目の活動のデータから多くの有益な情報を得られる．本研究では，赤外線距離センサを用いて目 (眼球と瞼) の動きをセンシングするアイウェアを開発し，提案手法が，目の活動のセンシングを常時行えるかを検証する．本手法は，眼球と瞼の活動に伴って起こる目周辺の皮膚の動きをもとに，眼球と瞼の動きを認識する．この皮膚の動きの認識は，目の前方に設置された赤外線距離セン
サから皮膚までの距離の変化をもとに行う．本稿では，赤外線距離センサをメガネのフレームの内側に 12個埋め込んだプロトタイプデバイスを実装した．そして，提案手法が眼球と瞼の動きを認識できるのかを検証するために，眼球の向き (注視方向)，眼球の移動方向，瞬きの回数の 3 つの認識が行えるかを検証した．評価結果から，瞬きのノイズに関わらず眼球の向きの角度を約 10◦ 間隔で認識できることや，眼球の向きの異なる瞬きの回数を誤差 5 ％以内で認識できることを確認し，提案手法が眼球と瞼の動きを認識できることを確認した．

1. はじめに

サ性能が高くなるなどの課題がある [9][10][11]．また，鼻橋に置かれた眼電位 (EOG) センサを用いる手法は常時利眼球や瞼といった目の活動のセンシングは，人間心身の用できる条件を満たしたデバイスだが，一方で，眼球と瞼

理解に繋がる有益な情報を様々な分野に提供しており，その動きの認識精度が高くはないという指摘がある [11][12]．

の対象は工学，認知科学，心理学，医学，スポーツ科学，疫本研究では，赤外線距離センサを用いて目 (眼球と瞼) の学，精神医学，マーケティング，教育など多岐にわたる．具動きをセンシングするアイウェアを開発し，提案手法が，体的な応用としては，ハンズフリーな入力インターフェー

目の活動のセンシングを常時行えるかを検証する．本手法

ス [1]，心身の状態の推定 (例: 疲労推定 [2][3][4])，ユーザ

は，目の活動に伴って起こる目周辺の皮膚の動きをメガネのデジタル体験や実世界体験の調査への活用，目のヘルス型デバイスに装着した赤外線距離センサにより測定し，眼ケアや予防医療ルール作りへの活用 [5][6]，熟練者の目の球と瞼の動きを認識する．提案手法を実装したプロトタイ

動きの解明 [7]，ADHD や自閉症といった特性の測定 [8]，プデバイスを作成し，注視方向，眼球の移動方向，瞬目回など多様な目的で利用される．

数の 3 つの要素において評価実験を行った．

目の活動のセンシングを常時行える技術が一般に普及す以降では，2 章で関連研究を紹介し，3 章で提案手法をると，広範囲に有益な情報やサービスが提供されると予測説明する．4 章で評価実験について述べ，5 章で提案方式できるが，既存手法は目の活動のセンシングを常時行ううに関する議論を行い，最後に 6 章で本稿をまとめる．

えで，課題を残している．例えば，カメラを用いた手法は高精度に目の状態を認識できるが，一方で，環境条件によって大きく精度が落ちたり，必要とされる消費電力やプロセッ
1

2

a)
b)

立命館大学情報理工学部
College of Information Science and Engineering, Ritsumeikan University, Kusatsu, Shiga 525–8577, Japan神戸大学大学院工学研究科
Graduate School of Engineering, Kobe University, Kobe,
Hyogo 657–8501, Japanfutami@fc.ritsumei.ac.jp
tsutomu@eedept.kobe-u.ac.jp© 2020 Information Processing Society of Japan

2. 関連研究2.1 アイウェアを用いた目の活動のセンシング技術
近年，目の活動のセンシングは，あらゆる場面のユーザを対象にできる装着型のデバイスを用いたものが多く登場している．装着型のデバイスの形態にもアイウェアやイヤホンなどが存在するが，以降では，アイウェアに関する手法について主に述べる．

143

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

アイウェア上のカメラを用いた手法

INT20016
2020/3/9

アイウェア上の赤外線距離センサを用いた手法

カメラを用いた手法は，目を撮影できる位置に設置さ赤外線距離センサを用いた手法は，本研究と同様に，目れたカメラから得た映像を処理することで，目の活動をの前方に設置された距離センサをもとに，目の活動を認識認識する．装着型のデバイスの既製品としては，Tobii のする．例えば，アイウェアの内側に赤外線距離センサを設

Tobii Pro Glasses[13]，Pupil Labs の Pupil Core[14]，SMI

置する Google Glass[24] や Dual Blink[6] がある．Googleの SMI Eye Tracking Glasses[15] がある．これらの手法は，Glass にはジェスチャー入力としてユーザが誇張して行う

高精度な認識を行える一方，眼鏡にカメラデバイスを装着

ウインク (瞬目) を認識する機能が実装されており，Google

して高頻度でデータ取得を行う都合上，システムが大がかGlass を使用した研究では瞬目の認識率が 67 ％と示されてりで消費電力も大きくなるため，常時利用ではなく，研究いる [25]．また，Dual Blink[6] は瞬目を誘発するために角領域などの調査で利用されている．

膜に空気を当てるといった刺激を与えることを主目的としこの手法の常時利用に関わる課題として，屋内外の照明た手法であるが，この研究では瞬目の認識率を 85 ％程度

条件に基づく精度低下 [9][10] や，身体振動条件での精度に改善すると共に，赤外線距離センサを用いた手法が常時低下が挙げられる．このような実世界における環境変化へ利用に適していることを，消費電力など複数の観点で示しの頑健性の検証の必要性は指摘されているが，その検証例

た．一方，これらの手法では，眼球の動きを認識できるかはまだ少ない [11]．また，現時点ではハードウェアに関すが明らかにされておらず，眼球と瞼の動きを独立して認識る課題があり，例えばカメラのデータの処理に要するプロ

できるかも明らかにされていない．また，カメラを用いたセッサ性能や消費電力がウェアラブルでの常時利用を困難

手法と同様に，実世界における環境変化への頑健性の検証にさせると指摘がある．また，データ処理に高いプロセッ

もない．また，眼球運動の認識について，田中らは [36] 反

サの処理能力が必要なことから，データを記録した後にコ

射型光センサを用いて閉眼時における眼球運動の認識がでンピュータでデータ処理をする仕様になり，リアルタイム

きることを報告しており，Ishiguro ら [37] は光センサで視な認識結果に応じたライブ通知などのアプリケーション実線方向を認識する手法を提案している．

現が難しい．

2.2 目のセンシング技術の活用
アイウェア上の EOG を用いた手法

目の活動のセンシング技術は多くの目的に活用されてき目の活動のセンシングにおける眼電位 (electrooculogram:

た．例えば，視線移動や瞬目を用いた入力インターフェー

EOG) 法は，人間の目が電気双極子である特性を利用して

スは，コンピュータやディスプレイとのハンズフリーなイ

目の動きを測定する手法であり，目の近くの皮膚に電極をンタラクションを可能にしており [1]，一般的な入力イン

配置することで，目が動くときの電位の変化を検出する．

ターフェースが利用できない場面，例えば身体障害的な課

EOG 手法で瞼や眼球の動きをとらえる手法は，疲労推定

題や状況的な課題 (例: 両手を入力のためだけに使えない)などを対象に，多数提案されている [16][17]．近年では，日がある場面や人に有益である．目の活動から心身の状態の常での常時利用を想定して電極のサイズや数を小さく少な推定も行われている．例えば，疲労のレベルの推定に重要くするための研究も行われてきた [18]．常時利用可能な装な要素として，瞬目の持続時間や頻度や閉鎖具合やサッ

着型のデバイスの EOG を用いた手法としては，鼻橋に置ケードが明らかにされている [2][3][4]．また，ユーザ体験

かれた EOG センサを用いる JINS MEME[19] があり，この調査として，デジタル世界や実世界におけるユーザの視のデバイスを用いた様々な研究やサービス開発が行われて線や瞬目の解析がある．ヘルスケアや予防医療への活用もいる [20][21]．

あり，目のセンシングに応じたアクチェーションをする手

一方，この手法は次の課題がある．眼球の垂直方向の動法 [6] や，VDT(Visual Display Terminal) 作業におけるガきの認識や，眼球と瞼の動きの区別が苦手であり，認識でイドラインがある．熟練者の目の動きの解明・体系化も行きる眼球と瞼の動きの解像度に制限がある [11][12]．カメ

われており，車の運転や速読やスポーツなどの例がある．

ラを用いた手法と同様に，実世界における環境変化への頑スポーツの例としては，バスケットボールのシュートを高健性の検証が少ない．

確率で決める選手の視線移動のパターンの一例 (シュート以上はアイウェアに関するものであるが，これらとは別直前のゴールの注視時間が他選手よりも長い点が特徴的)の装着型の手法としては，耳に装着するデバイス上の EOGが報告され，それを他者が真似ることでスキルが向上するを用いるものがある．真鍋らは EOG を計測する電極を耳例が示されている [7]．また，目の動きから医学的に重要

周辺や外耳道に配置することで，眼球の向きを認識できるな知見も明らかにされており，例えば， 眼球運動に特徴ことを明らかにしており，この手法をイヤホンやヘッド的なパターンが表れる個人特性として，ADHD [8]，自閉

フォンに適用した手法を提案している [22][23]．

症 [26]，ウィリアムズ症候群 [27]，統合失調症， パーキン
ソン病が挙げられている．本研究の提案手法の実現によっ© 2020 Information Processing Society of Japan144

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20016
2020/3/9て，こういった目のセンシング技術の活用がさらに促進される．

2.3 赤外線距離センサを利用したセンシング手法
赤外線距離センサを用いた手法が皮膚の動きの測定に利用できることは，先行研究で示されてきた．この手法は，皮膚の動きを介して，多様な対象の認識手法に活用されている．EarTouch は [28]，イヤホンに赤外線距離センサを

図 1 提案手法の流れ

着けることで，耳を引っ張る方向が認識できることを示しており，これによるジェスチャ入力手法が提案されている．また，赤外線距離センサのメガネへの適用は多くある．例えば，笑顔の認識手法 [29] や，日常生活における8 つの表情の認識手法 [30]，顔を擦るジェスチャ入力手法(FaceRubbing[31]) がある．ヘッドマウントディスプレイ
(HMD) に赤外線距離センサを適用した手法もある．例えば，皮膚の動きをもとにしてタッチジェスチャを認識する
手法 (CheekInput[32])，自分の表情をヴァーチャル空間におけるアバターの表情にマッピングする手法 [33]，自分の顔の動きをコンピューターグラフィックスモデルにマッピ

図 2

プロトタイプシステムのセンサ位置とセンサデバイス

ングしてアニメーション制作に利用する手法 [34] が提案さ送信され，Processing と python を用いて PC 上でデータれている．他にも，TongueInput[35] では，マウスピース

処理するプログラムを作成した．センサ位置は目を四角形にセンサを仕込むことで，舌のジェスチャを認識する手法に囲んでおり，一般的なメガネフレームに収めるスタイルを提案している．

を想定した．

3. 提案手法

本プロトタイプデバイスに基づく各動作の認識アルゴリ
ズムを下記に説明する．

本手法は，目の活動に伴って起こる目周辺の皮膚 (上瞼，下瞼，目頭，目尻) の動きをもとに，眼球と瞼の動きを認識

眼球の向き (注視方向) の認識アルゴリズム

する．この皮膚の動きの認識は，目の前方 (眼鏡の外周部)

注視方向は，眼球の絶対的な位置が基準となって認識さに設置された赤外線距離センサから皮膚までの距離の変化れると考えられるため，特徴量としては赤外線センサの値をもとに行う．赤外線距離センサは，赤外光を用いて対象の瞬時値をそのまま機械学習に適用して用いる．したがっとの距離を測定する．このセンサは，安価，軽量，小型，低て，特徴量は 12 個の赤外線センサから得られる瞬時値 12

消費電力，扱うデータ量が小さい，といった点から，常時利次元となる．

用のウェアラブルデバイスに適する例が示されている [6]．
また，このセンサで皮膚の動きが認識できることは，多く眼球の移動方向の認識アルゴリズムの先行研究で示されている [28][29][30][31][32][33][34][35]．

眼球の移動は，瞬時値の微少時間差分の値として表現さ提案手法が，皮膚の動きから目の動きを認識するまでの流れると考えられるため，特徴量としては赤外線センサの瞬れを図 1 に示す．まず，複数の赤外線距離センサが，目の時値データの時系列を移動平均で平滑化したのち，0.1 秒

運動に伴う皮膚の動きをセンサデバイスと皮膚の間の距離の時間幅における最初と最後のセンサ値の差を特徴量としの変化から測定する．次に，得たセンサ値から特徴量を抽て出力する．センサは 12 個であるため，特徴量は 12 次元出する．特徴量は，認識すべき対象 (眼球や瞼) に応じてであり，これを機械学習に適用して用いる．

計算し，眼球の移動方向の場合には一定時間幅におけるセンサ値の変化量を特徴量とし，瞬目の認識の場合にはセン
サ値の勾配や分散を特徴量とする．最後に，特徴量をもとに，眼球や瞼といった対象を認識する．

瞬目の認識アルゴリズム
赤外線のセンサ値から瞬目を認識するためのアルゴリズ
ムを次のように設計・実装した．図 3 に，瞬目の認識の様提案手法を実装したプロトタイプデバイスを図 2 に示子を示す．青色の線が本デバイスを用いたセンサ値の波形

す．実装には，赤外線距離センサ TRP-105 をスポーツ用であり，その線上の 3 色の×点は，瞬目の開始点が赤の×，のメガネフレーム上に 12 個配置した．Arduino マイコン

開閉動作の折り返し点が黒の×，瞬目の終点が青の×であ(Arduino MEGA) でセンサデータはリアルタイムで PC にる．縦軸は正規化したセンサ値で，横軸は時間軸である．

© 2020 Information Processing Society of Japan145

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20016
2020/3/9

終了点
৫઩ਡ
ീॉନखਡ
েॹ‫ॱش‬

図 4 実験時の状況．ディスプレイ上の注視点や位置関係．
図 3

センサ値の波形において瞬目を認識している様子
表 1 全データに対する正答率 [%](F 値)

瞼の閉じる動作の際に，波形の下り坂が現れ，瞼の開き動

Random Forest

作の際に波形の上り坂が現れる．この図は，プロトタイプ

99.9(0.99)

J48

SVM

k-NN

99.9(0.99) 97.7(0.97) 99.9(0.99)

システムにおける 1 つのセンサ値の例であり，軽微な瞼の振動はフィルタリングしてある．センサ値の前処理として，顎を台の上に載せて固定した状態で計測を行った．また，センサ値を移動平均フィルタで平滑化した後にダウンサン

注視方向と眼球の移動方向の評価に関しては，実験中自由プリングし，瞬目の認識のステップを次のようにした．まに瞬きをしてよいとした．

ず，サンプルの勾配を微分によって計算する．この勾配が負であれば瞼が閉じてる運動であり，正であれば瞼が開い

4.1 眼球の向き (注視方向) の認識精度ている運動である．よって，勾配の正負が反転する時点がこの評価では，正面配置されたディスプレイ上に遍在す

瞼の開閉運動の折り返し時点である．これをもとに，瞬目る点の注視の認識精度を調査した．図 4 のように，27 インの開始点，瞬目の折り返し点，瞬目の終了点，の 3 点を次チのディスプレイ上において縦方向 3 列と横方向 5 列に分のようにしてもとめる．

けた格子状の結節点にある．眼球の向きの角度の間隔は横( 1 ) 瞬目の開始点の保持: 勾配が負になった時点でのセン方向に約 11◦ ，縦方向に約 10◦ である．注視は 15 点すべて

サ値を，瞬目の開始点として保持する．

で行わせた．ディスプレイ上の点の色は実験者から被験者( 2 ) 瞬目の折り返し点の保持: 前のステップの後に，勾配への指示の際の目印として利用するためのもので，横方向が負から 0 になった時点でのセンサ値を，瞬目の折りの中央を黒，縦方向の中央の色を緑，それ以外を赤として返し点として保持する．

いる．被験者は各赤点の注視を 30 秒ずつ行った．

( 3 ) 瞬目の終了点の保持: 前のステップの後に，勾配が正

データセットは，注視点の数 ×30 秒 × 被験者の数 ×12(次から 0 になった時点でのセンサ値を，瞬目の終了点と元)，である．サンプリングレートは 100Hz である．分類

して保持する．

器は，Random Forest，J48，SVM，k-NN を用いた場合を( 4 ) 瞬目判定: 保持した瞬目の 3 点が，瞬目かそれ以外 (軽微な瞼の振動) かの判定を，瞬目の折り返し点が閾値を超えているかなどの条件から行う．この条件は事前に個人ごとに設定する．
なお，先行研究 [6] においては，瞬目の折り返し点のみを判定するアルゴリズムが提案されている．

4. 評価
眼球と瞼の活動の認識精度を検証するため，眼球の向きそれぞれ評価した．この検証は個人内のデータを用いて個
人ごとに行った．
認識結果を表 1 に示す．表 1 は全データに対する正答率を分類器ごとに示している．カッコ内は F 値を示している．これは，全被験者の平均であり，被験者個人ごとに算出した結果を平均している．結果から，正答率は SVM を用いた場合以外ではほぼ 100 ％であり，顔を動かさない今回のタスクにおいては注視点が識別できたことを示している．

(注視方向)，眼球の移動方向，瞬目の回数の，3 つの要素の認識精度を評価した．すべての実験において被験者は 3 名
で，被験者はプロトタイプデバイスを装着したうえで正面配置されたディスプレイに正対し，顔を動かさないように© 2020 Information Processing Society of Japan

4.2 眼球の移動方向の認識の評価
この評価では，提案手法による眼球の移動方向 (視線の移動方向) の認識精度を評価した．

146

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

表 2

INT20016
2020/3/9

表 4 注視点ごとの F 値

全データに対する正答率 [%](F 値)

Random Forest
96.3(0.95)

J48

SVM

k-NN

89.9(0.86) 48.8(0.74) 94.5(0.72)

表 3 各移動方向における F 値

点1

点2

点3

点4

点5

点6

点7

点8

0.95

1.00

1.00

1.00

1.00

1.00

1.00

1.00

点9

点 10

点 11

点 12

点 13

点 14

点 15

0.97

0.93

1.00

0.97

1.00

1.00

1.00

移動方向

Random Forest

J48

SVM k-NN

下

0.97

0.99

0.95

0.98

右

0.91

0.81

0.67

0.80

左

0.94

0.85

0.44

0.11

評価結果では全瞬目の回数の正答率は 99.8 ％であった．

上

0.97

0.80

0.92

0.97

注視点 15 点それぞれにおいての F 値は表 4 に示す．これの検証は個人内のデータを用いて個人ごとに行った．

らは，全被験者の平均であり，被験者個人ごとに算出したタスクは，4 方向の視線移動であり，4 方向は，地面から結果を平均している．これらの結果は，提案手法が今回の垂直の上方向と下方向，地面に水平の右方向と左方向であ

タスクにおいては，瞬目の回数を認識できたことを示してる．視線移動は，ディスプレイ上に遍在する点から点へのいる．

視線移動であり，点は正面配置された 27 インチのディス
プレイにおいて 4 点あり，図 4 における緑色の点の両端に5. 議論

おける横方向の移動と黒色の点の両端における縦方向の移提案手法は，本稿の実験の本稿の実験の想定環境であれ動である．1 方向について 20 秒のデータが集まるまで視線ば，眼球の向きや移動方向の認識に利用できると考えられ移動を繰り返し行わせた．

る．今回の実験タスクにおいて，眼球の向きの認識を被験

データセットは，注視点の数 ×20 秒 × 被験者の数 ×12(次者の瞼の動きのノイズに関わらずできたことから，本手法元)，である．サンプリングレートは 100Hz である．4 種は眼球と瞼の動きの区別ができると考えられ，また，本手の移動方向のラベルの付いたサンプルデータを，10 分割交法は眼球の移動方向の認識もできると考えられる．一方

差検証で検証した．分類器は 4 種類で，Random Forest，

で，本実験では荒い解像度での評価のみを行ったため，提J48，SVM，k-NN である．この検証は個人内のデータを案システムが実際にどの程度の精度をもつのかを調査する

用いて個人ごとに行った．

ことはできていない．例えば，今回の実験で認識した眼球認識結果を表 2，3 に示す．表 2 は全データに対する正の向きの角度の間隔は横方向に約 11◦ ，縦方向に約 10◦ で答率を分類器ごとに示し，カッコ内は F 値を示している．

あったが，これよりも細かい角度が認識できるかを検証す

また，表 3 は移動方向それぞれにおいての F 値を示していることが必要である．また，屋内外の照明条件や身体振動る．これらは，全被験者の平均であり，被験者個人ごとに条件といった実世界で起こる環境変動に対する頑健性の検算出した結果を平均している．表 2 の結果から，全データ

証，多様な被験者に対する頑健性をの検証を行う必要があに対する正答率は最大 96 ％であった．また，表 3 の結果

る．さらに，最小限のセンサ数での実装方法が明らかにすは，今回設定したタスクにおけるいずれの眼球移動の方向るために，認識に必要なセンサの箇所や個数も，検証するも提案手法が認識できたことを示している．

必要がある．また，その他の提案手法の精度に関わり得る要素として，被験者の身体的特徴 (例: 目の大きさ) や年齢

4.3 瞼の動き (瞬目) の認識の評価
提案手法による瞼の動きの認識精度の評価として，瞬目の回数の認識精度を評価した．実験では，あらゆる眼球のや性別などの個人差，眼球付近の皮膚の動きが発生する日
常活動 (例: 会話，表情変化) があるので，これらを考慮した検証も必要である．

向きにおける瞬目が認識できるかを検証するために，ディ

今回の実験における本手法の瞬目認識率は 90 ％以上でスプレイ上に遍在する点を注視しながらの瞬目とした．点あり，これは，赤外線距離センサを用いた先行手法の約は正面配置された 27 インチのディスプレイにおいて上下左85 ％より高かった．この理由としては，個人ごとに適切

右に等間隔に 15 点あり，前述の図 4 のものである．ひとつなセンサ位置や閾値を選択できる機構を提案手法が採用しの点について瞬目回数が 20 回になった時点で次の点に移ていたことや，意識的な瞬目を対象にしたことなどが挙げるようにし，これを全点について行った．瞬目は BPM60

られる．今後の詳細な実験において，カメラや EOG にお程度で行わせた．

ける認識精度である約 95 ％に近い精度が赤外線距離セン

データセットは，注視点の数 × 瞬目の回数 × 被験者の数サを用いた手法においても得られるかを検証する必要があ

×12(次元) である．サンプリングレートは 100Hz である．

る．また，前述した眼球の認識に関するものと同様に，複

この際に，1 割のデータから瞬目認識に必要な閾値を設定

数の観点における頑健性などの検証をする必要がある．詳して最も精度の高かったセンサ 1 つのみを選択して，その細な瞼の状態 (例: 開眼の程度が何割か) も認識できるかを選択したセンサ 1 つにおいて 9 割のデータで評価した．こ

追求する必要もある．アイウェア型の EOG を用いた手法© 2020 Information Processing Society of Japan147

情報処理学会 インタラクション 2020
IPSJ Interaction 2020と赤外線距離センサを用いた手法は，常時利用性に関わる

INT20016
2020/3/9[5]

複数の観点についてはほとんど同じであると想定しているので，両者の認識精度の差や，認識できる対象の得意不得
意を今後明らかにする必要がある．赤外線距離センサを用[6]いた手法が得意な点として，認識できる視野角については
他手法と比べて広いと考えられる．例えば，カメラを用いた手法では，ちょっとした上目づかいや下目づかいをすると眼球の向きを捉えられなくなる場合があるが，赤外線距[7]離センサを用いた手法であれば，眼球を最大限両端へ移動させた場合にも眼球の向きを認識できると予想している．
これらの特徴に関しても今後実験を行っていく予定である．

[8]

6. おわりに本研究では，赤外線距離センサを用いて目 (眼球と瞼) の動きをセンシングするアイウェアを開発し，提案手法が目の活動のセンシングを常時行えるかを検証した．本手法[9]は，目の前方に設置された赤外線距離センサから皮膚までの距離の変化をもとに，目 (眼球と瞼) の活動に伴って起こる目周辺の皮膚の動きを測定することで，眼球と瞼の動き[10]を認識した．本稿では，赤外線距離センサをメガネの内側に仕込んだプロトタイプデバイスを実装した．そして，眼球の向き (注視方向)，眼球の移動方向，瞬目の回数の 3 つの認識が行えるかを検証した．評価結果から，瞬きのよう[11]

な瞼の動きがある状況において眼球の向きの角度を約 10◦間隔で認識できることや，眼球の向きの異なる瞬きの回数を認識できることを確認した．今後は，屋内外の照明条件[12]や身体振動条件といった実世界で起こる環境変動に対する頑健性の検証，多様な被験者に対する頑健性の検証，認識に必要なセンサの箇所や個数の検証を行う．
謝辞

本研究の一部は，公益財団法人ヤマハ発動機ス

[13]
[14]

ポーツ振興財団，科学技術振興機構戦略的創造研究推進事
業 (JST CREST，課題番号 JPMJCR18A3) によるものである．ここに記して謝意を表す．
[15]

参考文献
[1]

[2]

[3]

[4]

Thomas E Hutchinson, K Preston White, Worthy N
Martin, Kelly C Reichert, and Lisa A Frey. Humancomputer interaction using eye-gaze input. IEEE Transactions on systems, man, and cybernetics 19 (6), pp.
1527-–1534 (1989).
Michael Ingre, Torbjörn Åkerstedt, Björn Peters, Anna
Anund, and Göran Kecklund. Subjective sleepiness, simulated driving performance and blink duration: examining individual diﬀerences. Journal of sleep research 15(1),pp. 47—53 (2006).
Robert Schleicher, Niels Galley, Susanne Briest, and Lars
Galley. Blinks and saccades as indicators of fatigue insleepiness warnings: looking tired? Ergonomics 51(7)pp. 982—1010 (2008).
Stern, John A., Donna Boyer, and David Schroeder.
Blink rate: a possible measure of fatigue. Human factors, 36(2), pp. 285–297 (1994).

© 2020 Information Processing Society of Japan

[16]

[17]

[18]

[19]
[20]

Yan, Z., Hu, L., Chen, H., and Lu, F. Computer Vision Syndrome. A widely spreading but largely unknown
epidemic among computer users. Computers in Human
Behavior, 24(5), pp. 2026–2042 (2008).
Artem Dementyev and Christian Holz. Dualblink: A
wearable device to continuously detect, track, and actuate blinking for alleviating dry eyes and computer vision syndrome. Proceedings of the ACM on Interactive,
Mobile, Wearable and Ubiquitous Technologies, 1:2(1),(2017).
Vine, Samuel J., and Mark R. Wilson. The influence ofquiet eye training and pressure on attention and visuomotor control. Acta psychologica 136(3) pp. 340–346(2011).
Moshe Fried, Eteri Tsitsiashvili, Yoram S Bonneh, Anna
Sterkin, Tamara Wygnanski-Jaﬀe, Tamir Epstein, andUri Polat. ADHD subjects fail to suppress eye blinks
and microsaccades while anticipating visual stimuli but
recover with medication. Vision research, 101, pp. 62—
72 (2014).
Amir-Homayoun Javadi, Zahra Hakimi, Morteza Barati,
Vincent Walsh, and Lili Tcheang. SET: a pupil detection method using sinusoidal approximation. Frontiersin neuroengineering, 8(4), (2015).
Marc Tonsen, Xucong Zhang, Yusuke Sugano, and Andreas Bulling. Labelled pupils in the wild: a dataset forstudying pupil detection in unconstrained environments.
Proceedings of the Ninth Biennial ACM Symposium on
Eye Tracking Research and Applications. pp. 139-–142(2016).
Rostaminia, S., Mayberry, A., Ganesan, D., Marlin, B.,
and Gummeson, J. iLid: Low-power Sensing of Fatigue
and Drowsiness Measures on a Computational Eyeglass.
Proceedings of the ACM on interactive, mobile, wearable
and ubiquitous technologies, 1:2(23) (2017).
Rizwan Ahmad. Understanding the Language of the Eye:
Detecting and Identifying Eye Events in Real Time via
Electrooculography. PhD Thesis, UC San Diego, (2016).
Tobii Glasses: Mobile Eye Tracker for real world research. http://www.tobii.com. (accessed 2019)．
Moritz Kassner, William Patera, and Andreas Bulling.
Pupil: an open source platform for pervasive eye tracking and mobile gazebased interaction. Proceedings of the2014 ACM international joint conference on pervasive
and ubiquitous computing: Adjunct publication. ACM,
pp. 1151–1160 (2014).
SensoMotoric Instruments (SMI) https://www.
smivision.com/ (accessed 2019)．
HSIEH, Chin-Shun; TAI, Cheng-Chi. An improved andportable eye-blink duration detection system to warn ofdriver fatigue. Instrumentation Science and Technology,
41(5), pp. 429–444 (2013).
BULLING, Andreas; ROGGEN, Daniel; TRÖSTER,
Gerhard. Wearable EOG goggles: Seamless sensing andcontext-awareness in everyday environments. Journal of
Ambient Intelligence and Smart Environments, 1(2), pp.
157–171 (2009).
Picot, Antoine, Alice Caplier, and Sylvie Charbonnier.
Comparison between EOG and high frame rate camera
for drowsiness detection. Workshop on Applications ofComputer Vision (WACV), pp. 1–6 (2009).
JINS MEME. https://jins-meme.com/en/. (accessed2019)．
Andreas Bulling, Daniel Roggen, and Gerhard Tröster.
It s in your eyes: towards context-awareness and mo-

148情報処理学会 インタラクション 2020
IPSJ Interaction 2020

[21]

[22]

[23]

[24]
[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

bile HCI using wearable EOG goggles. Proceedings of the10th international conference on Ubiquitous computing.
pp. 84-–93 (2008).
Andreas Bulling, Jamie A Ward, Hans Gellersen, andGerhard Troster. Eye movement analysis for activity
recognition using electrooculography. IEEE transactions
on pattern analysis and machine intelligence, 33(4) pp.
741-–753 (2010).
Manabe, Hiroyuki, Masaaki Fukumoto, and Tohru Yagi.
Conductive rubber electrodes for earphone-based eye
gesture input interface. Proceedings of the 2013 International Symposium on Wearable Computers, pp. 33–40(2013).
Manabe, Hiroyuki, and Masaaki Fukumoto. Full-timewearable headphone-type gaze detector. CHI’06 Extended Abstracts on Human Factors in Computing Systems, pp. 1073–1078 (2006).
Jordan Crook. The Google Glass Wink Feature Is Real.
TechCrunch, 9, (2013).
Shoya Ishimaru, Kai Kunze, Koichi Kise, Jens Weppner,
Andreas Dengel, Paul Lukowicz, and Andreas Bulling.
In the blink of an eye: combining head motion andeye blink frequency for activity recognition with Google
Glass. Proceedings of the 5th augmented human international conference, p. 15 (2014).
Lauren M Schmitt, Edwin H Cook, John A Sweeney, andMatthew W Mosconi. Saccadic eye movement abnormalities in autism spectrum disorder indicate dysfunctions
in cerebellum and brainstem. Molecular autism, 5:1(47)(2014).
Seiple, William, Richard B. Rosen, and Patricia MT Garcia. Abnormal fixation in individuals with age-related
macular degeneration when viewing an image of a face.
Optometry and Vision Science, 90(1), pp. 45–56 (2013).
Takashi Kikuchi, Yuta Sugiura, Katsutoshi Masai, Maki
Sugimoto, and Bruce H Thomas. EarTouch: turning theear into an input surface. Proceedings of the 19th International Conference on HumanComputer Interaction
with Mobile Devices and Services. p. 27 (2017).
Fukumoto, K., Terada, T., and Tsukamoto, M., A
Smlie/Laughter Recognition Mechanism for Smile-basedLife Logging, Proc. of Augmented Human Conference
2013 (AH 2013), pp. 213–220 (2013).
Katsutoshi Masai, Yuta Sugiura, Masa Ogata, Kai
Kunze, Masahiko Inami, and Maki Sugimoto. Facial expression recognition in daily life by embedded photo reflective sensors on smart eyewear. Proceedings of the 21stInternational Conference on Intelligent User Interfaces,
pp. 317-–326 (2016).
Katsutoshi Masai, Yuta Sugiura, and Maki Sugimoto.
Facerubbing: Input technique by rubbing face using optical sensors on smart eyewear for facial expression recognition. Proceedings of the 9th Augmented Human International Conference. p. 23 (2018).
Koki Yamashita, Takashi Kikuchi, Katsutoshi Masai,
Maki Sugimoto, Bruce H Thomas, and Yuta Sugiura.
CheekInput: turning your cheek into an input surface
by embedded optical sensors on a headmounted display.
Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology. p. 19 (2017).
Katsuhiro Suzuki, Fumihiko Nakamura, Jiu Otsuka,
Katsutoshi Masai, Yuta Itoh, Yuta Sugiura, and Maki
Sugimoto. Recognition and mapping of facial expressions
to avatar by embedded photo reflective sensors in head
mounted display. In 2017 IEEE Virtual Reality (VR).

© 2020 Information Processing Society of Japan

INT20016
2020/3/9

[34]

[35]

[36]

[37]

pp. 177–1855 (2017).
Nao Asano, Katsutoshi Masai, Yuta Sugiura, and Maki
Sugimoto. Facial performance capture by embedded
photo reflective sensors on a smart eyewear. Proceedingsof the 27th International Conference on Artificial Reality and Telexistence and 22nd Eurographics Symposium
on Virtual Environments. Eurographics Association, pp.
21-–28.
Takuma Hashimoto, Suzanne Low, Koji Fujita, Risa
Usumi, Hiroshi Yanagihara, Chihiro Takahashi, Maki
Sugimoto, and Yuta Sugiura. TongueInput: Input
Method by Tongue Gestures Using Optical Sensors Embedded in Mouthpiece. In 57th Annual Conference of theSociety of Instrument and Control Engineers of Japan(SICE). pp. 1219-–1224 (2018).
田中 雄也, 牧野 泰才, 篠田 裕之, 近接距離センサを用いた閉眼時の視線推定, 計測自動制御学会計測部門センシン
グフォーラム資料 34, pp．326–330 (2017).
Ishiguro, Y., Mujibiya, A., Miyaki, T., and Rekimoto, J.
Aided eyes: eye activity sensing for daily life. In Proceedings of the 1st Augmented Human International Conference, pp. 25–31 (2010).

149