情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-61
2024/2/28

眉尻に接触したジャイロセンサを用いた瞬き検出
入本 聖也1,a)

高田 崚介1

概要：本研究では，運動中でも利用可能な，入力インタフェース化もできるメガネ型の瞬き検出ハードウェ
アを示す．提案手法では，ジャイロセンサ 2 基の各データを差分して瞬きを認識する．提案手法を用いる
ことで，視界外からの瞬き認識を可能とする．さらに，眉尻周辺の皮膚へのタッチジェスチャ入力も可能となる．提案手法を検証するために，平滑化手法の複数比較と機械学習によるタッチジェスチャ入力の認識精度を測定した．

提案する．眉尻付近に接触させるジャイロセンサは，瞬き1. はじめに時の皮膚の変形を認識するために用いる．メガネのつる上

近年，平均睡眠時間の低下が問題となっている．睡眠不に搭載するジャイロセンサは歩行等の運動時の振動成分を足になると，学習効率の低下，居眠り運転が発生する可能除去するために用いる．これにより運動時でも瞬きの検出性が高くなる [1]．特に居眠り運転では，目の状態を認識でができることが期待される．さらに，提案手法を用いて手きればアラート等で対策できる．

を使った眉尻周辺の皮膚へのタッチジェスチャ入力も認識

瞬きの検出には，カメラ [2][3] や赤外線センサ [4][5]，眼できる．

電位センサ [6][7] が用いられている．カメラの場合はプラ

本稿では，ジャイロセンサによる瞬き検出とジェスチャ

イバシやオクルージョン問題，赤外線センサの場合は侵襲入力の可能性を調べるため，メガネ型のプロトタイプの作性や視線移動による誤検知，眼電位の場合は眼球運動や皮製と入力・識別精度の検証用のソフトウェアを実装した．

膚の水分による取得の正確さの低下が問題となっている．
これらの手法はメガネ型デバイスのレンズ周辺にセンサを取り付けることが多いため，フレームの厚みの増加や視界を狭める問題がある．

2. 関連研究
本節にて，瞬きの検出手法とメガネの入力インタフェー
ス化の応用例を述べ，提案手法との差異を述べる．

これらの問題に対して，図 1 のように視界を邪魔しないメガネのつる上に 1 基，顔の皮膚の眉尻付近に接触するよ
うに 1 基ジャイロセンサを搭載し，瞬きを検出する手法を

2.1 瞬きの検出手法
Hu らの研究 [2] では，運転時の疲労検出のためにカメラを用いて瞬きを検出している．この手法はプライバシ・オクルージョンが問題として挙がる．Abbas らの研究 [6] は，眼球電図 (EOG) を用いて生体認証を行うシステムを検討している．左目の上にセンサを搭載し，耳に参照電極を取り付けることで EOG を取得する．この手法は皮膚上に電極が接触するため，皮膚上の水分状況や電極の材質次第では取得が難しい場合がある．
本提案手法は皮膚に接触するが，プライバシ・オクルージョンの問題がなく，眼球運動に影響されない取得方法である．メガネのつるから皮膚まで延長してジャイロセンサを取り付けるが，皮膚上の水分や，分泌される油分があった場合でも問題なくセンシングできる．

図 11a)

プロトタイプを装着している様子

神戸市立工業高等専門学校 電子工学科
r119306@g.kobe-kosen.ac.jp© 2024 Information Processing Society of Japan893

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-61
2024/2/28が避けられず，瞬きの振幅の最大値が変動する．そこでセンサを 2 基使って差分をとることにした．そのため，瞬きを判定する過程は以下の通りとなる．

( 1 ) ジャイロセンサ 2 基の情報をマイコン・PC へ送信( 2 ) PC のプログラム内でセンサ値を平滑化し，2 基のセンサ値の差分を計算( 3 ) 条件を満たした箇所を「瞬き」と判定
図 2

3 種類のタッチジェスチャ

提案手法ではジャイロセンサを 2 基使用するため，マイコンで取得する際の僅かな時間差や個体差が存在する．そのため 2 基のセンサ値の差分値のみでは，静止時であっても差分値に変化が見られる．そこで本研究では，簡易 LPF，移動平均フィルタ，微分の 3 種類の処理にてセンサ値を処理し，この問題を解決できるか試みた．次に各処理を説明する．

3.2.1 簡易 LPF
xn = α vn + (1 − α) xn−1(1)

ここで，xn : 補正値の n 番目，vn : 測定値の n 番目である．
データのばらつきを軽減するために，前回の値からどれくらいの割合で変化したかを次の値とする数式である．ま図 3実装のプロトタイプ

2.2 既存のメガネ型入力インタフェースメガネを入力インタフェース化する手法が開発・研究さた，α の定義域は 0 < α ≤ 1 である．

3.2.2 移動平均フィルタ
0.5vn−2 + vn−1 + vn + vn+1 + 0.5vn+2
xn =4(2)れている．Huawei Eyewear[8] は，つるを摘まむ，スライ

ここで，xn : 補正値の n 番目，vn : 測定値の n 番目である．

ドする，タップすることでペアリングや音楽プレイヤを操式 2 は N = 4 の場合であり，結果の前後の変化を合算し作できる．Typing on Glasses[9] では，スマートグラスのて平均を取ることにより，平滑化を実現している．

側面部分に Swipeboard[10] という QWERTY キーボード
つる部分のセンサで文字入力を行っている．これらは，メ3.2.3 微分vn − vn−1
xn =
tn − tn−1

ガネを直接触ることによる入力はあるが，その周辺にある

ここで，xn : 補正値の n 番目，vn : 測定値の n 番目，tn : n

人体は入力インタフェース化されていない．

番目を測定した時間である．取得した処理済みデータの前を小さなスクリーン上で操作する手法を応用し，めがねの提案手法は，メガネのつるを使用した入力に加え，周辺の皮膚を指で動かすことでも入力が可能である．

3. 提案手法(3)

フレーム値との差を取ることで速度の変化を求める．この式は，上記 2 つの処理の後に適用して有効であるか検証する．瞬きの速度は非常に速いので，瞬きの立ち上がり・立ち下がりの 2 つを確認する．

本章にて提案手法の原理や流れを述べる．

3.3 入力インタフェース化のための機械学習
3.1 皮膚の動きから取得する原理
ジャイロセンサで瞬きの動きを取得するために，皮膚の本研究では 3.2 節と同時にメガネと手を使った入力イン
タフェース化できるか検証する．図 2 に示す 3 つの操作と動きに着目した．瞬き時に皮膚が眼輪筋の働きで伸縮する

静止時を 2 基のジャイロセンサの差分結果で学習し，識別ため，接触させたジャイロセンサが起点から移動し，変化する．ここで 3 つの操作とは，「つるタップ」がメガネの量の取得が可能になる．

つるを指で垂直に弾く，「ぐりぐり」が眉尻周辺の皮膚を円を描くようになぞる，「スライド」が眉尻周辺の皮膚を体の3.2 2 基のジャイロセンサの利用
眉尻に接触させたジャイロセンサ 1 基でも瞬きの取得ができる．しかし，この瞬きの動きとは別に，歩行時の振動軸と並行方向になぞるものである．サポートベクターマシン (SVM) モデルを利用し，一定回数の任意の入力を学習後，検証を行う．

や首の運動によってノイズが発生する．また，取付け誤差© 2024 Information Processing Society of Japan894

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-61
2024/2/28

4. 実装
図 1，図 3 にメガネのつる部分を 3D プリントして製作したプロトタイプを示す．メガネのつるの部分は垂直方向に延長し，2 基のジャイロセンサを取り付けた．1 基は延長部にそのまま固定し，もう 1 基をばねを経由して取り付け，ユーザの眉尻付近の皮膚に接触させる．また，図 3 の緑色のシートはゴム製であり，瞬きをした際の皮膚の動きに摩擦で追従させるために取り付けた．

Arduino Micro に 125 sps ごとに取得するジャイロセンサ (MPU9250) を 2 基接続し，PC 上の Python プログラム

図 4簡易 LPF における静止時の瞬き取得 (Z 軸)へ送信する．各センサ軸ごとに上項の処理を施しグラフ描画をして確認を行う．

5. 検証
本章にて，瞬きの各手法による差分取得と運動中の瞬き認識，ジェスチャ入力の認識精度の検証結果を述べる．

5.1 静止時と運動時の瞬きの差分取得の結果
本節にて著者実験した結果を記載する．また，各節の手法は X 軸，Y 軸，Z 軸と別々にデータ処理を適用している．

5.1.1 簡易 LPF静止時の瞬き取得が可能かを検証した．図 4 に，瞬き

図 5

簡易 LPF における静止時の瞬き取得の微分結果 (Z 軸)時の値の立ち上がりが最も良く現れた Z 軸の取得結果とα = 0.05 の際の簡易 LPF のデータ処理結果を示す．なお，「つるセンサ」は皮膚に接触しているジャイロセンサの Z軸の角速度を表しており，「眉尻センサ」はメガネのつる上に直接搭載しているジャイロセンサの Z 軸の角速度を表している．図中の矢印部が実際に瞬きをしたところであり，「差分 (α = 0.05)」の線が瞬きの際に立ち上がっていることがわかる．
例えば 0.5 秒あたりのように変化の速度が遅く値が大きく出ている箇所は瞬きとは異なると考えられるので，図 5のように「差分 (α = 0.05)」の微分を取ることで，変化の速度の閾値を決定し，「瞬きした」とする．その結果，+50を超えたものを「瞬きした」と判定する場合，認識精度は75.0 % となった．
図 4 のように瞬きをした瞬間に絶対値を取った角速度が，正の方向に急激に増加する．「差分 (α = 0.05)」の場合
では短期間に瞬きを 2 回する際に，立ち上がりの確認が難しく閾値を決定することが容易でない．微分した理由は，加速度の方が瞬間的な瞬きの動きを捉えることが可能と考えたためである．

5.1.2 移動平均フィルタ
同じく静止時の瞬き取得が可能かを検証した．図 6 に Z軸の取得結果と，N = 8 の際の移動平均フィルタ処理の結果を示す．5.1.1 と同様に瞬きの際に「差分 (N = 8)」が立© 2024 Information Processing Society of Japan

図 6

移動平均フィルタにおける静止時の瞬き取得 (Z 軸)ち上がっていることがわかる．ここで，図 7 のように「差分 (N = 8)」を取ると，+100 を超えたものを「瞬きした」と判定する場合，認識精度は 77.8 % となった．

5.1.3 運動中の瞬き認識運動中に瞬きが認識可能かを検証した．図 8 に座席の上で縦に揺れながら瞬きをしている場合における，α = 0.05の簡易 LPF の結果と微分の結果を示す．微分結果より，
もう 1 基のセンサが運動時に発生する値を打ち消し，瞬き成分のみとなっていることがわかった．+100 を超えたものを「瞬きした」と判定する場合，認識精度は 85.7 % となった．

895情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-612024/2/28

表 1

入力インターフェース化による各個人の機械学習に対するジェスチャ識別率

実験協力者

P1

P2

P3

P4

P5

平均識別率 [%]

88.3

73.5

75.5

72.8

61.3

表 2

入力インターフェース化による 5 人のデータを合算した
機械学習に対するジェスチャ識別率

図7

実験協力者

P1

P2

P3

P4

P5

平均識別率 [%]

73.3

65.5

78.8

67.5

73.0

移動平均フィルタにおける静止時の瞬き取得の微分結果 (Z 軸)

図 9入力インターフェース化による各個人の機械学習に対する混同行列

図 8

簡易 LPF における縦揺れ時の瞬き取得と微分結果 (Z 軸)

5.2 ジェスチャ入力の認識精度の検証
図 2 の 3 つのジェスチャと静止時について実験協力者 5人 (平均年齢 19.6 歳，男性 4 人，女性 1 人) に対して各 20回，簡易 LPF・差分処理をした X 軸・Y 軸・Z 軸の記録したものを教師データとして SVM モデルを生成した．判

図 10

入力インターフェース化による 5 人のデータを合算した機械
学習に対する混同行列

定のために十分な入力結果となる 1.024 s 間*1 の各データ

SVM モデルを生成した．各個人でキャリブレーションをを取り入れ，リアルタイムで認識できるかを検証する．なした識別実験の後，もう一度共通のモデルを使い識別実験

お，静止時のデータは，実験協力者が静止中であるものとをした．各実験協力者の平均識別率を表 2 に示し，図 10

した．各認識を無作為に検証し，各実験協力者の平均識別に 5 人の結果を合成して得られた混同行列を示す．

率を表 1 に示し，図 9 に 5 人の結果を合算して得られた混同行列を示す．

実験の結果，認識精度の平均は 71.6 % となった．各個人のモデルで実施したときより「スライド」，「つるタップ」

実験の結果，認識精度の平均は 74.3 % となった．
「スラの識別制度が大きく減少している．これは，各個人のつるイド」は「ぐりぐり」と識別されることが多く，「ぐりぐの叩き方や肌のなぞり方が異なることで，特に「スライド」り」の皮膚上でのジェスチャの動きが似ていることが結果はジェスチャ形状の類似性が影響していると考えられる．に示されている．
次に，全実験協力者の学習データをまとめて，1 つの*1

128 サンプル分© 2024 Information Processing Society of Japan

6. 今後の課題
本節にて，考察と提案手法が抱える問題点と改善案につ896

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-61
2024/2/28

いて述べる．

瞬き検知で対象者の瞬き回数が居眠りの傾向を示していないか監視し，場合に応じてアラートを発生させ6.1 運動時の差分取得

る．また車内音楽プレイヤに対して，「タップ」で再運動時の差分取得は図 8 のようになっているが，現状，生・ハンズフリー通話に応答，「ぐりぐり」で次の曲縦揺れのみ打ち消すことができている．横揺れは Z 軸の差分取得が正確ではなく，ノイズも多く混在している．これは，次節のばね固有の振動が 1 つの原因と考えている．今後，他の軸の差分取得やデータ処理を検討する．

へ，「スライド」で前の曲へと操作する．

8. まとめ2 基のジャイロセンサの平滑化及び差分を取ることで側面からの瞬き取得を実現する手法を提案した．単に 2 基の6.2 プロトタイプの構造センサの差分を取るだけでは取り除ききれなかったため，2瞬きの認識が提案手法にて難しくなる要因として，ばねつの平滑化アルゴリズムと微分を採用し，それぞれ検証をの振動がある．ばねの振動は運動を停止した後も慣性とし行った．結果は簡易 LPF では 75.0 % の精度を得て，移動て残る．この誤差をなくすためには，ばねの代わりになり，平均フィルタでは 77.8 % となった．また，運動中の瞬きをかつ皮膚の動きを追従できる余裕のあるものを検討する必認識するため，簡易 LPF を適用して検証した結果，85.7 %要があると考える．装着者に対するジャイロセンサの素子の精度であった．の突起・端子保護目的にゴムシートを利用しているため，入力インタフェース化のために，簡易 LPF を用いて「静長時間の使用時に，皮膚から分泌される油分によって滑り止」，「つるタップ」，「ぐりぐり」を認識する SVM モデルが発生してしまう．今後，接触部で滑らない材質を検討すを生成した．5 人の実験協力者でそれぞれ学習モデル生成る必要がある．

した結果，全体の平均は 74.3 % となった．また，5 人の学また，装着誤差が発生する構造であるため，実験協力者習時のデータを合算してモデルを生成した場合，全体の平を複数人用意し，装着が完了するまでの容易さや負担のな均は 71.6 % となった．ジェスチャの数，種類によって使さを同時に担保し，認識精度の向上を目指す．

い分けが必要になると考えられる．

6.3 赤外線による瞬き検出

参考文献

赤外線センサは瞬き検知を横方向からでも行うことが可[1]能である．しかし，侵襲性の懸念やジャイロセンサを用いたジェスチャ認識への活用のため，実施していなかった．
赤外線センサで瞬きの動きをモニタリングすることで，ど[2]れくらいの精度で瞬きが判別可能かを今後検証する．

6.4 学習モデル
各個人で生成したモデルを利用する場合，利用前にジェスチャを学習させる手間がある．合算したモデルを共有す[3]

れば，最初に学習する手間がない．今後，合算したモデルの認識精度向上を目指し，実験協力者を増やした場合の認[4]

識精度を検証する．

7. 応用例
提案手法により，以下の応用例が考えられる．

[5]• ジョギング中に疲労度を測定しつつ，音楽プレイヤの操作を行う．
瞬き検知で対象者の現在の疲労を瞬きにより推定す[6]

る．スマートフォンへの入力として，「タップ」で再生/一時停止，「ぐりぐり」で音量アップ，「スライド」で音量ダウンを行う．

• 自動車の運転中に居眠りをしていないか監視し，車内音楽プレイヤ・ハンズフリー通話の操作を行う．

© 2024 Information Processing Society of Japan[7]

睡眠不足に起因する事故の防止と健康起因事故の防止について. (Accessed on 2023/12/14)
https://www.mlit.go.jp/jidosha/anzen/03safety/resourse/data/seminar009.pdf
Hu, Zhenghao and Zhai, Hao and Li, Aomei and Xi,
Zhizhong and Jiang, Zhaozhen and Cui, Beiyao. BlinkDetection Algorithm Based on BP Neural Network.
In Proceedings of the 6th International Conference on
Robotics and Artiﬁcial Intelligence, pp.35-40, Association for Computing Machinery, 2021.
Noman, Md. Talal Bin and Ahad, Md. Atiqur Rahman.
Mobile-Based Eye-Blink Detection Performance Analysis
on Android Platform. In Frontiers in ICT Vol.5, FrontiersMedia SA, 2018.
Frigerio, Alice and Hadlock, Tessa A. and Murray, Elizabeth H. and Heaton, James T. Infrared-Based BlinkDetecting Glasses for Facial Pacing. In 2014 JAMA Facial Plastic Surgery, pp.211-218, Mary Ann Liebert Inc,
2014.
Chen R, Zhang Z, Deng K, Wang D, Ke H, Cai L,Chang CW, Pan T. Blink-sensing glasses: A ﬂexible iontronic sensing wearable for continuous blink monitoring.
iScience. 2021 Apr 3;24(5):102399. 2021.
Abbas, Sherif N. and Abo-Zahhad, M. Eye Blinking
EOG Signals as Biometrics. In Biometric Security andPrivacy: Opportunities Challenges in The Big Data Era,
pp.121-140, Springer International Publishing, 2017.
Schmidt, Jürgen and Laarousi, Rihab and Stolzmann,
Wolfgang and Karrer-Gauß, Katja, Eye blink detection
for diﬀerent driver states in conditionally automateddriving and manual driving using EOG and a driver camera. In Behavior Research Methods 3, Springer Science897

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[8]

[9]

[10]2B-61
2024/2/28

and Business Media LLC, 2017.
HUAWEI Eyewear 2, Huawei. (Accessed on 2023/12/15)
https://consumer.huawei.com/jp/audio/
huawei-eyewear-2/
Grossman, Tovi and Chen, Xiang Anthony and Fitzmaurice, George, Typing on Glasses: Adapting Text Entryto Smart Eyewear. In Proceedings of the 17th International Conference on Human-Computer Interaction withMobile Devices and Services, pp.144-152, Association for
Computing Machinery, 2015.
Chen, Xiang ’Anthony’ and Grossman, Tovi and Fitzmaurice, George, Swipeboard: A Text Entry Techniquefor Ultra-Small Interfaces That Supports Novice to Expert Transitions. In Proceedings of the 27th Annual
ACM Symposium on User Interface Software and Technology, pp.615-620, Association for Computing Machinery, 2014.

© 2024 Information Processing Society of Japan898