情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A19
2021/3/10

頬動作を検出するマスク型デバイスの開発
塩見昌裕†1,a

住岡英信†1

港隆史†2,1

大西裕也†1

坂本大介†3

概要：新型コロナウィルスの影響を受け，ハンズフリーなインタフェースの重要性が高まっている．その中でも視線入力は多様な機器に利用されており，病気などの要因によって身体を思うように動かせない人々にとっても有望な入力手段である．しかしながら視線の特性上，入力速度を正確かつ高速にすることが難しい．瞬きなどの動作を併用する手法も提案されているが，生理反応によって無意識に生じる身体動作でもあるため，安定した利用が難しい．そこで本研究は，高速かつ正確な入力が可能なハンズフリーインタフェースの実現を目的とし，頬動作を検出するマスク型デバイスのプロトタイプシステムを開発し，視線入力装置への応用を試みた．

図 1 マスク型デバイスのプロトタイプ．左図のマスク両端の黒い部分が頬動作検出用布型センサであり，中央図のように左頬を膨らませる動作を周期的に繰り返した際の出力値を右図に示す．

1. はじめに新型コロナウィルスの影響を受け，ハンズフリーで利用

2. 関連研究
マスクを各種入力インタフェースとして利用する研究は，可能なインタフェースの重要性が高まっている．その中でこれまでにも広く取り組まれている．例えばマスクに取りも視線入力は多様な機器に利用されており，病気などの要付けた静電容量センサを用いて口の動きを検出して利用す

因によって身体を思うように動かせない人々にとっても有る研究開発や[1] ，呼吸に伴う吸気・排気動作を認識して望な入力手段となっている．しかしながら視線の特性上，インタフェースを操作するデバイスの開発[2]，画像処理手入力速度を正確かつ高速にすることが難しい．瞬きなどの法やマスク内部の近接センサを用いた表情推定技術等の開動作を併用する手法も提案されているが，生理反応によっ発が進んでいる[3] [4]．マスク内部．近年ではスマートフて無意識に生じる身体動作でもあるため，安定した利用がォンと連携して音声入力が可能なスマートマスクの開発も難しいという問題がある．そこで本研究は，高速かつ正確進んでおり，商品化も進みつつある[5]．

な入力が可能なハンズフリーインタフェースの実現を目的

上述のように様々なマスク型デバイスが実現されているとし，頬動作を検出するマスク型デバイスのプロトタイプ

ものの，本研究で対象とするような頬動作の利用に着目しシステム（図 1）の開発を進めた．本稿では，その概要とたもの，および視線入力への応用を目指して設計されたも視線入力等への応用例について記述する．のはこれまで扱われてこなかった．これに対し本研究では，比較的単純な頬動作のみをインタフェースへの入力動作として扱うことで，簡単な構造で精度よく任意の頬動作を認識できるシステムの開発を進める．さらには，取得された頬動作の認識結果をキーボード入力などのアプリケーショ†1 ATR†2 理研†3 北海道大学a) m-shiomi@atr.jp© 2021 Information Processing Society of Japan

ンへ活用することで，既存の視線入力技術をより利用しやすくできる取り組みを進める．

185

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A19
2021/3/10

3. マスク型デバイスの視線入力への応用
本研究で対象とする頬動作を検出するタッチセンサとして，これまでウェアラブルロボット等の開発に利用していた，通気性を備えた布型の静電容量型センサを用いた[6]．
当該センサをマスク両端部分に取り付けることで，ユーザが頬を膨らませた際にその部位に身体が触れることに伴う静電容量の変化を検出可能になり（図 1），マウスのクリック動作に相当するコマンドを任意のタイミングで実行可能となる．本研究では，任意の閾値を一定時間超える出力が得られた時にボタンをクリックした状態として認識するように設計し，マウスの右・左ボタンをマスクの右・左部分に取り付けたタッチセンサに割り当てた．
視線入力装置として，Tobii Eye Tracker 4C を利用した[7]．
本デバイスを用いることで，視線入力によるマウスカーソルの制御が可能となる．当該デバイス単体でもソフトウェ
アキーボードなどを用いた文字入力をハンズフリーで行えるが，視線入力の問題点として，決定動作に時間がかかることが挙げられる．多くの場合，ターゲット選択時の決定動作として視線滞留時間を使うため，決定までに時間が掛かり，総じてパソコンやスマホ等の標準的な入力インタフェースと比較して入力速度が遅いという問題がある．これ
らの問題を解決するため，我々が開発を進めるマスク型デバイスの頬動作をマウスの右クリック・左クリックのコマンドと紐づけることで，視線滞留時間を用いた決定動作に比べて高速な入力が可能となった（図 2）．

4. 考察
本研究では，マスク型デバイスを通じて頬動作を認識し，

図 2

ウェアキーボード上のマウスカーソルを視線で制御し，右頬を膨らませる動作で「n」キーを押下している．

5. 展示
今回のデモ展示では，開発したデバイスと視線入力を用いてキー入力を行うアプリケーションを展示する．ただし，来訪者にマスクを使いまわしていただくことは難しいため，タッチセンサを取り付けたマスクを指で触れてもらうことで疑似的にシステムの体験をしていただく予定である．デバイスとの物理的な接触が伴う展示となるため，消毒用アルコールなどの設置も併せて行う．
謝辞

キーボード入力装置の高速化の検討を進めた．マスク型デ参考文献
[1]

[2]

バイスを用いた発展的な取り組みとして，より多くのタッチセンサをマスク型デバイスに取り付け，複雑な入力作業を可能にすることが挙げられる．例えば上唇・下唇近くに[3]もタッチセンサを取り付けて上下左右キーを代替することで簡単なゲームコントローラとしての利用も可能であろう．
なお本研究で利用したタッチセンサは静電容量型である
ことから，利用者に応じたキャリブレーションや，長期間[4]利用した際のセンサ・マスクのずれによる誤動作の影響を考慮する必要がある．ただしマスクは基本的に個人で利用するため，利用者の違いに伴う再キャリブレーションの問題はさほど発生しないと考えられる．一方，長時間のマス

[5]
[6]

ク装着によって皮膚と触れる部分のずれが生じた場合には，マスクをキャリブレーションした際の形状に修正するか，

本研究は JST，CREST，JPMJCR18A1 の助成を受けたものです．

マウスの右クリック・左クリックに相当するコマンドを制御可能にするとともに，それを利用した視線入力を用いたマスク型デバイスを用いた視線入力の様子．ソフト[7]

山﨑友翼, 志築文太郎, and 高橋伸, “マスク型インタフェー
スによるハンズフリーな入力手法,” in 情報処理学会 イン
タラクション 2018, pp. 2B24, 2018.
T. Kusabuka, and T. Indo, “IBUKI: Gesture Input Method Basedon Breathing,” in Adjunct Publication of the 33rd Annual ACM
Symposium on User Interface Software and Technology, pp.
102-104, 2020.
T. Chen, B. Steeper, K. Alsheikh, S. Tao, F. Guimbretière, and C.
Zhang, “C-Face: Continuously Reconstructing Facial Expressions
by Deep Learning Contours of the Face with Ear-mounted
Miniature Cameras,” in Proceedings of the 33rd Annual ACM
Symposium on User Interface Software and Technology, pp.
112-125, 2020.
H. Lee, Y. Kim, and A. Bianchi, "MAScreen: Augmenting Speechwith Visual Cues of Lip Motions, Facial Expressions, and Text
Using a Wearable Display," SIGGRAPH Asia 2020 EmergingTechnologies, pp. 1-2, 2020.
d. robotics. https://www.donutrobotics.com/c-mask.
住岡英信, 港隆史, and 塩見昌裕, “ソーシャルタッチのためのセンサースーツの開発とその応用,” in インタラクション
2020, pp. 1B-37, 2020.
Tobii. https://www.tobiipro.com/ja/.

再度キャリブレーションする必要がある．そのような場合に備えて，視線制御もしくは特定の頬動作によって再キャリブレーションを行うコマンドをアプリケーションに実装することが必要であろう．

© 2021 Information Processing Society of Japan186