情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B24
2018/3/5

マスク型インタフェースによるハンズフリーな入力手法
山﨑 友翼1,a)

志築 文太郎2,b)

高橋 伸2,c)

概要：本研究では，口の動きを利用したマスク型インタフェースによるモバイル端末の入力手法を提案する．モバイル端末を操作する際，混雑した電車内のような手が使えない状況が存在する．この問題を解決する方法として，音声認識などのハンズフリーな操作手法が存在する．しかし，公共の場における使用に対する抵抗感があること，周囲の雑音の影響を受けやすいこと，といった問題がある．マスク型のインタ
フェースは，ウェアラブルかつハンズフリーな使用が可能であり，声を発することなく，また口の動きをマスクにより隠せることから公共の場においての使用も可能である利点がある．

Hands-free Input Method with Mask-type Interface
Yusuke Yamasaki1,a)Buntarou Shizuki2,b)Shin Takahashi2,c)Abstract: In this research, we propose an input method to operate mobile devices with mask-type interface. There are circumstances where it is diﬃcult for a user to use hands, for example, when standing ina crowded train bringing bags with both hands. One of the hands-free interfaces for solving the problem
is voice input methods. However, they also have problems such as user’s hesitation to use them in public
places, and their low recognition rate at noisy places. The mask-type interface can be used in a wearable
and hands-free manner. It can be used with less hesitation in a public place because the mask can hide themouth movements.

1. はじめにそこでこの問題を解決するための，手を使わない（ハンズフリーな）入力インタフェースがある．手を使わないイ

現代におけるモバイル端末への入力手法は，タッチスク

ンタフェースには，例えば視線によるポインティングや音リーンを用いる手法であるソフトウェア QWERTY キー

声認識による端末の操作，舌の動きによるジェスチャ入力

ボードやフリック入力がある．そのほかにも追加のデバイなどの手法がある．しかし，これらの手法においては，周スを用いる手法の一例として bluetooth キーボードと接続

囲への配慮が必要であることや，公共の場における使用にし入力に使用することもある．これらの入力手法は片手も対する抵抗感があること [1]，特に音声認識においては雑音

しくは両手を使用するが，モバイル端末を使用する場合にが多い場所では検出が困難であるといった問題がある．

は手を使えない状況も存在する．例えば，混雑した電車内，そこで本研究では，手が使えない状況におけるモバイル

両手に荷物を持っているとき，手が濡れている・汚れてい端末への新たな入力手法として，マスク型インタフェースるときなどが考えられる．

を提案する．マスク型インタフェースにより口の動きを推12a)b)c)

定し，モバイル端末の操作に利用する．マスク型のインタ
筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻
Department of Computer Science, Graduate School of Systems and Information Engineering, University of Tsukuba
筑波大学システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba
yusukeyamasaki@iplab.cs.tsukuba.ac.jp
shizuki@cs.tsukuba.ac.jp
shin@cs.tsukuba.ac.jp© 2018 Information Processing Society of Japanフェースとすることで，ウェアラブルかつハンズフリーな使用ができ，口の動きをマスクによって隠せることから公共の場においての使用も可能である．

612

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B242018/3/5

Arduino Uno*1 を使用）で構成される．センサ部の縦方向

2. 関連研究の電線が送信電極，横方向の電線が受信電極である．このセンサ部の電線を導電糸によって構成することで，マスク

2.1 口の動きの認識
モバイル端末の文字入力手法として，Lyons ら [2] はカメラ画像により取得した口唇の形状から母音を推定し，キーで指定した子音と組み合わせることで日本語を入力する手法を提案している．Azh ら [3] はモバイル端末の内臓カメラにより取得した画像から，口唇の形状に操作をそれぞれ割り当て，モバイル端末の操作を行なう手法を提案している．
本研究では，マスクを装着し口が周囲から見えない状態で，口の動きをマスク内のセンサ部により認識する．

2.2 静電容量方式による認識
Hinckley ら [4] はマウスやトラックボールといった入力デバイスに静電容量タッチセンサを取り付け，ユーザのタッチ位置検出を行なう研究を行なっている．Rekimoto[5]は，静電容量計測技術を応用し，格子状に設置したセンサ部にある人体の位置・形状を測定する研究を行なっている．

およびセンサ部を安価に作成することができ，使い捨て可能なインタフェースとして使用できる利点も考えられる．

3.2 動作原理
ファンクションジェネレータ IC により約 200kHz の正弦波を発生させ，その交流信号を送信電極へ送信する．交流信号は交点を通じて受信電極へ伝わる．このときの交流信号の強度は，送信電極と受信電極による交点の静電容量に比例する．この交点に接地した導電体が接近すると，その導電体と送信電極・受信電極が静電結合し，信号の一部が導電体にも流れる．その結果，受信電極に送信される交流信号の強度が弱まる．この変化を計測することで，導電体の接近を推定することができる．受信電極へ伝わった交流信号は，信号処理回路において，オペアンプによって増幅しダイオードで整流した後，ローパスフィルタにかけ直流の値へ変換する．

本研究では，Rekimoto[5] の手法と同様に静電容量方式によるセンサ部を用いて口の動きを認識する．

3. システムの構成と動作原理
本手法は，口の動きをマスク型インタフェースによって推定し，モバイル端末の操作を行なう手法である．インタフェースをマスク型とし，マスクによって口を覆うことで，口の動きを周囲に知られることなくモバイル端末への入力を行なうことが可能である．マスクとして，図 1 のような平型マスクを用いる．

図 1平型マスクの外観．

図 2

システムの構成．ファンクションジェネレータ，センサ部，信号処理回路，マイクロコンピュータで構成される．

また，生成した交流信号を送信電極へ送信する際，複数

3.1 システムの構成
口の動きを認識するため，マスクの内部にタッチセンサの電極へマルチプレクサを用いて時分割で送信する．同様を組み込む．本手法におけるシステムの構成を図 2 に示に，受信電極についてもマルチプレクサによって複数の電す．また，信号処理回路を図 3 に示す．本手法のシステム

極から交流信号を受け取り，信号処理回路へ接続される．

は，高周波信号を発生するファンクションジェネレータ，今回の実装においては，送信電極，受信電極ともに 4 つで格子状に配置された複数の送信電極および受信電極（セセンサ部を構成するため，交点は 16 点となる．これによっンサ部），信号処理回路，マイクロコンピュータ（今回は*1© 2018 Information Processing Society of Japan

https://store.arduino.cc/usa/arduino-uno-rev3613

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B24
2018/3/5

定することで，発声することなくモバイル端末への入力が可能となる．また，マスク型のインタフェースとすることで，ウェアラブルかつハンズフリーな使用ができ，公共の場においても抵抗感なく使用することが可能である．
現在は図 5 のように，導電糸を通常の布（導電体でない）に縫い付けたセンサ部を作成し，信号処理回路をブレッドボード上に実装した．今後は，実装した回路を用いて送信
図3

信号処理回路．オペアンプによる非反転増幅回路，ダイオードによる整流回路，抵抗とコンデンサによるローパスフィルタによって構成される．

電極と受信電極の各交点の静電容量値を求め，その値から口の形状を推定する．また，口の形状の認識率および公共の場における使用時の抵抗感の評価実験を行なう予定でて取得した複数の値を用いて，各交点における導電体の接ある．

近を推定し，それらの値を二次元平面にプロットすることでセンサ部全体における導電体の形状を推定することができる．

4. 口の形状認識
センサ部に接地した導電体が接近することで，その導電体の形状の推定が可能である．人体は，電極に対して十分に大きい物体のため，明確に接地をしなくとも接地した導電体と同様の振る舞いをする．前述したセンサ部を平型マスクに挟み込み，その状態でマスクを装着することで，人体の一部である口の形状認識に用いる．
マスクを装着したときの口の形状によって，センサ部の

図 5センサ部である交差する送信電極と受信電極．この図の場合，横方向が送信電極，縦方向が受信電極である．

送信電極と受信電極の各交点の静電容量値が変化する．各交点の静電容量値に比例した半径の円を描画したイメージ
図を図 4 に示す．この各交点の静電容量値の分布から，口の形状を推定することができる．

参考文献
[1]

口の形状を推定することができれば，例えばその形状毎にモバイル端末の操作を割り当て，口を開くと拡大，口を閉じると縮小のように，口の形状そのものをジェスチャとして扱う操作方法が考えられる．また，澤田ら [6] のよう[2]な，口唇の形状から母音を推定しモバイル端末のアプリケーションの起動操作に用いる，口の形状を連続的に認識し文字列を推定する手法も考えられる．

[3]

[4]

[5]

図 4

口の形状と静電容量分布のイメージ図．

5. まとめと今後の予定[6]

Sami Ronkainen, Jonna Häkkilä, Saana Kaleva, Ashley
Colley, and Jukka Linjama: Tap Input as an Embedded
Interaction Method for Mobile Devices. Proceedings ofthe 1st International Conference on Tangible and Embedded Interaction (TEI ’07), pp. 263–270.
Michael J. Lyons, Chi-Ho Chan, and Nobuji Tetsutani:
MouthType: Text Entry by Hand and Mouth. Proceedings CHI EA ’04 Extended Abstracts on Human Factorsin Computing (CHI EA ’04), pp. 1383–1386.
Maryam Azh and Shengdong Zhao. LUI: Lip in Multimodal Mobile GUI Interaction. Proceedings of the 14th
ACM International Conference on Multimodal Interaction (ICMI ’12), pp. 551–554.
Ken Hinckley and Mike Sinclair: Touch-Sensing Input
Devices. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’99), pp. 223–230.
Jun Rekimoto: SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces. Proceedingsof the SIGCHI Conference on Human Factors in Computing Systems (CHI ’02), pp. 113–120.
澤田佳樹, 高橋伸, 田中二郎：母音形状を用いたモバイル端末向けコマンド入力手法. 情報処理学会インタラクショ
ン 2016，pp. 1038–1041.

本論文では，公共の場で手が使えない状況におけるモバ
イル端末のための入力手法としてマスク型インタフェースを提案した．マスクを装着した状態における口の動きを推© 2018 Information Processing Society of Japan614