WISS 2021

NasalBreathInput: メガネ型デバイスを用いた鼻呼吸ジェスチャによるハンズフリー入力手法
小川諒馬 ∗

双見京介 ∗村尾和哉 ∗†概要. 近年，コンピュータ機器の簡易入力のためのハンズフリー入力手法の研究が盛んに行われている．
しかし，これまでの手法の多くは，音声や体の動きを利用するため，日常生活の中でいつでも利用することが困難であった．そこで，本研究では，ハンズフリー入力のためのウェアラブル機器を用いた鼻呼吸ジェスチャ認識手法を提案する．提案手法では，メガネの鼻表面部分に設置された圧電素子を用いて，鼻呼吸時に自然発生する呼吸音の振動をセンシングし，鼻呼吸の音量から呼吸ジェスチャを認識する．本稿では，呼吸ジェスチャを，呼吸回数，呼吸時間間隔，呼吸強度の要素に基づいて認識する手法を設計した．プロト
タイプデバイスを実装し，その有効性を検証した．評価実験では，10 人の参加者を対象に，82%の F 値で8 種類の鼻呼吸ジェスチャを認識できることを示し，提案手法の実現可能性を確認した．本研究は，ハンズフリー入力に鼻呼吸を使用する最初のウェアラブルセンシング技術を提供する．

1

はじめに多様な場面における情報機器の操作を支援するために，ハンズフリー入力手法は重要となった．例えば，発話音声 [1]，視線 [2]，表情 [3][4]，頭部 [5]，舌[6][7] を用いる手法がある．ハンズフリーの既存研
究の中には日常生活において常時使用可能という点において課題を残しているものも多い．例えば，音声を使用する入力方式には外部からのノイズや環境音，第三者の音声などによって認識精度が低下するという問題点が存在する．また，音声や身体動作を使用する入力方式を外で使用する際には，入力行為が不自然で目立ち，入力行為とその内容が他人に知られてしまうリスクなど，他者が存在する状況では入力ジェスチャを行うことが困難な場合がある．そのため，発話音や体の動きのないウェアラブル機器を使ったハンズフリー入力方式が実現できれば，日常生活での使用に支障が少なくなる．
本研究では，ウェアラブル機器を用いた鼻呼吸によるハンズフリー入力方式を実現するために，メガネの鼻当て部分に設置した圧電素子を用いて，鼻呼吸ジェスチャを認識する手法を提案する．提案手法
では，鼻呼吸を行なった際に発生する自然振動を音データとして，左右の鼻表面部分にマイクとして設置された小型の圧電素子から取得する．取得した音データを解析し，呼吸の音量（大きさ）や長さ，回数などから呼吸パターンを識別する．これにより，デバイスに対しての簡単な操作を行うことができる．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗立命館大学大学院情報理工学研究科†
科学技術振興機構さきがけ

2

提案手法

提案手法の概要を図 1（A）に示す．メガネ型デバイスを図 1（B）に示す．左右の鼻表面に接している 2 つの圧電素子をマイクとし，それぞれの圧電素子から鼻呼吸によって発生する呼吸音の自然振動を音声信号として取得する．プロトタイプシステムはメガネ型デバイス，Note PC（Lenovo ThinkPad
X1 Carbon）オーディオインターフェース（Steinberg UR22mk）で構成される．圧電素子（FGT15T-6.0A1W40）は，直径 15mm，厚さ 0.3mm 以下である．先行研究に，Hector[8] らが提案している V-Speech というものが存在する．スマートグラ
スの鼻パッド部分に設置された振動センサを用いて発話時の鼻骨の振動を取得することで，騒音下でも発話音声を認識しやすくするというものである．この先行研究の結果を踏まえると，同様のセンサ位置に圧電素子を設置することで，音声ではなく鼻呼吸の振動を取得することは可能であろうと考えた．

2.1

鼻呼吸ジェスチャの認識

鼻呼吸の吸い始め（吐き始め）に音量が上がるた
め，波形の音量も上がる．そして，吸い終わり（吐き終わり）に音量が下がるため，波形の音量も下がる．この流れを一呼吸とする．ジェスチャ用の鼻呼吸を認識するために，1 つの呼吸ジェスチャの音量の波形の最大値（ピーク値）を求める．そして，その最大値が事前設定された閾値を超えた場合，その一呼吸をジェスチャ用の鼻呼吸と認識する．この閾
値の設定はユーザごとに行い，詳細な内容は先行文
献 [9] を参照願う.
この一呼吸の認識を利用して，次の 3 つの要素の異なる呼吸ジェスチャを認識するアルゴリズムを設WISS 2021
A

音データ

センサを圧電素子から鼻呼吸の振動

鼻表面に設置

B

認識

センサ

を音データを取得

センサ

データ処理，ジェスチャ認識
Gesture 1（圧電素子）}

Gesture 2( 二回呼吸 )Gesture 315mm

図 1. (A) 提案手法の概要．(B) プロトタイプデバイス
(G.1)
一回呼吸

(G.2)

(G.3)

(G.4)

短い間隔の呼吸短い間隔，短い間隔，強弱の順の呼吸

弱強の順の呼吸ttt(G.5)
長い間隔の呼吸tt(G.6)

(G.7)

(G.8)

長い間隔，長い間隔，通常呼吸強弱の順の呼吸

弱強の順の呼吸tt

表 1. 評価 1 被験者ごとの精度（R: Recall, P: Precision, F: F-measure）
subjects
Sub.1
Sub.2
Sub.3
Sub.4
Sub.5
Sub.6
Sub.7
Sub.8
Sub.9
Sub.10
Averaget

図 2. ジェスチャの種類計した．詳細なアルゴリズムの説明は先行文献 [9]を参照願う. (1) 呼吸回数の違いから呼吸ジェスチャを認識する．これは例えば，同一時間内の呼吸回数（例: 1 回か 2 回）でジェスチャを区別する際に使用する．(2) 呼吸と呼吸の時間間隔の違いから呼吸ジェスチャを分類する．これは例えば，時間間隔が短いジェスチャと，時間間隔が長いジェスチャを区別する際に使用する．(3) 連続する呼吸の強弱の違いか
ら呼吸ジェスチャを分類する．これは例えば，強い呼吸の次に弱い呼吸を行う呼吸ジェスチャと，弱い呼吸の次に強い呼吸を行う呼吸ジェスチャ，強弱差がない呼吸ジェスチャの 3 つのパターンを区別する際に使用する3評価

図 2 に示す 8 種類の鼻呼吸ジェスチャに対する提案手法の認識精度を評価した．被験者は男女 10 名（男性 9 名，女性 1 名），大学生，平均年齢 22 歳（最大 23 歳，最小 19 歳）だった．まず，6 秒の通常呼吸（G.8）を 10 試行行った．次に，G.1〜G.7 の各ジェスチャを 10 試行ずつ行った．この実験中，被験者は椅子に座って実験を行った．データセットは，8 種類の呼吸ジェスチャ×10 試行で構成され，呼吸ジェスチャのサンプル数は被験者一人当たり 80 であった．

4R
0.94
0.38
0.80
0.92
0.89
0.86
0.97
0.86
0.89
0.81
0.83

P
0.94
0.35
0.82
0.93
0.90
0.87
0.98
0.87
0.90
0.82
0.84

F
0.94
0.31
0.79
0.92
0.89
0.86
0.97
0.86
0.89
0.81
0.82

結果，考察，今後の課題

被験者ごとの認識結果を表 1 に示す．すべての被験者で平均 82%の F 値だった．これは，提案された方法を使用して鼻呼吸ジェスチャを認識できることを示している．
被験者の中で，Sub.2 は精度が低い傾向にあった．
この理由は，被験者 Sub.2 にとって鼻呼吸ジェスチャ自体が苦手であったためと考えられる．
今後は，今回の評価で用いた呼吸回数，時間間隔，呼吸強度の 3 要素の限定などからジェスチャの数を減らして評価を行い，認識精度が高くなる新しいジェスチャを検討する予定である．また，今後は，提案手法の認識精度を低下させ得ると考えられる，再装着，歩行状態の 2 つの条件での評価を行う．

5

おわりに

本研究では，鼻呼吸情報を用いたハンズフリー入力手法の提案を行なった．メガネタイプのデバイスを実装し，8 種類の鼻呼吸ジェスチャを設計し，認識を行い評価した．10 人の被験者の評価結果は，平均 82%の F 値で鼻呼吸ジェスチャを認識できることを示した．

NasalBreathInput: メガネ型デバイスを用いた鼻呼吸ジェスチャによるハンズフリー入力手法

謝辞
本研究一部は JSPS 科研費若手研究 (19K20330)によるものである．

参考文献[1] He, Jibo and Chaparro, Alex and Nguyen,
Bobby and Burge, Rondell and Crandall, Josephand Chaparro, Barbara and Ni, Rui and Cao,
Shi, Texting while driving: Is speech-based texting less risky than handheld texting?, Proceedings of the 5th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, pp. 124–130 (2013).
[2] Manabe, H., Fukumoto, M., and Yagi, T., Conductive rubber electrodes for earphone-based
eye gesture input interface. Personal and Ubiquitous Computing, 19(1), pp. 143–154 (2015).
[3] Amesaka, T., Watanabe, H., and Sugimoto, M.,
Facial expression recognition using ear canaltransfer function, In Proceedings of the 23rd International Symposium on Wearable Computers, pp. 1–9 (2019).
[4] Matthies, D. J., Strecker, B. A., and Urban,
B., Earﬁeldsensing: A novel in-ear electric ﬁeldsensing to enrich wearable gesture input throughfacial expressions. In Proceedings of the 2017
CHI Conference on Human Factors in Computing Systems, pp. 1911–1922 (2017).
[5] Ando, T., Kubo, Y., Shizuki, B., and Takahashi,S, Canalsense: Face-related movement recognition system based on sensing air pressure inear canals, In Proceedings of the 30th Annual
ACM Symposium on User Interface Software
and Technology, pp. 679–689 (2017).
[6] Taniguchi, K., Kondo, H., Kurosawa, M., andNishikawa, A. Earable TEMPO: a novel, handsfree input device that uses the movement of thetongue measured with a wearable ear sensor.
Sensors, 18(3):733 (2018).
[7] Hashimoto, T., Low, S., Fujita, K., Usumi, R.,
et al., TongueInput: Input Method by Tongue
Gestures Using Optical Sensors Embedded inMouthpiece. In 2018 57th Annual Conference ofthe Society of Instrument and Control Engineersof Japan (SICE), pp. 1219–1224 (2018).
[8] Héctor A. Cordourier Maruri, Paulo LopezMeyer, Jonathan Huang, Willem Marco Beltman, Lama Nachman, and Hong Lu, V-Speech:
Noise-Robust Speech Capturing Glasses Using
Vibration Sensors, Proc．ACM Interact. Mob.
Wearable Ubiquitous Technol, 2(4), pp. 180(2018).
[9] 小川諒馬, 双見京介, 村尾和哉, メガネ型デバイスを用いた鼻呼吸ジェスチャによるハンズフリー
入力手法の検討, 研究報告ユビキタスコンピュー
ティングシステム (UBI), 2021(23), pp. 1–8 (Sep.
2021).