情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24011
2024/2/28

EarHover：ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識
鈴木俊汰1,a)

雨坂宇宙1,b)

渡邉拓貴2,c)

志築文太郎3,d)

杉浦裕太1,e)

概要：本研究では，ヒアラブルデバイスへの空中ジェスチャ入力を可能にする新しいジェスチャ認識手
法 “EarHover” を提案する．本手法は，ヒアラブルデバイス特有の音漏れ現象に着目し，ヒアラブルデバ
イスと親和性の高いスピーカと外部マイクをジェスチャ認識に利用している．本研究では，有効な 27 種類のジェスチャの中から，信号の識別性とユーザの受容性の観点から，7 種類のジェスチャを選択した（N=10）．その後，これらの 7 種類のジェスチャとニュートラル状態の計 8 状態のデータをインイヤー型/
オーバーイヤー型の 2 つのプロトタイプデバイスを用いて収集し，深層学習による認識性能の評価を行った（N=13）．実験の結果，インイヤー型/オーバーイヤー型デバイスのそれぞれの F-score は 78.7%/73.4%であった．さらに，5 種類のジェスチャに絞ることで，F-score は 6 状態で 86.2%/82.5% であった．

1. はじめにらのセンサは，押下する時間や回数を変化させることで操作数を定義できるが，その数には限界がある．例えば，近年の技術発展に伴い，イヤホン型のウェアラブル端末

AirPods [1] の操作数は 1〜3 回のタップ，長押し，スワイであるヒアラブルデバイスが注目を集めている．ヒアラブ

プの 5 種類に制限されている．そのため，例えば，音楽をルデバイスは，スマートフォンと接続することで，音声ア

聴きながら時間やスケジュールを確認するようなアプリ

シスタントやアプリ操作，通話，音楽再生など多くの機能

ケーションを実装するためには，さらに操作方法を追加すを使用することができ利便性が高い．ヒアラブルデバイス

る必要がある．

の操作は，スマートフォンから間接的に操作する方法と，これらの問題を解決するために，ヒアラブルデバイスに

ヒアラブル本体に直接触れて操作する方法の 2 種類があ対してハンドジェスチャ入力を可能にする研究が多く行わ

る．スマートフォンによる操作は，画面を見ながら操作すれてきた．Xu ら [2] は，ヒアラブルデバイスに内蔵されたる必要があり，ユーザビリティが低下する．そのため，デマイクを使用して，顔や耳付近のタップやスライドジェス

バイス本体のみで操作が完結するのが理想的である．これ

チャを認識するシステムを提案している．菊地ら [3] は，を実現するために，現在販売されているヒアラブルデバイ

ヒアラブルデバイスに取り付けた 4 つのフォトリフレクタ

スには，静電容量センサや感圧センサ，物理ボタンが搭載を用いて，耳を引っ張ったときに生じる耳介甲の変形を測されていることが多い．静電容量センサは，感圧センサと定するジェスチャ入力システムを提案している．しかし，同じように指先で操作することができるが，センサ部分に

これらのシステムは耳や顔に触れる必要があるため，調理手で直接触れる必要があるため，手袋をしたままでは操作

中や園芸時などで手が汚れている時や，手術中など手指をできないという制約がある．感圧センサや物理ボタンは，清潔に保つ必要がある時に利用することが難しい．

センサ部分を指で押下する必要があり，筐体サイズが小さ

デバイスに触れる必要のないハンドジェスチャ入力方法

い場合に押下が難しい．また，押下によって耳に物理的なとして，赤外線センサ [4] やカメラ [5] を使った研究があ負担がかかり，ノイズが発生する問題もある．また，これる．しかし，これらの研究では追加のセンサを導入する必要があり，実装コストがかかるうえ，小さなデバイスにセ

1
2
3
a)
b)
c)
d)
e)

慶應義塾大学
北海道大学
筑波大学
shunta130904@keio.jp
amesaka@keio.jp
hiroki.watanabe@ist.hokudai.ac.jp
shizuki@cs.tsukuba.ac.jp
sugiura@keio.jp© 2024 Information Processing Society of Japan

ンサを実装する必要があるため，外観上のデザイン制約がある．また，ヒアラブルデバイスでは Siri [6] や Google ア
シスタント [7] などといった音声認識によるコマンド入力が可能な機能がある．しかし，文化的な背景として公共の場での使用を躊躇してしまうという欠点がある [8]．

88情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24011
2024/2/28

2.1.1 ハンズ入力
Xu ら [2] はデバイス内蔵のマイクを使用して顔や耳近
くのタップやスライディングジェスチャの認識を行っている．考案された 27 のジェスチャから，ジェスチャの特徴量
やユーザビリティアンケートを基準に 8 つのジェスチャを選定し，95.3% の認識率を達成している．菊地ら [3] はヒ
アラブルデバイスに取り付けられた 4 つのフォトリフレク
図 1

EarHover の利用イメージ

タを利用して，耳を引っ張ることによって生じる変形を計測し，ジェスチャ認識を行っている．認識率は 88.2% を達成している．Lissermann ら [9] は，静電容量センサが搭載

これらの，デバイスに対する物理的な接触や追加センサ

された耳掛け型デバイスを開発し，デバイスへのインプッの問題，社会的受容性，生活動作との混同に対する解決策

トエリアを拡張している．玉城ら [10] は，手の輪郭や爪のとして，超音波信号によるドップラーシフトを利用した，

位置，指関節の角度をヒアラブルデバイスに搭載したカメ

空中ジェスチャ認識手法 “EarHover” を提案する（図 1）．

ラから推定するシステムを提案している．システムはデー

EarHover はヒアラブルデバイスから再生される信号の内，タベースから類似の画像を検索することでデバイスに触れ

外側に漏れる信号（音漏れ信号）を利用し，ユーザの空中ないホバージェスチャを認識するアプリケーション例も提ジェスチャを認識する．音楽鑑賞や音声録音に使用でき案している．

る，デバイス内蔵のスピーカと外部マイクを利用しているデバイスや耳などをタッチする必要がある既存手法は手ため，既存手法と比較してヒアラブルデバイスとの親和性が濡れていたり，汚れている場面，手を清潔に保つ必要のが高い．具体的には，ヒアラブルデバイスから正弦波を再ある場面では利用が困難である．また，カメラを利用した生することで，正弦波の音漏れ信号を発生させる．この時，

空中ジェスチャ認識手法は，センサコストやプライバシー

ユーザがデバイス付近で空中ジェスチャを行うと，音漏れを考慮すると現時点で実装される可能性は低い．EarHover

信号がジェスチャを行う手に反射し，かつ，ドップラーシ

はスピーカと外部マイクを用いて空中ジェスチャの認識

フトが発生する．空中ジェスチャは種類によって手の速度が可能であり，音楽鑑賞や音声録音としても利用できる点

や角度，形状が異なるため，発生するドップラーシフトもでヒアラブルデバイスとの親和性が高く，実装が現実的でそれぞれ異なる．このドップラーシフトをスペクトログラ

ある．

ム画像で表現し，深層学習モデルによる学習を行うことで，

2.1.2 ハンズフリー入力

空中ジェスチャの分類を行う．本研究では 13 人を対象に

真鍋ら [11] はヒアラブルデバイスのイヤーチップに導電

2 種類のプロトタイプデバイスを用いた空中ジェスチャ認性ゴムを導入する事で眼球運動を測定しており，アイジェ

識実験を行い，ジェスチャ認識率の調査及び性能評価を

スチャ入力を実現している．また，Denys ら [12] は，ヒア行った．

ラブルデバイスに耳道内電極を取り付け，顔の筋肉の動き

本研究の貢献は以下の通りである：から表情ジェスチャを認識するシステムを提案している．

• 音漏れ信号を利用した空中ジェスチャ認識手法を提案

Tobias ら [13] は，スピーカと圧力センサが実装されたイ

する．本手法はヒアラブルデバイスと親和性の高い内ヤープラグを有するプロトタイプデバイスを作製し，鼓膜

蔵スピーカと外部マイクのみで実装可能である．

の耳鳴りのような音（Tensor Tympani）を測定すること• インイヤー型/オープンイヤー型の 2 種類のプロトタ

で，ハンズフリー入力を実現するシステムを提案している．

イプデバイスを用いてジェスチャ認識実験を行った．

Wei ら [14] はヒアラブルデバイスの IMU センサと両耳の実験の結果，8 状態（7 ジェスチャ＋ニュートラル状

後ろに実装したマイクを利用し，顎の動きと音声を測定す態）の f スコアはそれぞれ 78.7% と 73.4% であることることで，13 種類のハンズフリージェスチャを認識するシを確認した．また，認識ジェスチャを 5 種類に絞るこ

ステムを提案している．

とで f スコアは，それぞれ 86.2% と 82.5% に向上することを確認した．

2. 関連研究2.1 ヒアラブルデバイスへの入力

ハンズフリー入力はハンズ入力と比較して，デバイスやデバイス周辺をタップする必要がないというメリットがある．しかし，上に述べたような顔の筋肉の動きや Tensor

Tympani，歯の音などの小さな動きは日常生活の動作と混同するという課題がある．またハンズ入力と同様に，追加

ヒアラブルデバイスによるジェスチャ入力は，手を用いのデバイスが必要である．本研究では外部マイクを実装しるハンズ入力 [2], [3], [9], [10] と頭部の動作を用いるハンているが，ヒアラブルデバイス内蔵のマイク性能の向上次

ズフリー入力 [11], [12], [13], [14], [15] に分かれる．

第で，センサを追加せずに実装可能であると考えられる．

© 2024 Information Processing Society of Japan89

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24011
2024/2/28

異なる特性を利用し，認識を行う．
ヒアラブルデバイスには主にカナル型，インイヤー型，
オープンイヤー型の 3 つのデバイスタイプがあり，この順に音漏れ量が増えていく．カナル型デバイス [20], [21] は，
耳道開口部を覆うイヤーチップが実装され，高い気密性があるため，Sony の wf-1000xm4 [20] や Apple の AirPods

Pro [21] など，ノイズキャンセリング機能を持つデバイスに多く採用されている．インイヤー型デバイス [1], [22] はカナル型と同様に耳道開口部に挿入する必要があるが，イヤーチップが無いためカナル型よりも気密性が低く，閉塞感が軽減される特徴がある．Apple の AirPods [1] や EarPods [22]などが製品として挙げられる．オープンイヤー型デバイ
図 2

提案手法の原理．A：ジェスチャ時の音漏れとドップラーシ

ス [23], [24] は耳介部分にかけることで耳道開口部を塞がフトの様子，B：デバイスごとの音漏れとドップラーシフトのないため，最も気密性が低い．Victor の HA-NP35T [23]様子

や Shokz の OpenFit [24] が製品として挙げられる．
図 2B は各デバイスタイプからの音漏れ信号とジェス

2.2 ドップラーシフトを用いたジェスチャ認識手法

チャ中のドップラーシフトの様子をまとめている．この図

本研究では空中ジェスチャを認識する手法として，音響に示されているように，カナル型では音漏れとドップラー

信号のドップラーシフトを利用している．ドップラーシ

シフトの発生を確認できなかった．一方，インイヤー型とフトを利用した空中ジェスチャ認識は広く研究されていオープンイヤー型では音漏れおよびドップラーシフトを確

る．Yongpan ら [16] は，スマートウォッチとスマートフォ

認することができた．この結果に基づき，本研究ではインンから 19 kHz の音声信号を使用し，空中で描いた数字やイヤー型とオープンイヤー型を使用して空中ジェスチャ認

英字を認識するシステムを提案している．Mingshi ら [17]

識実験を行う．

は，数字の空中ジェスチャを認識するシステムを提案している．このシステムはスマートウォッチ上で実装されてお3.2 EarHover

り，データ処理段階で 5 kHz-15 kHz のウェーブレットフィ

図 3 に EarHover の概要を示す．一般的に市販のヒアラ

ルター処理を行っている．Yang ら [18] は，スマートフォ

ブルデバイスは，ハイレゾ対応の製品でない限り，再生可ンから 20 kHz 周波数信号を再生し，口と舌の動きによって能な周波数帯域は 20 Hz–20 kHz であることが多い．その発生するドップラーシフトを 2 つのマイクで計測することため，本研究では上記の周波数帯域の内，人間に聞こえにで，単語認識を可能にしている．Yingcheng ら [19] はヘッ

くいとされている 20 kHz の正弦波を利用する．認識シス

ドホン外部に搭載したスピーカから超音波トーン信号を再テムは空中ジェスチャ時の音漏れ信号を録音し，スペクト

生し，相手の手話動作を認識するシステムを提案している．

ログラム画像に変換して，Convolutional Neural Network

我々が提案する EarHover は，音漏れ信号に着目することで市販のヒアラブルデバイスのセットアップに近いス
ピーカと外部マイクによる空中ジェスチャ認識システムを提案している．

3. 提案手法
3.1 認識原理とデバイスの音漏れ特性(CNN) による機械学習を行う．
3.2.1 データ前処理
録音した音響データに対し，ドップラーシフトのみを抽出するため 20 kHz 信号を除去するバンドストップフィル
タ処理を行った．その後，ウィンドウサイズが 100 ミリ
秒のハニング窓を用いて，100 サンプル分の長さで短時間
フーリエ変換（STFT）を行い，スペクトログラム画像を

本研究では，ヒアラブルデバイスからの音漏れ信号の生成する．画像に表示する周波数範囲は 19.800 kHz から

ドップラーシフトを利用して空中ジェスチャを認識する．

20.200 kHz とし，20 kHz 付近の情報のみを表示している．

ドップラーシフトは，マイクとスピーカの位置が相対的に3.2.2 データ拡張

変化することで，測定される音響信号の周波数が変化する

空中ジェスチャは，ユーザが触覚フィードバックを得る現象である．ユーザが耳の周りで手を動かすと，音漏れ信ことや目視での動作確認ができない．したがって，同じ号が手に反射する（図 2A）．このとき，手の移動する速

ジェスチャでも手の位置や角度にばらつきが発生し，得ら度や角度に応じて音漏れ信号の反射特性が変化するため，れる音響データも一定でない．これらの動作ノイズに対応

ドップラーシフトのシフト幅や録音される信号の音量も変した CNN モデルを生成するため，スペクトログラム画像化する．この変化パターンが行う空中ジェスチャによってに対して 2 種類のデータ拡張方法を適用した．

© 2024 Information Processing Society of Japan90

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24011
2024/2/28

図 3

図 4

EarHover の概要

カラーバーごとのスペクトログラム画像の様子．A：0.0 dB-

2.0 dB，B:0.2 dB-2.0 dB，C：0.4 dB-2.0 dB

図 6

プロトタイプデバイス．A：インイヤー型デバイス，B: オー
プンイヤー型デバイス

図 5

画像引き延ばし倍率ごとのスペクトログラム画像の様子．A：
幅 1.0 倍（元画像），B：幅 1.05 倍，C：幅：1.1 倍，D: 高さ

1.0 倍（元画像），E: 高さ 1.05 倍，F：高さ 1.1 倍

トログラム画像を利用して，CNN による深層学習を行った．バッチサイズは 32，エポックは 200 とし，学習中の1 つ目は，スペクトログラム画像のカラーバー調整であval loss が 20 エポック間で改善が見られない場合に学習をる．本研究で用いたカラーバーは音量を RGB で表してお切り上げる early stopping を採用した．実装した 4 つの畳り，音量の最小値と最大値を決定することで，最小値以下

み込み層のフィルタ数は 32，64，128，256 に設定し，その音量は青色で，最大値以上の値は赤色で表現される．一

れぞれに Relu 関数と MaxPooling 関数を実装した．畳み定の音量で再生される超音波信号のドップラーシフト部分

込み層の後には平滑化層と 2 つの全結合層を接続した．

の音量は，手とデバイスの距離に応じて変化すると考えられる．したがって，生成されたスペクトログラム画像のカラーバーを調整することは，ドップラーシフトの音量変化

4. 実装
図 6 に実装した 2 つのプロトタイプデバイスを示す．イに対するデータ拡張として効果的であると考えられる．カンイヤー型/オープンイヤー型デバイスの市販製品におけラーバーのパラメータ決定についての詳細は 5.2.2.1 節でる内蔵マイクは一般に，高周波数帯域の録音ができない

述べる．図 4 では，最大音量を 2.0 dB に固定し，最小音量仕様になっている．これはマイクの利用目的が会話の録を 0.0 dB から 0.4 dB まで変化させた時のスペクトログラ

音であり，声の周波数に合わせているためである [25]．そム画像の様子を示す．

こで，我々はヒアラブルデバイスに高周波数帯域の録音

2 つ目は，スペクトログラム画像の引き伸ばしである．

が可能な別マイクを取り付けて，EarHover のジェスチャ

ジェスチャの完了時間は各試行で異なると考えられる．ス

認識性能を調査した．本研究では，インイヤー型デバイス

ペクトログラムの横軸は時間の推移を表すため，横方向にに Apple の EarPods [22]，オープンイヤー型に Victor の伸ばすことでジェスチャの完了時間を擬似的に引き延ばす．

HA-NP35T [23] を利用する．超音波の周波数範囲をサポー

また，スペクトログラムの縦軸は周波数を表すため，縦方トしているマイクとして audio-technica の AT9904 [26] を向に伸ばすことでジェスチャの速度を擬似的に速めている．

デバイス外部に取り付け，音漏れ信号を録音した．音源の引き延ばしのパラメータ決定についての詳細は 5.2.2.2 節増幅のためにマイクアンプ (audio-technica: AT-MA2 [27])で述べる．図 5 に元画像と横方向と縦方向を 1.05 倍，1.1を利用した．マイクとヒアラブルデバイスは PC（ASUS

倍に引き伸ばしたスペクトログラム画像を示す．

Zenbook 14 UM425QA [28]）に接続し，録音/再生を行

3.2.3 CNN モデル

う．この時の AD/DA 変換はオーディオインタフェース

元のスペクトログラム画像およびデータ拡張したスペク© 2024 Information Processing Society of Japan(Steinberg: UR22C [29]) を介して行った．

91

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

ヒアラブルデバイスの使用における音量設定の目安として，世界保健機関は成人が週 40 時間使用する場合の音量制限を 80 dB までと推奨している [30]．本研究では，健康リスクを考慮し，健康問題を引き起こさない 40〜45 dB

INT24011
2024/2/28

容性があると感じるか？

• 疲労感：ジェスチャーはどれくらい疲れないか？（注意：尺度は分析のために反転している)

5.1.2 ドップラーシフト領域によるジェスチャ選定の範囲で実験を行った．バンドストップフィルタでは，EarHover では，ドップラーシフトによるスペクトルの変インイヤー型デバイスは 19.997 kHz から 20.003 kHz の範化を利用しているため，ドップラーシフトの大きいジェス

囲のフィルタを適用し，オープンイヤー型デバイスでは

チャを選定する．取得した録音データは 3 節で述べた処理

19.980 kHz から 20.020 kHz の範囲のフィルタを適用した．

を行い，スペクトログラム画像に表示する音量カラーバー

２つのデバイスでフィルタの範囲が異なるのは，スペクトは最小値を 0.5 dB，最大値を 2.0 dB とした．このスペクト

ログラム画像に表れる 20 kHz 周辺部分がインイヤー型デバ

ログラム画像を白黒画像に変換し（図 8），ジェスチャご

イスでは小さく，オープンイヤー型デバイスでは大きく表とに画像全体に対するドップラーシフトとして現れる白部れたためである．これはインイヤー型デバイスは有線接続分の面積の割合を算出した（図 9）．この値が 1.5 より小さで信号再生が安定している一方，オープンイヤー型デバイ

いものを削除対象とした．この条件により，以下の 9 種類

スは無線接続で信号再生が比較的不安定であり，録音時にのジェスチャが削除された：ハンドスワイプ - 1，近づく -は 20 kHz 付近に信号が大きく乱れてしまっていることが1，近づく - 2，近づく - 掌，離れる - 1，離れる- 2，離れ原因だと考えられる．信号録音プログラムは Python3.10

る - 掌，指スワイプ - 上，X を描く．

で実装し，サンプリングレートは 44.1 kHz，量子化ビット

5.1.3 類似性によるジェスチャ選定

レートは 16 ビットに設定した．

5. 評価実験
5.1 実験 1：ジェスチャ選定

残ったジェスチャセットの内，ドップラーシフトの分布が似ているジェスチャ同士は互いに誤認識する可能性がある．よって，ドップラーシフトの構造を比較することで似ているジェスチャ同士の内，一方を削除する．構造比較

本実験では，Yu-chun ら [31] が提案したジェスチャデザ

は，取得した各ジェスチャ 55 枚からランダムに 5 枚抽出

インを参考にし，ドップラーシフトが発生すると考えられし，比較する 2 つのジェスチャにおいて各画像を左から１る 27 種類の空中ジェスチャ（図 7）を考案した．これらのピクセルずつスライドさせ，白色部分の重なりを計算してジェスチャから，認識実験を行う空中ジェスチャセットをいく．重なり部分の全体に対する割合の最大値を比較し，決定する．選定は，Xu ら [2] の手法を参考に，３種の選定

値が大きいものを似ているジェスチャペアとした．図 10

過程を経て決定した．

に各ジェスチャの重なり面積の平均割合を計算し，まとめ

5.1.1 実験手順たものを示す．代表値として，算出した最大値の平均をと人の出入りが少なく，生活音の小さな研究室において，る．この代表値が大きいペア同士から順にアンケート調査

椅子に座った参加者に 27 種類のジェスチャを 5 セット行っのスコアが低い方を削除した（図 11）．この条件により，てもらった．外部マイクをインイヤー型デバイスの右耳側以下の 6 種類のジェスチャが削除された：ハンドスワイプに実装し，ジェスチャを行った際の音漏れ信号を記録した．

- 掌，ハンドスワイプ - 拳，ツイスト - 掌，ツイスト - 拳，

実験は参加者の右側に物が何もない状態で行い，20kHz の離れる - 拳，グリップ - 開く．

正弦波のみを再生した．参加者は 11 人（男性：8 人，女

5.1.4 ユーザビリティによるジェスチャ選定

性：3 人）で，全員が右利きであり，平均年齢は 27.9 歳，

参加者からの評価が低いジェスチャは，ユーザビリティ

標準偏差は 10.7 歳であった．ヒアラブルデバイスの使用頻の観点から認識しやすいジェスチャであっても避けるべき度は週に平均 4.13 日で，標準偏差は 2.84 日であった．参である．1〜7 の評価で行った 3 指標の平均は，簡単さは加者が日常的に使用しているデバイスは，カナル型，イン

4.89，社会的受容性は 3.96，疲労感は 4.63 であった．これ

イヤー型，オープンイヤー型，耳掛け型であった．この実を基に，簡単さが 4 または社会的受容性が 4 または疲労感

験は 1〜2 時間程度の所要時間で，報酬は 3,000 円である．

が 3.5 より低いジェスチャを削除の対象とした．この条件

なお，この実験は慶應義塾大学理工学部の生命倫理委員会の結果，以下の 5 種類のジェスチャが削除された：近づくによる実験承認を得ている（承認番号：2023-076）．デー- 拳，絞る - 開く，前方に円を描く，後方に円を描く，電タ記録終了後，参加者に以下の 3 つに関するアンケートを話 - 上．

行った．評価を 1〜7 の尺度で設定し，7 を最高評価とした．（1：非常に悪い，7：非常に良い）• 簡単さ：ジェスチャを正確に行うのはどれくらい簡単か？

• 社会的受容性：このジェスチャは社会的にどの程度受© 2024 Information Processing Society of Japan

これらの 3 条件による選定の結果，以下の 7 種類のジェスチャが選定された：ハンドスワイプ - 2，ツイスト - 1，
ツイスト - 2，指スワイプ - 下，グリップ - 閉じる，絞る 閉じる，電話 - 下．図 12 に選定された 7 ジェスチャのそれぞれのドップラーシフトの様子をまとめたもの示す．

92

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24011
2024/2/28

図 7

考案した 27 種類のジェスチャ一覧

参加者が歩いている環境（以下，Walking）で，それぞれ計 32 回の試行（4 回× 8 状態）のデータ収集を行った．録音時は 20kHz の正弦波のみを再生した．

5.2.2 データ拡張デザイン
図 8

RGB 画像から変換した白黒画像

5.2 実験 2：ジェスチャ認識
5.1 節にて選定した 7 ジェスチャと何もしない状態（ニュートラル状態）の計 8 状態における提案手法の評価
実験を行った．参加者は 13 人（男性：8 人，女性：5 人）
で，全員が右利きであり，平均年齢は 27.5 歳，標準偏差は9.93 歳であった．ヒアラブルデバイスの使用頻度は週に平均 4.27 日で，標準偏差は 2.64 日であった．実験は，参加者の周りに人や壁がなく人の出入りが少ない，生活音の小さい研究室で行った．この実験の所要時間は 1〜2 時間程
度で，報酬は 3,000 円である．なお，この実験は慶應義塾大学理工学部の生命倫理委員会による実験承認を得ている（承認番号：2023-076）．

5.2.1 手順
安定した環境（以下，Stable）において，2 種類のデバイスでそれぞれ 160 回分（20 回× 8 状態）のデータを収集した．また，異なる環境での空中ジェスチャ入力を想定し，右手に手袋を装着した環境（以下，Gloves），参加者の右側の 50 cm の距離に人が座っている環境（以下，Neighbor），© 2024 Information Processing Society of Japan

3.2.2 で述べたように，カラーバー設定と画像引き伸ばしの 2 種類のデータ拡張についての最適なパラメータを

Stable のデータを基に調査する．取得した 20 回分のデー
タを，テストデータを 1 回分，残りの 19 回分のデータを

16 回分の訓練データと 3 回分の検証データにランダムに分割する．そして 20 分割交差検証結果の平均値を算出し，これを 3 人の参加者のデータで評価した．

5.2.2.1 カラーバー設定
インイヤー型デバイスのデータを使用して 3 つのデータ拡張方法の精度を比較した．1 つ目は，最小値が 0.00 dB か
ら 0.50 dB まで 0.05 dB 刻みで増加するもので，0.00-0.50と定義する．2 つ目は，最小値が 0.20 dB から 0.70 dB ま
で 0.05 dB 刻みで増加するもので，0.20-0.70 と定義する．

3 つ目は，最小値が 0.40 dB から 0.90 dB まで 0.05 dB 刻み
で増加するもので，0.40-0.90 と定義する．これにより，11倍のデータ拡張となる．
評価としては，各交差検証で各ジェスチャについて 11 枚の結果が出るが，それぞれの画像のジェスチャ予測確率を足し合わせて，その最大値をそのジェスチャの予測ジェスチャとした．各カラーバーのニュートラルを除いた 7 ジェ

93

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 9

INT24011
2024/2/28

27 ジェスチャの画像全体に対する白面積割合の平均

図 10

白面積の重なり面積の平均割合

スチャの認識率を調査し，平均値が最も高いものを最適なバイス/オープンイヤー型デバイスの平均認識率はそれぞパラメータとする．図 13A に各参加者の 3 種類のカラー

れ 78.7%/73.4% であった．ニュートラル状態を除いた 7

バー設定における 7 ジェスチャの認識率と平均認識率を示

ジェスチャのみの平均認識率は，それぞれ 75.8%/70.2% です．実験の結果から，0.00-0.50 の 73.1 % が最も高い認識あった．図 16 に，各デバイスのジェスチャの分布を示す率となり，以降このカラーバー設定を使用する．

混同行列をまとめた．
「ハンドスワイプ - 2」の認識率がい5.2.2.2 画像引き伸ばし率

ずれのデバイスでも最も高かった．また，「ツイスト - 1」

画像の引き伸ばしの調査は上述のカラーバー設定を使用しながら，2 つのデータ拡張方法の認識率を比較した．1と「ツイスト - 2」の誤認識が多く，認識率も低かった．
次に，テスト環境でのジェスチャ認識率評価を行った．

つ目は，元の画像を水平および垂直に 1.000 倍，1.025 倍，

認識には，先述の Stable データの交差検証から生成され1.050 倍に引き伸ばすもので，0.025x と定義する．2 つ目

た 20 個の分類モデルに対して，テスト環境におけるデー

は，元の画像を水平および垂直に 1.00 倍，1.05 倍，1.10 倍

タから得られたスペクトログラム画像を各分類モデルにに引き伸ばすもので，0.050x と定義する．これにより 9 倍

適用する．各分類モデルの予測の平均を算出し，最も平のデータ拡張となる．カラーバーと同様に，ニュートラル

均が高いラベルを最終的な予測ラベルとして使用した．

を除いた 7 ジェスチャの認識率を調査し，平均値が最も高

図 15 に，各デバイスにおける全参加者のテスト環境の認いものをパラメータとする．図 13B に各参加者の 2 種類

識率をまとめた．実験の結果，インイヤー型デバイス/オーの引き伸ばし方法における 7 ジェスチャの認識率と平均認

プンイヤー型デバイスの 8 状態の認識率は各テスト環境

識率を示す．実験の結果から，0.050x の 73.8% が最も高い(Gloves, Neighbor, Walking) にて，それぞれ 54.7%/58.9%,

認識率となり，以降この画像引き延ばし率を使用する．

60.3%/56.5%, 48.5%/42.9% であった．

5.2.3 個人モデル - 7 ジェスチャ

5.2.4 個人モデル - 5 ジェスチャ

各参加者ごとに，Stable で収集された自身のデータの一般にヒアラブルデバイスで音楽再生アプリケーション

みを利用して分類モデルを生成する個人モデルの認識率を操作する際は，5 つのコマンド（再生/停止，音量を上を調査した．2 つのデータ拡張とデータの分割は 5.2.2 節

げる，音量を下げる，次の曲に進む，前の曲に戻る）を用と同様である．図 14 に，各デバイスにおける全参加者のいて操作される．そこで，7 ジェスチャから 5 ジェスチャ

Stable の認識率をまとめた．実験の結果，インイヤー型デを選択し，認識率を再調査した．図 16 より，「ツイスト -© 2024 Information Processing Society of Japan94

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24011
2024/2/28

図 11

全参加者によるジェスチャ評価の平均

で，再度認識率の調査を行いたいと考えている．

6.2 調査範囲の拡大
本研究では調査していないが，周囲にノイズがある場合
やシステムを使用しながら壁に近づく場合など，様々な実用環境での調査を行う必要がある．Neighbor と Walking
での認識率を調査し，Stable よりも精度が低いことを確認したがこれは，ユーザが壁に向かって歩くような状況では精度がさらに低下する可能性があることを示唆している．
データ拡張や処理を改善する（ノイズの追加など）ことで図 12選択された 7 ジェスチャのドップラーシフトの様子

精度を向上させる方法を模索する必要がある．また，実験では正弦波のみ再生したため，同時に音楽を再生してより実環境に近い場面での精度調査を行う必要がある．

6.3 認識率の改善とユーザビリティ調査
5.2 節で述べた実験では，参加者によって認識率が大き
図 13

データ拡張を使用したときの認識率．A：カラーバー，B: 画

く異なっており，認識率の高いデバイスは異なる結果と像引き延ばしなった．これは，ユーザのジェスチャ動作が不安定であり，安定したデータを得られなかったためであると考えられる．

1」と「ツイスト - 2」，「グリップ - 閉じる」と「絞る - 閉

特に，ヒアラブルデバイスにおける空中ジェスチャの実行じる」間で混同が多かったため，各ペアで白領域（図 9）は，直接の目視確認やタッチフィードバックを得られなが少ない方の「ツイスト - 1」と「絞る - 閉じる」を削除

い．安定したジェスチャ動作を得るためには，ジェスチャ

し，再度認識率を調査した．図 17 に各デバイスの全てのの練習が必要だと考えられる．また，提案手法ではユーザ環境の平均認識率をまとめた．実験の結果，インイヤー型

がジェスチャを入力したときに音声フィードバックなどをデバイス/オープンイヤー型デバイスの 6 状態の認識率は与えることも考えられる．今後は，ユーザがジェスチャの86.2%/82.5% であった．また，5 ジェスチャのみの認識率

練習を重ねた場合やフィードバックがある場合のユーザビ

は，それぞれ 83.6%/79.2% であった．

リティや認識性能を調査したい．

6. 議論

7. 結論

6.1 システム改善

我々は，ヒアラブルデバイスのための空中ジェスチャ認実験では，固定時間でジェスチャデータを収集し，その識ステム EarHover を提案した．提案システムは音漏れ信

固定時間のスペクトログラム画像を生成して CNN で検証号に着目することで，ヒアラブルデバイスと親和性の高を行った．しかし，ジェスチャ時間は固定時間内の一部でいスピーカと外部マイクでの実装を可能にしている．実あるためデータが冗長であった．今後は，ジェスチャ時間

験は，27 種類のジェスチャから信号の識別性とユーザのの分布を調査し，最適なジェスチャ抽出時間を決定した上© 2024 Information Processing Society of Japan95

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 14

INT24011
2024/2/28

Stable における各参加者の 8 状態と 7 ジェスチャの認識精度．A: インイヤー型デバイス，B：オープンイヤー型デバイス

参考文献
[1]

[2]
図 15

テスト環境における 8 状態と 7 ジェスチャの認識精度．A:
インイヤー型デバイス，B: オープンイヤー型デバイス

[3]

[4]
図 16

Stable の各デバイスにおける混同行列

[5]

[6]
図 17

全環境における 6 状態と 5 ジェスチャの認識精度．A：イン
イヤー型デバイス，B: オープンイヤー型デバイス

[7]
[8]

受容性の観点から 7 種類のジェスチャを選定するジェス
チャ選定実験を行った．その後，それらのジェスチャセッ[9]トの認識性能調査を行った．実験の結果，インイヤー型/ オープンイヤー型デバイスにて，8 状態の認識率がそれぞれ 78.7%/73.4% であり，6 状態の認識率がそれぞれ86.2%/82.5% であることを確認した．
[10]

謝辞 本研究の一部は，JST さきがけ（課題番号：JPMJPR2134，JPMJPR2138）および JSPS 科研費（課題番
号：JP23KJ1884，JP21H03485）の支援を受けたものである．

© 2024 Information Processing Society of JapanApple:
AirPods,
https://www.apple.com/
airpods-3rd-generation/ (2021). (Accessed on
09/06/2023).
Xu, X., Shi, H., Yi, X., Liu, W., Yan, Y., Shi, Y.,
Mariakakis, A., Mankoﬀ, J. and Dey, A. K.: EarBuddy: Enabling On-Face Interaction via Wireless Earbuds, Proc. CHI ’20 on Human Factors in Computing Systems, CHI ’20, New York, NY, USA, Association for Computing Machinery, p. 1–14 (online), DOI:
10.1145/3313831.3376836 (2020).
Kikuchi, T., Sugiura, Y., Masai, K., Sugimoto, M.
and Thomas, B. H.: EarTouch: Turning the Ear
into an Input Surface, Proc. of the 19th Int’l Conf.
on Human-Computer Interaction with Mobile Devices
and Services, MobileHCI ’17, New York, NY, USA,
Association for Computing Machinery, (online), DOI:
10.1145/3098279.3098538 (2017).
Mizumata, T. and Sakamoto, R.: A Pinch up Gesture
on Multi-Touch Table with Hover Detection, ACM SIGGRAPH ASIA 2010 Posters, SA ’10, New York, NY,
USA, Association for Computing Machinery, (online),
DOI: 10.1145/1900354.1900384 (2010).
Sei, Y. and Shizuki, B.: Expanding One-Handed Input Vocabulary for Smartphone Using In-Air Gestureof Index Finger Captured by Rear Camera, Asian CHI
Symposium 2021, Asian CHI Symposium 2021, New
York, NY, USA, Association for Computing Machinery,
p. 61–63 (online), DOI: 10.1145/3429360.3468181 (2021).
Apple:
Siri (2014). https://www.apple.com/ios/siri/.
Google: Google Assistant (2016). https://assistant.
google.com/.
iprospect: The Future is Voice Activated (2018). https://www.iprospect.com/en/jp/news-and-insights/
insights/the-future-is-voice-activated/.
Lissermann, R., Huber, J., Hadjakos, A., Nanayakkara,
S. and Mühlhäuser, M.: EarPut: Augmenting Ear-Worn
Devices for Ear-Based Interaction, Proc. of the 26th
Australian CHI Conf. on Designing Futures: The Future of Design, OzCHI ’14, New York, NY, USA, Association for Computing Machinery, p. 300–307 (online),
DOI: 10.1145/2686612.2686655 (2014).
Tamaki, E., Miyaki, T. and Rekimoto, J.: Brainy Hand:
An Ear-Worn Hand Gesture Interaction Device, CHI ’09
Extended Abstracts on Human Factors in Computing
Systems, CHI EA ’09, New York, NY, USA, Association
for Computing Machinery, p. 4255–4260 (online), DOI:

96

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]
[22]

10.1145/1520340.1520649 (2009).
Manabe, H., Fukumoto, M. and Yagi, T.: Conductive
Rubber Electrodes for Earphone-Based Eye Gesture Input Interface, Proc. of the 2013 Int’l Symposium on
Wearable Computers, ISWC ’13, New York, NY, USA,
Association for Computing Machinery, p. 33–40 (online),
DOI: 10.1145/2493988.2494329 (2013).
Matthies, D. J. C., Strecker, B. A. and Urban, B.:
EarFieldSensing: A Novel In-Ear Electric Field Sensing to Enrich Wearable Gesture Input through Facial
Expressions, Proc. of the 2017 CHI Conf. on Human Factors in Computing Systems, CHI ’17, New
York, NY, USA, Association for Computing Machinery,p. 1911–1922 (online), DOI: 10.1145/3025453.3025692(2017).
Röddiger, T., Clarke, C., Wolﬀram, D., Budde, M. and
Beigl, M.: EarRumble: Discreet Hands- and Eyes-Free
Input by Voluntary Tensor Tympani Muscle Contraction, Proc. of the 2021 CHI Conf. on Human Factors
in Computing Systems, CHI ’21, New York, NY, USA,
Association for Computing Machinery, (online), DOI:
10.1145/3411764.3445205 (2021).
Sun, W., Li, F. M., Steeper, B., Xu, S., Tian, F.
and Zhang, C.: TeethTap: Recognizing Discrete Teeth
Gestures Using Motion and Acoustic Sensing on an
Earpiece, 26th Int’l Conf. on Intelligent User Interfaces, IUI ’21, New York, NY, USA, Association
for Computing Machinery, p. 161–169 (online), DOI:
10.1145/3397481.3450645 (2021).
Amesaka, T., Watanabe, H. and Sugimoto, M.: Facial
expression recognition using ear canal transfer function,
Proceedings of the 2019 ACM International Symposium
on Wearable Computers, ISWC ’19, New York, NY,
USA, Association for Computing Machinery, p. 1–9 (online), DOI: 10.1145/3341163.3347747 (2019).
Zou, Y., Yang, Q., Han, Y., Wang, D., Cao, J. and Wu,
K.: AcouDigits: Enabling Users to Input Digits in theAir, 2019 IEEE Int’l Conf. on Pervasive Computing
and Communications (PerCom), pp. 1–9 (online), DOI:
10.1109/PERCOM.2019.8767415 (2019).
Chen, M., Yang, P., Cao, S., Zhang, M. and Li,
P.: WritePad: Consecutive Number Writing on Your
Hand With Smart Acoustic Sensing, IEEE Access,Vol. 6, pp. 77240–77249 (online), DOI: 10.1109/ACCESS.2018.2880980 (2018).
Gao, Y., Jin, Y., Li, J., Choi, S. and Jin, Z.: EchoWhisper: Exploring an Acoustic-Based Silent Speech Interface for Smartphone Users, Proc. ACM Interact. Mob.
Wearable Ubiquitous Technol., Vol. 4, No. 3 (online),
DOI: 10.1145/3411830 (2020).
Jin, Y., Gao, Y., Zhu, Y., Wang, W., Li, J., Choi, S.,
Li, Z., Chauhan, J., Dey, A. K. and Jin, Z.: SonicASL:
An Acoustic-Based Sign Language Gesture Recognizer
Using Earphones, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 5, No. 2 (online), DOI:
10.1145/3463519 (2021).
Sony: wf-1000xm4, https://www.sony.jp/headphone/
special/WF-1000XM4/(2021).
(Accessed
on
09/06/2023).
Apple:
AirPods Pro, https://www.apple.com/
airpods-pro/ (2019). (Accessed on 09/06/2023).
Apple:
EarPods,
https://www.apple.
com/jp/shop/product/MNHF2FE/A/
earpods-with-35-mm-headphone-plug (2012). (Accessed on 09/06/2023).

© 2024 Information Processing Society of Japan

INT24011
2024/2/28

[23]

[24]
[25]

[26]

[27]

[28]

[29]

[30]

[31]

Victor:
HA-NP35T,
https://www.victor.jp/
headphones/lineup/ha-np35t/ (2022). (Accessedon 09/06/2023).
SHOKZ: OpenFit, https://shokz.com/products/
openfit (2023). (Accessed on 10/11/2023).
Baken, R. and Orlikoﬀ, R.: Clinical Measurement of
Speech and Voice, Speech Science, Singular Thomson
Learning (2000).
Audio-Technica:
AT9904,https://www.
audio-technica.com.hk/index.php?op=
productdetails&pid=461&lang=eng (2008). (Accessedon 09/06/2023).
Audio-Technica:
AT-MA2,https://www.
audio-technica.co.jp/product/AT-MA2(2002).
(Accessed on 09/06/2023).
ASUS:
Zenbook
14
UM425QA,
https://
www.asus.com/laptops/for-home/zenbook/zenbook-14-um425-qa/(2022).
(Accessed
on
09/06/2023).
steinberg:
UR22C, https://www.steinberg.net/
audio-interfaces/ur22c/ (2019). (Accessed on
09/06/2023).
WHO: Safe listening devices and systems: a WHO-ITU
standard,
https://www.who.int/publications/
i/item/9789241515276/(2019).
(Accessed
on
09/07/2023).
Chen, Y.-C., Liao, C.-Y., Hsu, S.-w., Huang, D.-Y. andChen, B.-Y.: Exploring User Deﬁned Gestures for EarBased Interactions, Proc. ACM Hum.-Comput. Interact., Vol. 4, No. ISS (online), DOI: 10.1145/3427314(2020).

97