情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28

ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMU センサによる耳タッチジェスチャの認識
佐藤 優希菜*1,a)

雨坂 宇宙*1

山本 匠1

渡邉 拓貴2

杉浦 裕太1

概要：近年，ライフログや音声サービスなどの様々な機能を搭載したイヤホン型デバイスである，ヒアラブ
ルの研究が多く行われている．一方，既存のヒアラブル単体での操作手法では限られたコマンドしか指定できず，デバイスの操作手法の拡張が必要である．本研究では，ヒアラブルの多くに内蔵されている IMU を用いたハンズジェスチャ入力手法を提案する．まず、ジェスチャ認識実験にあたって，ユーザ定義型ジェス
チャを調査する Elicitation study を行い，3 つのインタラクション領域に対して 2 つのデバイスタイプの計 6 つの条件によるジェスチャ定義の傾向を調査した．ユーザ定義型ジェスチャのうち耳を使ったジェス
チャの認識率の調査を行った結果，インイヤー型デバイスは 91.6%，耳掛け型デバイスは 76.6%であった．

1. はじめに一方，ハンズ入力手法 [6], [7], [8], [9] は触覚フィード
バックによるデバイス操作を可能にし，ユーザーフレン

近年，イヤホン型のウェアラブルデバイス（ヒアラブル）

ドリーな入力方法である．Chen ら [10] は耳周辺をインタがさらに注目されている．ヒアラブルとは従来の音楽鑑賞

ラクション領域として Gesture Elicitation Study を行い，や通話などの機能だけでなく，様々な機能が付加された高ユーザ定義型ジェスチャを明らかにした．また，Rateau

機能なイヤホン型デバイスを指す．多くの研究や開発が進ら [11] はスマートウォッチとイヤホンを装着した状態のめられており，今後はより多くのアプリケーションがヒア

ユーザ定義型ジェスチャを明らかにした．しかし，定義可ラブルに搭載されると予想される．一方，市販されている

能なジェスチャ種類に制限はなく，ヒアラブルのみを対象

ヒアラブルの多くはスマートフォンと連携して使用することした調査も行われていない．これらの研究には以下の２とが想定されているため，ヒアラブルの操作にはスマート

点の特徴がある．

フォンの画面をタッチする必要があり，ユーザビリティを

1. ユーザ定義型ジェスチャの一部が空中ジェスチャで損う．そのため，ヒアラブルのみを用いたデバイス操作手

ある：空中ジェスチャの認識は，Tamaki ら [12] や Metzger法が求められている．

ら [13] によって提案されているが，カメラや外向き赤外線

ヒアラブルのための新たな操作手法は，主に手を使わない

センサの搭載が必要である．したがって，空中ジェスチャ

入力（ハンズフリー入力）と手を使って行う入力（ハンズ入の認識システムが社会実装されるまでには時間を要すると力）にわかれる．ハンズフリー入力手法は，音声入力手法や考えられる．一方で，タッチベースのジェスチャについて

慣性/気圧/筋電/赤外線/音響センシング [1], [2], [3], [4], [5]は Xu ら [6] が、デバイスに内蔵されたマイクを使用して，を用いた頭部ジェスチャ手法などがこれまで研究されてき耳元でタッチした際のジェスチャの音を記録し認識するシ

た．音声入力の利用は公共の場での発声や騒音環境下でのステムを提案し，市販製品での実験を行った．また，市販認識精度の低下などの課題がある．頭部ジェスチャの利用

製品の一部では耳珠周辺のタップ動作時に発生する振動をは，頭を振るなどの大きな頭部の動きを伴うジェスチャは

加速度センサで測定することにより，ジェスチャ入力とし周囲に与える印象の懸念や視線が外れてしまう危険性の課て利用できる製品 [14] もある．これらの研究や製品に示さ題がある．一方，顎をずらすなどの小さな頭部の動きで実れているように，現在利用可能なジェスチャは限られてお現できるジェスチャは日常生活で行う動作と混同する課題

り，今後の技術進展によって利用可能なジェスチャやインがある．

タフェースは増えていくと考えられる．したがって，イン12a)

慶應義塾大学北海道大学
sato-yukina@keio.jp*These authors contributed equally to this work.

© 2024 Information Processing Society of Japan

タラクション領域に制約が与えられた場合のユーザ定義型
ジェスチャを調査することで，様々な入力技術に合わせた最適なジェスチャセットを明らかにする必要がある．

98情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 1

INT24012
2024/2/28

研究概要：3 つのインタラクション領域と 2 つのデバイスタイプの計 6 条件でのユーザ定義型ジェスチャを調査する Elicitation study を行った．ユーザ定義型ジェスチャのう
ち耳を使ったジェスチャの認識率調査を行った．

2. ヒアラブルのみを利用したユーザ定義型ジェスチャ

チャセットを利用する場合と，Elicitation Study によってが明らかにされていない：本研究は，ヒアラブルの操作を考案されたユーザ定義型ジェスチャを基にジェスチャセッ

デバイス自身で行う利用環境を想定している．そのため，トを決定する場合である．Morris ら [19] は，HCI 研究者

ユーザがヒアラブルのみを装着した状態のユーザ定義型

によって定義されたジェスチャセットよりも，Elicitation

ジェスチャを調査する必要がある．また，昨今のヒアラブ

study によって定義されたジェスチャセットの方が直感的

ルは形状や大きさが異なるデバイスが複数存在し，タッチであることを明らかにしている [28]．ジェスチャ定義の研できる箇所や面積が異なる．これらの差異がユーザ定義型

究は，顔 [20]，足 [21]，手 [22], [23]，頭 [24]，皮膚 [25] な

ジェスチャにどのような影響を与えるかは明らかにされてど，さまざまな身体の部位を使用して実施されている．まいない．

た，テレビ [26]，モバイル機器 [27]，ヘッドマウントディ

本研究では，ヒアラブルをセンシングデバイスとする場

スプレイ [28]，スマートウォッチ [29], [30]，スマートリ

合のジェスチャ入力に着目し，インタフェースの制約やデング [29]，帽子 [31]，マスク [32] など，様々なデバイスをバイスタイプの差異によってユーザが定義するジェスチャ使った研究も行われている．

がどのように変化するか調査した．さらに，ヒアラブルと耳に関する Elicitation study では，Chen ら [10] が耳周親和性の高い IMU(Inertial Measurement Unit) を用いて辺のインタラクションに関する調査を行い，ユーザ定義型

これらのジェスチャを認識する手法を提案し，ジェスチャ

ジェスチャの調査と深い考察が行われている．一方で，実認識実験を行った．IMU はライフログや空間オーディオ再験参加者はジェスチャのインタラクション領域に制約がな

現のために市販製品の多くに搭載されている．また，ヒア

く，イヤホン型デバイスを装着していなかった．これは純ラブルの新機能を実現するための研究にも IMU が利用さ

粋な耳へのインタラクションを調査する点では有効である．

れている [15], [16], [17], [18]．したがって，IMU を用いた

しかし，ヒアラブル向けのジェスチャ認識技術は開発中でハンズジェスチャ認識は，IMU を有効活用している点で，あり，利用可能なインタラクション領域は段階的に増えて筐体サイズが限られているヒアラブルの大きなメリットといくことが予想される．また，ヒアラブルへの入力を想定いえる．図 1 に本研究の概要を示す．本研究では 3 つのイする場合，デバイスを装着した状態での調査が望ましい．

ンタラクション領域に対して 2 つのデバイスタイプの計 6

Rateau ら [11] は，ヒアラブルとスマートウォッチを同時条件にて Elicitation study を行いユーザ定義型ジェスチャに装着した状態での Elicitation study を行っているが，同を明らかにした．その後，ユーザ定義型ジェスチャのうち様にインタラクション領域の制約が無い．また，デバイス

耳に触れるジェスチャ（耳タッチジェスチャ）を IMU にがヒアラブルのみに設定されていない．

て認識するシステムを提案し，その認識性能を調査した．

2. 関連研究2.1 ユーザ定義型ジェスチャの調査
ジェスチャ認識実験においてジェスチャセットを決定す本研究では，ヒアラブルのみを装着した状態のユーザ定義型ジェスチャを調査した．また，3 つのインタラクショ
ン領域の制約に対して 2 つのデバイスタイプの 6 条件において，ユーザ定義型ジェスチャがどのように変化するかを調査した．

るプロセスは 2 つある．実験者によって設計したジェス© 2024 Information Processing Society of Japan99

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28

2.2 ヒアラブル向けハンズジェスチャ入力

表 1

ハンズ入力に関する研究では，真鍋ら [7] は市販されていタスク一覧

タスクグループ

るヘッドホンに簡単な回路を組み合わせることでヘッドホ

タスク
上下左右にスクロール

ンのタップ動作を認識できることを示した．Roman ら [9]ズームイン，アウトは静電容量式センサを搭載した，耳掛け型デバイスによる最大化 / 最小化

画面操作

タッチ入力システムを提案した．菊池ら [8] は反射型光セ

ホーム画面に行く

ンサをイヤホン背部に装着することで耳を引っ張るジェス

次のアプリ，前のアプリ

チャを認識した．Xiu ら [6] はデバイス内蔵マイクを用い

進む，戻るて頬や耳上で行うスワイプジェスチャ時に発生する音を取

再生 / 停止

得することで，タッチジェスチャの認識に成功した．市販

音楽再生

音量を上げる，下げる

製品では，SONY の LinkBuds [14] が耳珠周辺のタップ時

次の曲，前の曲の振動を加速度センサを用いて認識し，デバイスへの入力

電話を取る / 切る
電話を無視するに利用することができる．
電話

空中ジェスチャでは，Metzger ら [13] が，近接センサを電話をかけるマイク on / oﬀ

搭載した空中ジェスチャ認識システムを提案した．Tamaki

スピーカ on / oﬀ

ら [12] はカメラを搭載したイヤホン型デバイスでの空中音声アシスタント

ジェスチャ入力システムを提案した．これらの研究では，

ボイスメモ

追加のセンサを必要とするため，市販のヒアラブルで利用

モード切替

カレンダーアプリの予定確認

可能ではないという制約がある．マイクによるジェスチャ

ヘルストラッキング機能

認識は市販デバイスに実装されている [6] が，マスク装着

通知時に利用できない制約や，騒音環境下でのジェスチャ抽出率や認識率の低下という課題がある．

限なし条件では，空中ジェスチャやタッチジェスチャなど本研究では，IMU によるジェスチャ入力システムを提案

自由にジェスチャを定義できる．タッチ条件は顔周辺のいする．IMU は，市販されているヒアラブルにすでに内蔵さずれかに指先が触れることを条件としている．耳タッチ条

れているため，実装コストの点で大きな制約はないと考え

件は耳に触れ，ヒアラブルが変位することを条件としている．騒音環境での認識率低下が生じないなどのメリットもる．また，いずれの条件もデバイスへのタッチジェスチャ

ある．さらに，既存研究に対する優位性だけでなく，IMUを定義可能としている．デバイスタイプは，一般的なデバとマイクを用いたマルチモーダルなセンシングなどの協調

イスタイプであるインイヤー型と耳掛け型の 2 種類を選択的な利用も考えられる．このようなユースケースの可能性した．

を明らかにするために，まず IMU 単体によるジェスチャ認
識精度を調査する必要がある．そこで本研究では，ユーザ定義型ジェスチャを２種類のデバイスで調査することで，ジェスチャやデバイスごとの認識精度を調査した．

3. ユーザ定義型ジェスチャの設計

3.1 実験概要
19 名の実験参加者（男性 11 名，女性 8 名，平均年齢：
25.8 歳）を募集し調査を行った．参加者全員が右利きで，16 名が週に 1 回以上イヤホンを利用していた．そのうち 9
名は，イヤホンをタップするなどの操作経験があり，2 名

本実験の目的は，以下の 3 つの問いに答えることである．

は日常的にイヤホンでの操作を使用していた．実験の所要• ユーザはどのようなジェスチャをヒアラブルの

時間は 1〜2 時間で，謝金として 3,000 円支払った．実験の入力として好むのか• インタフェースの制約やデバイスタイプの差異
がユーザ定義型ジェスチャにどのように影響するか• 既存のヒアラブルや耳に関する Elicitation studyとの何の共通点や相違点があるのか

実施には，慶應義塾大学理工学部の倫理委員会の許可（受付番号：2023-086）を得た．
タスクの一覧を表 1 に示す．関連研究 [10] を参考に画面
操作，音楽再生操作，電話のタスクグループを決定した．
さらに，ヒアラブルでの利用が想定される，音声アシスタ
ントの起動やボイスメモの起動，音声によるカレンダーの本実験では，3 種類のインタフェース条件ごとにそれぞ

確認，ヘルストラッキング機能の起動，通知のモード切替

れ 2 種類のデバイスタイプの合計 6 条件に対して，同じタを行うグループを追加し，合計 32 種類とした．画面操作のスク群のジェスチャ定義を行った．インタフェース条件は，タスクはスマートグラスやスマートウォッチなどのデバイ

これまでのヒアラブル向けジェスチャ入力手法を参考に，

スを操作することを想定しており，それ以外はすべてヒア

制限なし条件・タッチ条件・耳タッチ条件を設定した．制

ラブルで完結するタスクである．まず，参加者に各タスク© 2024 Information Processing Society of Japan100

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28の機能をより良く理解してもらうために，画面操作，音楽再生操作，電話のタスクを行った際の動作画面を録画した動画を観せ，タスクの具体的な動作結果を説明した．モー
ド切替のタスクグループは口頭による説明を行った．結果
として得られるジェスチャセットを社会的なシナリオにふ
さわしいものにするために，研究室内のオープンで快適な環境で実験を行った．
次に，ジェスチャを定義する際のルールを説明した．ジェスチャ定義のルールは，以下の通りである．

• 同一のタスクグループ内に同じジェスチャは割り当て不可• スラッシュで区切られたジェスチャ同士（例：画面最大化/最小化）は状態の切替えタスクである
ため，同じジェスチャを割り当て可能• 実験中はいつでもジェスチャを変更可能• 同じジェスチャを右手と左手で異なるタスクに割り当て可能図 2

ジェスチャ定義されたインタフェース領域の割合• 両手で行うジェスチャも定義可能
ルールの説明の後に，ジェスチャを定義する 3 つのイン
タフェース条件について説明した．実験は，制限なし条件，
タッチ条件，耳タッチ条件の順で行った．デバイスは，各条件でインイヤー型デバイス，耳掛け型デバイスの順に行った．インイヤー型デバイスには AirPods Pro(Apple)，耳掛け型デバイスには HA-NP35TBK(Victor) を使用した．

3.2 解析結果

図 3

デバイス上のジェスチャ位置と割合定義されたジェスチャのインタフェース箇所を空中，デスワイプジェスチャを複数個所に設定するユーザはいな

バイス本体，耳，顔・首・胸の 4 種類に分類した．各条件

かったが，耳掛けでは，ドライバ部分，上部，背部のステでのインタフェース箇所の割合を図 2 にまとめた．空中でム部分にそれぞれスワイプジェスチャを定義するユーザがは，指先のピンチイン，ピンチアウトや，手を開く，閉じいた．このように，耳掛け型デバイスの筐体サイズが大きる，電話のサイン，手をかざすなどのジェスチャが定義さいため，タッチ可能な部位が多くなることで，デバイス本

れた．デバイス本体において定義されたジェスチャ位置と体への定義割合が増加した．

割合を図 3，耳，顔・首・胸において定義されたジェスチャ

3.2.3 Agreement Rates

位置と割合を図 4 に示す．

3.2.1 インタフェースの制約による傾向
図 2 に示すように，制限なし条件ではいずれのデバイス

Vatavu と Webbrock らによって提案されている Agreemente Rates [33] を算出した．Agreemente Rates は以下の定義式によって算出される．

タイプでも，空中ジェスチャ (平均 42.9%) とデバイスへのジェスチャ (平均 38.9%) が定義される割合が高かったが，顔・首・胸を使ったジェスチャ（平均 2.9%）を定義す
るユーザは非常に少なかった．一方，タッチ条件では顔・AR(r) =

|P | ∑|P | − 1

Pi ⊆P

(

|Pi |
|P |

)2
−

1
|P | − 1

P は操作 r に対する提案の集合，|P | は P の要素数，Pi

首・胸を使ったジェスチャの定義割合が 20%以上まで増加

は P から同じ提案についての部分集合である [10]．図 5

した．これは，空中へ定義されたジェスチャの多くが，顔・に，各条件におけるそれぞれのタスクに対する AR を示す．

首・胸の部位に割り当てられたためである．特に，頬や首全条件の平均が最も高かったタスクは，音楽再生グループのジェスチャが好まれることが分かった．

における停止タスクで，平均 0.50 であった．全条件の平均

3.2.2 デバイスタイプの差異が最も低かったタスクは，アプリケーショングループのヘ

インイヤー型デバイスと比較して，耳掛け型デバイスはルストラッキングタスクで，平均は 0.07 であった．AR はデバイスへのジェスチャの割合がいずれのインタフェース

非常に高い一致率 (AR>0.5)，高い一致率 (0.5>AR>0.3)，

条件でも高かった．例えば，インイヤー型デバイスでは，

中程度の一致率 (0.3>AR>0.1)，低い一致率 (AR<0.1) の© 2024 Information Processing Society of Japan101

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 4

図 5

INT24012
2024/2/28

ジェスチャ位置と割合 A：耳，B：顔・首・胸Agreement Rates (A: 制限なし，B: タッチ条件，C: 耳タッチ条件)

4 つに分類される．各タスクの AR のスコア分布割合は，

チャが異なったものである．

2.7%(AR ≧ 0.5)，22.5%(0.5>AR ≧ 0.3)，50.9%(0.3>AR

3.3.1 ユーザがヒアラブルの入力として好むジェスチャ≧ 0.1)，23.9%(AR<0.1) であった．AR が 0.1 以上のタス
クは全体の約 80%であった．

AR が最も高く，最も定義されたのはデバイスへのタップであった．これは，最も直感的かつ多くのヒアラブルでデバイスのタップ機能がすでに利用可能であるためと考え

3.3 ユーザ定義型ジェスチャ
AR が概ね 0.1（76.1%）以上であったため，AR 導出時られる．また，対称的なタスクや方向を示すタスクは，動作も対称的や方向を示すジェスチャが定義された．この傾に最も定義率が高かったジェスチャを各タスクのユーザ定向はすべての条件において同じであった．

義型ジェスチャとした．耳タッチ条件で定義されたユーザ

3.3.2 インタフェースの制約やデバイスタイプの差異に

定義型ジェスチャを表 2 に示す．太字になっているジェス
チャはデバイスタイプの差異によって，定義されたジェス© 2024 Information Processing Society of Japanよる影響
インタラクション領域の制約がユーザ定義型ジェスチャ

102情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28

表 2
タスクグループ

画面操作

音楽再生操作

電話

モード切り替え

耳タッチ条件のユーザ定義型ジェスチャ

タスク

インイヤー型デバイス

耳掛け型デバイス

スクロール右/左

デバイスを前/後ろにスワイプ

デバイスを前/後ろにスワイプ

スクロール上/下

デバイスを上/下にスワイプ

デバイスを上/下にスワイプ

ズームイン

耳輪上部と耳たぶをたたむ

デバイス上でピンチイン

ズームアウト

耳輪をピンチアウト

デバイス上でピンチアウト

最大化

耳輪上部を上に引っ張る

耳輪上部を上に引っ張る最小化

耳たぶを下に引っ張る

耳たぶを下に引っ張る

ホーム画面に行く

デバイスをタップ

デバイスをタップ

次のアプリ

耳輪を下にスワイプ

デバイスをダブルタップ

前のアプリ

耳輪を上にスワイプ

デバイスをダブルタップ（左耳）進む

耳珠を後ろにスワイプ

耳たぶを後ろに引っ張る

戻る

耳珠を前にスワイプ

耳たぶを前に引っ張る

再生 / 停止

デバイスをタップ

デバイスをタップ

音量を上げる / 下げる

耳輪を上/下にスワイプ

デバイスを上/下にスワイプ

次の曲

デバイスをダブルタップ

デバイスをダブルタップ

前の曲

デバイスをダブルタップ (左耳)

デバイスをダブルタップ (左耳)

電話を取る / 切る

デバイスをタップ

デバイスをタップ

電話を無視するデバイスを長押しデバイスを長押しデバイスを後ろにスワイプ

電話をかける

デバイスを後ろにスワイプ

マイク on / oﬀ

耳たぶを下に引っ張る

耳たぶを下に引っ張るスピーカ on / oﬀ

デバイスをダブルタップ (左耳)

デバイスをダブルタップ (左耳)

音声アシスタント

デバイスを長押しデバイスを長押し

ボイスメモ

デバイスをタップ

デバイスをタップカレンダーアプリで予定確認

耳輪を下にスワイプ

耳輪を下にスワイプ

ヘルストラッキング

耳珠を後ろにスワイプ

耳輪中部を後ろに引っ張る通知

耳全体を前にたたむ

耳たぶを下に引っ張るに与える影響は，画面操作グループの上下左右にスクロー

ス良く分布していた．一方，耳掛け型デバイスでは，耳輪ルするタスクにおいて顕著であった．方向を示すタスクのと耳たぶに対するジェスチャが多く定義された．これらの平均 AR は各インタラクション条件で 0.42(制限なし条件)，

ジェスチャは，デバイスタイプに依存しない普遍的なユー0.18(タッチ条件)，0.21（耳タッチ条件）とばらつきがあっ

ザ定義ジェスチャである可能性が高いが，確認するためにた．ほとんどの方向指示タスクは，手や指のスワイプを伴はさらに異なるデバイスタイプで調査する必要がある．

うジェスチャが定義されることが多かったため，広い空間

3.3.3 既存の Elicitation study との共通点や相違点で定義される傾向があった．そのため，制限なし条件では，本研究では，ヒアラブルのみでの入力を想定したユーザ

最も自由度の高い空中ジェスチャが方向指示タスクに用い

定義型ジェスチャを調査した．デバイスへのタップやスワられたと考えられる．しかし，空中ジェスチャが利用でき

イプ関連のジェスチャが音楽の再生・停止や方向指示のタない場合は，デバイス，耳 (主に耳珠と耳輪)，顔・首・胸スクにおいて，最も AR が高い結果となった．この結果は，にジェスチャの定義が分散され，AR が低下した．

デバイスを装着した状態の Elicitation Study [11] と一致す

デバイスタイプの差異による影響について説明する．耳るが，デバイスを装着せずに行った Elicitation study [10]掛け型デバイスの AR がインイヤー型デバイスよりも高いの結果とは異なった．つまり，デバイス装着の有無がユー傾向がある．これは，デバイス面積が大きくなったことでザ定義型ジェスチャに大きく影響することが示唆された．

デバイスへのジェスチャ定義が好まれたことと，耳輪や耳また，AR の平均は本研究が 0.20(SD=0.03) であり，関連珠を使ったジェスチャが避けられたことの２つの原因に研究 [10], [11] の 0.21 と非常に似た結果となった．これらよると考えられる．また，同じタスクでデバイスタイプにの結果は，耳周辺に関するインタラクションでは，デバイ

よってジェスチャが異なるペアの多くは，インイヤー型デスタイプや装着状態に関係なく，多くのユーザが同程度のバイスでは耳を使ったジェスチャ，耳掛け型デバイスでは直感を持ってジェスチャを定義していることが示された．

デバイスへのジェスチャが定義されていた．インイヤー型
デバイスの耳を使ったジェスチャでは，耳輪，耳たぶ，耳珠，耳全体の変形といった変形パターンに関してもバラン© 2024 Information Processing Society of Japan

4. IMU によるジェスチャ認識
ヒアラブルに内蔵されている IMU を用いたジェスチャ

103情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28

図 6システムの概要

認識手法を提案する．本手法では，ヒアラブルと親和性の高い IMU を用いることで，実装コストを削減し IMU の効
率的な利用を可能にする．安定した環境で座った状態での実験を行い，本手法のベースライン認識精度を調査した．

4.1 認識システム
認識システムの概要を図 6 に示す．ユーザは IMU が内蔵されているヒアラブルを装着し，ジェスチャを行った．
ジェスチャによってイヤホンにかかる荷重の方向や強さが図 7

インイヤー型デバイスと耳掛け型デバイス異なるため，得られる IMU データも異なる．認識システ
ムは，DTW（Dynamic Time Warping）距離をメトリックとした k-NN（k-Nearest Neighbor）によってジェスチャの予測をした．

4.3 評価実験
本実験ではインイヤー型デバイスと耳掛け型デバイスにて，それぞれ 11 名ずつの実験を行った．5 名が両方のデバ

まず，事前に収集したジェスチャデータ間の DTW 距離

イス実験に参加し，残りは異なる参加者であるため，延べを計算し，時系列データの類似度を学習させた．そして，

人数は 16 名であった（男：11 名，女：5 名，年齢：平均

k-NN で未知のジェスチャデータと DTW 距離が最も近い

26.8 歳）．ただし，耳掛け型実験では，1 名のデータ測定に

k 個の学習データを選択し，多数決で未知データのジェス

不備があったため有効なデータは 10 名分となった．1 デチャラベルを予測した．この実験では，データの自動切りバイスあたりの実験時間は約 1 時間で，謝金として 3,000

出しは行わず，データ計測の開始と終了は手動で行った．

円を支払った．実験参加者は全員右利きで，14 名が週に 1予備実験にて，角速度データのみで認識精度が最も高かっ回以上イヤホンを利用していた．本実験の実施には，慶應たため，加速度と重力加速度のデータは使用しなかった．

義塾大学理工学部の倫理委員会の許可を得た．
まず，実験参加者にジェスチャの説明を行った．参加者

4.2 実装は右手を使ってすべてのジェスチャをするよう指示した．

本研究では，インイヤー型と耳掛け型の 2 種類のデバイス

各ジェスチャについて参加者が正しく行えるように簡単な（図 7）を用いてジェスチャ認識実験を行った．インイヤー

練習を行った．その後，ディスプレイに表示されたジェス型デバイスの IMU データの取得には，Apple の Airpods

チャを実行してもらい，その間のセンサデータを取得した．

Pro を使用した．AirPods Pro からセンサデータを取得でジェスチャはランダムに表示され，全てのジェスチャの測きる API を使用し，IMU データを取得するアプリを Swift定を行った．これを 1 ラウンドとし，デバイスの着脱を挟を用いて実装した．耳掛け型デバイスは，IMU が取得可能

んで合計 12 ラウンド測定した．

なデバイスを発見することができなかったので，デバイス

表 2 の耳タッチ条件のユーザ定義型ジェスチャから耳を筐体のみ Victor の HA-NP35TBK を使用し，内部に 9 軸使ったジェスチャ（図 8）を選択し，認識率を評価した．た

センサ BNO005 を配置したプロトタイプデバイスを作製しだし，デバイスタップ（左耳）などはデバイスタップ（右た．センサデータは有線接続した Arduino Uno を介して耳）と同一動作のジェスチャであるため省略した．インイ

シリアル通信にてラップトップ PC(ASUS: ROG FLOW)

ヤー型デバイスでは 9 種類，耳掛け型デバイスでは 6 種へと送信し，データを収集した．各デバイスのデータ測定

類のジェスチャのデータ測定を行った．本研究で使用したのサンプリングレートは約 30Hz であった．機械学習およ

AirPods Pro や HA-NP35TBK には，感圧センサを利用しび耳掛け型デバイスの PC 側のデータ収集のプログラムはたデバイスへのタップなどのジェスチャ入力機能が実装

python3.7 で実装した．

されている．今後も利用できるジェスチャは増加し，ピンチイン/アウトを含めたデバイスへのユーザ定義型ジェス© 2024 Information Processing Society of Japan104

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28

図 8

ジェスチャセット

図 9

識別結果

チャのほとんどは感圧センサを用いて認識可能となると考その内耳輪を 2 方向に引っ張るジェスチャ，耳たぶを 3 方えられる．本実験では耳を使ったジェスチャの認識率を調向に引っ張るジェスチャと似たジェスチャが 5 種類あった

査することにより，感圧センサと組み合わせた場合の本手ため，これらのジェスチャ間の誤認識率が増加したことが法の精度を評価した．

要因と考えられる．また，耳掛け型デバイスは，耳に接している面積が大きく安定した装着ができるため，耳の変位

4.4 結果図 9 にジェスチャセットの認識精度をまとめた混同行
列を示す．混同行列内の数値は precision の百分率を示す．
全体平均認識率は，インイヤー型デバイスが 91.6%，耳掛け型デバイスが 76.6%であった．最も認識率の高いジェスに対して得られるデバイスの変位が小さかったことも要因として考えられる．

5. 議論・今後の展望
5.1 ジェスチャセット

チャは，インイヤー型デバイスでは耳全体を前にたたむ本研究では，3 条件のインタフェース条件に対して 2 種（97.7%）で，耳掛け型デバイスでは耳輪中部を前に引っ類のデバイスタイプの計 6 条件において，ヒアラブルへの張る（89.2%）であった．また，最も認識率の低いジェス入力に着目したユーザ定義型ジェスチャを調査した．特に，チャは，インイヤー型デバイスでは耳たぶを下に引っ張る

デバイスタイプの差異はユーザ定義型ジェスチャに影響を（74.6%）で，耳掛け型デバイスでは耳たぶを後ろに引っ張与えることが分かった．ヒアラブルの形体は，本研究で調る（58.3%）であった．両デバイスにおいて耳たぶを使っ査したインイヤー型や耳掛け型以外にも，一体型 [34] やクたジェスチャの認識精度が低かったが，耳たぶの変位によリップ型 [35] など様々である．このような多くのデバイ

るデバイスの変位が他の部位と比べて小さかったことや，スタイプでのユーザ定義型ジェスチャの知見を収集するこ人によって耳たぶの大きさが異なるためジェスチャのしやとで，デバイスタイプのデザイン指針を明らかにすること

すさに差が出たことなどが要因として考えられる．

が，本研究の展望として可能性が広がる．また，実験参加

インイヤー型デバイスでは 91.6%という高い認識精度が者の中には，すでにイヤホンへのタップジェスチャなどを得られており，IMU を用いたジェスチャ認識が可能である

利用したことがある，もしくは知識として知っている参加

ことがわかった．一方，耳掛け型デバイスの認識率はイン者がいた．このような事前知識の有無や，年齢，文化など

イヤー型デバイスと比べて低かった．これは，耳掛け型デの差異が及ぼす影響を今後はさらに調査する必要がある．

バイスでは 6 種類のジェスチャの認識精度を調査したが，© 2024 Information Processing Society of Japan105

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

INT24012
2024/2/28

5.2 ジェスチャ認識
特徴量の改善，深層学習の利用などによってさらなる認識率の向上が期待できる．また，ジェスチャ検出機能を実[3]装し，歩行時や運動時など日常動作中のジェスチャの検出や認識精度を評価する必要がある．日常動作でのジェス
チャには，動作ノイズが含まれる．認識精度の低下を防ぐ
ために，動作ノイズを取り除くための手法 [36], [37] が多く提案されており，これらの手法の利用も検討する必要があ[4]

る．一方で，本手法はヒアラブルを利用するため，左右のデバイスから慣性データを同時に取得できる特徴がある．
したがって，一方はジェスチャ＋動作成分，もう一方は，動[5]作成分のみを含む慣性データが得られる．これらの左右のデータを利用する方式はイヤホン特有のノイズ除去アルゴ
リズムであり，今後研究を進める予定である．Elicitation

study と同様に一体型やクリップ型のデバイスでのジェス
チャ認識精度も調査し，提案手法の適用可能性を明らかにする予定である．

[6]

Elicitation study ではデバイスの面積が広い耳掛け型デバイスの AR のほうが高かった．一方，デバイス面積が大
きくなることで，類似したジェスチャが定義されることが多くなり，ジェスチャ認識率は低下するという課題も生じ[7]

ることが分かった．今後は，実際の認識システムをユーザに提示することで，直感性やユーザビリティを調査する予定である．これによって認識精度がユーザビリティにどの[8]ような影響を与えるかが明らかになり，実生活に最適なジェスチャセットや認識システムの開発が可能になると考
える．

6. 結論

[9]

本研究では，ヒアラブルへの入力を想定したハンズジェ
スチャの Elicitation study を行い，ユーザの好むジェス
チャや制約・条件による定義の傾向の変化を明らかにした．
決定したユーザ定義型ジェスチャのうち耳を使ったジェス
チャに対して，IMU によるジェスチャ認識実験を行った．

[10]

実験の結果，インイヤー型デバイスでの 9 種類のジェス
チャ認識率が 91.6%，耳掛け型デバイスでの 6 種類のジェ
スチャ認識率が 76.6%であった．
謝辞

[11]

本研究の一部は，JST さきがけ（課題番号：JP-

MJPR2134，JPMJPR2138）および JSPS 科研費（課題番
号：JP23KJ1884）の支援を受けたものである．
[12]

参考文献
[1]

[2]

Ando, T., Kubo, Y., Shizuki, B. and Takahashi, S.:
CanalSense:Face-Related Movement Recognition System
Based on Sensing Air Pressure in Ear Canals, Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, UIST ’17, ACM, pp.
679–689 (2017).
Taniguchi, K., Kondo, H., Kurosawa, M. and Nishikawa,

[13]

[14]

© 2024 Information Processing Society of Japan

A.: Earable TEMPO: A Novel, Hands-Free Input Device
that Uses the Movement of the Tongue Measured with a
Wearable Ear Sensor, Sensors, Vol. 18, No. 3 (2018).
Matthies, D. J. C., Strecker, B. A. and Urban, B.:
EarFieldSensing: A Novel In-Ear Electric Field Sensing
to Enrich Wearable Gesture Input Through Facial Expressions, Proceedings of the 2017 CHI Conference on
Human Factors in Computing Systems, CHI ’17, ACM,
pp. 1911–1922 (2017).
Amesaka, T., Watanabe, H. and Sugimoto, M.: Facial
Expression Recognition Using Ear Canal Transfer Function, Proceedings of the 23rd International Symposium
on Wearable Computers, ISWC ’19, ACM, pp. 1–9 (online), DOI: 10.1145/3341163.3347747 (2019).
Bedri, A., Byrd, D., Presti, P., Sahni, H., Gue, Z.
and Starner, T.: Stick It in Your Ear: Building an
In-ear Jaw Movement Sensor, Adjunct Proceedings ofthe 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings ofthe 2015 ACM International Symposium on Wearable
Computers, UbiComp/ISWC ’15 Adjunct, ACM, pp.
1333–1338 (2015).
Xu, X., Shi, H., Yi, X., Liu, W., Yan, Y., Shi, Y., Mariakakis, A., Mankoﬀ, J. and Dey, A. K.: EarBuddy: Enabling On-Face Interaction via Wireless Earbuds, Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, CHI ’20, ACM, pp. 1–14
(online), DOI: 10.1145/3313831.3376836 (2020).
Manabe, H. and Fukumoto, M.: Headphone Taps: Tap
Control for Regular Headphones, Journal of Information Processing, Vol. 55, No. 4, pp. 1334–1343 (2014).
Kikuchi, T., Sugiura, Y., Masai, K., Sugimoto, M. andThomas, B. H.: EarTouch: Turning the Ear into an Input Surface, Proceedings of the 19th International Conference on Human-Computer Interaction with Mobile
Devices and Services, MobileHCI ’17, New York, NY,
USA, ACM, (online), DOI: 10.1145/3098279.3098538(2017).
Lissermann, R., Huber, J., Hadjakos, A., Nanayakkara,
S. and Mühlhäuser, M.: EarPut: Augmenting Ear-Worn
Devices for Ear-Based Interaction, Proceedings of the
26th Australian Computer-Human Interaction Conference on Designing Futures: The Future of Design,
OzCHI ’14, New York, NY, USA, ACM, pp. 300–307(online), DOI: 10.1145/2686612.2686655 (2014).
Chen, Y.-C., Liao, C.-Y., Hsu, S.-w., Huang, D.-Y. andChen, B.-Y.: Exploring User Deﬁned Gestures for EarBased Interactions, Proceedings of the ACM on HumanComputer Interaction, Vol. 4, No. ISS (online), DOI:
10.1145/3427314 (2020).
Rateau, H., Lank, E. and Liu, Z.: Leveraging Smartwatch and Earbuds Gesture Capture to Support Wearable Interaction, Proceedings of the ACM on HumanComputer Interaction, Vol. 6, No. ISS (online), DOI:
10.1145/3567710 (2022).
Tamaki, E., Miyaki, T. and Rekimoto, J.: Brainy Hand:
An Ear-Worn Hand Gesture Interaction Device, CHI’09 Extended Abstracts on Human Factors in Computing Systems, CHI EA ’09, New York, NY, USA, ACM,
pp. 4255–4260 (online), DOI: 10.1145/1520340.1520649(2009).
Metzger, C., Anderson, M. and Starner, T.: FreeDigiter:
A Contact-Free Device for Gesture Control, Eighth International Symposium on Wearable Computers, Vol. 1,
pp. 18–21 (online), DOI: 10.1109/ISWC.2004.23 (2004).
SONY: LinkBuds, https://www.sony.jp/headphone/106

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

products/LinkBuds/ (2022). (2023.09.13. accessed).
Röddiger, T., Wolﬀram, D., Laubenstein, D., Budde,
M. and Beigl, M.: Towards Respiration Rate Monitoring Using an In-Ear Headphone Inertial Measurement Unit, Proceedings of the 1st International Workshop on Earable Computing, EarComp ’19, New
York, NY, USA, ACM, pp. 48–53 (online), DOI:
10.1145/3345615.3361130 (2020).
Bi, H., Sun, Y., Liu, J. and Cao, L.: SmartEar:
Rhythm-Based Tap Authentication Using Earphone inInformation-Centric Wireless Sensor Network, IEEE Internet of Things Journal, Vol. 9, No. 2, pp. 885–896(online), DOI: 10.1109/JIOT.2021.3063479 (2022).
Mollyn, V., Arakawa, R., Goel, M., Harrison, C. andAhuja, K.: IMUPoser: Full-Body Pose Estimation Using
IMUs in Phones, Watches, and Earbuds, Proceedings ofthe 2023 CHI Conference on Human Factors in Computing Systems, CHI ’23, New York, NY, USA, ACM,
(online), DOI: 10.1145/3544548.3581392 (2023).
Verma, D., Bhalla, S., Sahnan, D., Shukla, J. and Parnami, A.: ExpressEar: Sensing Fine-Grained Facial Expressions with Earables, Proceedings of the ACM on
Interactive, Mobile, Wearable and Ubiquitous Technologies, Vol. 5, No. 3 (online), DOI: 10.1145/3478085(2021).
Morris, M. R., Wobbrock, J. O. and Wilson, A. D.:
Understanding Users’ Preferences for Surface Gestures,
Proceedings of Graphics Interface 2010, GI ’10, CAN,
Canadian Information Processing Society, p. 261–268(2010).
Masai, K., Kunze, K., Sakamoto, D., Sugiura, Y. and
Sugimoto, M.: Face Commands - User-Deﬁned Facial Gestures for Smart Glasses, 2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp. 374–386 (online), DOI: 10.1109/ISMAR50242.2020.00064 (2020).
Fukahori, K., Sakamoto, D. and Igarashi, T.: Exploring
Subtle Foot Plantar-Based Gestures with Sock-Placed
Pressure Sensors, Proceedings of the 33rd Annual ACM
Conference on Human Factors in Computing Systems,
CHI ’15, New York, NY, USA, ACM, p. 3019–3028 (online), DOI: 10.1145/2702123.2702308 (2015).
Chan, E., Seyed, T., Stuerzlinger, W., Yang, X.-D.
and Maurer, F.: User Elicitation on Single-Hand Microgestures, Proceedings of the 2016 CHI Conferenceon Human Factors in Computing Systems, CHI ’16,
New York, NY, USA, ACM, p. 3403–3414 (online), DOI:
10.1145/2858036.2858589 (2016).
Sharma, A., Roo, J. S. and Steimle, J.: Grasping Microgestures: Eliciting Single-Hand Microgestures for Handheld Objects, Proceedings of the 2019 CHI Conferenceon Human Factors in Computing Systems, CHI ’19,
New York, NY, USA, ACM, p. 1–13 (online), DOI:
10.1145/3290605.3300632 (2019).
Yan, Y., Yu, C., Yi, X. and Shi, Y.: HeadGesture:
Hands-Free Input Approach Leveraging Head Movements for HMD Devices, Proc. ACM Interact. Mob.
Wearable Ubiquitous Technol., Vol. 2, No. 4 (online),
DOI: 10.1145/3287076 (2018).
Weigel, M., Mehta, V. and Steimle, J.: More than Touch:
Understanding How People Use Skin as an Input Surface
for Mobile Computing, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI’14, New York, NY, USA, ACM, p. 179–188 (online),
DOI: 10.1145/2556288.2557239 (2014).
Vatavu, R.-D.: User-Deﬁned Gestures for Free-Hand© 2024 Information Processing Society of Japan

INT24012
2024/2/28

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]
[35]
[36]

[37]

TV Control, Proceedings of the 10th European Conference on Interactive TV and Video, EuroITV ’12,
New York, NY, USA, ACM, p. 45–48 (online), DOI:
10.1145/2325616.2325626 (2012).
Ruiz, J., Li, Y. and Lank, E.: User-Deﬁned Motion Gestures for Mobile Interaction, Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems,
CHI ’11, New York, NY, USA, ACM, p. 197–206 (online), DOI: 10.1145/1978942.1978971 (2011).
Serrano, M., Ens, B. M. and Irani, P. P.: Exploring theUse of Hand-to-Face Input for Interacting with HeadWorn Displays, Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems, CHI ’14,
New York, NY, USA, ACM, p. 3181–3190 (online), DOI:
10.1145/2556288.2556984 (2014).
Gheran, B.-F., Vanderdonckt, J. and Vatavu, R.-D.:
Gestures for Smart Rings: Empirical Results, Insights,
and Design Implications, Proceedings of the 2018 Designing Interactive Systems Conference, DIS ’18, New
York, NY, USA, ACM, p. 623–635 (online), DOI:
10.1145/3196709.3196741 (2018).
Malu, M., Chundury, P. and Findlater, L.: Exploring Accessible Smartwatch Interactions for People with Upper
Body Motor Impairments, Proceedings of the 2018 CHI
Conference on Human Factors in Computing Systems,
CHI ’18, New York, NY, USA, ACM, p. 1–12 (online),
DOI: 10.1145/3173574.3174062 (2018).
Dierk, C., Carter, S., Chiu, P., Dunnigan, T. and Kimber, D.: Use Your Head! Exploring Interaction Modalities for Hat Technologies, Proceedings of the 2019 on Designing Interactive Systems Conference, DIS ’19, New
York, NY, USA, ACM, pp. 1033–1045 (online), DOI:
10.1145/3322276.3322356 (2019).
Yamamoto, T., Masai, K., Withana, A. and Sugiura,
Y.: Masktrap: Designing and Identifying Gestures toTransform Mask Strap into an Input Interface, Proceedings of the 28th International Conference on Intelligent
User Interfaces, IUI ’23, New York, NY, USA, ACM, p.
762–775 (online), DOI: 10.1145/3581641.3584062 (2023).
Vatavu, R.-D. and Wobbrock, J. O.: Formalizing Agreement Analysis for Elicitation Studies: New Measures,
Signiﬁcance Test, and Toolkit, Proceedings of the 33rd
Annual ACM Conference on Human Factors in Computing Systems, CHI ’15, New York, NY, USA, Association for Computing Machinery, pp. 1325–1334 (online),
DOI: 10.1145/2702123.2702223 (2015).
SHOKZ:OPENRUN,https://jp.shokz.com/
products/openrun (2023). (2023.09.13. accessed).
Ambie:
Ambie,
https://ambie.co.jp/
soundearcuffs/ (2017). (2023.09.13. accessed).
Song, Z., Cao, Z., Li, Z., Wang, J. and Liu, Y.: Inertial motion tracking on mobile and wearable devices:
Recent advancements and challenges, Tsinghua Scienceand Technology, Vol. 26, No. 5, pp. 692–705 (online),
DOI: 10.26599/TST.2021.9010017 (2021).
Kang, P., Li, J., Fan, B., Jiang, S. and Shull, P. B.:
Wrist-Worn Hand Gesture Recognition While Walking
via Transfer Learning, IEEE Journal of Biomedical and
Health Informatics, Vol. 26, No. 3, pp. 952–961 (online),
DOI: 10.1109/JBHI.2021.3100099 (2022).

107