WISS 2021

能動的音響計測に基づくスタイラスの把持状態識別手法の検討
髙倉 礼 ∗

鈴木 健介 †

國分 晴利 ∗

志築 文太郎 ‡概要. 本稿では，能動的音響計測および機械学習を用いて，ユーザによるスタイラスの把持状態を識別する手法を示す．特に，スタイラスの内部構造の違いにより音響信号の伝わり方が異なることに着目し，我々は 3D プリント時の充填率を変えることによりスタイラスの内部構造を変え，把持状態の識別精度がどのように変わるか調査した．結果，充填率が 25%，50%，および 75%のスタイラスにおいて 6 つの把持状態を95%程度にて識別できること，および充填率 100%のスタイラスでは把持状態の識別精度が 89.8%となることがわかった．この結果に基づき，能動的音響計測に基づく把持状態が識別可能なスタイラスを作製する
場合における設計指針を述べる．

1

はじめに

タブレット端末を用いてメモをとる時，およびイ
ラストを描く時には主にスタイラスが用いられる．
多くのスタイラスは筆圧および傾きを検知し，実世
界における鉛筆や筆のように描く線の太さおよび濃さを調節できる．しかし，マーカや消しゴムといった描画ツールを変更する時，および描画色を変更する時には，アプリケーション内にある多くのメニュー群の中から目的の描画ツールおよび色を選択する必要があり，操作に時間がかかる．Apple Pencil [1]はスタイラスにてダブルタップジェスチャを行うことにより，Bamboo Fineline [22] はスタイラスに設けられているボタンを押すことにより，描画ツー
ルを高速に切替えられる．しかし，ユーザは現在使用している描画ツールを把握しておく必要があるた
め，描画作業を再開する時には適宜メニューを確認
しなければならない．
我々はこの課題に対して筆記用具の把持方法に着目した．筆記用具にはそれぞれ特有の把持方法がある．例えば，鉛筆を持つ時は 1 本掛け，習字にて筆を持つ時は 2 本掛け（双鉤法とも呼ばれる）といった把持方法が挙げられる．また，消しゴム付きの鉛筆を利用するときは逆さ持ちをすれば消しゴムが使える．これらの把持方法のメタファに基づいて，把持状態に応じた描画ツールを使用できれば，ユーザはアプリケーション内のメニューを確認せずとも現在使用しているスタイラスの描画ツールを把握できると考えられる． そこで我々は，ユーザによるス
タイラスの把持状態に着目し，指の 1 本掛けでスタイラスを把持すれば鉛筆，2 本掛けで把持すれば筆，逆持ちで把持すれば消しゴムといったように，描画ツールを把持状態によって切替えられる手法を考案
Copyright is held by the author(s).
筑波大学 情報理工学位プログラム†
筑波大学 情報科学類‡
筑波大学 システム情報系∗

図 1. 把持状態およびその周波数応答．左から順に 1 本
掛け，2 本掛け，握り持ち．

図 2. スタイラス把持状態識別システム．

した．既存のスタイラスの筆圧および傾きを検知する機能をそのまま活かすために，我々はスタイラスの物理的な形状を制限しない能動的音響計測 [6,16,24]を利用することより，把持状態を識別できるか検討した．本手法の概念実証を示すために，今回我々はオーディオインタフェースを用いた試作システムを作成した（図 1 および図 2）．
能動的音響計測とは，物体に振動を与え，物体を伝搬した振動を解析し，その周波数応答に基づき物体の状態を識別および推定する手法である．特に物体の材質および内部構造の違いにより周波数応答は異なる [12]．そのため，スタイラスの材質および内部構造が把持状態の識別精度へ影響を与えると考えられる．しかし，市販のスタイラスは材質および内部構造が多様なため，どの要因が把持状態識別へ影響を与えるのか特定することが難しい．したがって，

WISS 2021

我々は同じ材質および大きさにて異なる内部構造の物体を作成できる 3D プリンタを使用してスタイラ
スを作成した．これにより，内部構造の違いのみに着目してスタイラスの把持状態識別への影響を検証できる． 本稿ではまず，能動的音響計測を用いてス
タイラスの把持状態を識別する手法を述べる．その後，充填率の異なるスタイラスにおける把持状態の識別精度の評価および結果を述べたのち，能動的音
響計測に基づく把持状態識別を行う場合におけるスタイラスの設計指針を示す．
本研究の貢献を以下に示す．

• 3D プリントしたスタイラスを用いて，能動的音響計測により最大 95.7%の精度にて 6 種類の把持状態を識別できることを示した．

• 把持状態の識別精度が，充填率 25%の時に最大 95.5%，充填率 100%の時に最大 89.8%であることから，充填率の違いにより把持状態の識別精度へ影響があることを示した．

• 能動的音響計測により把持状態が識別できる
スタイラスを作製する場合における設計指針
を示した．

2

関連研究

本手法は能動的音響計測により，ユーザによるス
タイラスの把持状態を識別する手法である．本節では関連研究として，能動的音響計測により物体の状態を識別する手法，およびスタイラスの入力を拡張する手法をそれぞれ述べる．

2.1

能動的音響計測により物体の状態を識別する
手法

能動的音響計測とは，物体に振動を与え，物体を伝搬した振動を解析し，その周波数応答に基づき物体の状態を識別する手法である [6, 13, 16, 17, 23–28]．
Ono ら [16] は能動的音響計測を用いて，物体上の触れている場所および把持力を識別できることを示した．岩瀬ら [24] は能動的音響計測を用いて，ス
ピーカとマイクとの間に置かれた物体の位置を推定できることを示した．Hiraki ら [6] は能動的音響計
測によりタッチ点を推定する手法を示し，プロジェ
クタが壁に投影した映像に対してタッチ入力ができるシステムを示した．これらの研究から，能動的音響計測を用いることによりスタイラスに触れている
指の位置が推定できると考えられるため，ユーザによるスタイラスの把持状態が識別できると考えられる．しかし，スタイラスの 1 本掛けおよび 2 本掛け
は近い姿勢であり，また人によって指の掛け方は異なる．したがって本研究では，スタイラスの指の掛け方および人ごとの握り方の違いが，把持状態の識別へどのように影響を与えるか調査する．

Kubo ら [12, 13, 25] は能動的音響計測を用いる
ことにより，同じ外見を持つ内部構造が異なる物体を識別できることを示した．物体の内部構造の違い
により周波数応答が変化することから，物体の内部構造により周波数応答の把持状態ごとの変化も異なると考えられる．そのため，この周波数応答の変化の違いが把持状態の識別精度に影響を与えると考えられる．したがって，本研究はスタイラスの内部構
造（本稿では充填率）の違いにより把持状態の識別
精度がどのように変わるか調査する．
2.2

スタイラスの入力を拡張する手法

スタイラスに追加のセンサを搭載することより，
スタイラスの入力を拡張する手法が多く研究されてきた [2,3,5,7,8,14,15]．Matulic ら [14] はスタイラ
スの後端に取り付けた魚眼カメラにて両手を含む周囲の様子を撮影し，ジェスチャ認識によりスタイラ
スの入力を拡張する手法を示した．Hwang ら [7] はスマートフォンに搭載された磁気センサ，およびス
タイラスに取り付けた永久磁石を利用し，Hinckley
ら [5] は慣性センサおよび静電容量センサを用いて，タブレット端末およびスタイラスの状態を識別し，状況に応じたインタラクションができる手法を示した．これらの研究では，センサを決められた場所へ取り付ける必要があり，既存のスタイラスの物理的な形状を維持することが難しい．
一方，追加のセンサを用いず受動素子のみを用いてスタイラスの入力を拡張する手法が研究されてきた [9,20]．Ikematsu ら [9] は，スタイラスと静電容量式タッチディスプレイとの間に抵抗を介在させ，ス
タイラスの入力を拡張する手法を示した．Schmitz
ら [20] は，底面に導電性素材のパターンを形成した物体を作成し，異なるパターンを有する物体をタッ
チディスプレイ上にて識別する手法を示した．これ
らの研究は，追加のセンサを必要とせず安価にスタ
イラスの入力語彙を拡張できる．ただし，スタイラ
スの把持状態を識別する場合，受動素子のみを用いたスタイラスでは厳密な内部構造の設計が必要とな
り，スタイラスのデザインの自由度を制限する．
本節にて述べた研究では，把持状態を識別するにあたり，スタイラスの物理的な形状を制限する．能
動的音響計測ではセンサを自由に配置できるため，
これらの研究と比較して物理的な形状に対する制限が小さい点にて優れる．

3実装

本節では，本手法を実現するシステムの実装方法を述べる．本システムは，音響信号を送波および受波するハードウェア，ならびに音響信号を生成および解析するソフトウェアからなる．システムの全体の構成図を図 3 に示す．なお，Python および Qt ラ
イブラリを用いてソフトウェアを開発した．ソフト

能動的音響計測に基づくスタイラスの把持状態識別手法の検討
ソフトウェアオーディオインタフェース

音響信号生成（18kHz-22kHz, 25ms）

FFT解析

音響信号 ⇔ 電気信号
相互変換

（4096点，48kHz）

1本掛け

2本掛け

握り持ち

逆持ち1本掛け逆持ち2本掛け非把持

バンドパスフィルタ（6kHz-24kHz）

推論器（1536特徴点, 6状態）
推定

圧電素子

図 4. 提案手法にて識別する 6 つの把持状態．

図 3. 能動的音響計測に基づくスタイラスの把持状態識
別システムの構成図．

ウェアを実行するコンピュータには MacBook Air（CPU: Intel Core i7-1060NG7, RAM: 16GB）を用いた．
先行研究に倣い [10, 28]，音響信号には 18 kHz–
22 kHz を 25 ms にて掃引するアップチャープ信号を用いた．使用する音響信号の周波数帯は人間が聞こえづらい周波数帯であり [21]，またスタイラスを触った時の雑音および環境音（4 kHz 以下）の影響を受けづらい．ソフトウェアにて生成された音響信号
は，オーディオインタフェース（Steinberg UR24C）
を介して，スタイラス後端に貼り付けられた圧電素
子（THRIVE K2512BS1）からスタイラスへ送波される．スタイラスの内部を伝播した音響信号はスタイラス先端に取り付けられた圧電素子にて受波され，オーディオインタフェースを介してソフトウェアへ送られる．得られた音響信号はサンプリング周波数
48 kHz，4096 点の高速フーリエ変換（FFT: Fast
Fourier Transformation）により周波数パワースペ
クトルへ変換される．なお，抽出後の標本データには窓関数としてハニング窓を掛ける． その後，周波数パワースペクトルからサンプリング定理に基づき 24 kHz 以上の周波数特徴点を，外乱の影響を除くために 6 kHz 以下の周波数特徴点をそれぞれ取り除くバンドパスフィルタを適用する．最後に，得られた 1536 点の特徴点を持つ周波数パワースペク
トルが機械学習アルゴリズムを用いた推論器にて処理され，把持状態の識別が行われる．本研究において，機械学習アルゴリズムは scikit-learn ライブラ
リ [18] の Support Vector Classiﬁer（SVC），およ
び Random Forest（RF），ならびに LightGBM ラ
イブラリ [11] の Gradient Boosting Decision Tree
（GBDT）から選択された．なお，上記の一連の処理は約 50 ms の時間にて完了する．

25%

50%

75%

100%

図 5. スタイラスの内部構造．左から充填率 25%，50%，
75%，100%．充填構造は全て Grid．

4

評価実験

提案手法による把持状態の識別精度を評価するた
めに，データの収集を行った．把持状態には順持ちの
1 本掛け，2 本掛け，逆持ちの 1 本掛け，2 本掛け，ならびに握り持ちおよび非把持の 6 つを選んだ（図 4）．
実験には，4 名の大学生および大学院生（22 歳–25
歳，平均 23.5 歳，全員男性，右利き）がボランティ
アにて参加した．我々は 3D プリンタ（Ultimaker
3 Extended）を用いて，実験に使用するスタイラスを作製した．なおスタイラスを使用してタッチパネ
ルの画面をタッチできるように，導電性フィラメン
ト（ProtoPasta Conductive PLA [19]）を用いた．
圧電素子を直接スタイラスへ貼り付けると電気的に圧電素子間が短絡してしまうため，圧電素子には厚さ 0.5 mm のアクリル板を貼り付けた．
スタイラスの内部構造の違いによる把持状態の識
別精度への影響を調べるために，本研究ではまず充填率の違いによる内部構造の違いに着目した．そのため，我々は充填率の異なる 4 種類のスタイラス（図 5，
それぞれ充填率 25%, 50%, 75%, 100%, すべて内部充填構造は Grid，長さ 150 mm× 幅 10 mm× 奥
行き 10 mm）を作成し，それぞれ評価を行った．

4.1

設計

参加者は実験全体を通して，椅子に着席した状態
にて実験を行った．まず，実験者は 4 種類のスタイラスのうち 1 つのスタイラスを選んだのち，そのスタイラスの先端および後端へ両面テープ（3M，2477P-WISS 2021
充填率25%

充填率50%

充填率75%

1本 269

8

2

0

0

1

2本

18

250

9

1

2

0

5

262

0

13

１本

0

0

270

7

1

2

2本

0

4

273

3

0

1

11

255

13

0

0

17

0

握り持ち

0

0

0

0

280

0

0

2

0

0

1

0

0

0

279

2
14
8
0
0 256
順
持ち 順持ち逆持ち 逆持ち握り持 非把
1本 ２本 1本 ２本 ち 持

順持ち
正解ラベル

逆持ち

非把持

順

持ち 順持ち逆持ち 逆持ち握り持 非把
1本 ２本 1本 ２本 ち 持

265

13

2

充填率100%

0

278

2

0

0

0

0

242

30

2

5

1

0

0

0

3

251

10

7

9

0

1

210

2

65

1

1

0

0

0

0

250

30

0

0

3

0

262

15

0

0

261

2

0

2

1

5

271

1

0

3

10

21

246

0

0

2

276

0

1

1

0

0

278

0

0

10

1

1

268

0

0

0

0
0
0
0
0 280
順
持ち 順持ち逆持ち 逆持ち握り持 非把
1本 ２本 1本 ２本 ち 持

2
1
0
1
0 276
順
持ち 順持ち逆持ち 逆持ち握り持 非把
1本 ２本 1本 ２本 ち 持図 6. 充填率が異なるスタイラスそれぞれにおける，Gradient Boosting Decision Tree を用いた把持状態識別の混
同行列．

表 1. スタイラスの充填率ごとの把持状態識別精度（試行間 5 分割交差検証）．

充填率

25%
50%
75%
100%

SVC
84.3%
92.5%
89.1%
69.2%

RF
93.1%
94.9%
95.6%
89.8%

GBDT
95.5%
94.8%
95.7%
84.5%

S）を用いて圧電素子を取り付ける．このとき，先端側がマイク，後端側がスピーカとなるように圧電素
子を取り付ける．その後，実験者は参加者へ圧電素
子を取り付けたスタイラスを手渡す．実験者は 6 種
類の把持条件から 1 つの把持条件を選択し，その把持条件にてスタイラスを右手で把持するように参加者へ指示する．なお，非把持条件では，スタイラス
を木製の机の上に横向きに置くように指示する．実
験者は参加者が指定した把持条件にてスタイラスを把持したことを確認した後，スタイラスへ音響信号を送波し 3 秒間録音する．その後，実験者は参加者
へスタイラスを一度机の上に置き，持ち替えるように指示する．これを同じ把持条件にて 5 試行行う．
5 試行の計測後，実験者はスタイラスから圧電素子を取り外す．
上記の手順を 4 種類のスタイラスおよび 6 種類の把持条件それぞれ 2 セットずつ行ったため，参加者
1 人あたりスタイラス 4 種類 × 把持条件 6 種類 ×
5 試行 × 2 セット = 240 試行分の波形データが得られた．なお，スタイラスおよび把持条件の選択順
序は参加者ごとにラテン方格法を用いて決定され，順序効果が取り除かれた．圧電素子の貼替え時に 1分程度の時間を要したため，実験全体にて参加者 1人あたりが要した時間は 60 分程度であった．

4.2

結果

実験にて得られた波形データは 4096 点（約 85 ms）
ごとにスペクトルデータへ変換されたため，各スタイラスの各把持姿勢ごとに 1400 個のスペクトル表 2. スタイラスの充填率ごとの把持状態識別精度（leave-one-participant-out 交差検証）．

充填率

25%
50%
75%
100%

SVC
29.6%
36.9%
28.4%
28.6%

RF
24.9%
39.8%
22.9%
23.5%

GBDT
24.2%
38.9%
30.3%
25.1%

データが得られた．このスペクトルデータを用いて，Google Colaboratory [4] にて把持状態の識別精度を評価した．なお，学習時にはライブラリのデフォ
ルトのハイパーパラメタを使用した．それぞれのス
タイラスごとに学習および推論を行い，識別精度を算出した．
能動的音響計測により把持状態が識別できるか評価するために試行間にて 5 分割交差検証を行った．
加えて，未知のユーザにて推論モデルが適用できるか評価するために leave-one-participant-out 交差検証を行った．各スタイラスにおける把持状態の識別
精度を表 1 および表 2 に示す．
試行間の交差検証において，どの充填率のスタイラスにおいても高い精度にて把持状態を識別できる
ことがわかった．しかし，充填率 75%以下のスタ
イラスと比較して，充填率 100%のスタイラスはどのアルゴリズムでも識別精度が低かった．一方で，leave-one-participant-out 交差検証においては識別精度が低く，既存のモデルを用いて未知のユーザの把持状態を識別することが困難であることがわかった．
試行間の交差検証において，GBDT アルゴリズ
ムの最も精度が高かったモデルにおける混同行列を
図 6 に示す．混同行列より，全てのスタイラスにおいて，把持状態が近いもの（例えば，1 本掛けと 2 本掛け）にてしばしば誤識別をしていることがわかった．加えて，充填率 100%のスタイラスでは，同じ指の本数の持ち方，特に 2 本掛けおよび逆持ち 2 本
掛けにてよく誤識別していることがわかった．

能動的音響計測に基づくスタイラスの把持状態識別手法の検討
0

0

-10

-10

-20

-20

-30
0

6000

12000

18000

24000

-30
0

表 3. スタイラスの充填率ごとのユーザ識別精度（試行
間 5 分割交差検証）．

充填率
6000

12000

18000

24000

図 7. 充填率 25%のスタイラスにおける周波数パワー
スペクトル．縦軸は音の強さ（dB：デシベル），横軸は周波数（Hz：ヘルツ）を表す．左が 1 本掛け，
右が 2 本掛け．
0

0

-10

-10

-20

-20

-30
0

6000

12000

18000

24000

-30
0

6000

12000

18000

24000

図 8. 充填率 100%のスタイラスにおける周波数パワー
スペクトル．縦軸は音の強さ（dB：デシベル），横軸は周波数（Hz：ヘルツ）を表す．左が 1 本掛け，
右が 2 本掛け．

5
5.1

議論および今後の課題
充填率の影響実験の結果より，どの充填率のスタイラスにおいても高い精度にて把持状態を識別できることがわかった．特に，充填率が 75%以下のスタイラスは識別精度が 95%程度ととても高い．一方で，充填率が100%のスタイラスは最大識別精度が 89.8%であり，他のスタイラスと比較して識別精度が低くなることが示された．そこで，充填率が 25%および充填率
100%のスタイラスにおいて，1 本掛けおよび 2 本掛けそれぞれの周波数パワースペクトルの変化を観察した（図 7 および図 8）．充填率 25%のスタイラスおいては 1 本掛けの時に周波数 8 kHz–18 kHz にかけてなだらかな山があり，かつ周波数 18 kHz–22 kHz
まで強さが一定の山が観察できる．一方，2 本掛けの時は周波数 8 kHz–18 kHz の山が全体的に小さくなり，かつ周波数 22 kHz 付近の強さが小さくなるという大きなスペクトルの変化が観察できた（図 7）．
充填率 100%のスタイラスは，充填率 25%のスタイラスと比較し，1 本掛けと 2 本掛けのスペクトルの変化が小さいことが観察できた（図 8）．
これは充填率が高いほど内部空間の変形余地が小さくなるために，スペクトルの変化が小さくなったからであると考えられる．内部空間がある場合，物体はしなりやすく変形余地がある．把持により押さえられた箇所は変形余地が小さくなり振動が伝わりづらくなる．その結果，充填率 25%のスタイラスにおいて，1 本掛けよりも 2 本掛けのスペクトルが全

25%
50%
75%
100%

SVC
88.1%
99.6%
99.2%
99.6%

RF
90.6%
97.6%
99.7%
98.5%

GBDT
89.2%
98.0%
99.4%
97.9%

体的に大きく減衰するように変化したと考えられる（図 7）．一方で，内部空間が小さいまたは無い場合，
物体は硬くなり変形余地が小さくなる．把持により押さえられた箇所はさらに変形余地が小さくなるものの，十分に内部空間がある場合よりもその変形余
地の変化の程度は小さいものとなる．そのため，充填率 100%のスタイラスはスペクトルの変化が小さくなったと考えられる．
なお，本稿ではスタイラスを用いて描いている最中の把持状態は学習していない．描くときにペン先がタッチパネルに触れることにより境界条件が変化すること，および描画時の筆圧により指とスタイラ
スの接触状態および把持力が変化することから，音響スペクトルも変化すると考えられる．そのため，描画中の把持状態の変化も考慮した推論モデルを作成することは今後の課題である．

5.2 ユーザの識別leave-one-participant-out 交差検証の結果から，学習したモデルから未知のユーザの把持状態を識別することは困難であることがわかった．これは，ユー
ザごとにスタイラスの持ち方が大きく異なるためであると考えられる．一方で，試行間の把持状態の識別精度が 95%程度と高いことから，利用するユーザの把持状態を学習させれば，スタイラスを把持しているユーザがどのユーザであるのかを識別できると考えられる．ユーザが識別できれば，ユーザごとにスタイラスの把持状態による描画ツールの割り当てを変更するなどの機能が実装できるため有用である．
そこで，実験にて収集したデータを用いて，能動的音響計測にてスタイラスを把持しているユーザを識別できるか検証した．
試行間の 5 分割交差検証を行ったユーザ識別精度を表 3 に示す．充填率 25%以外では識別精度が99%を超える結果となった．したがって，スタイラ
スを把持しているユーザの識別ができるといえる．
一方で，充填率 25%のスタイラスにて識別精度が低く，充填率 100%のスタイラスにて識別精度が高いという把持状態識別とは異なる傾向となった．このことから，充填率 25%のスタイラスでは，ユーザごとの持ち方よるスペクトルの変化よりも把持状態によるスペクトルの変化が大きく反映されると考えら

WISS 2021

れる．そのため，ユーザ識別および把持状態識別を両立させるためには，どちらも識別精度が高い充填
率 50%および 75%の構造が良いと考えられる．しかし，今回は実験参加者が 4 人と少ないことから，
より多くのユーザのデータを収集し検証する必要が
ある．

5.3

スタイラスの設計

今回は 3D プリントした物体の充填率を変えた場
合のみを検証した．5.1 節にて述べたように，能動的音響計測を用いてスタイラスの把持状態を識別する場合は，例えば，変形しづらい硬い素材を使うのではなく変形させやすいプラスチックを用いるといった，内部空間に変形余地を残すように設計することがより望ましいと考えられる．ただし，先行研
究 [16, 17, 24, 28] にて述べられているように，振動を吸収してしまう素材には本手法は適用できない．
そのため，スタイラスが変形しやすいように外装を薄くするといった，設計上の工夫が必要であると考えられる．また，充填率だけでなく，スタイラスに穴を設ける，または一部外装を薄くするなどの工夫をすることにより，把持状態ごとのスペクトル変化が大きくできるため，より多くの把持状態を識別できる可能性がある．一方で，本手法はスタイラスの内部空間さえあれば内部構造を問わずに高い精度にて把持状態を識別できる．そのため，物体内部には市販のスタイラス同様の回路および機能を設けられる．したがって，本手法によりさらに多くの把持状
態を探究するよりも，本手法と既存のスタイラス機
能を組み合わせて利用することが望ましいと考えられる．
今回，提案手法の概念実証のために据え置き型のオーディオインタフェースを使用した．ただし，今回使用したオーディオインタフェースが為す役割
は音響信号および電気信号の相互変換に留まっており，より小型な Analog Digital Converter および
Digital Analog Converter でもこの役割をこなせる．また，音響処理に要する計算量は小さく，計算資源に乏しいマイクロコントローラでも特別な電子部品なしに実行可能である．さらに，本システムにて使用しているケーブルの役割は電気回路の導線の役割に留まっており，細いケーブルを使用する，または導線にて直接マイクロコントローラに接続する
ことにより，ケーブル部をスタイラスに内蔵できる．
これらのハードウェアの設計の工夫により，システ
ムをスタンドアロン化できると考えられる． そのため，スタンドアロン化し実使用に即したシステム構成にすることは今後の課題である．

6

応用例

本手法の応用例として，ペイントアプリケーションが考えられる．我々はタッチパネルを有するコン

図 9. 本手法のペイントアプリへの応用．1 本掛けにて把持すれば細い線を描くことができ，2 本掛けにて把持すれば太い線を描くことができる．

ピュータ（ThinkPad T14 Gen2）にて本手法を導入したペイントアプリケーションを実装した（図 9）．
このアプリケーションではスタイラスの把持状態に応じて，1 本掛けなら鉛筆のように細い線，2 本掛
けなら筆のように太い線，逆持ち 1 本掛けなら消し
ゴムと描画ツールを切替えられる．試作システムは使用時にケーブルが干渉し描画を妨げてしまうことがあるため，使用に向かない．そのため，圧電素子
およびケーブルをスタイラスの内部に入れるなどの工夫が必要である．加えて，より携帯性を高めるた
めに，システムを小型化しタブレット端末にて使えるようにすること，およびユーザ実験から本アプリ
ケーションの使用感を評価することが今後の課題で
ある．

7

おわりに

本稿では，能動的音響計測および機械学習を用いて，ユーザによるスタイラスの把持状態を識別する手法を示した．加えて我々は，スタイラスの内部構造の違いにより音響信号の伝わり方が異なることに着目し，3D プリント時の充填率に基づきスタイラ
スの内部構造を変えることによって，把持状態の識別精度がどのように変わるか調査した．結果，充填率が 25%，50%，および 75%のスタイラスにおいて
6 つの把持状態を 95%程度にて識別できること，および充填率 100%のスタイラスでは把持状態の識別
精度が 89.8%程度と低くなることがわかった．このことから，内部に空間を設けられたスタイラスにて本手法を用いることが望ましいと考えられる．
なお，leave-one-participant-out 交差検証の結果，
どのスタイラスにおいても識別精度が 30%程度であったことから，未知のユーザに対する識別可能性が低いことが示された．一方，追加の調査にて，把持姿勢から 4 名のユーザを最大 99.7%の精度にて識別できた．このことから，本手法を用いて，スタイラスを利用するユーザごとに異なる描画ツールの割り当てを提供するなどのシステム設計が可能であると考えられる．
今後は本手法を用いて，市販のスタイラスにおける把持状態識別の精度を調査する予定である．

能動的音響計測に基づくスタイラスの把持状態識別手法の検討

謝辞
本研究は JSPS 科研費 JP18H04104 の助成を受けたものです．

参考文献[1] Apple Inc. Apple Pencil - Apple, 2021. https://www.apple.com/jp/apple-pencil/（最終参
照日：2021 年 11 月 16 日）.
[2] D. Cami, F. Matulic, R. G. Calland, B. Vogel,and D. Vogel. Unimanual Pen+Touch Input Using Variations of Precision Grip Postures. In
Proceedings of the 31st Annual ACM Symposium on User Interface Software and Technology, UIST ’18, pp. 825–837. ACM, 2018.
[3] N. Fellion, T. Pietrzak, and A. Girouard.
FlexStylus: Leveraging Bend Input for Pen Interaction. In Proceedings of the 30th Annual
ACM Symposium on User Interface Software
and Technology, UIST ’17, pp. 375–385. ACM,
2017.
[4] Google LLC. Colaboratory - Google, 2021.
https://colab.research.google.com/（最終参照日：2021 年 11 月 16 日）.
[5] K. Hinckley, M. Pahud, H. Benko, P. Irani,
F. Guimbretière, M. Gavriliu, X. A. Chen,
F. Matulic, W. Buxton, and A. Wilson. Sensing
Techniques for Tablet+Stylus Interaction. In
Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, pp. 605–614. ACM, 2014.
[6] T. Hiraki, M. Fukumoto, and Y. Kawahara. Touchable Wall: Easy-to-Install TouchOperated Large-Screen Projection System. In
Proceedings of the 2018 ACM International
Conference on Interactive Surfaces and Spaces,
ISS ’18, pp. 465–468. ACM, 2018.
[7] S. Hwang, A. Bianchi, M. Ahn, and K. Wohn.
MagPen: Magnetically Driven Pen Interactions
on and around Conventional Smartphones. In
Proceedings of the 15th International Conference on Human-Computer Interaction with Mobile Devices and Services, MobileHCI ’13, pp.
412–415. ACM, 2013.
[8] S. Hwang, A. Bianchi, and K. Wohn. MicPen:
Pressure-Sensitive Pen Interaction Using Microphone with Standard Touchscreen. In Proceedings of Extended Abstracts of the 2012 CHI Conference on Human Factors in Computing Systems, CHI EA ’12, pp. 1847–1852. ACM, 2012.
[9] K. Ikematsu and I. Siio. Ohmic-Touch: Extending Touch Interaction by Indirect Touch throughResistive Objects. In Proceedings of the 2018
CHI Conference on Human Factors in Computing Systems, pp. 1–8. ACM, 2018.
[10] S. Katakura and K. Watanabe. ProtoHole: Prototyping Interactive 3D Printed Objects Using
Holes and Acoustic Sensing. In Proceedings ofExtended Abstracts of the 2018 CHI Conferenceon Human Factors in Computing Systems, CHI
EA ’18, pp. 1–6. ACM, 2018.

[11] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen,
W. Ma, Q. Ye, and T. Liu. LightGBM: A HighlyEﬃcient Gradient Boosting Decision Tree. In
Advances in Neural Information Processing Systems, Vol. 30, pp. 1–9. Curran Associates, Inc.,
2017.
[12] Y. Kubo, K. Eguchi, and R. Aoki. 3D-Printed
Object Identiﬁcation Method Using Inner Structure Patterns Conﬁgured by Slicer Software. In
Proceedings of Extended Abstracts of the 2020
CHI Conference on Human Factors in Computing Systems, CHI EA ’20, pp. 1–7. ACM, 2020.
[13] Y. Kubo, K. Eguchi, R. Aoki, S. Kondo,
S. Azuma, and T. Indo. FabAuth: Printed Objects Identiﬁcation Using Resonant Propertiesof Their Inner Structures. In Proceedings of Extended Abstracts of the 2019 CHI Conference on
Human Factors in Computing Systems, CHI EA’19, pp. 1–6. ACM, 2019.
[14] F. Matulic, R. Arakawa, B. Vogel, and D. Vogel.
PenSight: Enhanced Interaction with a Pen-Top
Camera. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, CHI ’20, pp. 1–14. ACM, 2020.
[15] F. Matulic, B. Vogel, N. Kimura, and D. Vogel. Eliciting Pen-Holding Postures for General
Input with Suitability for EMG Armband Detection. In Proceedings of the 2019 ACM International Conference on Interactive Surfaces andSpaces, ISS ’19, pp. 89–100. ACM, 2019.
[16] M. Ono, B. Shizuki, and J. Tanaka. Touch &Activate: Adding Interactivity to Existing Objects Using Active Acoustic Sensing. In Proceedings of the 26th Annual ACM Symposium on
User Interface Software and Technology, UIST
’13, pp. 31–40. ACM, 2013.
[17] M. Ono, B. Shizuki, and J. Tanaka. Sensing
Touch Force Using Active Acoustic Sensing. In
Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction, TEI ’15, pp. 355–358. ACM, 2015.
[18] F. Pedregosa, G. Varoquaux, A. Gramfort,
V. Michel, B. Thirion, O. Grisel, M. Blondel,
P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher,
M. Perrot, and E. Duchesnay. Scikit-learn: Machine Learning in Python. Journal of Machine
Learning Research, 12:2825–2830, 2011.
[19] Proto-pasta. Conductive PLA Technical Data
Sheet Rev 1. - Proto-pasta, 2021. https://cdn.shopify.com/s/files/1/0717/9095/
files/TDS__Conductive_PLA_1.0.1.pdf（ 最終参照日：2021 年 11 月 16 日）.
[20] M. Schmitz, F. Müller, M. Mühlhäuser, J. Riemann, and H. V. V. Le. Itsy-Bits: Fabrication
and Recognition of 3D-Printed Tangibles with
Small Footprints on Capacitive Touchscreens.
In Proceedings of the 2021 CHI Conference on
Human Factors in Computing Systems. ACM,
2021.
[21] The Physics Factbook.
Frequency Rangeof Human Hearing - The Physics Factbook,

WISS 2021

2003.
https://hypertextbook.com/facts/
2003/ChrisDAmbrose.shtml（最終参照日：2021
年 11 月 16 日）.
[22] Wacom Co., Ltd. Bamboo Fineline - Wacom, 2021. https://www.wacom.com/ja-jp/
products/stylus/bamboo-fineline（最終参照日：2021 年 11 月 16 日）.
[23] K. D. D. Willis and A. D. Wilson. InfraStructs:
Fabricating Information inside Physical Objects
for Imaging in the Terahertz Region. ACM
Transactions on Graphics, 32(4):1–10, 2013.
[24] 岩瀬大輝, 伊藤雄一, 秦秀彦, 尾上孝雄. SenseSurface：アクティブ音響センシングによる物体識別と位置推定. 情報処理学会論文誌, 60(10):1869–
1880, 2019.
[25] 久保勇貴, 江口佳那, 青木良輔, 近藤重邦, 東正造,
犬童拓也. 内部構造パターンの差異を利用した
3D プリントオブジェクト識別手法. 第 27 回イ
ンタラクティブシステムとソフトウェアに関する
ワークショップ（WISS2019）論文集, pp. 43–48.
日本ソフトウェア科学会, 2019.
[26] 西井遥菜, 双見京介, 村尾和哉. アクティブ音響
センシングを用いた食材認識カトラリー. 第 28
回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2020）論文集, pp.
55–60. 日本ソフトウェア科学会, 2020.
[27] 川崎祐太, 伊藤雄一, 藤田和之, 尾上孝雄. アクティブ音響センシングを用いた物体情報識別における環境温度変化に関する一検討. ヒューマンイ
ンタフェース学会研究会研究報告集, 22(6):55–60,
2020.
[28] 大野誠, 志築文太郎, 田中二郎. アクティブ音響センシングを用いた把持状態認識. 第 17 回一般社
団法人情報処理学会シンポジウムインタラクショ
ン 2013 論文集, pp. 56–63. 情報処理学会, 2013.