情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1P-65
2023/3/1

反射型光センサを用いた指先のジェスチャ識別北村 莉久1山本 匠1

杉浦 裕太1

概要：物体を把持している状況での情報入力は困難であり，このような状況下での文字入力手法が必要とされている．本研究では，人差し指に親指で書くジェスチャを識別する手法を提案する．7 つの反射型光センサが配置された付け爪型デバイスによって，指先の皮膚変形情報を取得することができる．取得した
時系列データを用いて特徴量抽出後，ランダムフォレストにて識別した．アルファベット 26 種類のジェスチャセットのデータを取得し，10 分割交差検証で平均識別精度を評価した．

1. はじめに人間の指先は器用で細かな動きを行うことができるため，指先を用いて入力することで直感的かつ多様な入力が実現できると期待されており，指先の動きをセンシングする研究が実施されている [1], [2]．その中でも文字入力が指先で簡単にできるようになれば，吊革を掴んでいる際やバッグを持っている際など，両手に物体を把持している状況での情報入力が簡単なものになると考える．また，指先を利用するため，周囲からジェスチャを視認されにくく，秘匿性が高いという利点がある．
そこで，本研究では付け爪型デバイスを用いて人差し指
図 1と親指を用いたジェスチャを識別する手法を提案する．付
け爪型デバイスは久能らが提案したデバイス [3] に反射型光センサを 2 つ追加したデバイスであり，赤外光を照射し物体からの反射光を測定する反射型光センサが 7 個配置され，指先の皮膚変形情報を取得できる．取得した皮膚変形情報から特徴量抽出を行いランダムフォレストにてジェスチャを識別した．6 人のユーザに対してアルファベット26 種類のジェスチャの識別精度を検証した結果，平均識別精度は 81.2%であった．先行研究でも指先の動きを用いたキーボード入力手法が提案されている [4]．このように，指先での入力を計測する場合は，指と指の間の接触面にセンサを配置する手法が主流である．一方で，この方法は指先の触感が変化してしまうという課題がある．そこで，提案手法では付け爪型デバイスとすることで指腹が物体に触れた際の触感に変化を及ぼさないという利点がある．

2. 提案手法
本研究ではデバイスに配置された反射型光センサを用い，
1

慶應義塾大学© 2023 Information Processing Society of Japan

ジェスチャ時の様子

指先の皮膚変形をセンサデータとして取得しジェスチャを識別する．以下ではハードウェア，ソフトウェアに分けて説明する．

2.1 ハードウェア
デバイスは指先の接触力推定手法を提案した研究で使用されていたものに反射型光センサを 2 つ追加し使用した [3]．3D プリンタで作成された付け爪に 7 個の反射型光センサが，指側に赤外光が照射されるように取り付けられている．

2.2 ソフトウェア
まず，ジェスチャごとのセンサ値を取得した．通信速度は約 66 [fps] で毎回 300 フレームを取得したため，1 ジェスチャにつき約 5 秒ほどのデータを取得した．アルファベッ
トのジェスチャは種類によってジェスチャ時間が大きく異なり，ジェスチャ時間が短いものは取得したフレームの中にジェスチャが行われていない，つまりセンサデータの変404

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 21P-65
2023/3/1(a) ジェスチャセット（26 種類）．(b) 実際のセンサデータと，前処理によって変化が小さいフレームを削除している様子． (c) 識別精度．

化がほとんど起きていないデータが多数存在している．そ3.2 結果こで，前処理として変化が起きていないデータに対して閾得られたセンサデータを用い，10 分割交差検証を行っ値を設定し，データを消去した（図 2 (b)）．まず，1 フレーた．実験結果を図 2 (c) に示す．各ジェスチャの平均識別

ムごとに 7 個のセンサデータの合計値を算出する．次に，精度は 81.2%であった．

前フレームとの合計値の差分を算出する．この差分が閾値を超えたらそれまでのデータを削除する．今回は，最終フ

4. 制約と議論レームから処理を行っているため，ジェスチャ中のセンサ今回，精度の悪いジェスチャは U と V や P と D などで値が変化しない箇所を誤って削除せずに，ジェスチャ終了あった．これらは画数が等しく，形が似ていることが分か後のフレームのみを削除することができる．前処理を行っる．したがって，これらのジェスチャを識別できるようなたデータを 10 分割し，分割したフレームごとに統計的特前処理や学習モデルを考案する．

徴量（平均値，中央値，最大値，最小値，分散）を抽出し今回の実験では平均識別精度が 81.2%であった．この精た．この処理を 7 個のセンサデータ全てに行った．ジェス度が実際の文字入力時に許容できるのかを調査する必要がチャ識別にはランダムフォレストを用い，26 種類のジェスある．今後はリアルタイム文字入力アプリケーションを開チャを識別した．

発し，実際の使用感を調査する．

3. 実験
3.1 概要本研究ではアルファベット 26 種類のジェスチャの識別精度を評価する実験を行った．実験参加者は男性 2 名，女本研究で使用した付け爪型デバイスは 1 種類のみである．そのため，被験者の指の大きさがデバイスのサイズと合わず，識別精度に悪影響を及ぼす可能性が考えられる．
今後は，被験者の指先の情報を取得し，指先の大きさと精度の関係性やデバイスの適したサイズを調査する．

性 4 名（平均 22.5 歳，標準偏差 1.7 歳）であり，右利き 4

現在使用しているデバイスは，日常の中で使用するには名，左利き 2 名であった．デバイスは全員右人差し指に装サイズが大きいため，今後はセンサの貢献度を調査しセン着した．最初に実験の流れについて説明した後，一度全てサの数を減らすなど，デバイスのサイズを小さくし日常生のジェスチャを練習し，各ジェスチャあたり 20 回実施し活において装着しても違和感の無いハードウェアを設計た．各ジェスチャは図 2 (a) で示すような指定した書き順する．

で実施させた．実験中はデバイスは取り外しせず，誤った書き順でジェスチャを行った場合には再度ジェスチャを実施してもらった．

© 2023 Information Processing Society of Japan5. おわりに本研究では，反射型光センサを配置した付け爪型デバイ

405

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1P-65
2023/3/1

スを用い，指先の皮膚変形情報を取得し，ランダムフォレストを用いてジェスチャ識別を行った．6 人の被験者に対して精度評価実験を行った結果，平均識別精度は 81.2%であった．今後は，異なる学習モデルの導入や特徴量選択などのソフトウェア面での改善を図り識別精度の向上を試みる．
謝辞 本研究は，JSPS 科研費（課題番号：JP21H03485）の助成を受けたものである．
参考文献
[1]

[2]

[3]

[4]

Stephen Shiao-ru Lin, Nisal Menuka Gamage, Kithmini
Herath, and Anusha Withana. 2022. MyoSpring: 3DPrinting Mechanomyographic Sensors for Subtle Finger
Gesture Recognition. In Sixteenth International Conference on Tangible, Embedded, and Embodied Interaction (TEI ’22). Association for Computing Machinery, New York, NY, USA, Article 15, 1–13.
https://doi.org/10.1145/3490149.3501321
Daehwa Kim and Chris Harrison. 2022. EtherPose: Continuous Hand Pose Tracking with Wrist-Worn Antenna
Impedance Characteristic Sensing. In Proceedings of the35th Annual ACM Symposium on User Interface Software and Technology (UIST ’22). Association for Computing Machinery, New York, NY, USA, Article 58, 1–12.
https://doi.org/10.1145/3526113.3545665
久能若葉, 河合航, 杉本麻樹, 杉浦裕太. 2017. 反射型光センサを用いた指腹の変形計測による接触力の推定 (メディアエクスペリエンス・バーチャル環境基礎). 電子情報通信学会技術研究報告= IEICE technical report: 信学技報,117(252), 63-68.
Zheer Xu, Pui Chung Wong, Jun Gong, Te-YenWu, Aditya Shekhar Nittala, Xiaojun Bi, Jürgen
Steimle, Hongbo Fu, Kening Zhu, and Xing-DongYang. 2019. TipText: Eyes-Free Text Entry on aFingertip Keyboard. In Proceedings of the 32nd Annual ACM Symposium on User Interface Softwareand Technology (UIST ’19). Association for Computing Machinery, New York, NY, USA, 883–899.
https://doi.org/10.1145/3332165.3347865© 2023 Information Processing Society of Japan406