情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-09
2024/2/28

GRAB：VR コントローラに握力感知機能を追加す る 拡 張 セ ン サ岡 秀哉†1湯村 翼†1

概要：VR コントローラには，握力で操作する機能は一般的には搭載されていない．VR コントローラに握力感知機能を追加できれば，握り潰しの操作を行うことができるなど，コンテンツ表現の幅が広がる．そこで本研究では，既存の VR コントローラに巻きつけるだけで握力感知機能を追加するベルト状センサ GRAB を開発する．GRAB の有効性を検証するため，VR テストアプリを実装して評価実験を実施した．評価実験の結果，想定通りの操作が可能であることが確認できた．また，任意の握力強度に調整することが困難という課題も明らかとなった．

1. は じ め にバーチャル空間に没入するための装置として， V R ヘッドセットが存在する．VR ヘッドセットは，頭部に装着してバーチャル空間を視覚的に表示するヘッドマウントディス
プレイ(Head Mounted Display:HMD)と，VR コントローラで

Yi Hyeonbeom らの Dexcontroller [8]は，握力と手の形を利用した VR コントローラである．把持時に握力を加えることにより，仮想空間内で操作を行う．しかし，既存の V Rコントローラを拡張する設計にはなっていない．

3. GRAB構成される．VR コントローラにはボタンやアナロ グステ

GRAB は，既存の VR コントローラに巻きつけ，把持時ィック，ジャイロセンサなどが搭載されており，手に持っに握力を加えることにより操作を行う(図 1)．GRAB は，て操作を行う．これらの標準的なセンサに加えて，握力をシート部(図 2 左)と制御部(図 2 右)で構成される．

感知するセンサが搭載されていれば，握り潰しの操作を行うことができるなど，コンテンツ表現の幅が広がる． しかし，握力を利用して操作を行う機能が搭載さ れ る の は
VALVE INDEX [1]などに限られ，Meta Quest2 [2]，HTC VIVE[3]，PICO 4 [4]といった一般的な VR ヘッドセットの V R コントローラには搭載されていない．そこで本研究では，既存の VR コントローラの持ち手に巻きつけるだけで握力による操作が可能となるシート状の拡張センサ，GRAB(G rip
Recognizable Attachment Belt)を開発した．

2. 関 連 研 究
圧力センサまたは握力を使用した VR コントローラはこれまでも研究されてきた．Mike Sincair らの CapstanCrunch

図 1

操作中の GRAB

図 2

GRAB の構成[5]は，親指と人差し指を利用した二指間の圧力を利用するVR コントローラである．仮想空間内で球体をつま む動作や，ブロックなどに圧力を加えた際に触覚フィードバックを与える．Inrak Choi らの CLAW [6]は，用途に応じて変形する VR コントローラである．銃を模して変形させた際，人差し指に配置されたトリガーを引く際に，圧力 を計測し利用する．また，Inrak Choi らの Wolverine [7]は，小指以外にコントローラを装着し，圧力を感知して反発する V R 触覚コントローラである．しかしこれらは触覚フィードバックを目的として開発され，操作手段も特定の指などに圧力を加えるものである．そのためコントローラ把持時に加える握力を使用して，仮想空間内の操作を行うことを主目的としたコントローラではない．
†1 北 海 道 情 報 大 学© 2024 Information Processing Society of Japan216

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3.1 シート部

1A-09
2024/2/28の裏側の銅箔テープから電流を受信する．受信した電圧をVR コントローラの持ち手に巻きつけるシート部 は ，圧0 から 4095 の値に変換し，HMD へ送信する(図 5)．

力を感知するセンサである Velostat [9]と銅箔テープを使用

制御部と HMD の通信方法は無線通信で，Bluetooth Serialした．Velostat と銅箔テープは薄く，曲げ伸ばしや すいことで通信する．無線通信を使用する理由として，有線通信でから既存の VR コントローラの持ち手に巻きつけるためには事故のリスクがあることが挙げられる．例として，V R ヘ必要な要件を満たしている．

ッドセットを使用する際，VR コントローラを振り 回すこ

Velostat は，圧力が加えられるとその地点での電気 抵抗がとを想定する．その際，GRAB を装着する腕と HMD の間低下する特性を持つ．VR コントローラの持ち手に 巻きつにケーブルがあれば，体勢によっては現実の物体と絡まり，け，力を入れて把持した際に電気抵抗が低下する． この電転倒などの事故が発生して怪我を負う可能性があ る．V R

気抵抗を握力として観測するため，Velostat を間に 挟み，電ヘッドセットを使用した際の事故も多い [11] [12]．そこで流の送受信を行う．そこでシート部は，Velostat の 表と裏に本研究では無線通信を使用して開発を行った．

銅箔テープを格子状に貼りつけて，重なり合う地点ができる配置となるよう設計した(図 3)．制作の手順として，まずVelostat をコントローラ把持時の手に収まるよう長 方形に切り抜く(図 4 ①)．次に電流を送信するため，Velosta t の表に 3 本の銅箔テープを貼りつける(図 4 ②)．最後に裏で電圧を受信するため，1 本の銅箔テープを貼りつける(図 4③)．以上により電流を送受信する際，銅箔テープが重なり
図 5合った地点に圧力を加えると電気抵抗が変化する．重なり

通信図

合った地点は圧力感知地点であり，シート部は 3 点の圧力感知地点を備えている．

4. GRAB テ ス ト ア プ リ
GRAB は VR コントローラに巻きつけ，握力による操作手段を拡張するものである．握力を感知し，HMD に送信する方法は設計した．よって GRAB が VR コントローラとの使用に適するかを確認するために，有効性を検証する． そのため，Meta Quest2 上で動作するテストアプリを Unity で実装した．
4.1 概要テストアプリでは，GRAB の有効性を検証する機能を以下の 3 つで実装した．

図 3シート部の設計⚫

キャリブレーション⚫

キューブを握りつぶす⚫

ハンマーで殴打する

これらの機能は GRAB から HMD に送信する値でキューブの大きさとハンマーで殴打した際の挙動が変化する．変化の条件はキャリブレーションによって設定する握力強度である．握力強度は GRAB に加えた力の値で変化し，Weak，Middle，Strong の 3 段階で VR 内に表示する(図 6)．

図 4

GRAB のシート部

3.2 制御部
制御部は M5Stack [10]とバッテリで構成される．これらは，腕に装着するためのケースに格納される．M5Stack はシート部の表側の銅箔テープに電流を送信して，シート部© 2024 Information Processing Society of Japan

図 6

握力感知の段階217

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-09
2024/2/28のエフェクトが発生し，ターゲットを跳ね飛ばす(図 8)．
4.2 キャリブレーション
GRAB は VR コントローラに巻きつけて使用する が，その際の巻きつけ方，手の形および握力は個々人で異なる．
よって，プレイヤーに合わせてテストアプリの始めにキャリブレーションを行う．
キャリブレーションは以下の順番で行う．
1.

GRAB と通信されている数値をテストアプ リ内 で確認する．

2.

GRAB を巻きつけたコントローラに力を入 れて 握り
図 8

続ける．
3.

ハンマーでターゲットを殴打する様子

数値が安定した時点を HMD 装着者が判断して，V Rコントローラの左人差し指トリガーを押す．

爆発して吹き飛んだターゲットは Y ボタンを押すことで再左人差し指トリガーを押すと，GRAB が HMD に電圧を数配置される．この動作により GRAB を巻きつけ，V R コン値として変換し，送信した値を記録する．記録した値はテトローラを動かしながら力を加えた際，プレイヤーの意図ストアプリ内で握力の上限値として扱う．握力などは個々通りに GRAB が任意の反応をするか検証する．

人によって異なり，GRAB から送信する数値も異なるため，

5. 評 価 実 験

この上限値を元に握力強度をプレイヤーに合わせて 設定する．設定した上限値は Strong と Middle の境界の値 (以下，5.1 概要

閾値 1 とする)とし，上限値を半分にした値を Middl e とGRAB の有効性を検証するため，情報系の大学生 14 人

Weak の境界の値(以下，閾値 2 とする)とする．3 段階中，を対象に評価実験を行った．被験者には HMD を装着させ，Strong は閾値 1 以上であれば表示される．Middle は閾値 1

仮想空間内で以下のタスクを行うよう指示した．

未満であれば表示され，Weak は閾値 2 以下で表示する．

⚫

キャリブレーション

4.3 キューブを握り潰す⚫

キューブを握り潰す： L から M，S へと握り潰す．3回実施．

キャリブレーションが終了した後に行う．左 VR コント
ローラの X ボタンで，手元にキューブを表示する．キュー
ブは Weak，Middle，Strong の握力強度に合わせて L，M ，S と大きさが変化する(図 7)．

⚫

ハンマーで殴打する：握力強度が Middle と Stron g の状態でハンマーでターゲットを殴打する．それぞれ 1度ずつ実施．

タスクの内容は，HMD 装着前に一通り説明し，タスク実施時にも口頭で指示した．実験は，仮想空間内を P C 画面にミラーリングしながら実施した．タスクの終了後，被験者に対して HMD の使用経験と GRAB についてのアンケー
ト (表 1) を実施した．
5.2 アンケート回答
Q1，HMD 使用経験の割合は「初めて使う」が 9 人，「何度か使ったことがある」が 4 人「よく使う」が 1 人だった(図 9)．
図 7

握りつぶした際のキューブの変化

再度 X ボタンを押すことで，大きさは L に元に戻る．この動作を行うことにより，VR コントローラを静止さ せた状
態で力を GRAB に加えた際，プレイヤーの意図通りにGRAB が任意の反応をするか検証する．
4.4 ハンマーで殴打する
左 VR コントローラの Y ボタンで，手元にハンマーを表示する．その後 Middle もしくは Strong の状態で テストア
プリ内のターゲットを殴打すると，握力強度に応じた爆発© 2024 Information Processing Society of Japan

図 9

VR HMD

使用経験の割合218

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-09
2024/2/28

表 1

アンケート項目番号質問

選択肢

Q1

VR HMD の使用経験は？

初めて使う / 何度か使ったことがある / よく使う

Q2

【キューブ】握力の強さに応じて握り潰す動作は意図通りにできたかQ3【ハンマー】握力の強さを調整してハンマーを振る動作は意図通りにでき た

1.意図通りにできなかった ～か

7.意図踊りにできた(7 段階)

Q4

プレイ中に，握っている GRAB シートのズレが発生したか

1.ズレが発生した ～ 7.ズレがQ5

ボタン操作と握力操作という 2 つの操作方法の併用により，混乱が生じたか

1.意図通りにできなかった ～7.意図踊りにできた(7 段階)

発生しなかった(7 段階)
1.混乱が生じた ～ 7.混乱が生じなかった(7 段階)Q6VR テストアプリ，もしくは GRAB に対しての意見等があれば記述をお願い し

自由記述

ます．

5.3 考察また，Q2 の平均値は全体で 5.857，Q3 の平均値は 5.571，

キューブを握りつぶすタスクでは，被験者に L，M ，S とQ4 の平均値は 3.928，Q5 の平均値は 6.5 となった(表 2)．

段階的に握り潰すことを指示した．しかし，被験者がキューブを L から S の状態へ移行させていた．これは被験者が表 2

アンケート結果平均値任意の強さに握力を調整することが困難なためである． 被経験者

未経験者

全体

験者は Strong を容易に出していたが，Middle の状 態にする

Q2

5.4

6.111

5.857

ことを苦戦していた．Q3 の，ハンマーでターゲットを殴打Q355.888

3.928

する動作についても，Middle の状態にすることを 一部の被Q44.2

3.777

3.928

験者は苦戦していた．よってこれが意図通りに操作できな

Q56.6

6.444

6.5かった要因になったと考えられる．
また，アンケートでは全体の平均で Q4 が最も低いスコアを記録した．これにより，テストアプリの実験中に，シ7ートのズレが発生したことが確認できる．加えて，実験中6にシートのズレを修正する動作を観察した．シートのズレ5が発生すると，GRAB の握り方がキャリブレーション時と4操作中で異なる．これにより計測が不正確になり，握力による操作が困難になると考えた．シートを元に戻したとし3ても，キャリブレーションを行った際の正確な位置に戻ら2ず，誤差が生じる．よってシートのズレはキューブを握り1つぶす動作とハンマーで殴打する動作に影響を与え，Q 2 と0Q2

Q3経験者

Q4Q5

未経験者

全体

アンケート結果グラフ

Q3 のスコアを低下させた一因であると推測できる．
Q5 に関しては全体の平均値で 6.5 とスコアが高い．加えて，VR の使用経験がある被験者はスコアが 6.6，経験が無い被験者はスコアが 6.444 である．2 つの平均値によるス

図 10

コアの違いは小さい．これは，指を動かさず VR コントローラ把持時に力を加えるだけならば，混乱が生じる余地はQ6 では，以下のような感想が挙げられた．
⚫

少ないための結果だと考えられる．また，VR テストアプリ

短時間の使用であれば，シートのズレは気にならないでは VR コントローラで行う操作を完全に左と右で分けたと感じたことが一因でもあるだろう．左 VR コントローラは，キャ⚫

狙って Middle と Strong を出すのが難しかった

リブレーション，手元にキューブおよびハンマーを表示す⚫

VR 内に説明があるので，操作の混乱はしなかった．

るボタンを押す以外の操作を行わない．加えて右コントローラは GRAB のシート部を巻きつけ，握力を加える操作の© 2024 Information Processing Society of Japan219

情報処理学会 インタラクション 2024
IPSJ Interaction 2024みを行う．このことから，複雑な操作を被験者に行わせなかった．これがスコアの高さにつながったと考えられる．
Q6 ではテストアプリについて，操作説明が仮想空間内で確認できるため，混乱はしなかったとの記述があった．このことから，テストアプリ内に大きな問題はなかったと推察できる．しかし GRAB については，シートのズレにより，Middle と Strong を狙って出しにくいという感想が挙げられた．よってハードウェアである GRAB の改良を行う必要があるだろう．

6. お わ り に本研究では，既存の VR コントローラに握力感知機能を追加するセンサ，GRAB の開発と有効性を検証する評価実

1A-09
2024/2/28

with grasp-recognition for enriching natural game experience."
Proceedings of the 25th ACM Symposium on Virtual Reality
Software and Tech-nology. 2019.
[9] Adafruit. “Pressure-Sensitive Conductive Sheet (Velostat/Linqstat) : ID 1361 : $4.95 : Adafruit Indus-tries, Unique &fun DIY electronics and kits”.
https://www.adafruit.com/product/1361, (参照 2023-12-09).
[10] M5Stack, https://shop.m5stack.com/products/esp32-basic-core-lotdevelopment-kit-v2-7, (参照 2023-12-09).
[11] Dao, Emily, et al. "Bad breakdowns, useful seams, and faceslapping: Analysis of vr fails on youtube." Proceedings of the 2021
chi conference on human factors in computing systems. 2021.
[12] Jem Bartholomew.” Rising popularity of VR headsets sparks
31% rise in insurance claims | Virtual reality | The Guardian”.https://www.theguardian.com/technology/2022/feb/12/risingpopularity-of-vr-headsets-sparks-31-rise-in-insurance-claims, (参照 2023-12-09)

験を実施した．結果として GRAB により，被験者が仮想空間内で握力操作を行うことは可能であることが確認できた．
しかし問題点として，プレイヤーは GRAB を任意の強さで操作を行うことが困難であることが挙げられる．これはシートのズレがキャリブレーション後に発生し，値が変化するためだと考えられる．テストアプリでは，Middl e に移行しにくいことを確認した．これを解決するためには，G RA Bのシート部をバックルなどで固定し，握力による強弱の分類を見直す必要がある．本研究の評価実験は Meta Quest2 を用いて行ったが，GRAB は既存の VR コントローラ全てで動作させることを目標としている．よって，別の V R コントローラで使用し，検証する必要があるだろう．

参考文献[1] VALVE INDEX. “Valve Index－VR 体験をアップグレード Valve Corporation”. https://www.valvesoftware.com/ja/index, (参照 2023-12-09)[2] Meta. “Meta Quest 2: Immersive All-In-One VR Headset | MetaStore”. https://www.meta.com/jp/en/quest/products/quest-2/, (参照 2023-12-09)[3] VIVE. “VIVE Focus 3 - VR Headset for Metaverse Solutions |United States”. https://www.vive.com/us/product/vivefocus3/overview/, (参照 2023-12-09)[4] PICO. “PICO 4 オールインワン VR ヘッドセット | PICO
Japan”.
https://www.picoxr.com/jp/products/pico4?gad_source=1&gclid=C
jwKCAiAvdCrBhBREiwAX66UoZ1YxEZhh2ffRqb3JyHi2Y89vVe5Yw5w8IivasiHaT1xkm1Es
mY4xoCEDMQAvD_BwE ,(参照 2023-12-09)[5] Sinclair, Mike, et al. "Capstancrunch: A haptic vr controller withuser-supplied force feed-back." Proceedings of the 32nd annual
ACM sympo-sium on user interface software and technology.
2019.
[6] Choi, Inrak, et al. "Claw: A multifunctional handheld hapticcontroller for grasping, touching, and triggering in virtual reality."
Proceedings of the 2018 CHI con-ference on human factors incomputing systems. 2018.
[7] Choi, Inrak, et al. "Wolverine: A wearable haptic in -terface forgrasping in virtual reality." 2016 IEEE/RSJ International
Conference on Intelligent Robots and Systems (IROS). IEEE,2016.
[8] Yi, Hyeonbeom, et al. "Dexcontroller: Designing a vr controller© 2024 Information Processing Society of Japan220