情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-08
2024/2/28

仮想物体把持における物体変形を用いた視覚フィードバック
笠井 陽太1,a)

入山 太嗣1

小室 孝1

概要：本研究では，VR/AR 環境において仮想物体を把持する際に，手指がめり込むことによって生じる問題を解決するために，物体の変形を利用した視覚フィードバックを提案する．本システムではハンドトラッキングによって手指の位置姿勢を取得し，手指の形に合わせて仮想物体を変形させることで，仮想物体へのめり込みを防ぐ．物体の変形は物理シミュレーションにより実現した．変形する球体を実装し，仮想の手指にプリミティブなコライダーを設定することで仮想物体への手指のめり込みのない把持操作を実現した．また動作の様子を 3D ディスプレイ上で表示し，表示されている仮想物体をユーザーが自身の手指で把持操作できることを確認した．

1. はじめに示方法の違いが，把持と解放の性能やユーザーの好みにもたらす影響について検証した研究がある [4][5]．これらの映像技術の進歩に伴い，ユーザーが仮想環境に存在して研究では仮想物体を把持するにあたって，手指がめり込むいる物体とインタラクションを行うことができるように表示方法と手指がめり込まない表示方法での比較を行ってなった．それに伴って，VR/AR 環境における仮想物体のいる．その結果，手指がめり込む表示方法の方が，現実の把持操作に関する研究が盛んに行われるようになった．た

手と仮想の手の姿勢がずれなく表示されているため性能がだ仮想物体を把持操作する際，基本的に仮想物体には実体良いということや，ユーザーは手指の姿勢がずれていたとがないため反力が存在しないので，掴もうとしたときに手しても手指がめり込まない表示方法をより好むということ指がめり込んでしまう．これはユーザーに非現実感を与が示された．そのため，従来手法では操作のしやすさと見え，操作性が低下するという問題を引き起こす．

た目の自然さの両立をすることができないということが分

仮想物体へのインタラクションと視覚フィードバックかる．との関係は既にいくつか研究されており，ユーザーが知そこで，本研究では物体の変形を利用した視覚フィード

覚する体性感覚を補助するような視覚フィードバックをバックを提案する．具体的には，手指の形に合わせて仮想提示することで，仮想物体に対する選択や操作などのイ物体を変形させて表示することで，手指のめり込みがないンタラクションの性能が向上することが分かっている [1]．

視覚フィードバックと，現実の手と仮想の手で姿勢のずれ

Vosinakis と Koutsabasis は視覚フィードバックの有無にがない表示を両立する．これによって操作のしやすさと見よる仮想物体の把持とリリースの性能を検証した [2]．こた目の自然さの両立を目指す．の研究では，仮想物体を把持するときに物体の色を変えたり物体を発光させたりするような視覚フィードバックは，視覚フィードバックを使わないときと比べて，把持と解放

2. 手指のめり込みと姿勢のずれがない視覚フィードバックの操作性を向上させるということが示された．Lam らは仮

手指のめり込みがない視覚フィードバックと，現実の手想把持に影響を与える要因を分析して示した [3]．この研と仮想の手で姿勢のずれがない表示を両立する物体変形を究では，視覚フィードバックとして把持の様子をアニメー用いた視覚フィードバックを提案する．

ションで表示すると，物体の把持を認識しやすくなることを発見した．
また，仮想物体とのインタラクションにおける手指の表

ハンドトラッキングから 3 次元表示するまでの処理の概要を図 1 に示す．ユーザーは，システム上に配置されている変形する仮想物体と現実の手指と同期した仮想の手指で，仮想物体を動かしたり把持したりすることができる．ハン

1a)

埼玉大学
y.kasai.245@ms.saitama-u.ac.jp© 2024 Information Processing Society of Japan

ドトラッキングで手指の位置姿勢を取得し，手指の動きに1096

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-08
2024/2/28

合わせて仮想物体が変形する様子は 3 次元で提示する．また，仮想の手指を透明にすることで，ユーザーは仮想物体のみを視認することができる．
Hand Tracking

Object Deformation

3D Display

Physics Simulation

図 1: 提案手法の概要

図 2: システムの外観

2.1 視覚フィードバックの仕様
ゴムボールのように，手指による把持や解放の操作に合は Unity 内で PBD（Position Based Dynamics）[6] によるわせて，仮想物体の体積が再現されているかのように変形物理シミュレーションを行うことができるようになるもの

する視覚フィードバックを提案する．提案する視覚フィーである．PBD は従来の物理計算と比べて，即時性が高くドバックの表示と，仮想物体の把持や衝突の判定は物理シ多彩な物理シミュレーションが可能だという利点がある．

ミュレーションにより実現している．

そのため仮想物体の変形に本アセットを利用した．また，提案する視覚フィードバックでは，手や壁などの物体と接触するとその勢いや接触範囲に応じて変形の度合いが球体の弾性や粘性，衝突の判定などもアセットを利用して独自に設定した．

変化する．また，外からの力が加わっていないとき仮想物体は初期の形状を維持しており，加えられていた力がなく

3.2 手指の実装なったあとも初期の形状に戻る．よって，手指で仮想物体仮想物体と手指のインタラクションを実現するために，をへこませたり，手の上で弾ませたり，掴んで持ち上げてLeapMotion によって入力されている手指にプリミティブ動かしたりすることができる．

なコライダーを設定した．また 3D ディスプレイと Leap-

他にも変形物体の弾性や粘性の度合い，衝突発生時に変Motion の位置を固定して，Unity のシステム内で手の表示形の再現を適用するかどうかを設定することができる．そ位置を調整することで，現実の手指と仮想の手指の姿勢をのため，仮想物体の形状や質感によって変形の様子を異な同期させた．また，仮想の手指を透明に表示し，仮想物体るものにすることや，変形の有無の切り替えなどを行うこのみを 3D ディスプレイに表示させることで，ユーザーにとができる．

自身の手指と仮想の手指が二重に表示されることを防ぐ．

3. 実装
3.3 仮想物体と手指のインタラクション
本システムは開発環境として Unity，ハンドトラッキン提案する視覚フィードバックを用いて，仮想物体と手指グには LeapMotion，3D ディスプレイには Sony の裸眼立でインタラクションができる機能を実装した．Unity 内で体視可能な 3D ディスプレイである ELF-SR1*1 を使用しそれぞれの仮想物体に対して把持を行っている様子を図 3た．システムの外観を図 2 に示す．3D ディスプレイの前に示す．提案する視覚フィードバックを適用した物体を青方下部分に LeapMotion を設置する．黄色く半透明に表示

色，適用していない物体を赤色で表示している．図 3a でされている部分が描画範囲となり，その範囲内でユーザーは手指が仮想物体にめり込んでしまっているが，図 3b では表示されている物体を 3D で見ることができる．

3.1 仮想物体の実装
仮想物体として変形する球体を実装した．仮想物体の変形を実現するための物理シミュレーションには Unity のアセットである Obi Softbody *2 を使用した．このアセット*1*2

https://www.sony.jp/spatial-reality-display/
https://assetstore.unity.com/packages/tools/physics/obisoftbody-130029© 2024 Information Processing Society of Japan(a) 変形なし(b) 変形あり

図 3: 変形を利用した視覚フィードバックを適用した結果

1097

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-08
2024/2/28(a) 把持（左）(b) 把持（中）(c) 把持（右）(d) 解放(e) 手指でへこませる様子

図 4: 3D ディスプレイでの仮想物体と手指のインタラクション

は手指の位置に対応して仮想物体が変形していることが分

プレイは PC と接続し，Unity 内に構築した仮想物体の操かる．

作環境を表示している．仮想物体が存在しているように変形の無い物体は，変形物体の位置をトラッキングする

見える位置で手指を動かすことで，把持や操作をするこ

同サイズの衝突判定のない物体を用意し，変形物体の方をとができる．仮想物体を把持して動かし，解放している様透明にすることで実装している．仮想物体の表示のみを変子を図 4a から図 4d に示す．図 4a で仮想物体を把持し，えて変形の有無を適用しているので把持の条件は変わって

図 4b，図 4c と仮想物体を動かし，図 4d で把持を辞めていない．仮想の手指は把持していることを分かりやすくす

仮想物体を離している．仮想物体を把持して動かすことがるために表示している．

できており，把持の間は仮想物体の変形を保ったままで，解放するともとの球状に戻っていることが分かる．

3.4 3D ディスプレイによる立体表示システムを使用し，ユーザーが自身の手指で仮想物体とインタラクションしている様子を図 4 に示す．3D ディス© 2024 Information Processing Society of Japan

図 4e のように仮想物体を手指でへこませることもできる．物理シミュレーションで変形を実現しているので，把持だけでなく様々なインタラクションも可能である．

1098

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-08
2024/2/28

3D ディスプレイの形状の都合上，下の描画範囲は画面がせりだしていて物理的にインタラクションを行うことが難しい．そのため中央部分に床を設置し描画範囲の上部でインタラクションを行うことができるようにした．また，[6]

posium on Applied Perception 2019, 1-9, (2019).
Matthias Müller，Bruno Heidelberger，Marcus Hennix，and John Ratcliﬀ:
Position Based Dynamics , Journal of Visual Communication and Image Representation,
18(2), 109-118, (2007).

3D ディスプレイの表示は指の動きに従ってリアルタイムで動いている．

4. おわりに本研究では，VR/AR 環境において仮想物体を把持する際に，手指が仮想物体にめり込むことによって生じる問題を解決するための手法として，物体の変形を利用した視覚フィードバックを提案した．ハンドトラッキングによって手指の位置姿勢を取得し，変形する仮想物体に対して手指で動かしたり把持したりしている様子を 3D ディスプレイによって表示した．物体の変形は物理シミュレーションにより実現し，仮想の手指にプリミティブなコライダーを設定することで，変形する仮想物体と手指でのインタラクションを可能にした．提案する視覚フィードバックを適用して仮想物体を表示し，把持時の違いを確認した．3D ディ
スプレイ上に表示されている変形する仮想物体を，現実の手指で実際にへこましたり，把持操作を行ったりしている様子を示した．
今後の課題として，変形の有無や手のめり込みの有無による，把持操作の性能やユーザーの好みの違いを評価する実験を行うことがある．現状では，提案手法である変形を用いた視覚フィードバックの有用性が示されていないので，比較実験を行うことでその効果を示す必要がある．またそのためには，手指のめり込みがなく変形しない仮想物体と，ユーザーがインタラクションを行うことができる機能を実装する必要がある．他にも，現状では球体に対するインタラクションのみが実現されているので，異なる形状の変形物体の追加が必要である．
参考文献
[1]

[2][3][4][5]

Ferran Argelaguet and Carlos Andujar:
A survey of3D object selection techniques for virtual environments, Computers and Graphics 37, 121-136, (2013).
Spyros Vosinakis and Panayiotis Koutsabasis: Evaluation of Visual Feedback Techniques for Virtual Graspingwith Bare Hands Using Leap Motion and Oculus Rift ,Virtual Reality 22, 47-62, (2018).
Meng Chun Lam，Haslina Arshad，Anton Satria Prabuwono，Siok Yee Tan，and S. M. M. Kahaki: Interaction
techniques in desktop virtual environment: the study ofvisual feedback and precise manipulation method , Multimedia Tools and Applications 77, 16367-16398, (2018).
Mores Prachyabrued and Christoph W. Borst:
VisualFeedback for Virtual Grasping , 2014 IEEE Symposium
on 3D User Interfaces, 19-26, (2014).
Ryan Canales，Aline Normoyle，Yu Sun，Yuting Ye，Massimiliano Di Luca，and Sophie Jörg: Virtual Grasping
Feedback and Virtual Hand Ownership , In ACM Sym-© 2024 Information Processing Society of Japan1099