1C1-02
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 28 回日本バーチャルリアリティ学会大会論文集（2023 年 9 月）

撫で動作における接触感の視覚フィードバックのための CG 手映像の構成
Composition of CG Hand Images
for Visual Feedback of Contact Sensation in Stroking Motion
柳田沖人 1)，森博志 1) ，外山史 1)
Okito YANAGIDA, Hiroshi MORI, and Fubito TOYAMA
1) 宇都宮大学大学院 地域創生科学研究科 (〒321-8585 栃木県宇都宮市陽東 7-1-2, o.yanagida@vc.is.utsunomiya-u.ac.jp)
概要：本稿では，VR での撫で動作を対象に接触感の視覚フィードバックのための CG 手映像を構成する手法を提案する．ハンドトラッキングにより得られた手指の入力姿勢情報を基に，連動性を損なうことなく物体面上に継続して接触するように，ユーザへ提示する手指の姿勢を補正する．実験では，補正の有無における構成映像の比較，および接触感の差異についてユーザ評価を実施し提案手法の有効性を確認した．
キーワード：視覚，感覚・知覚，触覚，HMD

1. はじめにVR において本質的な体験を得るための効果的な手段として，手を使用した接触動作がある．物体への接触や把持，表面を撫でる動作等，接触感を視覚ディスプレイを通してユーザへ提示するためには，感覚モダリティと矛盾のない CG 映像の提示が必要となる．
矛盾のない VR 接触動作映像の実現手法として，提示映像中の物体に合わせてユーザの手指を物理的に拘束するアプローチ[1]や，VR 内のユーザの手指が物体に触れるように手指映像を生成するアプローチ[2]がある．特に後者は，触覚フィードバックを使用せずに視覚情報から接触感を提示するため，専用機器を装着する必要がなく汎用性が高い．
そこで本稿では，接触動作の中でも撫で動作を対象に，VR 内のユーザの手指が物体に接触し撫でているように感じられる CG 手映像の構成手法を提案する．入力のハンドトラッキング情報を基に，連動性を損なうことなく，撫で動作において対象に継続して接触するように手指の姿勢を補正することで，CG 手映像を構成する．

2. 提案手法
提案手法の概要を図 1 に示す．ハンドトラッキングにより取得した手指姿勢𝐐𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔 を入力として，撫で動作の実行時に手指が物体面を突き抜ける場合に，次の(1)と(2)の処理により物体面に手指が接するように姿勢を補正する．
(1) 接触位置の算出
突き抜けの判定は，入力手姿勢の手掌部重心位置および各指の先端位置から手の甲側の法線方向に投射したレイと物体面との交差判定により行う．入力手姿勢における手𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔
掌部重心位置，および指の先端位置𝐩𝑗から投射した
𝑠𝑢𝑟𝑓𝑎𝑐𝑒

レイと物体面との交点を𝐩𝑗とすると，VR 上の手掌部重心および各指の先端位置𝐩𝑣𝑟は次のように表される．
𝑗Ⓒ 2023 日本バーチャルリアリティ学会

入力 撫で動作出力 撫で動作映像

VR×

ハンドトラッキング
姿勢情報
接触

レイ

姿勢補正

補正姿勢情報図 1 提案手法の概要
𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔

𝐩𝑗
𝐩𝑣𝑟
𝑗 = { 𝑠𝑢𝑟𝑓𝑎𝑐𝑒𝐩𝑗+ 𝐜𝑗(交差なし)(交差あり)(1)

𝐜𝑗 は部位 j のジョイント位置から手モデルのスキンメッシュまでの相対座標値である．また，入力手姿勢の手掌
𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔
部重心𝐩𝑝𝑎𝑙𝑚 が物体面下にある場合，入力手首姿勢
𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔

𝐪𝑤𝑟𝑖𝑠𝑡𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔に変化が生じると𝐩𝑝𝑎𝑙𝑚からのレイの投射方向

𝑠𝑢𝑟𝑓𝑎𝑐𝑒𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔が変化し，𝐩𝑝𝑎𝑙𝑚 に位置ずれが生じる．そこで𝐩𝑝𝑎𝑙𝑚からのレイの投射方向を物体面下侵入時における投射方向を維持するように補正することで位置ずれを抑制す
る．
(2) 補正姿勢の算出
𝑣𝑟
𝐩𝑣𝑟
𝑗 に基づき次の(a)，(b)の補正処理により補正姿勢𝐐を得る．
(a) 物体面に沿う手姿勢の算出
𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔
入力手姿勢の手掌部重心𝐩𝑝𝑎𝑙𝑚 が物体面下にある場-1C1-02-1C1-02

*
(i)

(ii)

(iii)

*

*(b)Q2(c)Q3(iv)(a)平面に対する撫で動作

(i)

(ii)

(iii)

(iv)

(a)Q1(b)球面に対する撫で動作

図 3 ユーザ評価結果

各設問に対する回答はリッカート尺度を用いた 7 段階評
価法で評価を行った．
(i)

(ii)

(iii)

(iv)

(c)自由曲面（犬モデル）に対する撫で動作

図 2 撫で動作映像の構成結果の比較．(i)対象物体，(ii)補正なしの構成結果，(iii)提案手法による構成結果，(iv)提案手法による補正処理．

合，撫で動作における適切な手姿勢は物体表面に手の平が接する姿勢となる．そこで物体面の法線ベクトルに手首甲側の法線ベクトルが一致するように手首姿勢を回転することで物体面に手の平が沿うように補正する．
(b) 物体面に沿う指姿勢の算出
𝐩𝑣𝑟
𝑗 に基づいた IK 計算により各ジョイントの姿勢を算出する．
このとき，湾曲した物体面と物体面下に位置する入力
手姿勢との位置関係によっては，算出された指の先端位置𝐩𝑣𝑟
𝑗 が実際の位置よりも手の平側に位置してしまうことで不自然な指の屈曲姿勢が構成されることがある．そこ
𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔
で物体面に沿う指姿勢の構成のために，指先端𝐩𝑗からのレイを指を伸張する方向に回転させて指が物体面に沿う𝐩𝑣𝑟
𝑗 を再計算することで適切な指姿勢を算出する．
以上の処理により入力姿勢との連動性を損なうことな
く，適切な撫で動作を構成する補正姿勢𝐐𝑣𝑟 による手映像を構成する．

3. 実験
3.1 実験概要
本手法による構成映像の評価のためにユーザ評価実験を実施した．映像の提示には HTC 社の VIVE Pro を使用し，同デバイスのハンドトラッキング機能により手指姿勢を取得した．被験者には図 2(a)，(b)，(c)の(i)に示す平面，球面，および自由曲面により構成される犬モデルの 3 つの物体それぞれに対し，入力姿勢情報を反映した補正なしの場合と提案手法を用いた補正ありの場合の計 6 つの条件において 30 秒間ずつ撫で動作を実行させた．被験者は 20代の男性 15 名で，被験者ごとに提示する物体および補正の有無の順番はランダムとし，条件を 1 つ提示するごとに被験者に以下の 3 つの設問に回答してもらった．
Q1：映像から自分の手指が物体に接していると感じられましたか？
Q2：映像から自分の手指を動かしているように感じられましたか？
Q3：映像から自分の手指で物体を撫でているように感じられましたか？

Ⓒ 2023 日本バーチャルリアリティ学会

3.2 結果と考察
入力姿勢情報をそのまま反映した補正なしの場合の構成結果と提案手法を用いた補正ありの場合の構成結果を
図 2 に示す．図 2(a)，(b)，(c)の(ii)で示した補正無しの構成
結果では手指が物体面を突き抜けているのに対し，(iii)で示した提案手法を用いた構成結果では物体面に接するように姿勢が補正されていることが確認できる．(iv)は提案手法による補正処理の様子である．
ユーザ評価結果を図 3 に示す．Q1～Q3 のそれぞれに対し，ウィルコクソンの符号順位検定より有意差(𝑝 < 0.01)が認められた．このことから補正映像の視覚情報による接触感の提示と，視覚情報と手指の運動との感覚モダリティ間の差異の軽減，および接触感と手指の運動感覚から構成される撫でる感覚の獲得に対する提案手法の有用性が示された．一方で Q2 における評価値の差は Q1，Q3 と比較して小さい．これは補正なしの場合において，入力であるユーザの手指姿勢が直接反映されることによる視覚と手指の運動感覚の一致に伴う評価値の高さが要因だと考えられる．また，提案手法による構成結果において，ユーザが意図して指を曲げたにもかかわらず，補正処理によって意図に反して指姿勢が物体面に沿う場合があり，そこで発生する感覚モダリティの矛盾もその要因であると考えられる．

4. おわりに
本稿では接触感の視覚フィードバックのための CG 手映像を構成する手法を提案した．撫で動作映像の構成結果およびユーザ評価結果より，提案手法を用いて連動性を損なうことなく物体面上に手指が位置するように手指姿勢を補正した撫で動作映像が，入力の手指姿勢そのままの補正なしの撫で動作映像と比べて接触感の提示，視覚からの感覚モダリティと手指の運動による感覚モダリティの差異の軽減，および撫でる感覚の獲得において有用性が示された．今後の課題として屈曲した手指姿勢による撫で動作のための姿勢補正処理，および摩擦感を提示する手指姿勢の補正処理の検討が挙げられる．

参考文献[1] C.Fang et al,“Wireality : Enabling Complex Tangible
Geometries in Virtual Reality with Worn Multi-String
Haptics, ” CHI ‘20，pp.1-10，2020.
[2] H.Zhang et al, “ManipNet: neural manipulation synthesis
with a hand-object spatial representation, ” ACM
Transactions on Graphics, Volume 40, Issue 4, Article No.
121, 2021.

-1C1-02-