情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-60
2024/2/28

教育・訓練システムに適した仮想空間内におけるオブジェクト操作方法の検討
松宮正太†

鈴木雄介†

概要：高齢化に伴い産業現場での熟練者の引退が課題となっている．そのため，我々は仮想空間内での技能伝承を目的とした教育・訓練システムを研究開発しているが，複雑な作業の教育には，仮想空間内の 3D オブジェクトの操作が必要であると分かった．近年，3D オブジェクトの様々な操作方法が提案されているが，どのような操作方法が教育・訓練に適しているかは判明していない．本論では，専用の GUI を使用したオブジェクト操作手法を提案し，先行研究で提案された手法との比較実験について述べる．提案手法では，従来の位置/姿勢の 6 DoF 同時操作に加え，専用GUI を使用することで回転軸を選択し，操作自由度を分離した操作が可能である．専用 GUI は，Fitts の法則に則ったPie Menu を応用した配置であり，ギズモなど比較して，回転軸を選択するための時間が短縮されることが期待できる．

1. はじめに時操作に加え，専用の Graphical User Interface (GUI) を使用して，回転軸を選択し，両手でオブジェクトを指定した軸

近年，高齢化を背景に産業現場から熟練技術者が引退し，中心で回転させることが可能である．本論では，提案手法減少すると予想されている．このような状態が続き，熟練と先行研究で示された手法の比較実験について述べる．比技術者の後継者が決まらないまま，引退してしまった場合，較実験では，機械の組立作業を想定した抽象的なタスク対熟練技術者の技術が失われる．

象に，提案手法と先行研究で示された手法のユーザビリテ

我々はこの問題に対処するために，熟練技術者の技能を保存し，新人技術者に提示する技能伝承システムの開発を進めている．開発中のシステムでは，モーションキャプチィを評価する．

2. 先行研究ャシステムにより熟練技術者の動きを 3D データで保存し，仮想空間内のオブジェクト操作手法としては以前から可視化システムで保存したデータをもとに熟練技術者の動様々な手法が提案されている．我々は提案された手法を以きを新人技術者に提示する[1]．また，新人技術者の動きを下のように分類した．

計測し，熟練技術者の動きに重畳させることで，動きの違

2.1 Direct 手法

いをフィードバックすることもできる．すなわち，仮想空

Direct 手法は現実空間の操作を模した手法のため，ユーザ間内で熟練技術者の動きを見ながら，技能のトレーニングにとって自然な操作であることを特徴とする．6 DoF の位をすることが可能なシステムである．しかし，新人技術者置/姿勢を同時に操作可能な手法であり，オブジェクトを掴に提示することが可能なのは身体の動きのみであった．実む・離す・移動するといった操作が可能である．

際の工場現場を想定した場合，身体の動きのみで完結する

Mendes ら[2]は両手を使用した Direct 手法を提案し，既作業は少なく，複数の物品を操作して作業をすることが多存手法と比較した．片手で位置/姿勢を操作し，両手間の距

い．組立作業では，ドライバーやネジなどが使われ，特に離でスケーリング，すなわち大きさを操作する手法を提案

ネジなどの小さな部品は，両手を使って姿勢を変更し，正した．他にも片手で位置を操作し，もう片方の手で姿勢（2しい姿勢で組み付けるといった操作を行うこともある．仮DoF）を操作する Air TRS と呼ばれる手法も提案した．

想空間内でそのような作業をトレーニングしようとした場

Air TRS では，姿勢は 2 DoF のみの操作であったが，手合，現実空間の物品を模した 3D オブジェクトを操作する

首の回転を使用し，姿勢を 3 DoF 操作可能な Spindle + Wheel

技術が必要となる．

が提案された[3]．また，Spindle + Wheel は，Air TRS のよ仮想空間内でのオブジェクト操作技術は，Virtual Reality

うに左右で操作自由度を分離することはせず，両手で把持(VR) 技術の発展に伴い，様々な手法が提案されている．しした場合には，どちらの手でも 6 DoF の同時操作が可能でかし，どの手法が教育・訓練システムに適しているかは判ある．

明していない．

2.2 Widgets 手法

このような背景から，我々は Pie Menu を応用した新たなWidgets 手法は合計 6 DoF の操作自由度を分離し，同時にオブジェクト操作手法を検討した．提案手法では，従来の操作可能な自由度が 6 DoF 以下であることを特徴とする．

片手を使用した位置/姿勢の 6 Degrees of Freedom (DoF) 同†沖電気工業株式会社 技術本部 研究開発センター
プラットフォーム研究開発部© 2024 Information Processing Society of Japan889

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-60
2024/2/28

図 1 提案手法におけるオブジェクト操作の概要図

そのため，6 DoF の操作を行う場合は，複数回順番に操作する．自由度は専用の GUI を使って分離される．
代表的な GUI は，ギズモである．ギズモは 3D モデリングソフトウェアなどで多く採用される手法である[4]．形状は様々なものが存在するが，一般的なものはオブジェクトのローカル座標系を可視化したような形状である．ギズモでは，表示された軸をクリックやジェスチャなどで選択する(a)(b)

ことで，操作自由度を分離する．位置/姿勢のうちいずれか

図 2 提案手法の回転軸選択 UI (a)：両手でオブジェ

1 DoF を選択して操作することができる．

クトに触れた時に表示される回転軸操作 UI の外観，

Mendes らは Direct 手法と Widgets 手法を比較し，Widgets(b)：回転軸選択前にユーザへ回転方向を通知する UI

手法は操作精度に優れると主張した[5]．一方，Direct 手法の回転操作ができる．図 1 に提案手法の切り替え図を示す．

は 操作 速度 に 優れ ると し ，今 後 の課 題と し て後述す る

提案手法では，図 1 に示すように操作自由度の分離を切りDirect 手法と Widget 手法を組み合わせた手法を検討するこ替えながらオブジェクトを操作する．以下に提案手法の特とをあげた．

徴である回転軸の選択について詳細に述べる．

2.3 Direct + Widgets 手法

3.1 回転軸選択 UIDirect + Widget 手法は，一般的に操作速度に優れる Direct

回転軸選択 UI は，片手で 6 DoF の同時操作中に，もう手法と，操作精度に優れる Widgets 手法を組み合わせた手片方の手でオブジェクトに触れると表示される．図 2 (a) に法である．Direct 手法による操作と Widgets 手法による操回転軸選択 UI の外観を示す．回転軸選択 UI は図 2 (a) の作を切り替えながらの操作が特徴である．

ように三つの回転軸の選択肢が，オブジェクトから等距離

Mendes ら[6]は，任意軸回りの回転を特徴とする MAiORに配置される．これは，Pie Menu[8]を参考にした UI であを提案した．MAiOR では，6 DoF の同時操作も可能だが，る．Pie Menu は，二次元 UI のユーザビリティ評価の指標

オブジェクトを操作している手をしっかり握る，ジェスチに使用される Fitts の法則[9]に則った UI である．Fitts の法

ャを行うなどして操作自由度を制限できる．

則は，ポインタを動かし，特定のオブジェクトを選択する

Gloumeau ら[7]は，オブジェクトの表面にピンを配置し際にかかる時間を示すモデルであり，選択肢までの距離がて操作自由度を分離する手法を提案した．MAiOR 同様，6短く，選択肢の幅（大きさ）が大きいほど，選択するまでDoF の同時操作も可能である．また，オブジェクトの表面の時間が短くなる．Pie Menu は，円形に選択肢を配置するに配置したピンの数によって，回転操作の自由度を分離でことで，選択肢までの距離を短くし，かつ選択肢の大きさきる．

も大きくすることができる．そのため，提案手法はギズモ

3. 回転軸選択 UI を使用したオブジェクト操作などの Widgets 手法よりも軸を選択する際にかかる時間を短縮可能であると期待できる．

我々の提案手法は，前述した Direct + Widgets 手法に分類

回転軸選択 UI が表示されると，回転操作ができなくなされる．片手での操作時は Direct 手法と同様に 6 DoF 同時り，3 DoF の位置操作のみが可能になる．ユーザは 3 DoF操作が可能である．両手での操作時は回転軸選択 UI が表の位置操作で選択肢までオブジェクトを移動し，選択肢に示され，回転軸を選択することで，選択した軸回りの 1 DoFオブジェクトを触れさせることで回転軸を選択する．しか© 2024 Information Processing Society of Japan890

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-60
2024/2/28

表 1 比較対象のオブジェクト操作手法の分類と同時操作可能な自由度
手法名

分類

操作自由度
（同時）

提案手法
Both Hands
6 DoF
ギズモ

Direct + Widgets

6/3/4

Direct6Widgets

1(a)

(b)

図 3 比較対象の操作概要図
し，文字で軸の名前が表示された選択肢ではユーザが回転(a)：Spindle + Wheel[3],(b)：ギズモ[5]方向を認識できない可能性がある．よって，提案手法では，軸を選択前にユーザに回転方向を通知する．例えば図 2 (b)同時操作可能な自由度が切り替わるためである．比較対象

は ROLL を選択するときに表示される UI である．このよの分類としては，Direct 手法と Widgets 手法を対象とした．

うに，ユーザが選択肢にオブジェクトを近づけると，軸の先行研究で示された，Direct + Widgets 手法は，提案手法選択前に矢印が表示され，回転方向を認識できる．に比べて分離できる自由度の種類が多いが，その切り替え

3.2 手首のジェスチャによる回転制御が難しく操作の習熟に時間がかかり，教育・訓練の効率が回転軸選択 UI で回転方向を選択後，ユーザは手首をひ大きく阻害される可能性がある．そのため，訓練を支援すねることで回転操作を開始する（図 1 ③）．手首をひねっるという目的に照らして，今回は比較対象からは除外した．ている間だけ，オブジェクトが一定速度で選択軸回りに回以下に，提案手法と比較する二つの手法について示す．

転する．このとき操作できるのは，位置 3 DoF，姿勢 1 DoF

4.1.1 Both Hands 6 DoF（Direct 手法）の合計 4 DoF である．さらに，手首をひねる向きによって，この手法は Spindle + Wheel[3]を参考に筆者らが実装した回転の正負を指定することができる．例えば図 1 ③はDirect 手法である．Spindle + Wheel は，両手の中間位置にROLL 軸を中心として正方向にオブジェクトを回転させたオブジェクトを配置し，位置 3 DoF を操作する．回転 3 DoFときの例だが，図 1 ③と逆方向に手首をひねることで，オはどちらの手でも操作可能である．また，両手間の距離でブジェクトを逆回転，すなわち負方向に回転させることがスケーリング，すなわち大きさも操作可能であり，合計 7できる．また，手首をひねる手は最後にオブジェクトを触DoF の操作が可能である．ただし，今回比較対象とする Bothれたほうの手とする．例えば，右手で 6 DoF の操作時に左Hands 6 DoF には Spindle + Wheel と異なる点がある．図 3

手でオブジェクトに触れて回転操作を開始した場合，左手に操作の概要図を示す．図 3 (a) に示すように両手で位置/の手首をひねって回転を制御する．回転を止める際は，い姿勢の 6 DoF 同時操作ができるのは Spindle + Wheel と同じずれかの手をオブジェクトから離し，手を開くことで，回である．しかし，Spindle + Wheel では専用のコントローラ

転を停止させることができる．

を使用していたが，Both Hands 6 DoF では使用せず，ハン4. 実験ドトラッキングによる推定結果を入力とする．また，スケーリング操作は受け付けず，位置/姿勢の 6 DoF 操作のみが今回の提案手法について，二段階の実験により評価する可能である．これは，作業の教育・訓練のシステムに適用ことを予定している．まず，後述するペグインホールのよした場合，スケーリング操作は現実空間では不可能な，すうな抽象的なタスクで，先行研究で示された手法と比較し，なわちシステムの目的にとっては不要な操作であるためで基本的なユーザビリティを評価する（一段階目）．その結果ある．Direct 手法は現実空間と同じ感覚で操作可能であるを踏まえ，各手法で具体的な組立作業を仮想空間内でトレため，現実空間に近い形で作業のトレーニングができるとーニングし，教育効果を比較する．そして，どのオブジェ予想される．そのため，今回比較対象として Both Hands 6

クト操作手法が教育・訓練に適しているか評価する（二段DoF を選定した．

階目）．本論では，一段階目の抽象的なタスクでの実験につ

4.1.2 ギズモ（Widgets）いて述べる．

ギズモは一般的な Widgets 手法である．図 3 (b) に一般

4.1 比較手法的なギズモの操作手法を示す．前述したように，ギズモは今回の実験では，提案手法を含め三種のオブジェクト操多くの 3D モデリングソフトウェアに採用されている[5]．

作手法を比較する．表 1 に三種の比較手法の特徴を示す．

また，多くのオブジェクト操作に関する研究で比較対象と提案手法の同時操作可能な自由度が複数あるのは，片手でして挙げられている手法でもある[4][6][7]．操作精 度がの操作，両手での操作，回転軸を選択したときの操作で，© 2024 Information Processing Society of Japan891

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

(a)

2B-60
2024/2/28

(b)

(c)

図 4 難易度の異なる三種のペグインホール（赤：ペグ，青：ホール）を模したタスク (a)：位置 3 DoF のみの操作で達成可能なタスク，(b)：位置 3 DoF と姿勢 1 DoF の操作で達成可能なタスク，(c)：位置/姿勢の 6 DoF 操作で達成可能なタスク
Direct 手法よりも高いとされているが[4]，教育・訓練に応また，基本的なユーザビリティの評価実験後は，前述し用したときの効果は検証されていない．よって，今回の比たように教育効果を検証する実験も行う．ユーザビリティ

較対象として選定した．

評価では高い評価を得たが，トレーニング後に作業が身に4.2 実験タスク

つかないというように，教育効果が低くなる可能性も十分

実験タスクは Mendes ら[2]を参考に，「ペグインホール」に考えられる．そのため，具体的な組立作業を対象に各手に類似したタスクを設定する予定である．図 4 にタスクの法で仮想空間内でのトレーニングを行い，教育効果を比較

イメージ図を示す．ペグインホールは，ペグ（オブジェクする予定である．

ト）をホール（穴）に挿入する作業である．このような作

参考文献

業は，工場内における組み立て作業などで多発するため，[1]タスクとして選定した．例えば，ネジをネジ穴に挿入する，ナットにネジを挿入する，部品同士を組み付けるなどの作[2]業である．
また，Mendes ら[2]と同様に，タスクの難易度をオブジェクトの形状やオブジェクトの初期位置/姿勢を変化させる[3]こと等で調整する．例えば，図 4 (a) に示した球のような単純な形状のオブジェクトであれば，姿勢を変更することはせず，3 DoF の位置のみの操作でタスクを達成することが[4]可能である．一方，図 4 (c) に示したような複雑な形状のオブジェクトであると，タスクを達成するために 6 DoF の操作を必要とする．

[5]

5. 結論
本論では，XR を応用した教育・訓練に適する新しいオブ[6]

ジェクト操作方法を提案した．提案手法では，オブジェクトの位置/姿勢の 6 DoF 同時操作が可能である．また，専用の回転軸選択 UI を使用し，回転軸を指定した操作も可能である．回転軸選択 UI は，Pie Menu を応用した UI であり，[7]同じように操作自由度を選択する UI であるギズモと比較すると，選択時の操作時間に優れると予想している．
また，抽象的な作業を対象に先行研究と提案手法の比較実[8]験について述べた．本論で示した比較実験は基本的なユーザビリティ評価のための実験であり，その結果を踏まえ，組立作業を対象とした教育効果の比較実験も行う予定である．
今後の課題としては，4 章で述べた比較実験を行うこと[9]

松宮正太, 村松敦, 鈴木雄介, “3D ディスプレイによる重畳表
示機能を用いた技能伝承システムの提案”, インタラクショ
ン 2023, pp. 162-165, 2023.
D. Mendes, F. Fonseca, B. Araùjo, A. Ferreira and J. Jorge, "Midair interactions above stereoscopic interactive tables," 2014 IEEE
Symposium on 3D User Interfaces (3DUI), Minneapolis, MN,
USA, 2014, pp. 3-10.
I. Cho and Z. Wartell, "Evaluation of a bimanual simultaneous
7DOF interaction technique in virtual environments," 2015 IEEE
Symposium on 3D User Interfaces (3DUI), Arles, France, 2015,
pp. 133-136.
D. Mendes, F.M. Caputo, A. Giachetti, A. Ferreira and J. Jorge, "A
Survey on 3D Virtual Object Manipulation: From the Desktop toImmersive Virtual Environments", Computer Graphics Forum, vol.
38, pp. 21-45, 2017.
D. Mendes, F. Relvas, A. Ferreira, and J. Jorge, “The benefits ofDOF separation in mid-air 3D object manipulation”, in Proc. of the22nd ACM Conf. on Virtual Reality Software and Technology,
2016, pp. 261-268.
D. Mendes, M. Sousa, R. Lorena, A. Ferreira, and J. Jorge, “Usingcustom transformation axes for mid-air manipulation of 3D virtualobjects”, in Proc. of the 23rd ACM Symposium on Virtual Reality
Software and Technology (VRST '17), Article vol. 27, pp. 1–8,
2017.
P. C. Gloumeau, W. Stuerzlinger and J. Han, "PinNPivot: Object
Manipulation Using Pins in Immersive Virtual Environments," inIEEE Transactions on Visualization and Computer Graphics, vol.
27, no. 4, pp. 2488-2494, 2021.
J. Callahan, D. Hopkins, M. Weiser, and B. Shneiderman, “Anempirical comparison of pie vs. linear menus”, in Proc. of theSIGCHI Conf. on Human Factors in Computing Systems (CHI'88), New York, NY, USA, 1988, pp. 95–100.
Fitts, Paul M. “The information capacity of the human motor
system in controlling the amplitude of movement. 1954.” Journalof experimental psychology General, vol.121, no. 3, pp. 262-269,
1992

である．この比較実験の結果は後日報告する．

© 2024 Information Processing Society of Japan892