ロング採録
WISS 2017

Open Palm Menu: 手掌前に配置する仮想メニューの提案
浅井 拓己*

大槻 麻衣†

柴田 史久*

木村 朝子*

概要． 仮想現実 (Virtual Reality; VR) 空間や複合現実 (Mixed Reality; MR) 空間のような 3 次元空間では，仮想データを空間上に提示し，操作することが可能である．しかし，仮想データを操作するために必要となるメニューを 3 次元空間のどこに表示し，どのように操作するのかはしばしば問題となる．既存の研究では空中に表示する手法や，身体上に表示する手法が提案されているが，本研究では手の開閉をトリガとし，手（非利き手）に追従するメニューを手掌の前の空間に表示し，それを反対の手（利き手）で選択するという手法を提案する．この手法では，表示領域を空間とすることで身体上に表示するよりも多くの項目を様々なレイアウトで表示できる．さらに，手の開閉というユーザの任意のタイミングでの表示や手掌に対しての追従によって空間中の操作しやすい・見やすい位置への移動や運動感覚を利用した円滑な操作を可能にする．本研究では，実験によって円滑に操作することが可能なメニューの設計指針を確認した後，その結果を考慮して設計したメニューをモデリングアプリケーションに導入し，提案メニューの使用感に関する調査を行った．

1.

はじめに近年，安価なヘッドマウントディスプレイ (HeadMounted Display; HMD) の登場により，人工現実感 (Virtual Reality; VR) 技術が身近なものになりつつある．さらに，仮想と現実を融合する複合現実
感 (Mixed Reality; MR)，拡張現実感 (AugmentedReality; AR) 技術も注目されている．
VR 空間や MR/AR 空間でのインタラクション手法としては，空間に配置されたドキュメント・画像・3 次元オブジェクトなどの電子データを，手や指の動きを用いたジェスチャで操作する手法がしばしば採用されている[1,2]．一方，機能を切り替える際や詳細の変更にはメニューが必要となるが，このメニューの表示場所や操作方法については，しばしば問題となる．
VR や MR/AR システム用のメニューとして多くみられるのは，メニューを空中に配置するものである．Calaco らの Mime[3]では，頭部の正面にメニューを浮かべ，指によるクリックで選択する方法がある．しかし，視界の中央にメニューが表示され，それが頭に追従するため，視界がメニューで覆われメニューと仮想物体を同時に確認し難いという問題がある．また，Microsoft HoloLens のアプリケーショ
ン HoloStudio[4]では，空中の任意の場所にメニューを固定する方法を採用している．この手法ではユーザが向きや姿勢を変えると，メニューが見えなく
Copyright is held by the author(s).
*立命館大学大学院情報理工学研究科†
筑波大学システム情報系なるため，その都度メニューをユーザにとって操作しやすい位置に移動させる必要がある．
実物体を利用したメニューも提案されている．
Lee ら[5]の Tangible Spin Cube では，実物体の立方体に AR マーカを貼り付け，その立方体を回転させることでメニュー選択を行う．しかし，この手法ではメニュー専用の実物体を導入する必要がある．
実物体ではなく，ユーザの身体をメニューの表示領域として利用する方法も提案されている．He[6]らは，AR 空間での作業において，手掌にメニュー表示を行う手法を提案し，頭部正面に表示されるメニューや仮想オブジェクト付近に表示されるメニューと比較している．その結果，表示や視認が容易であるという理由から，手掌に表示されたメニューを好む被験者が最も多く，手掌にメニューを表示する有用性を示している．ただし，この手法では，表示領域が手掌に限定されるため，各項目の表示が小さくなるという問題や一度に表示できる項目数が限られているという問題がある．
ユーザの身体をメニューの表示領域として利用する別の方法として，著者らはこれまでに前腕にメニューを表示する手法を提案してきた[7]．前腕を利用することで，操作しやすい，見やすい位置にメニューを容易に移動することができるという利点はそのままに，メニューの表示面積を拡張することができた．しかし，メニュー項目を目視で確認する（HMD画面に表示する）たびに，視界の大部分が手や腕に覆われてしまい，作業対象を見ながらのメニュー操作がやり難いという問題が残った．
そこで本研究では，手のひら（手掌）を開くと非利き手の手掌の前の空間にメニューが表示され，そWISS 2017

れを反対の手（利き手）で操作する Open PalmMenu を提案する（図 1）．Open Palm Menu は，表示領域を手掌の前の空間とすることで，身体上に表示するよりも多くの項目を様々なレイアウトで表示することができる．さらに，メニューが手掌に追従することで，操作しやすく，見やすい位置へのメニューの移動を容易にする．
本稿では，まず実験を通して円滑に操作することが可能な Open Palm Menu の表示範囲，レイアウトなどの設計指針を確認する．さらに，その結果をもとに Open Palm Menu をモデリングアプリケーションに導入し，提案メニューの使用感に関する調査を行う．

2.

Open Palm Menu

2.1.

メニュー表示本研究で提案するメニューの表示方法を図 2 に示す．片手（非利き手）を閉じた状態で手掌をユーザの顔に対して垂直に配置し，その状態から指を開くとメニューが表示される．また，ユーザが指を閉じるとメニューを非表示に（収納）することができる．
このメニューは，ユーザが手掌を開いている限り，手に追従して表示される．
2.2.

身体部位を利用した情報入力と運動感覚

Lin ら[8]は運動感覚を利用することで，前腕を目視せずとも前腕上の意図した位置に触れることが可能であることを確認している．運動感覚とは深部感覚（体性感覚）の一種であり，関節の屈折状態を感受し手や腕の位置や運動の方向を認識できる感覚のことである[9]．
前述した[6]の手掌に表示されたメニューや[7]の前腕に表示されたメニューでは，自身の身体に重畳描画されたメニューに指で触れて操作するため，この運動感覚を活用でき，素早く円滑な操作が可能となる．Open Palm Menu は，手掌に追従するメニューであるため，従来研究同様，運動感覚を利用した素早く円滑な操作が期待できる．
2.3.

実装

本研究では，VR，MR 両空間で Open Palm Menuを実装した．図 3(a)-(c) に MR 空間での実装結果，
図 3(d) に VR 空間での実装結果を示す．VR 空間の提示には HMD (Oculus Rift DK2) を，MR 空間の提示にはさらにステレオカメラ (Ovrvision Pro)を追加することで実世界の画像情報を取得し，同HMD 上で実世界の画像情報と仮想オブジェクトで

図 2 メニューの表示方法

図 1 手掌前に配置する仮想メニュー（イメージ）(a) メニュー表示（MR 空間）(b) タッチ（MR 空間）(c) ドラッグ（MR 空間）(d) メニュー表示と選択（VR 空間）

図 3 実装結果

Open Palm Menu: 手掌前に配置する仮想メニューの提案あるメニューを重畳描画した．手掌と指の位置は，HMD 前面に取り付けた小型モーショントラッカ(LeapMotion) により取得する．開発環境には，Unity 5.3.5 を用いた．

3.
3.1.

実験：円滑な操作が可能なメニューの設計
指針の確認
実験目的・概要

提案するメニューで円滑に操作することが可能な設計指針（表示範囲，レイアウト）を確認することを目的として実験を行った．具体的には，メニュー項目を横方向に配置した横メニューと縦方向に配置した縦メニュー（図 4）を用意し，各々のメニュー項目に対する入力完了までの時間（試行時間）とエ
ラー回数，ユーザの手の軌跡，実験後のコメントから，円滑な操作が可能なメニューの表示範囲を確認する．
3.2.

実験条件

実験は VR 空間で行った．被験者は男性 14 名（21歳～23 歳，平均 22.07 歳）で，全員右利きである．
メニュー1 項目あたりの大きさは，事前調査で視認，選択ともに容易であったサイズの中で最小の縦6cm×横 6cm を採用した．また右手と左手が接触しないように横メニューの項目 1 と縦メニューの中央は手掌から 10cm 距離を離した（図 4）．項目数は左手を視界の中央に配置したときに視界内に収まる 7個とした．
また，次節の実験手順 (1) で被験者に触れさせる
2 つの立方体は，視界の中央に配置されるよう被験者の頭部と同じ高さとし，立方体の間隔は 22cm とした．この間隔を採用した理由は，メニューを表示した際に右手が縦メニューと横メニューのおおよそ中央の位置になるためである．頭部から 2 つの立方体の中点までの距離は被験者が腕を頭部前方に自然に伸ばした際の距離とほぼ同じ 50cm とした
（図 5）
．
3.3.

実験手順

実験環境は VR 空間とし，以下の手順で実施した．
(1) 各試行での両手の初期位置を一定にするため，正面に配置された 2 つの小さな立方体をそれぞれ左手と右手で触れる（図 6(a)）(2) 左の手掌からメニュー（縦メニューまたは横メニュー）を表示し（図 6(b)），正面中央に表示された数字（1～7 の数字がランダムに表示される）と同じ項目を選択する（図 6(c)）(3) (1),(2)を 1 試行とし，1 つの項目（数字）につき計 5 回選択するまで（総計 35 回）繰り返す
実験前に十分練習を行わせ，可能な限り素早く正確に項目を選択するように指示した．順序効果を考慮して，半数の被験者は縦→横メニュー，残り半数の被験者は逆の順番で上記(1)-(3)を実施した．また，(2)で提示する数字はランダムとした．被験者 1 人当たりの試行回数はメニュー1 項目につき 5 回選択×7 項目×メニュー2 種の計 70 回である．また，全ての試行が終了したのち，横メニューと縦メニューで操作が容易だった方を回答させ，被験者からコメントを求めた．
3.4.

実験結果

横メニューの実験結果を図 7 (a)～(c)，縦メニュー
立方体

22cm6cm10cm6cm

50 cm

10cm

数字のパネル6cm

z6cm

図 4 実験に用いた横メニューと縦メニュー(a) 数字の表示

yx

被験者

図 5 実験環境(b) メニューの表示
図 6 実験手順(c) 項目の選択

WISS 2017
*

*

1000
800600400

456734567-25

平均-5Ryanの方法*:p<0.05

上0.7

*

1200
1000
800
600

00.40.3

0メニュー項目

67

平均

Ryanの方法*:p<0.05(d) 縦メニューの平均試行時間

1230530

右-10-20425-50.1
320

開始地点

0.520021015x[cm]50.6-1515100.2

400

0左(c) 横メニュー選択時の右手の軌跡*

0.8

エラー回数[回]

試行時間[ms]

1400

2(b) 横メニューの平均エラー回数*

1600-10-20

メニュー項目(a) 横メニューの平均試行時間

1234567

下1

平均

Ryanの方法*:p<0.05

開始地点-5-150.2

0メニュー項目

*

0.3

030

*

0.4

1050.50.12*

0.62001

上0.7y[cm]

*

1200

*

0.8*

エラー回数[回]

試行時間[ms]

1400y[cm]

1600

4567

下12345

メニュー項目67

平均Ryanの方法*:p<0.05(e) 縦メニューの平均エラー回数-25-10左-50510x[cm]152025右(f) 縦メニュー選択時の右手の軌跡

図 7 実験結果の実験結果を図 7(d)～(f)に示す．
横メニューと縦メニューの項目ごとの平均試行時間をそれぞれ図 7 (a),(d) に示す．縦軸が 1 試行あたりの平均試行時間を表し，横軸がメニュー項目の番号を表す．
「平均」は全項目の平均試行時間である．
平均試行時間について，項目番号（7 水準）とメニュー方向（2 水準）を要因として，2 要因分散分析を行った．その結果，項目番号とメニュー方向どちらも主効果が有意であった（それぞれ，F(6, 13) =19.0, p < 0.001，F(1, 13) = 5.3, p < 0.05）．また，項目番号とメニュー方向の交互作用が有意であった（F(6, 78) = 2.3, p < 0.05）．
下位検定として項目番号ごとのメニュー方向間の単純主効果の検定を行った．その結果，項目番号が4～7 の時に，縦メニューと横メニューの間に有意差が見られた(p < 0.05)．次に，メニュー方向ごとの項目番号間の単純主効果の検定を行ったところ，いずれのメニュー方向でも項目番号について単純主効果が有意であった．さらに Ryan の方法を用いた多重比較を行った結果，横メニューでは左手に近い項目1～3 と左手から離れた項目 5～7 との間に有意差が見られた (p < 0.05)．縦メニューでは，左手掌前と左手掌よりも上に配置されている項目 1～4 と左手掌よりも下の項目 6～7 との間に有意差が見られた(p < 0.05)．
次に，横メニューと縦メニューの平均エラー回数をそれぞれ図 7(b), (e)に示す．縦軸が 1 試行あたりの平均エラー回数を表し，横軸が項目番号を表す．
「平均」は全項目の平均試行時間である．
同様に，平均エラー回数について項目番号（7 水準）とメニュー方向（2 水準）を要因として，2 要因分散分析を行った．その結果，項目番号のみ主効果が有意であった（F(6, 13) = 5.3, p < 0.001）．また，項目番号とメニュー方向の交互作用が有意であった（F(6, 78) = 3.7, p < 0.005）．
下位検定として項目番号ごとのメニュー方向間の単純主効果の検定を行った．その結果，項目番号が3 の時に，横メニューと縦メニューの間に有意差が見られた(p < 0.001)．次に，メニュー方向ごとの項目番号間の単純主効果の検定を行い，横メニューの場合のみ，項目番号間に有意差が見られた (p <0.001)．Ryan の方法を用いた多重比較によれば，横メニューでは中央付近の項目 3～4 と端付近の項目1～2，6～7 との間に有意差が見られた (p < 0.05)．
試行時間が最も平均値に近かった被験者の横メニ
ューと縦メニューの項目選択時の右手の x-y 平面上の軌跡をそれぞれ図 7 (c), (f) に示す．横軸が x 座標で左右を表し，縦軸が y 座標で上下を表す．7 本の線が 7 つの項目を選択する際の軌跡である．
被験者に対して横メニューと縦メニューで操作が容易だった方を回答させたところ，14 名中 10 名が縦メニューを，4 名が横メニューを操作する方が容Open Palm Menu: 手掌前に配置する仮想メニューの提案(a) 機能切替えメニュー(b) 拡大・縮小メニュー（横型）(c) 拡大・縮小メニュー（縦型）(d) 色メニュー（行列型）(e) 色メニュー（縦型）
図 8 モデリングアプリケーション

易だったと回答した．
3.5.
3.5.1.

考察
平均試行時間

横メニュー（図 7(a)）の結果より，左手に近い項目 1～3 の試行時間は遠い項目 5～7 に比べて有意に短かった【設計指針 (1)】
．一方，x-y 平面上の被験者の右手の軌跡（図 7(c)）を確認すると，項目 1 を選択する場合と 7 を選択する場合では移動距離に大きな差は見られなかった．すなわち，移動距離がほとんど同じであったにもかかわらず，左手に近い項
目 1 の方が素早く選択できていた．
その理由として，多くの被験者が，左手を顔の正面付近に配置しており，視界の端に表示され，かつ，左手から遠い項目5～7 は，視認して選択を行うのに時間を要したと考えられる．また，被験者のコメントに「左手に近い項目は注視せずとも直観的に選択できた」とあったことから，左手の近くの空間が運動感覚により把握しやすくなり素早く選択できたためではないかと考えられる．
縦メニューの場合（図 7(d)），左掌前と左手掌よりも上に配置されている項目 1～4 の試行時間は左手掌よりも下の項目 6～7 と比べて有意に短かった【設計指針 (2)】．一方，x-y 平面上の被験者の右手の軌跡（図 7(f)）を確認すると，横メニューと同様に，項目 1 を選択する場合と項目 7 を選択する場合では移動距離に大きな差は見られなかった．この要因も横メニューと同様に，被験者は左手を視界の中央よりも下に配置することが多く，左手掌よりも下に表示された項目 6～7 が視界の端になり，視認して選択を行うのに時間を要したためと考えられる．

項目番号が 4～7 の時のメニュー方向ごとの平均試行時間では，縦メニューの方が横メニューよりも有意に短かった．また，コメント結果からも横メニ
ューよりも縦メニューの方が容易に操作できると感じた被験者が多かった．被験者からは「手を横に動かすよりも縦に動かす方が簡単だった」というコメントがあり，これらのことから縦メニューの方がユーザにとって容易に操作できることが示唆される【設計指針 (3)】．
3.5.2.

平均エラー回数横メニューの項目ごとの平均エラー回数（図 7(b)）を見ると，中央の項目 3～4 の方が端の項目 1～2，6～7 よりも有意に多いことが分かる．これはメニューを表示するときに多くの被験者の右手が中央の項目 3～4 付近にあり，それらの項目が誤って選択されたためである．これは今回の実験条件が原因であることも考えられるが，実際の作業でも右手が左手の横に位置している場合が多い．また，被験者からも「横メニューを表示した際に，右手がメニュー項目と非常に近い位置にあったため，操作が困難だった」というコメントがあった．これらのことから横メニューの場合は，左右の手の初期位置を考慮したメニュー設計にしなければならないことが分かる【設計指針 (4)】．

4.

活用事例

Open Palm Menu の活用事例として，3 次元空間内に仮想の 3 次元オブジェクトを自由に配置できる簡易的なモデリングアプリケーションを実装した（図 8）．提案メニューを使った，オブジェクトの配WISS 2017

置・削除機能やスクロールバーによるオブジェクトの拡大・縮小機能，色選択によるオブジェクトの色の変更機能を実装した．これらの機能は機能切替えメニュー（図 8(a)）で切り替えることができる．
以下に，それぞれの設計について説明する．設計指針(3),(4)より，始めに機能を選択する機能切替え
メニューは縦に配置した（図 8(a)）．次に，設計指針 (1),(2)より，拡大・縮小メニューは手掌の近くに配置された横型メニュー（図 8(b)）と，手掌の横より少し上に配置された縦型メニュー（図 8(c)）を実装した．また，設計指針 (1),(2)より，縦に配置する
場合は 4 項目，横に配置する場合は 3 項目が妥当であるという結果であった．複数のカラーパレットを表示する色メニューにおいては， 縦型メニュー（図8(e)）
だけでなく 2 列 4 行の行列型メニュー（図 8(d)）
を実装した．
前述した[7]のメニューでは，サイズ 6cm 四方の項目を一度に最大 4 個表示できるのに対し，今回実装したメニューでは同大きさの項目を身体部位に視界が覆われることなく一度に最大 12 個表示できる．
作成したモデリングアプリケーションを男女 3 名（男性 2 名，女性 1 名，23-24 歳，平均 23.3 歳，全員右利き）に体験させ，メニューに関する意見を求めた．その結果，以下のようなフィードバックが得られた．
拡大・縮小メニューにおいて 2 名から「操作の容易さにおいて，横型と縦型で変わらなかった」という意見が得られ，色メニューにおいて全員から「操作の容易さにおいて，縦型と行列型で変わらなかった」という意見が得られた．これらの意見から，設計指針(1),(2) に基づく円滑に操作できる範囲においては，メニューのレイアウトに関わらず容易に操作を行えることが伺える．
また「手に近いメニューは直観的に操作できる」という意見や「メニューを注視せずとも円滑に操作できる」という意見から，運動感覚を活用してメニュー操作が行われていることが示唆された．
手の開閉によるメニューの表示や手掌に対しての追従について，「左手を上げていなければならないので，長時間メニュー操作を行うと疲れると思う」という意見があった．一方で「メニューの出し入れが簡単にできるため操作しやすい」という意見も得られた．これらの意見から，提案メニューは長時間メニューを表示する必要がなく，かつ，頻繁にメニューの表示・非表示を切り替える作業に向いていることが示唆された．

空間に適したメニューとして，手の開閉によって手掌の前の空間に表示される追従型のメニュー Open
Palm Menu を提案した．手の開閉によるメニュー表
示・非表示の容易さや，手掌に追従することによる操作しやすく見やすい位置への移動の容易さ，運動感覚を利用した円滑な操作を可能にした．
また，実験によって円滑に操作することが可能なメニューの表示範囲やレイアウトを確認し，その結果を考慮して設計したメニューをモデリングアプリケーションに導入し，Open Palm Menu の使用感に関する調査を行った．
今後の展望として，空中に表示されたメニューや身体上に表示されたメニューとの比較実験を行う予定である．また，このような体の周辺に提示された対象への操作と運動感覚との関係についても詳しく調査していきたい．

5.

[9]

参考文献
[1]

F. Tecchia, G. Avveduto, R. Brondi, M. Carrozzino M.
Bergamasco, L. Alem: I'm in VR!: Using Your Own
Hands in a Fully Immersive MR System, Proc. VRST,
pp73 – 76, 2014.

[2]

B. Ens, A. Byagowi, T. Han, J. D. Hincapié-Ramos, P.
Irani: Combining Ring Input with Hand Tracking forPrecise, Natural Interaction with Spatial Analytic
Interfaces, Proc. SUI, pp99 – 102, 2016.

[3]

A. Colaço, A. Kirmani, H. S. Yang, N. Gong, C.
Schmandt and V. K. Goyal: Mime: Compact, Low Power
3D Gesture Sensing for Interaction with Head Mounted
Displays, Proc. UIST, pp. 227 – 236, 2013.

[4]

HoloStudio,
https://www.microsoft.com/ja-jp/hololens/apps/holostudio（2017 年 9 月 1 日 閲覧）[5] H. Lee and W. Woo: Tangible Spin Cube for 3D
Ring Menu in Real Space, Proc. CHI, Extended[6]

Abstracts, pp. 4147 – 4162, 2010.
Z. He and X. Yang: Hand-Based Interaction for Object
Manipulation with Augmented Reality Glasses, Proc.
VRCAI, pp. 227 – 230, 2014.

[7] T. Azai, S. Ogawa, M. Otsuki, F. Shibata and A.

Kimura: Selection and Manipulation Methods fora Menu Widget on the Human Forearm, Proc. CHI,
[8]

Extended Abstracts, pp. 357 – 360, 2017.
S. Lin, C. Su, K. Cheng, R. Liang, T. Kuo, B Chen:
Pub-point Upon Body: Exploring Eyes-free Interaction

and Methods on an Arm, Proc. UIST, pp.481 – 488, 2011.

むすび
本研究では VR 空間や MR/AR 空間などの 3 次元

大沼俊博，渡邊裕文: 深部感覚障害を有する患者への理学療法評価と理学療法の考え方, 関西理学療法,
Vol. 6, pp. 39 – 42, 2006.

※全査読コメントは右URLを参照：http://www.wiss.org/WISS2017Proceedings/oral/09.html