WISS 2016

複合現実空間における前腕を用いたメニューウィジェット
浅井 拓己*1 小川 修平*2 大槻 麻衣*3 柴田 史久*1 木村 朝子*1

概要 実世界と仮想世界を実時間で融合する複合現実 (Mixed Reality; MR) 空間では，様々な仮想データを実世界と同様に提示し，扱うことができるだけでなく，コピーや Undo，Redo といった仮想データならではの操作を行うことも可能である．しかし，仮想データを操作するためのメニューをどこに表示し，操作するのかはしばしば問題となる．例えば，顔の正面に表示する場合，メニューが視界を覆ってしまい作業の障害になる．更に，空中に浮かんだメニューに対するタップ入力となるため触感が得られず操作感に欠けるという問題がある．メニューを表示する実物体を用意する方法も提案されているが，メニュー用に実物体を導入する必要性がある．そこで，本研究では MR 空間で操作を行う際，手のひらの次に視界に入りやすく手のひらよりも広い部位である前腕（肘から手首までの部分）に着目したメニューウィジェットを提案する．

1

はじめに

実世界と仮想世界を実時間で融合する複合現実感(Mixed Reality; MR) 技術は，携帯端末を使ったアプリケーションの増加や，安価なヘッドマウントディスプレイ (Head Mounted Display; HMD) の登場などにより，我々の生活により身近なものとなってきた．MR 空間では，様々な仮想データを実世界と同様に提示し，扱うことができるだけでなく，コピーや Undo，Redo といった仮想データならではの操作を行うこともできる．しかし，このような電子操作を行うために必要なメニューをどのように実現し，操作するかはしばしば問題となる．
既存の研究では，手のひらをメニューや情報の表示領域とするものが見られる[1]．しかしながら，手のひらは表面積が小さく，表示する情報量が限られてしまう．本研究では MR 空間でデータ操作を行う
際に手のひらの次に視界に入りやすく，手のひらよりも広い部位である前腕にメニューウィジェットを表示する手法を提案する．

2

関連研究

複合現実空間におけるメニューウィジェットの研究として，Hyeongmook [2] らの Tangible Spin
Cube では，実物体の立方体にそれぞれ AR マーカを貼り付け，その立方体を回転させることでメニュー選択などの操作を行う手法を提案している．しかしながら同研究では，HMD の他に実物体を用いる必要がある．これに対し，杉浦 [3] らは，頭部の正Copyright is held by the authors.
*1: 立命館大学 情報理工学部*2: 立命館大学大学院 情報理工学研究科*3: 筑波大学

面にメニューを浮かべそれに対してタッチを行うことで操作する方法を採用している．しかし，この方法ではメニューに触れたという触感がないため，操作が完了したかどうか判断しづらいという問題がある．
一方，則枝ら [4] の ArmKeypad では AR マーカを付与したウェアアブルウォッチを利用することで前腕上にキーボードを表示することを実現している．
本研究でも，このように，前腕を情報表示・操作領域として利用することで，身体をタッチすることによる，触覚フィードバックが得られる利点を生かす．
本研究では，更により多くのメニュー項目を操作可能とするため，前腕にスライドと回転インタラクシ
ョンを取り入れたメニューウィジェットを作成する．

3

前腕を活用したインタラクションの提案と実装

3.1

システム構成ステレオカメラ (Ovrvision Pro) によって実世界の画像情報を取得し，HMD (Oculus Rift DK2)
上で実世界の画像情報と仮想オブジェクトであるメニューウィジェットを提示する．手のひらと指の動き，前腕の位置は，HMD 前面に取り付けた小型モーショントラッカ (Leapmotion) で取得する．また，開発環境として Unity 5.3.5 を用いた．
3.2

前腕へのタッチ

図 1 のようにユーザの前腕上にメニューを表示する．そして，メニューに対して，もう片方の手の人差し指でタッチすることで操作可能とする．前腕上に配置したメニュー項目と指先との接触判定によってタッチ操作の検出を行う．

WISS 2016

3.3

スライドインタラクション

猛暑日に長袖でいるときや，腕時計を確認する時などに袖をまくるという動作は日常的によく見られる．このジェスチャを採用し，前腕に表示されたメニューに対してスライドすることで表示しているレイヤを切り替えるインタラクションに利用する（図2）．手のひらと前腕との接触判定，および手のひらの位置情報からスライドインタラクションの検出を行う．
3.4

回転インタラクション

ダイヤルを回転させることで，メニューを切り替えたり，ボリュームを調整したりする操作も，日常的によく行う．
本研究では，腕をダイヤルに見立て，図 3 に示すように腕の表面を回転させるようなジェスチャをすることで，メニュー項目を切り替えるインタラクションに利用する．また，メニュー項目を1 つずつ切り替える操作が煩わしい，という意見があったので，回転操作後に手の位置を保持するとその方向に自動的にメニューが切り替わり続けるというインタラクションも実装した．回転インタラクシ
ョンの検出は，手のひらと前腕との接触判定と手のひらの角度の情報を用いて行う．

4

今後は，新たなインタラクションを検討すると共に，提案したインタラクションの有用性を確認するため評価実験を行う予定である．また，今回のシステムでは前腕を目視した状態でしか利用することができないが，今後は身体を操作領域とする利点を生かし，ユーザが腕のどの部分を触っているのかが感覚的に把握できる体性感覚を利用した操作の実現も行う予定である．さらに，前腕だけではなく，手のひらや手の甲を活用したインタラクションの拡張など，より利便性の高いインタフェースの開発を目指す．

参考文献[1] D. Datcu and S. Lukosch: “Free-hands interaction
in augmented reality,” SUI2013, pp. 33 - 40, 2013.
[2] H. Lee and W. Woo: “Tangible spin cube for 3d ringmenu in real space,” CHI2010, pp. 4147 - 4162,
2010.
[3] 杉浦篤志，豊浦正広，茅暁陽：拡張現実のための直感的クリックインタフェース，情報処理学会研究報
告，Vol. 2013-CG-152, No. 7, pp. 1 - 8, 2013.
[4] 則枝真，吉本誠，仙洞田充：ARmKeypad：腕を仮想キーボード化するスマートグラス UI,

まとめと今後の展望予稿集, pp. 735 - 740, 2016.

本研究では，複合現実空間において前腕を利用したメニューウィジェットを提案した．このメニューウィジェットでは，限られた前腕領域により多くの情報を表示するため，タッチ操作だけではなく，日常生活を送る中で無意識に行っている「スライド」と「回転」ジェスチャを採用した．具体的には，「スライド」は猛暑の日に長袖をまくる時や腕時計を見る時などに行う動作，「回転」は腕輪や腕時計などを腕の周りで回転させる動作のインタラクションである．

12

図 1 タッチインタラクション

3
図 2 スライドインタラクション

123
図 3 回転インタラクション

HIS2016