情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-72
2020/3/9

ジェスチャの拡張による
HoloLens 操作における首への負荷軽減伊藤豪太†1

田巻玲弥†1

中島達夫†1

概要：Augmented Reality(AR)技術を実現するためのデバイスとして，Microsoft が開発した HoloLens と呼ばれる Head
Mounted Display(HMD)が活発に使用されている．この HoloLens で多く用いられている操作方法に，“エアタップ”というジェスチャがある．
“エアタップ”では，首の移動に伴って移動するカーソルを対象に合わせる必要があり，使用者の首に大きな負荷がかかる．そこで我々は，“エアタップ”を用いて行う操作を Leap Motion を用いた独自のジェスチャに置換することで，首への負荷を軽減できると考えた．本研究では“エアタップ”と，提案した独自のジェスチ
ャについて，Web 操作時に動いた首の総移動角度を計測することで，首への負荷を比較し，既存の操作方法における問題点を指摘した．

1. はじめにていると考えられる．
そこで我々は，頻繁に行われる“エアタップ”の操作にHoloLensa は Microsoft が開発した世界初の自己完結型ホ関して，新たなジェスチャに置換することで視線移動によログラフィックコンピュータである．HoloLens を用いるこる首の移動距離を減らすことができると考えた．本論文でとで，現実空間にホログラムや 3D モデルを配置して複合は HoloLens におけるジェスチャを拡張することで，首にか現実を実現することができる．

かる負荷軽減の可能性について述べる．

HoloLens における操作は，ジェスチャ・音声・視線移動の 3 種類に大別される．特に，ジェスチャの中で多く使う

2. 提案手法

操作に“エアタップ”がある．
“エアタップ”では人差し指本研究では“エアタップ”を頻繁に用いるケースとして，を立ててから下に折るようなジェスチャをすることで，対Web ブラウザによる検索・閲覧に着目した．特に，サイト象をクリックすることができる．ここで，“エアタップ”す間を移動する際の“進む”，“戻る”，サイトを閲覧する際のる対象を選択するために，カーソルの役割を持つ操作が視“スクロール”といった操作に対して，我々は“エアタップ”線移動である．しかし，HoloLens 内の視線を動かすためにをよく使う．この 3 種類の Web 操作に関して，別のジェスは目ではなく首を動かさなければならず，これが使用者のチャに置換して首へかかる負荷の評価を行う．

首に大きく負担をかけることになる．

ジェスチャの実装に関して，本研究では独自のジェスチ

外科技術の研究では，首の角度が少し変わるだけで本来ャ（以下「提案手法」と称する）を導入するために Leapの頭の重さよりも大きな負荷がかかると言われている[1]．

Motion のハンドトラッキング技術を用いた．Weichert らに

ここに HoloLens 本体の重さが加わると，HoloLens を装着

よれば，Leap Motion を置いた状態では，約 0.2 [mm]の精度したまま首を動かす際にかかる負担はより大きくなってしでトラッキングを行うことができ，動かしている状態では，まうと考えられる．

約 1.2 [mm]の精度でトラッキングを行うことができるとい

現在，HoloLens は様々な分野で活用されており，例えばう研究結果がある[4]．

Holoeyes 株式会社では，HoloLens を通して臓器や血管など提案手法では，右手の親指と人差し指で輪を作り，そのを 3D モデルとして投影し，医師同士のコミュニケーショ状態で上下左右に動かすことで，前述の Web 操作におけるン向上に活用している[2]．また，有限会社宮村鉄工では，3 種類の操作を実現した（図 1）．図に示したようなジェス

HoloLens を 3DCAD ソフトに用いることで，熟練者でも時チャを実装した理由は，HoloLens に実装されている既存の間がかかる作業を，最大 1/4 以下の時間で行うことを可能

ジェスチャで用いる指の形との誤認識を防ぐためである．としている[3]．しか し，こ れらの活用 事例にお いて，また，ジェスチャは使用者の正面で行うため，専用の固HoloLens 利用者の首への負担は考慮されていないと考え定具 b を作成し，Leap Motion を HoloLens 上部に固定したられる．特に，有限会社宮村鉄工が提供しているような建（図 2）．

設業界で用いるソフトウェアでは，HoloLens と共にヘルメットの着用が必要になる場面が多く，更なる負荷へ繋がっ†1 現在，早稲田大学
a https://www.microsoft.com/ja-jp/hololensb ©HoloLab Inc. 2019

© 2020 Information Processing Society of Japan738

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-72
2020/3/9

図 1 実装したジェスチャ

3. 評価実験
本研究では Web 操作時に動いた首の総移動角度を計測

図 2 本実験に用いたデバイス

カーソルであり，このカーソルは首を動かすことで移動させることができる．図 4 内左に存在する灰色のエリア上にすることで，首への負荷を評価する．

カーソルを動かし，“エアタップ”を行うと，Web ブラウザ

3.1 システムにおける“戻る”を実行する．同様に，図 4 内右に存在する実験を行うにあたり，HoloLens を用いた Web 操作時に灰色のエリア上にカーソルを動かし，“エアタップ”を行う

首へかかる負荷を計測するためのシステムを，Unity で実と，Web ブラウザにおける“進む”を実行する．そして，装した．実装したシステムの概要を図 3 に示す．

図 4 内右中央部に存在する赤と青のエリア上にカーソルを動かし，“エアタップ”を行うと，“スクロール”を実行する．
赤いエリアが上にスクロール，青いエリアが下にスクロールに対応している．
次に，提案手法を用いて Web ブラウザを操作する際の，システム動作について述べる．提案したジェスチャを認識するために，HoloLens 上部に固定した Leap Motion を用いて指の状態を取得する．得られた指の状態を Unity 内で解析し，ジェスチャを認識した場合は，そのジェスチャに応図 3 実装したシステムの概要図

じた Web 操作を実行する．
首の総移動角度は，各フレームにおいて，カーソルが前

上記のシステムでは，“エアタップ”もしくは提案手法にフレームと比較して，動いた角度を加算することで計測すよる Web 操作に対して，Unity 内で処理し，Web ブラウザる．

を表示する．そして，Unity 内の画面を HoloLens 上に共有

3.2 実験内容している．HoloLens 上に表示される Web ブラウザの UI を
図 4 に示す．

本実験では，“エアタップ”および提案手法を用いた，“進む”，“戻る”，“スクロール”という 3 種類の Web 操作における首への負荷のみを計測したい．そのため，ある検索結果を入力し，表示した状態で計測を開始する．この状態で
Web 操作を複数回行い，閲覧を終了するまでに動いた首の総移動角度を計測する．
この時，“エアタップ”および提案手法の間では，検索ワードや Web 操作を行う回数といった実験条件は変えずに，それぞれの手法について 5 回ずつ計測を行った．

図 4 実験で用いるブラウザの UI

4. 結果
評価実験で計測した，首の総移動角度の測定結果を表 1

まず，“エアタップ”を用いて Web ブラウザを操作するに示す．

際の，システム動作について述べる．図 4 内中央部分がブラウザ本体である．ブラウザ上の中央に存在する青い円が© 2020 Information Processing Society of Japan739

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-72
2020/3/9

表 1 首の総移動角度の測定結果
試行回数

首の総移動角度 [deg]“エアタップ”

提案手法

1404.83137.772415.38111.063424.72

123.474420.48

123.655437.72123.78

上記表 1 から得られる“エアタップ”を用いた Web 操作における首の平均移動角度は，420.63[deg]であり，提案手法
を 用 い た Web 操 作 に お け る 首 の 平 均 移 動 角 度 は ，123.95[deg]であることがわかった．同様の実験条件において，“エアタップ”を用いて Web 操作を行う場合，提案手法と比較して 3.39 倍多く首を移動させる必要があることがわかる．
この評価実験の結果から，“エアタップ”を用いた Web 操作は，提案手法を用いた Web 操作と比較してより多く首を移動させる必要があることがわかった．つまり，“エアタップ”を用いた操作は大きな負担を首にかけることになると言える．

5. 結論と展望
本研究では，HoloLens で用いる操作の 1 つである“エアタップ”による Web 操作における，首への負荷に注目した．
そこで，“エアタップ”に関する操作を，Leap Motion を用いた独自のジェスチャに置換することを提案した．評価実験の結果から，提案手法と比較すると，“エアタップ”による操作は首への負荷が大きいことがわかった．
今後はジェスチャを増やすことによる，腕への負荷，操作の難化についても検証することが，課題になると考えられる．また，Leap Motion を搭載したことによる HoloLens自体の重量増加も現状の課題である．HoloLens 自体に搭載されているカメラを用いてジェスチャを認識することができるようになれば，この課題は解決することができると考えている．

参考文献
[1]

Hansraj KK (2014) Assessment of Stresses in the Cervical Spine
Caused by Posture and Position of the Head. In: Surgicaltechnology international, pp277-279.
[2] 有限会社宮村鉄工，<https://miyamuratech.co.jp/indexJP.html>(参照 2019-12-20).
[3] 株式会社 Holoeyes，<https://holoeyes.jp/>(参照 2019-12-20).
[4] Weichert F, Bachmann D, Rudak B, Fisseler D (2013) Analysis of
the Accuracy and Robustness of the Leap Motion Controller.
Sensors, vol. 13, no.5, pp6380-6393.

© 2020 Information Processing Society of Japan740