情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A10
2021/3/10

首を自在に伸縮できるビデオシースルー AR システムのための自然なジェスチャ入力方法の検討
山崎晋之介1,a)

大西鮎美1,b)

寺田 努1,c)

塚本昌彦1,d)

概要：ヘッドマウントディスプレイの普及に伴い，それらを用いた人間の身体拡張に関する研究が注目を集めている．身体拡張システムの操作方法においてコントローラなどの入力デバイスを用いると咄嗟の操作が難しいことや操作を覚えなければいけないといったことがある．そこで本研究では，ユーザの自然なジェスチャで直観的に入力を行う方法を考える．本稿では，広角・高解像度のカメラが搭載されているビ
デオシースルー AR を用いて首を自在に伸縮・移動することによって視点の移動を拡張する身体拡張システムを題材とし，このようなシステムのための自然なジェスチャ入力方法を検討した．

1. 研究の背景と目的
ヘッドマウントディスプレイ (HMD) などのウェアラブ
ルデバイスの普及に伴い，それらを利用した人間の身体拡

ビデオシースルーAR張に関する研究が数多く行われている．例えば，Higuchi
らの Flying Head[1] では，人間の頭部動作とカメラを搭載した無人航空機 (UAV) を同期させ，ユーザが装着するHMD に UAV のカメラ映像を提示することによって視点が自由に空中移動する視覚効果が得られる．このような研(a) 上方向(b) 前方向(c) 後ろ方向

図 1 提案システムのイメージ

究により，日常的に我々が身体を自由に拡張する機会が増加することが見込まれる．

HMD に提示する．図 1 は提案システムのイメージである．

身体拡張システムにおけるシステム操作方法にコント

例えば，日常生活で正面にある遠くのものを見るとき，首ローラなどの入力デバイスを用いると，ゲームのように身を前に突き出す動作は人間にとって自然である．このよう体操作が行える．しかし，コントローラを手に持つ必要がな視覚的制限があるとき，自然な動作の倍率を上げることあり咄嗟の操作が難しいことや操作を覚えなければいけで視点移動の拡張をする．本稿では首が上方向，前方向，ないといったことがある．そこで，身体拡張システムにお後ろ方向に自在に伸びる身体拡張システムのために自然なけるシステム操作方法として，ユーザが身体拡張したいとジェスチャ入力方法を検討する．

思ったときに表れる自然な動作 (ジェスチャ) をキーにして直観的に入力を行う方法を考える．

2. 予備調査

本研究では，首を自在に伸縮・移動させるような身体拡

首が上方向，前方向，後ろ方向に自在に伸びる身体拡張張によって人間の視点移動を拡張するシステムを題材とすシステムを設計するための調査を行った．人間が首を各方る．HMD には広角・高解像度なカメラが搭載されている

向に伸ばしたいと思う状況を想定して被験者には普段行うビデオシースルー AR を用いることを想定している．HMDように次の (a) から (c) の動作をさせて観察した．に搭載されている広角・高解像度なカメラから映像を取得(a) 上方向 身長より高い壁の反対側を見ようとする動作

し，そこから首を仮想的に動かした後の映像を生成して，(b) 前方向 遠くを見ようとする動作

1a)
b)
c)
d)

神戸大学大学院工学研究科
shinnosuke-yamazaki@stu.kobe-u.ac.jp
ohnishi@eedept.kobe-u.ac.jp
tsutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp© 2021 Information Processing Society of Japan(c) 後ろ方向 目の前の大きなものを見ようとする動作
被験者は，成人 4 名 (男性 3 名，女性 1 名) である．(a) から (c) の動作では，足の場所は固定し，上体は自由に動いても良いこととした．

299

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A10
2021/3/10(a) 顎を上に突き上げ (b) 顔を前に突き出す (c) 首 を 後 ろ に 引 くる動作

動作
図 3動作

各動作を認識するためのセンサ配置

ストレッチセンサ(a) 上方向(b) 前方向
図 2(c) 後ろ方向

マイコン
HMDに提⽰されている映像

被験者の動作

センサ値を取得

上⽅向に視点が移動

通常時

予備調査の結果について図 2 は被験者の (a) から (c) の各動作で最も見ようとする気持ちが表れていると筆者が判HMD・PC断した場面を抜き出したものである．図 2(a) より身長よ図 4

り高い壁の反対側を見ようとする動作では，被験者らが壁の反対側を見ようとするときに目線を上げようとすること

システム構成3.2 プロトタイプの実装

で「顎を上に突き上げる動作」，「胸を張る動作」，「つま先今回は実装が容易であるため，VR 空間でプロトタイプ立ちになる動作」が全員に共通して観察された．図 2(b) よの実装を行った．VR 空間での迷路に首が上方向に伸びるり遠くを見ようとする動作では，被験者らが遠くのものを身体拡張システムを実装した．入力のためのジェスチャは見ようとするときに近づこうとすることで「顔を前に突き設定したセンサ配置で認識を行った．システムの構成を図

出す動作」，「腰を前に曲げる動作」，「目を細める動作」が4 に示す．ストレッチセンサのセンサ値で閾値を設定し，全員に共通して観察された．図 2(c) より近くにある大きな

それを超えると視点が上方向に移動する制御を PC で行い，ものを見ようとする動作では，被験者らが目の前のものをその映像を HMD に提示するという構成となっている．自視野に入れて見やすくしようとすることで「首を後ろに引然なジェスチャで入力を行うことで，首が上方向に伸びるく動作」，「腰を反らす動作」が全員に共通して観察された．

身体拡張システムを円滑に利用することが期待できる．

予備調査の結果から首が上方向，前方向，後ろ方向に自在に伸びる身体拡張システムのための自然な入力ジェスチャ

4. まとめと今後の課題を検討する．各方向に首が自在に伸びる身体拡張システム

本稿では，首を上方向，前方向，後ろ方向に自在に伸縮・の入力ジェスチャは以下の動作が適していると考えた．

移動させるような身体拡張システムのために自然なジェス

上方向 顎を上に突き上げる動作

チャ入力方法を検討した．また，プロトタイプとして VR

前方向 顔を前に突き出す動作

空間での迷路で首が上方向に伸びる身体拡張システムを実後ろ方向 首を後ろに引く動作装した．今後は，検討したセンサ配置で自然なジェスチャ

なお，想定するシステムは HMD を用いるため，ジェスが認識可能か調査し，首を自在に伸縮・移動させるようなチャも頭部周辺に表れたものに決定した．

身体拡張システムを実装する．また，このシステムを利用

3. 自然なジェスチャ入力方法の設計と実装した後に起こる感覚の変化を調査する．

3.1 自然なジェスチャ入力方法の設計

参考文献

検討した自然な入力ジェスチャを認識するためのセンサ配置を設定した．図 3 は，「顎を上に突き上げる動作」，「顔を前に突き出す動作」，「首を後ろに引く動作」を認識するためのセンサとその配置を示したものである．首の前方に[1]

K. Higuchi and J. Rekimoto: Flying Head: A HeadMotion Synchroniation Mechanism for Unmanned AerialVehicle Control, CHI 2013 Extended Abstructs on Human
Factors in Computing Systems, pp. 2029–2038(Apr. 2013).

ストレッチセンサ，首の前後に曲げセンサを配置して，首の前方の伸びと首の前後の角度を取得すれば，それらの値に基づき認識可能と考えた．

© 2021 Information Processing Society of Japan300