WISS 2018

近接センサおよび照度センサを用いたスマートフォンベース HMD 向けの操作手法
礒本 俊弥 ∗

安藤 宗孝 ∗

志築 文太郎 †概要. バーチャルリアリティ環境の 1 つに，スマートフォンをヘッドマウントディスプレイ（HMD）のディスプレイとして用いたスマートフォンベース HMD（SbHMD）がある．SbHMD には，スマートフォンのタッチパネルが覆われることによりタッチ操作が制限されるため，入力語彙が少ないという問題がある．本稿において我々は追加センサ無しに SbHMD に 2 個のボタン（それぞれ P ボタン，L ボタン）を追加する方法を示す．P ボタンおよび L ボタンは，スマートフォンに内蔵されている近接センサおよび照度センサの値を変化させる．スマートフォンが両センサから得られる値の変化を観測することにより，SbHMDに対する，P ボタンの押下，L ボタンの押下および，P ボタンの押下された状態での L ボタンの押下を認識し，それぞれ P 操作，L 操作および PL 操作の 3 つの操作を実現する．

1

はじめにバーチャルリアリティ（VR）環境の 1 つに，スマートフォンをヘッドマウントディスプレイ（HMD）のディスプレイとして用いたスマートフォンベースHMD（Smartphone-based HMD: SbHMD）がある（例：ハコスコ [1]）．SbHMD を用いることにより，使用者は手軽に VR 体験ができる．しかし
SbHMD には，スマートフォンのタッチパネルが覆われることによりタッチ操作が制限されるため，入力語彙が少ないという問題がある．
本稿において我々は追加センサ無しに SbHMD に2 個のボタン（それぞれ P ボタン，L ボタン）を追加する方法を示す（図 1）．P ボタンおよび L ボタン
はそれぞれ無色の領域および有色の領域を持ち，スマートフォンに内蔵されている近接センサおよび照度センサの値を変化させる．両センサは，iPhone，Xperia および Galaxy シリーズなど，多くのスマートフォンに内蔵されている．また，いずれのスマートフォンにおいてもおおよそ同じ位置に並んでいる（図 2）．スマートフォンが両センサから得られる値の変化を観測することにより，SbHMD に対する，P ボタンの押下（P 操作），L ボタンの押下（L 操作）および，P ボタンの押下された状態での L ボタンの押下（PL 操作）を認識する．

2

関連研究

SbHMD へ追加センサ無しに操作手法を付与する方法が幾つか研究されている．Google CardBoard [3]は，SbHMD の側部に配置した磁石が押されること
Copyright is held by the author(s).
筑波大学大学院システム情報工学研究科コンピュータサ
イエンス専攻†筑波大学システム情報系

∗a)

b)
ボタン

L ボタン
P ボタン
ばねc)

図 1. 本手法を実装したハコスコ：a) 外観，b) 有色領域を持った L ボタンおよび，無色領域を持った P
ボタン，c) 内部．
フロントカメラ

照度センサ

近接センサ

SON Y

図 2. 今回の実装に用いたスマートフォン（SONYXperiaZ5）における近接センサおよび照度セン
サの位置により生じる磁界の変化を用いて 1 個のボタンを実現している．Kato ら [2] は導電性インクを SbHMDに塗布することにより SbHMD 内のスマートフォンに対するタッチ操作を可能とした．またこれにともなってスワイプなどの自由度の高い操作を実現している．これらに対し提案方法は，スマートフォンに内蔵されている近接センサおよび照度センサを用いて SbHMD へ 2 個のボタンを付与する．また，このボタンは上記と併用可能である．

WISS 2018

照度センサを用いた操作手法もこれまでに研究されている．山下ら [4] は，スマートフォンやタブレット端末に内蔵されている照度センサの値の変化の違いを用いて照度センサ上において行われたハンドジェスチャを認識している．また，スマートフォンに内蔵されている近接センサは，例えば，顔がスマートフォンに近づいたことを認識するために用いられる．これにより通話時において顔が触れることによるスマートフォンの誤操作を防ぐ．提案方法は，スマートフォンに内蔵されている近接センサおよび照度センサを同時に用いることにより SbHMD への複数の操作を付与する．

実装

3

本手法を実現するために改良したハコスコを図1a に示す．今回の実装ではスマートフォンとしてXperia Z5 を使用した．スマートフォンに内蔵された近接センサおよび照度センサの値を変化させるために用いるボタンを図 1b に示す．ボタンは 2 種類あり 1 つは近接センサの値のみを変化させる無色の領域を持つ P ボタンであり，もう 1 つは照度センサの値を変化させる有色の領域を持つ L ボタンである．
P ボタンの無色の領域は透明なセロハンテープ，Lボタンの有色の領域は黒色のビニルテープを用いて作製されている．また，ボタン下部にはバネを取り付けた．このバネにより，離された時にボタンが自動的に戻るようになり，かつ使用者がボタンを押し込む時に使用者に触覚フィードバックを与える．ボタンの位置は，ボタンを押した時に無色および有色の領域が図 2 の近接センサおよび照度センサを塞ぐような位置とし，スマートフォンに近い位置に L ボタン，遠い位置に P ボタンを配置した（図 1c）．
各操作の検出方法は次の通りである．

P 操作 近接センサの値のみが変化した場合，P 操作が行われたとする．図 1b に示す P ボタンが押下されると，近接センサが無色領域に塞がれるため近接センサの値が変化する．なお
光は無色領域を透過するため照度センサの値は変化しない．

L 操作 照度センサの値が変化した場合，L 操作が行われたとする．図 1b に示す L ボタンが押下されると，照度センサが有色領域に塞がれ，光が遮られる．このため照度センサの値が変化する．

PL 操作 P 操作が検出された後に照度センサの値が変化した場合，PL 操作が行われたとする．
3.1

アプリケーション例

従来はヘッドローテーションを用いてカーソルの移動を行い，カーソル位置への決定操作を用いて実行されていたようなコマンドを P，L および，PL 操作に割り当てる．
動画視聴 P 操作を動画の早送りに，L 操作を動画の巻き戻しに，PL 操作を動画の再生および停止に割り当てる．
シューティングゲーム P 操作を弾のリロードに，L操作を弾の発射に，PL 操作を武器の変更に割り当てる．

4

今後の展望

SbHMD においてスマートフォンは HMD に囲まれているため，照度センサに対する光がスマートフォンのディスプレイからの光のみとなる．そのためスマートフォンの表示が暗い場合には本手法は動作しない．この問題を解決するために，SbHMD 内部をより明るくする機構を導入する．具体的には，
SbHMD 内部に鏡や再帰性反射材を取り付けることにより SbHMD 内部の光の減衰を防ぎ SbHMD 内部を明るくすること，もしくは，VR 体験を阻害しない限りにおいて SbHMD 外部の環境光を取り込むことを試みる．
また，より多くの操作を実現するために，有色領域の透明度が異なる複数のボタンを用いる．押し込まれるボタンによって遮られる光の量が変化することになるため，押されたボタンを認識できる．今後はこの方法によってボタンをどの程度増やせるかを探る．
現状，PL 操作を行うには利用者は P ボタンを押下した後に L ボタンを押下する必要がある．これは，L ボタンが押下された時に照度センサおよび近接センサ両方の値が変化するため，L ボタンが押下された後に P ボタンが押下されたことを認識できないためである．今後，ボタンの押下順に関係なく PL 操作を検出できるようにするために，近接センサから照射される赤外線を透過する素材を L ボタンに使用することを試みる．

参考文献[1] HACOSCO INC. Smart phone VR Hacosco —Simple VR experience, 2015. https://hacosco.
com/ (2018 年 7 月 1 日最終閲覧).
[2] K. Kato and H. Miyashita. Creating a Mobile
Head-mounted Display with Proprietary Controllers for Interactive Virtual Reality Content.
UIST ’15 Adjunct, pp. 35–36. ACM, 2015.
[3] B. Smus and C. Riederer. Magnetic Input for
Mobile Virtual Reality. ISWC ’15, pp. 43–44.
ACM, 2015.
[4] 山下等. モバイル端末のアプリケーション利用時における内蔵照度センサを用いたハンドジェスチャ
認識手法の提案. 情報処理学会論文誌, 59(2):715–722, 2018.