情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-31
2020/3/9

スマートフォンカメラとピンホールを用いた多次元入力手法
田中 智泰1,a)

山田 渉2,b)

真鍋 宏幸1,c)

概要：スマートフォンカメラ近傍に設置したマーカを読み取り，多次元入力を可能とする入力手法を提案する．ピンホールを用いて，カメラの被写界深度を深め，近接したマーカの画像を取得する．取得した画像からマーカの xyz の位置およびロール・ピッチ・ヨー回転を求めることで，最大で 6 次元の入力を実現することができる．アナログパッドを用いた実装を行い，xy とヨーを用いた 3 次元入力が可能であることを確認した．

1. はじめに
スマートフォンは，タッチパネルやカメラ，加速度セン
サや GPS など多くのセンサを備えており，多様な入力が可能な高機能端末である．様々な応用が可能であるため汎用性が高く，位置情報サービスや決済，AR/VR など新たに登場した多くの事例の中心的デバイスとして活用されている．一方でこれらの入力機能にはそれぞれ特徴があり，新たな用途に対して，必ずしも有効に機能するとは限らない．例えばスマートフォン HMD では，ゴーグルを顔に装着するため，前面のタッチパネルの操作が難しくなるという問題がある．
より効率的な入力や，新たな用途に適した入力を行うた
めに，既存の入力手法を拡張する様々な試みがなされてきた．タッチ検出領域をタッチパネルの領域外に拡張す
る Kato らの ExtensionSticker[1] は，その例の 1 つである．
現在，スマートフォンに実装されているセンサの中でも，カメラは特に多くの情報を得ることができる．そのため，入力機能を拡張する手法として，カメラを用いたアプロー
チが数多く提案されている．

2. 関連研究
一般にカメラは写真や動画を撮影するために用いられる．
コードの読み取りなど，入力手法としても用いることができるが，カメラと撮影対象との距離を大きく取ることが通常である．一方，近接した対象物を撮影し，それを入力として用いることもできる．例えば，スマートフォン HMD12a)b)
c)

芝浦工業大学NTT ドコモ 先進技術研究所
al16065@shibaura-it.ac.jp
wataruyamada@acm.org
manabehiroyuki@acm.org© 2020 Information Processing Society of Japan

図 1

ピンホールを介して撮影したマーカ．マーカはカメラレンズの表面から約 20mm しか離れていない．ピンホールを用いれば，接近したマーカであっても読み取ることができる．

において，フロントカメラで目をトラッキングする手法 [4]や，スマートフォンの背面に設置したグリッドをタッチし，指の動きを鏡越しに背面カメラで認識する Back-Mirror [2]などがある．これらは，スマートフォン近傍に新たな入力機能を追加している．カメラから被写体までの距離が近いという点で接近型の入力と言うことができる．一般に被写体までの距離が短くなると，得られる画像がボケてしまい，高精度な特徴点抽出は難しくなる．そのため，前述の近接型入力手法であっても，ある程度の距離が必要であった．
更に接近させ，超接近型の入力を実現することが出来れば，省スペースでの実装が可能となり，新たなインタラクションや応用が期待できる．
そのような例として，カメラを用いてポインティングスティック入力機能を追加する，Yamada らの CamTrack-Point [3] がある．この手法では，ボケた画像を用いて認識を行うため，精度の低い 2 次元入力しか行うことができなかった．他にも，カラーマーカを組み込んだ透明弾性体をカメラの上に配置し，弾性体に加わる 3 次元的な力を検出する渡部らの手法 [5] もある．しかし，適用範囲の広い汎用的な入力手法とは言えなかった．

912

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-31
2020/3/9

3. 提案手法
ピンホールを用いることで，被写界深度を深めることができる．そのため，近接した対象物であっても焦点の合った画像を取得することが可能となる．そこで我々は，スマートフォンのカメラとピンホールを用い，高い精度でトラッキングが可能な超接近型の入力手法を提案する．提案
手法では，QR コードや AR マーカなどのビジュアルマーカをカメラ近傍に配置し，マーカを高精度にトラッキング

図 2 ピッチおよびロール回転時に取得できる画像．AR マーカが歪んでおり，ピッチおよびロール回転が生じていることがわする．原理的には，xyz の位置情報だけでなくロール・ピッかる．

チ・ヨーを加えた 6 次元の情報を取得することが可能であり，それらに基づく多次元入力が可能となる．

4. 実装
提案手法の実現性を確認するために，スマートフォン（Nexus 5X）およびアナログパッド（Nintendo 3DS 用スライドパッド）を用いた実装を行った．ピンホールをあけた薄いゴム製の遮光シートを，スマートフォンの背面カメ

図3

スマートフォン背面に設置したアナログパッド．アナログパッドは，カメラ表面から 20mm 程度離した位置に配置した．

ラの中心に貼付する．アナログパッドは背面が観察できるよう加工し，そこに 1 辺が 2mm の AR マーカを貼付した．

ロール回転には，アナログパッドを配置する上での工夫がアナログパッドの移動量および取得画像の精細さを考慮し，必要であり，かつ高い検出精度も期待できないが，提案手アナログパッドはカメラレンズ表面から約 20mm 離した位法を用いれば 6 次元情報を取得することが可能である．

置に固定した（図 3 参照）．ピンホールを介していることや，カメラの目の前に遮光物が存在しているため，カメラ5. 考察および結論に入射する光量が不足する．そのため標準的なカメラ設定

ピンホールを用いて最大 6 次元入力が可能な超近接型入では，フレームレートやコントラストが低下する．これを力手法を提案した．xy およびヨーに特化した実装を行い，補うために，フラッシュライトを点灯させ，かつカメラの提案手法が機能することを確認した．提案手法は，スマーISO とシャッタースピードを上げた．シャッタースピード

トフォン近傍での多次元入力を可能とする．このような多を上げることで，マーカの速い動きに対しても頑強な認識

次元入力は，汎用的に利用することができ，様々な応用がを行うことができる．カメラで取得した画像から AR マー考えられる．例えば，背面からの地図アプリ操作や，HMDカを読み取り，マーカの位置に関する 6 次元情報を算出す

装着中のメニュー操作などが挙げられる．今の実装では，るアプリケーションを作成した．

AR マーカに含まれる情報は何も意味も持たないが，それ

図 1 に，取得した画像の例を示す．図中の緑線および赤らを利用することで，さらなる応用も考えられる．

線は，AR マーカの認識結果を示しており，マーカが正しく認識されていることがわかる．通常の使用時のように，アナログパッドをスライドさせると，図中のマーカは平行参考文献[1]移動する．また，パッドをヨー回転させると，マーカはそれに連動して回転する．そのため，xy 方向の平行移動およびヨー回転は比較的容易に検出することができる．本実装[2]では，アナログパッドのケースを固定しており，xy とヨーの検出に特化している．

[3]

本手法で 6 次元情報を取得できることを確認するために，スマートフォンに対してアナログパッド全体を傾け[4]る，つまりピッチおよびロール回転させたときに得られる画像を図 2 に示す．本来，正方形である AR マーカが歪んでおり，ピッチおよびロール回転が生じていることがわかる．また，図には示していないが，z 方向の移動は，画像上[5]

Kunihiro Kato et al., “ExtensionSticker: A Proposal for
a Striped Pattern Sticker to Extend Touch Interfaces andIts Assessment,” In Proc. CHI ’15, pp. 1851–1854, 2015.
Pui Chung Wong et al., “Back-Mirror: Back-of-device
One-handed Interaction on Smartphones,” In Proc. SIGGRAPH ASIA ’16, Article 13, 2016.
Wataru Yamada et al., “CamTrackPoint: Camera-Based
Pointing Stick Using Transmitted Light Through Finger,” In Proc. UIST 18, pp. 313-–320, 2018.
Hiroyuki Hakoda et al., “Eye Tracking Using Built-in
Camera for Smartphone-based HMD,” In Adjunct Proc.
UIST ’17, pp. 15-16, 2017.
渡部 陽一ほか, “光学式力測定手法を用いた携帯型タッチパネル端末用入力デバイスの提案,” インタラクション ’12
予稿集, pp. 521-526, 2012.の AR マーカの大きさに対応する．z 方向の移動やピッチ/© 2020 Information Processing Society of Japan913