情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A10
2021/3/10

天井画像を用いた特徴点マッチングによる机上のタブレット端末の位置推定手法
湯浅 健太1,a)

飯田 隆誠2,b)

高田 秀志1,c)

概要：近年，協調作業においてテーブルトップ環境を用いる研究が進んでいる．しかし，テーブルトップ環境には，巨大なディスプレイや外部機器が必要であり利便性が低い．これに対して我々は，タブレット端末を用いることによって，外部機器を用いずにテーブルトップ環境と同等の機能を提供する，仮想テーブルトップ環境を構築している．本研究では，仮想テーブルトップ環境において，タブレット端末の位置をフロントカメラで撮影した画像を用いて推定する手法を提案する．また，このタブレット端末の位置推定の精度について評価を行う．さらに，端末の回転に合わせて画面を回転させる機能を実現し，タブレッ
ト端末の回転角度についての評価も行う．

1. はじめに
近年，テーブル上に巨大なディスプレイを設置，もしくはプロジェクタで画面を投影することによって構築される
テーブルトップ環境を協調作業に用いる研究が行われている (例えば [1])．また，テーブルトップ環境を構築する上本稿では，仮想テーブルトップ環境で用いるタブレット端末の位置推定精度の評価と，端末の回転に対応するための回転角度の推定についての評価を行う．

2. 研究背景
2.1 テーブルトップ環境における入力機器での指針も示されている [2]．テーブルトップ環境を用いディスプレイを用いたテーブルトップ環境では，ディスた協調作業では，テーブル上に設置されたディスプレイもプレイに触れている位置から操作が行われている場所を判

しくはプロジェクタから投影された画面を，作業者が取り別できる．しかし，プロジェクタが投影した画面では，ど囲んで同時に作業を行う．このようなテーブルトップ環境の場所にどのような操作を行なったのか判別できない．そは，巨大な画面を用いることによって，作業内容や作業者のため，作業者が行った操作を判別するための外部機器がの様子を互いに共有しやすいという利点がある．一方で入必要になる．これには赤外線センサや深度カメラのような出力に関わる専用の機器が必要になるという欠点もある．

外部機器を用いて操作が行われる場所を判別する [4]．まそこで，この課題を解決するため，我々は専用の機器をた，操作が行われた場所の位置推定にカメラとペンを用い用いずタブレット端末のみを用いてテーブルトップ環境をた研究も行われている [5]．この他にも入力の位置を推定す構築している [3]．このようなテーブルトップ環境を仮想るための新たなインタフェースの研究が行われている [6]．

テーブルトップ環境と呼ぶ．仮想テーブルトップ環境では，作業をするための場所として仮想作業空間を構築する．タ

2.2 関連研究

ブレット端末は，この仮想作業空間の一部分を表示すると本研究と同様に，モバイル端末をインタフェースとした同時にオブジェクトとのインタフェースの役割を果たす．

研究が行われているが [7]，動作環境としてプロジェクタを本研究では，タブレット端末の位置推定手法において，こ設置している場所が前提となっている．この研究では，プれまで利用してきたマウスを利用する方法に代わって，端ロジェクタを用いて作業空間の表示を行なっており，位置末に付属するフロントカメラを用いて天井画像を撮影し，測定にはモバイル端末のカメラで撮影した天井画像を用いその画像の特徴点から推定する手法を構築する．

る．この画像内に写っているプロジェクタが放つ光の座標

12a)
b)c)

立命館大学 情報理工学部
立命館大学 情報理工学研究科
is0435kk@ed.ritsumei.ac.jp
is0293sr@ed.ritsumei.ac.jp
htakada@cs.ritsumei.ac.jp© 2021 Information Processing Society of Japanをもとに，モバイル端末の位置を推定している．
我々が行ってきたタブレット端末を用いた仮想テーブル
トップ環境の研究では，タブレット端末にマウスを装着し，マウスの移動量をもとに端末の位置を推定している．

147

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A10
2021/3/10

しかし，操作性が悪い，回転に対応できないといった課題

3.3 特徴点抽出
本手法の特徴点抽出アルゴリズムには，OpenCV で提供がある．

3. 仮想テーブルトップ環境の機能と位置推定手法

されている ORB を用いる．OpenCV には，同じく特徴点抽出アルゴリズムである AKAZE も提供されている．

AKAZE は ORB と比較して，拡大，縮小，回転，輝度変化といった画像処理に対して強い耐性を持つが，特徴点抽

3.1 機能仮想テーブルトップ環境の概要図を図 1 に示す．仮想出に約 1 秒を必要とする．これに対して ORB は，画像処

テーブルトップ環境では，テーブルトップ環境で用いられ理の耐性に関して AKAZE より劣るが，処理が完了するまるような大きな画面を仮想作業空間として実装する．このでに約 0.04 秒しか必要としない．そこで，本手法では画面仮想作業空間の一部分をタブレット端末を用いて表示する．

スクロールのスムーズさを考慮して，処理の間隔を 0.125

タブレット端末に表示される画面は，端末の移動に合わせ秒に設定しているため，高速で特徴点抽出を行える ORBてスクロールし，仮想作業空間内に配置されたオブジェクを採用する．

トがあたかもその場にあるように表示する．

3.4 特徴点マッチング
特徴点マッチングには 2 枚の画像から得られる特徴点の仮想作業空間情報を用いる．これらの画像は 3.2 節で述べた特徴点抽出によって特徴量記述を得られているものを用いる．
特徴点マッチングアルゴリズムは，各特徴点に対し，総当たり方式で最も類似度の高い特徴点を見つける．この処理は，1 枚目の画像で抽出された特徴点から 2 枚目の画像で抽出された特徴点への探索と，2 枚目の画像で抽出され机た特徴点から 1 枚目の画像で抽出された特徴点への探索の双方向で行われる．そのため，実行速度は遅くなる代わり

図 1 仮想テーブルトップ環境概要図に最も信頼できる特徴点の組み合わせを見つけることができる．また，特徴点の類似度はハミング距離を用いて計算

これまで構築してきた仮想テーブルトップ環境の試作版される．

では，仮想作業空間に協調作業を行うためのオブジェクト

本手法で特徴点マッチングに用いる特徴点は，現在位置として，写真を配置している．この写真をスワイプするこで撮影した天井画像から抽出したものと，0.125 秒前に撮とにより，タブレット端末の画面内で移動させることがで影した 1 つ前の画像で得られたものを用いる．特徴点の情きる．また，画面に表示されている写真をタップしたまま報を随時更新することで，特徴点マッチングには最も新しタブレット端末移動させることにより仮想作業空間の任意

い 2 枚の画像から得られた特徴点が用いられることになる．の場所に移動させることもできる．その他にも，写真をフ

これにより，1 枚目の画像で抽出した特徴点全てが 2 枚目リックすることにより，フリックした方向にある他の端末の画像では写っておらず，一致する特徴点が見つけられなの位置に飛ばすことができる．

いという問題を避けることができる．ただし，原点や開始地点のような基準となる場所を設定していないため，絶対

3.2 提案手法概要
本研究では，タブレット端末の移動量を計算するために，的な位置を知ることができず，累積誤差が生じる可能性がある．

端末のフロントカメラで撮影された天井画像の特徴点を用いる．この時，タブレット端末は平面上を平行移動することを想定しているため，常に天井画像を撮影することができる状況下にあるものとする．

3.5 回転角度の計算
本手法で用いた特徴点の向きによるタブレット端末の回転角度の推定について述べる．特徴点は 0 から 360 度まで

位置推定では，まず撮影された画像から特徴点抽出を行の範囲で向きを持っている．本手法で用いる ORB では，うことで特徴点を取得する．特徴点抽出の次に，前回撮影特徴点と特徴点の周囲のピクセルの輝度の重心を結ぶ直線された画像との間で特徴点マッチングを行う．その後，特によって向きが得られる．このことから，特徴点マッチン

徴点マッチングによって一致した特徴点同士の座標の差かグの結果によって得られた特徴点同士の角度情報の差を求ら移動量を求める．また，タブレット端末を回転させてもめる．また角度においても，移動量と同様に，マッチした位置測定を行えるようにするため，アフィン変換を用いて特徴点の組み合わせの分だけ角度が得られるため，外れ値回転角度に応じた座標の補正を行う．の削除を行ってから残った値で平均値を求める．この平均© 2021 Information Processing Society of Japan148

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

値を推定した端末の回転角度とする．

1A10
2021/3/10

3088px であるが，OpenCV によって 1080px × 1920px に修正されている．
今回の実験環境において，モバイル端末と天井との距

3.6 移動量の計算
本研究においては，タブレット端末のフロントカメラが離は 200cm であった．設定した仮想作業空間の大きさは移動した量によって移動量を算出する．移動量は特徴点

4000px × 4000px であり，端末のディスプレイに表示されマッチングによって一致した特徴点同士の座標を比較してた 400px × 400px のラベルの大きさが 7.7cm であったこ推定する．この移動量は x 軸方向と y 軸方向の 2 方向で算とから，実空間では 77cm 四方であるものとする．また，出する．

特徴点マッチングの結果から算出した特徴点の移動量 (px)タブレット端末を平行移動させた場合，抽出される特徴から画面のスクロール量 (px) を求めるために，定数倍をす点は全て同じ方向に平行移動する．そのためマッチングしる必要がある．今回の実験ではこの定数を 7.0 としている．

た特徴点同士の x 座標と y 座標の差分をとることで移動量を算出することができる．タブレット端末が回転していた
場合，図 2 のように特徴点は同じ方向に平行移動しない．

4.2 位置推定
位置推定の精度を検証する実験は，端末を回転させず，向きを固定して行なった．また，本研究の位置推定手法は，相対的な移動量を算出するため，累積誤差に関する実験も行った．端末は図 3 に示すように移動させた．

4000pxox77cm

図 2 特徴点マッチング結果

そのため，特徴点の座標同士の差分を取るだけでは移動

4000px距離を算出することができない．したがって，特徴点が全y77cmて同じ向きに平行移動するように，画像の中心を軸に，特徴点の座標を特徴点マッチングの結果から得られた回転角

図 3 実験環境度分回転させる．座標を回転させるための計算式を以下に示す．ここで，回転前の特徴点の座標と回転後の特徴点の′′座標をそれぞれ (x, y), (x , y ) とし，特徴点マッチングの結果から得られた回転角度を θ する．
() ()()
x′cosθ −sinθx=y′
sinθ
cosθ
y

4.2.1 位置推定精度の検証
仮想作業空間の左下を始点とし，縦方向と横方向にタブレット端末を移動させた．この時，タブレット端末をなるべく回転させないようメジャーに沿って移動させた．タブ
レット端末の位置の測定は 10cm ごとに行なった．この実験によって得られた位置推定結果を図 4，図 5 に示す．青

この計算により，端末の向きに関係なく，タブレット端色のグラフはタブレット端末の移動量を積算していったも末のフロントカメラの移動量を算出することができる．本のである．また，赤色のグラフは理想的な推定を行ったと手法において，移動量は特徴点マッチングの結果によってきに取る値を示している．

できた組み合わせの数だけ算出される．したがって，これ測定の結果，縦方向の移動の平均絶対誤差は 95.16̇px，らの値から外れ値を削除し，残った値の平均値をとること

最大絶対誤差は 236px，横方向の移動の平均絶対誤差はで移動量を一つに定める．

149px，最大絶対誤差は 236px であった．これらのことか

4. 実験・評価
4.1 実験環境
本手法による位置推定の精度を評価するために，実験を行った．

ら，画面上に表示されるラベルの位置の誤差は最大で 4.5cm程度であることがわかる．
また，同様の実験を 3 回行い，タブレット端末を 10cm動かしたときの移動量を計測した．この時，縦方向の移動量の平均は 488px，分散は 41 であった．また，横方向の移実験には iPad Pro の 10.5 インチモデルを使用した．こ動量の平均は 476px，分散は 35 であった．最大誤差は縦の端末のフロントカメラで撮影された写真は 2320px ×

方向と横方向ともタブレット端末を端まで移動させた時に© 2021 Information Processing Society of Japan149

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A10
2021/3/10

3500

7060
y = 9.1414x - 7.6179
502500

誤差(px)

仮想作業空間内の移動量(px)30002000誤差

30

線形近似

20

累積移動量

1500

40

理想値

10100001234567

往復回数

500

001020304050

図 6 累積誤差60

縦⽅向のタブレット端末の移動量(cm)4.3 回転角度推定

図 4 縦方向の位置推定結果

回転角度は，現実でタブレット端末を回転させた角度と，特徴点マッチングの結果から推定した角度を比較し，計算の正確性を評価する．端末を 30 度ずつ回転させ，その都4000度計算された角度が何度かを測定する．

3000
400

2500

350

2000

累積移動量
300

理想値

1500

推定された回転確度

仮想作業空間内のx座標(px)

3500

1000

500

0010203040506070250200

推定された回転⾓度
理想値

150

100

横⽅向のタブレット端末の移動量(cm)50

図 5 横方向の位置推定結果

00306090120150

180210

240

270

300

330360タブレット端末の回転⾓度

図 7 回転角度測定したものであり，徐々に理想値から離れていく結果となった．また，縦方向に移動させた時より横方向に移動させたときの方が誤差が大きくなった．

回転角度は，理想値よりも小さい値を取り続け，平均絶対誤差は 26.2 度，最大絶対誤差は 45.2 度となった．特徴

理想値から離れていった原因として，特徴点の移動量と点が持つ向きは，特徴点として抽出された点と輝度の重心

画面をスクロールさせる量を対応付させるための定数の調を結ぶ直線によって算出される．そのため，同じ場所の特整不足が考えられる．これに加えて，特徴点座標が輝度や徴点であっても特徴点の周囲のピクセルの輝度が少しでも回転の影響を受けて，本来の位置とずれて抽出されること変化していると向きも変化してしまう．このことが誤差をも，理想値から離れる原因になったと考えられる．

生む原因として考えられる．

4.2.2 累積誤差の測定
端末を縦方向に往復させることで，1 往復ごとに生じる

5. おわりに累積誤差を測定した．累積誤差は始点から縦方向 77cm の本稿では，仮想テーブルトップ環境を構築するための天地点まで移動させ，そこから再び始点に戻した時に生じて井画像を用いた位置推定手法を提案した．この手法を用いいるズレを計測した．計測した後，連続して往復動作を行ると，マウスを装着して位置推定を行ったときに発生するう．実験結果を図 6 に示す．ここで，青色のグラフは累積操作性の低下を防ぎつつ，一定の精度で位置を推定するこ

誤差で，点線のグラフは累積誤差のグラフの線形近似のグとができたと考えられる．また，1 往復ごとに生じた累積ラフを示している．

誤差が 10px 程度であったことから，端末を動かし続けたグラフからは多少ばらつきがあるものの，往復回数を重ことによる累積誤差の影響は非常に少ないと考えられる．

ねるごとに誤差は大きくなっていることが読み取れる．こ本研究で使用した特徴点抽出アルゴリズムの ORB では，のデータの線形近似式の傾きから，1 往復ごとに 10px ず

特徴点の向きの情報にばらつきが出やすく回転に弱かっ

つ誤差が発生し，ラベルの位置が約 0.2cm 程度ずれることた．そのため，特徴点の向きを利用したタブレット端末のが予想される．累積誤差に関しても，先述のスクロール量回転角度の計算や，移動量の計算に影響を与えた．今後，を調節するための定数を調節することで改善することが予

位置測定の精度を向上させるためには，ORB よりも頑強想される．

な特徴点抽出アルゴリズムを用いることが推奨される．

© 2021 Information Processing Society of Japan150

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A10
2021/3/10

今回使用したスクロール量を調節するための定数は，タブレット端末と天井の高さが 200cm の時にしか適用できないため，より実用的にするために，天井の高さに合わせてこの定数を調整できるような機能を加える必要がある．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

Morris, M. R., Lombardo, J. and Wigdor, D.: Supporting
Collaborative Search and Sensemaking on a Tabletop Display, Proceedings of the 2010 ACM conference on Computer supported cooperative work, pp. 401–410 (2010).
Scott, S. D., Grant, K. D. and Mandryk, R. L.: System
Guidelines for Co-located, Collaborative Work on a Tabletop Display, in ECSCW 2003, pp. 159–178, Dordrecht(2003), Springer Netherlands.
Ito, N., Takada, H. and Piumarta, I.: Eﬀectiveness ofTabletop Interaction Using Tablet Terminals in a Shared
Virtual Workspace, in Collaboration and Technology, pp.
98–114, Cham (2016), Springer International Publishing.
英樹小池：実世界インタフェースの新たな展開 : 5. テー
ブルトップインタフェース, 情報処理, Vol. 51, No. 7, pp.
789–794 (2010).
Jang, byul H., Kim, woon J. and Lee, woo C.: Augmented
Reality Cooking System Using Tabletop Display Interface,
International Symposium on Ubiquitous VR 2007 (2007).
Brandl, P., Forlines, C., Wigdor, D., Haller, M. andShen, C.: Combining and Measuring the Beneﬁts of Bimanual Pen and Direct-Touch Interaction on HorizontalInterfaces, Proceedings of the working conference on Advanced visual interfaces, pp. 154–161 (2008).
相馬啓佑, 間博人, 松井健人, 村上広記, 三木光範：プロジェ
クタとモバイル端末を用いた仮想タッチスクリーンの提案,マルチメディア，分散協調とモバイルシンポジウム 2016
論文集, 第 2016 巻, pp. 1369–1373 (2016).

© 2021 Information Processing Society of Japan151