情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C63
2016/3/4

空中映像とのインタラクションのための投影位置調整アルゴリズム
和田 恭坪1,a)

木島 卓也1

小水内 俊介1

近野 敦1

概要：空中映像とのインタラクションにおいて，映像の表示位置とユーザの指の位置との一致度は操作性に大きく影響する．位置調整には設備配置の変更やコンテンツの修正などの対応があり，システムのオペレータには知識や経験といったスキルが求められる．本論文で提案するアルゴリズムでは，ユーザが空中映像に触れている間に映像と指との位置誤差を計測・修正することで，オペレータのスキルに依存しない自動的な位置調整を可能とする．

Projection Position Adjustment Algorithm
for Interaction with Aerial Image
Wada Kyohei1,a)Kizima Takuya1

Komizunai Shunsuke1

Konno Atsushi1

Abstract: In the interaction with the aerial image, matching with indication points of images and positionsof users fingers greatly influences operability. Operators of the system are demanded on understanding andexperience because needing to cope with changes of the equipment location or the correction of contents.
In the algorithm to suggest in this article, it can be an automatic alignment which does not depend on theoperator’s skill by measuring and correcting the positional error between the image and the finger while theuser is touching the aerial image.

表 1

1. はじめに
近年，教育や設計などの分野におけるヒューマンコン装置

ピュータインタフェースとして，空中映像や立体映像と触PC感の融合に関する研究が注目を集めている．従来のシステ
ム [1][2][3] では，使用者は手などの空中映像や立体映像にシステム構成

Table 1 System configuration.

ミストスクリーン

機能
情報処理
投影用画像生成空中映像表示プロジェクタ

直接触れる部分に何も装着しないため直感的な操作が可能である．しかし，これらの装置は空中映像と触感を与える

赤外線カメラ手の空間位置計測

力触覚の提示装着型力触覚提示装置

範囲に比べ装置全体が大型で複雑になる．表現される触感が曖昧になるといった問題がある．
我々は，画面映像と触感の融合を目的とした装着型力触覚提示装置 [4][5][6] を参考に，空中映像と併用が可能な装着型力覚提示装置を開発した [7]．これとミストスクリーンを用いることで，従来の装置よりも小型で構成が簡素な触感を伴った空中映像とのインタラクションシステムを開
1a)

北海道大学
Hokkaido Uniersity
wada@scc.ist.hokudai.ac.jp© 2016 Information Processing Society of Japan発した [7]．
本システムは，図 1 と表 1 で示すような構成になっている．システム上の問題として，空中映像の位置を合わせるのに使用者に知識と経験が必要である．
本論文では，使用者に知識と経験を求めない空間計測範囲と空中映像の位置を合わせる手法について述べる．

1035

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

Mist screen

163C63
2016/3/4

PC

yProjectorzx

Motion capture device(a) 使用状況(a) Using situation

Wearable hapticdevice
図 1

システム全体図

Fig. 1 System general view

2. 位置調整アルゴリズム
図 2 (a) に示す空中映像の z 軸方向の位置を自動で合わせるアルゴリズムを提案する．
位置調整は以下の手順によって行う．

( 1 ) 図 2 (b), (c) を用いて使用者の指先の位置を任意の点数計測する（本実験は 4 点）(b) 実空間(c) 仮想空間(b) Real space(c) Virtual space

図 2

位置調整アルゴリズム

Fig. 2 An algorithm to adjust positions for interaction( 2 ) 式 (1) を用いて最小二乗平面を求める( 3 ) 求めた式 (2) を空中映像における位置情報の拘束条件とする( 4 ) 拘束条件である平面上に空中映像が投影されるようにPC の設定を変更する
∑nx2
∑ni=1 i
M = ∑i=1 xi yini=1 xi∑∑ni=1 xi yi∑n2i=1 yi∑ni=1 yi

nxi zi ∑i=1n
u =  i=1 yi zi ,∑n
i=1 zi∑n

i=1 xi ∑n
i=1 yi ∑ni=1 1(a) 計測状況(a) Measurement situation a 
V = bc

V = M −1 u(1)z = ax + by + c(2)3. 計測実験
提案する位置調整アルゴリズムの精度を確認するために実験を行った．この実験は被験者 5 名で行った．被験者は全員右利き 20 代男性である．

(b) 実空間(c) 仮想空間(b) Real space(c) Virtual space
図 3計測実験

Fig. 3 Measurement experiment

実験方法以下の手順で行った．

( 1 ) 予め提案するアルゴリズムを用いて空中映像の z 軸方向と赤外線カメラの空間計測範囲がミストスクリーン上で一致するように調整する( 2 ) 図 3 (a) に示すように，被験者が左手人差し指を© 2016 Information Processing Society of Japan

図 3 (b), (c) の空中映像に触れていると感じる位置に3 秒以上停止させる( 3 ) 左手を赤外線カメラの空間計測範囲外に移動させる( 4 ) 2 と 3 を各被験者毎に 5 回繰り返す

1036

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C63
2016/3/4

5. おわりに
本論文では，空中映像とのインタラクションにおける映像とユーザの指との位置誤差のうち，奥行き方向について調整する手法を提案した．提案したアルゴリズムでは，ユーザが空中映像に触れている間に映像と指との位置誤差を計測・修正することで，オペレータのスキルに依存しない自動的な位置調整を可能とした．ユーザテストにより，位置誤差は個人差が大きいため，ユーザごとに位置調整を行う必要性が見出された．
(a) 投影面における全ユーザの指先位置の分布(a) Distribution of the finger-tip positionof all users in the projected plane

今後は，投影面に平行な二方向についても位置誤差を調節するアルゴリズムを開発する．さらに，各ユーザの使用前に簡便に実施可能な位置調節アルゴリズムの実装を目z axis error[mm]50指す．
謝辞40本 研 究 は ，戦 略 的 情 報 通 信 研 究 開 発 推 進 制度 (SCOPE) 若手 ICT 研究者等育成型研究開発 (総務省) に30より実施しています．ここに記して感謝の意を表します．

2010

参考文献

0[1]

AB

C

DESubjects(b) 奥行き方向における各ユーザの指先位置の最大誤差(b) Maximum error of the finger-tip position[2]of each user in the depth direction
図 4

実験結果

[3]

Fig. 4 Experimental result[4]4. 実験結果[5]

図 4 (a) に投影面における指先位置の分布を示す．これは，全ての被験者について，空中映像に触れたと感じた位[6]

置をまとめた結果である．赤枠で示した領域は図 3 (c) に示した映像の表示位置であり，これは一辺が 20 [mm] の立方体である．ユーザが映像に触れたと感じる位置は下方に最大 30 [mm] の誤差を生じている．
同様に，図 4 (b) に奥行き方向における指先位置の分布を示す．この結果は特に個人差が大きく，映像の位置を正[7]Ochiai, Y., Kumagai, K., Hoshi, T., Rekimoto, J.,
Hasegawa, S. and Hayasaki, Y. : Fairy lights in femtoseconds: aerial and volumetric graphics rendered byfocused femtosecond laser combined with computational
holographic fields, ACM SIGGRAPH 2015, ACM, 2015,
p. 72.
高橋将文, 星貴之, 中妻啓, 篠田裕之 : 無拘束型触覚提示装
置による空中映像とのインタラクション, 第 14 回日本 VR学会大会論文集, 1D2-4, 2009.
星貴之, 岩本貴之, 正篠田裕之 : 空中超音波振動子アレイによる触覚提示, ROBOMEC2009, 1A1-A14 (1-4), 2009.
CyberGloveSystems : CyberGlove,
http://www.cyberglovesystems.com/, 2014.
Bouzit M., Burdea G., Popescu G. and Boian R. :The Rutgers Master II-new design force-feedback glove,
IEEE/ASME Transactions on Mechatronics, 2002, pp.
256−−263.
Nakagawara, S., Kajimoto, H., Kawakami, N., Tachi, S.,
Kawabuchi, I. : An encounter-type multi-fingered master hand using circuitous joints, Proceedings of the 2005
IEEE International Conference on Robotics and Automation, 2005.
和田恭坪, 木島卓也, 小水内俊介, 近野敦 : 触感を伴って空中映像に触れるインタラクションシステム, エンタテイ
ンメントコンピューティングシンポジウム 2015 論文集,
2015, pp. 107−−115.

確に捉えられるユーザもいるが，最大で 40 [mm] の差が生じている．
このような個人差が生じる原因としては，各ユーザの視点位置が厳密には一致していないことや，実験中にも変化していることが考えられる．これらのことから，空中映像とのインタラクションの位置精度を向上させるためには，装置自体の位置調整だけでなく，ユーザごとに位置調節を行う必要があると考えられる．

© 2016 Information Processing Society of Japan1037