情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B392016/3/3

スチロール球を用いた浮遊タンジブルユーザインタフェース
油井俊哉†1	  	  橋田朋子†1
概要：本研究では，スチロール球を掴み移動させ空中に置くことで入出力となる TUI を提案する．具体的には，球の位置読み取りと掴み判定を行う入力部，目的の位置まで球を浮遊させる出力部によって実現される．また，その精度を確認する実験について述べた後，アプリケーションとして，複数のパラメータを操作するスライダーアプリケーシ
ョンと，浮遊球の位置をジェスチャの基点として CG オブジェクトを操作するアプリケーションについて述べる．

Floating Tangible User Interface with Polystyrene Ball
TOSHIYA YUI†1	  TOMOKO HASHIDA†1
Abstract: In this paper, we proposed TUI, Tangible User Interface, by grabbing a floating polystyrene ball and leaving it on anew point in the air. This interface consists of two parts: input mechanism of judging whether the ball is grabbed or not, andoutput mechanism of floating the ball to the destination. We checked the precision of our interface system. We developed two
applications with using this interface: one is a slider application which controls several parameters, and the other is a controlling
CG objects application by setting the position of the floating ball as the base point of gestures.

1. は じ め に	  	 	  近年，スマートフォンの普及によりタッチでのジェスチャ操作が当たり前のものとなった．しかし，現実世界と同じ条件として扱うにはタッチのような二次元での操作よりも三次元での操作は情報量を削減せず，より直感的な操作が可能となる．そのため，二次元上のジェスチャに限らず
Microsoft Kinect や Leap Motion など三次元上でのジェスチャインタフェースを利用したものが増加してきている．ただし，三次元ジェスチャインタフェースは空間上に目印がなく，現実の空間には存在しない対象の周りでジェスチャを行うため操作がしづらいといった課題がある．	  一方で，形のない情報に直接触ることができるインタフ

図 1	  提案システムでの操作の様子

ェースであるタンジブルユーザインタフェース(TUI)にも

Figure 1	  System overview.

三次元化の流れがある．しかし，TUI は操作部自体が地面と接しているものが多く，上部や側面からの操作が基本であり操作範囲が限定されている．

2. 関 連 研 究	  そこで，本研究では操作対象となるインタフェースを三	  先ほど述べたように本研究は三次元化に向けた TUI に含次元空間上に浮遊させてその位置を制御でき，浮遊物自体まれる．その例として，アレイ状のピンを動かすことで三が入出力となる TUI の設計を目的とする．これにより操作次元の形を形成し，その上に乗っている物体を移動させる部の下部を含めた広い範囲からの操作が可能となる．筆者ことができる inFORM [2]や，磁界を読み取ることでポータらはこれまでに浮遊球による三次元実体ディスプレイの出ブルディスプレイ上での三次元インタラクションを可能に力システムの開発を行ってきた[1]．今回はその研究をもとした GaussBits [3]がある．これらは操作部が地面かユーザに入力部を加えることで新たに TUI を提案する．具体的にに接している．それに対して本研究と同様に操作対象自体は，ファンの風によって浮かせたスチロール球をユーザがが浮遊している TUI の研究として，磁力で浮かせた球を移掴み，その位置を移動させることで入出力とする TUI の実動させることで入出力ができる ZeroN [4]がある． ZeroN

現である．また本 TUI を用いて，スライダーとジェスチャ

では操作可能な球が一つだけであるのに対し，本研究ではインタフェースの目印となるアプリケーションを提案する．

複数球の操作が可能である．また別の研究として，浮かせたドローンを掴み，位置を変えることで入出力となる†1 早稲田大学	  	  Waseda University	  	 © 2016 Information Processing Society of Japan

BitDrones [5]がある．この研究では一辺が 25[cm]ほどの大637

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B392016/3/3

きいドローンを操作するが，本研究は直径 3.5[cm]程度の球の軸を事前に登録しておく． 図 3 の入力部の操作画面のよを用いるため解像度に差がある．

うに色のついた円，矩形，線でそれぞれの設定が示されて	  また，本研究と同様にスチロール球を浮遊させインタラいる．

クションをもたせた作品や研究も幾つかある．例えば，入力の機能はないが縦や斜め方向に球を浮遊させ幾何学模様

3.3 出 力 部を出力できる atOms [6]や，スチロール球を空中に置くこと	  出力部では球の真下にあるファンの選定と，球の高さとで音を変化させる入出力を行う Aerial Tunes [7]が挙げられ出力値を合わせるためのキャリブレーションを行った上で，る．Aerial Tunes ではユーザによる球の置き位置の認識に距浮遊球を目的の位置まで浮遊させる．

離センサーと PIR センサーを用いている．そのため，ユー	  図 2 に出力部の構成を示す．複数のファンとそれらを制ザが球の位置を変えてなくとも手がファンの上にあるだけ御する電子回路，PC で構成される．入力を行うとき，ユーで球を掴んでいると誤認識し，ユーザの意図しない位置へザはいずれかのファンの真上にて球を配置する．手を離しと球の高さを変化させる可能性がある．本研究では球と手た位置に球を留まらせるため，どのファンをどのくらい駆の位置，手の形状より球の掴み判定を行うため上記のよう動させるか，出力を決める必要がある．そのため事前に入な誤認識は少ない．また，本研究では球そのものの移動を力部でファンの出力方向の軸・最大/最小出力時の球の座標入力とする機能に加え球の周りでのジェスチャを入力に組を登録しておく．また出力側ではファンの pwm 制御におけみ込むアプリケーションも検討する．

るアナログ値の最大/最小出力値を設定しておく．これらの	 登録した値と球の入力位置の関係よりファンの出力値を決

3. シ ス テ ム
3.1 シ ス テ ム コ ン セ プ ト

定する．具体的には球の入力位置とファンの出力方向の軸との距離を算出し，一番近い軸のファンを出力すべきファンと決定する．登録した最小/最大出力値と対応付けられる	  本研究はユーザが浮遊球を掴み移動させ三次元空間上に最小/最大出力時の座標はこれまでの検討[1]により線形性球を配置可能な空中浮遊場の作成を目的とする．今回はそを持つと考え出力値を決定する．そして決定したファンとの前段階として複数のファンを 1 列に並べ，二次元空間上出力値でファンを駆動させ，目的とする位置まで球を浮遊での空中浮遊場を作成するシステムを提案する．

させる．なお，球の最大制御数はファンの数に対応する．	  本システムは入力部と出力部から構成される．入力部はユーザが球の位置を変更したときの情報を取得する機構で3.4 入 力 部 と 出 力 部 の 結 合ある．また出力部は目的とする位置まで球をファンの風で	  入力部から出力部へとデータを受け渡す通信方法として，押し上げる機構である．これらの二つを組み合わせること

図 2 のように Wifi を介した OSC を用いた．送信したデーでユーザインタフェースとしてのシステムを作り上げる．

タとしては球の位置，手の位置，手の形，掴み判定結果，球の最小/最大出力時の登録座標である．

3.2 入 力 部	  本 TUI は球から手を離したとき，球の位置がその場に留	  本研究ではユーザが手で球の位置を変更することを入力まるようにすることが目的である．しかし目的とする風圧とする．そのため入力部ではユーザが球を掴んでいるときを出力するまで時間がかかる．今回使用したファンでは，の球の位置を取得する．図 2 に入力部の構成を示す．Kinect

全く風を出力しない状態からキャリブレーション用に設定と PC を使用し球と手の位置，手の形状を取得した．球のした最大出力位置まで浮遊するには 1.1 秒かかる．また最位置は Kinect の RGB カメラと OpenCV を使用して球の色小出力位置から最大出力位置まで浮遊するには 0.6 秒かかでトラッキングし，画像上の球の中心座標を取得する方法

る．そのため，手を離したときのみ球の入力位置を受け取を用いた．また， Kinect から球までの depth データを取得

り，出力値に反映させると球が目的の位置に達するまで遅し，球の RGB カメラ座標(X,Y)と球の depth データの 3 つ延が発生する．その遅延時間を短くするため，球を掴んでを合わせて球の位置情報とした．また Kinect の人体部位検いる間は球の位置に対応して出力を変化させ続け，球から出機能を用いて手の位置情報と形状を取得した．形状につ離している間は出力が変化しないようにした．それによりいてはグー・チョキ・パー・その他の 4 種類である．以上

手を離したとき，遅延時間を小さくした状態で球の位置がのデータから球と手の距離が設定した閾値以内であり，か保たれるようになった．

つ手の形状がパー以外のとき球を掴んでいると判定した．
なお，Kinect で取得可能人数である 6 人まで同時に利用することができる．	  また出力側でのキャリブレーションのため，各ファンに応じた球の最小出力時の位置と最大出力時の位置，ファン© 2016 Information Processing Society of Japan638

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B392016/3/3

た，最小出力位置，もしくは最大出力位置に近いほど誤差は小さく，それらから離れるほど誤差が大きくなることがわかる．この原因は, 実際の球の風力と高さの関係が線形ではないが，キャリブレーションの方法として線形近似を用いたためと考えられる．今回用いる球は，通常出力時に最大 50 [mm]程度上下に振動することがある．その振動による変化量と比較すると現状のアプリケーションでは 20[mm]程度の入出力間の誤差は小さいとみなす．

図 2	  システム全体像
Figure 2	  System configuration.

図 4	 

手で置いた球の高さと誤差の関係

Figure 4	  Relation between the height of a ball put by hand anderror．

図 3	  入力部の操作画面
Figure 3	  Operation screen of the input mechanism.

4. シ ス テ ム の 精 度

5. ア プ リ ケ ー シ ョ ン
5.1 ス ラ イ ダ ー	  本 TUI をもちいてスライダーアプリケーションを実装した．球がスライダーの位置を示し, ファンの出力軸がスラ	  本実験では提案システムの出力の精度がどのくらいか，イダーバーの役割を担う．図 5 ではパラメータとして色をまたそれは高さによっても異なるのかを明らかにする．こ示す RGB と透明度，円の半径の 5 つのスライダーを用意

こでの精度はユーザが置いた球の高さに対し，システム側し，任意の円を作るアプリケーションを作成した．

で制御・出力した球の高さのずれ(誤差)を指すものとする．	  今回実験で用いたファン(SparkFun Com-11270) での最5.2 球 を 基 点 と し た CG オ ブ ジ ェ ク ト 操 作

小出力値の高さは 0 [mm]，最大出力値の高さは 175[mm]	  三次元ジェスチャインタフェースと本 TUI を組み合わせ，であった．この 0 - 175 [mm]の間を 13.5 [mm]間隔で分割しジェスチャインタフェースの目印としての役割を行うアプた 14 段階の高さに関して実験を行った．手順としては，次リケーションを考えた．その実行風景を図 6 に示す．の通りである．まず，ユーザは球を掴んだ状態で距離計測	  具体的には画面上の CG オブジェクトと球を対応付け，器から得られる高さを確認しつつ，目的となる球の高さに

図 7 のようにその周りでジェスチャを行うことで移動，拡なるように高さを調節する．目的の高さとの差が 4 [mm]大縮小，回転ができるアプリケーションである．移動は球未満になった状態で数秒間球の位置を固定する．そして球を掴んで位置を変えることで行う．また拡大，縮小としてから手を離し，球の揺れが収まってから高さを測定する．

は，球の周りで手を広げ，その広げ具合を変えることで CG

高さの測定方法としてはファンの噴出口から 580 [mm]上物体の大きさが変化させることができる．また回転は両手に置いたレーザー測距計(BOSCH GLM 100C) を用いて球で浮遊球の周りに手を置き，球を中心としてオブジェクトまでの距離を求めた．また，本実験にて高さとして使用しを回転させるようなジェスチャをすることで画面上にあるた値は球を置く前に 4 回，球を置いた後に 4 回取得した測CG の物体を回転させることができる．これによりジェス定値の各平均値から算出したものである．

チャをする対象がはっきりすると同時に浮遊球が基点とな	  この実験結果を図 4 に示す．図 4 より，全体の誤差は大るため，どのくらいの大きさか，またどのくらい回転をしきくても 20 [mm]程度に収まるということがわかった．まているのかが明示された．

© 2016 Information Processing Society of Japan639

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B392016/3/3

6. ま と め と 今 後 の 展 望	  本研究ではスチロール球を風で押し上げることで空中に留まるという特徴を用いて浮遊タンジブルユーザインタフ
ェースを提案した．システムとしては手で球を掴んでいる
ときの球の位置を取得する入力部，目的の位置まで球を押し上げる出力部で構成され，入力部と出力部の通信方法について説明した．また，球を置いたときの精度を確認する実験を行い結果として 20 [mm]程度の誤差が生じることがわかった．またアプリケーションとしてスライダーアプリ
ケーションやジェスチャインタフェースの目印としてのアプリケーションを提示した．
図 5	  スライダーアプリケーション
Figure 5	  Slider application．	  今後の展望としてはファンを二次元アレイ状に並べ，三次元場に球を置くことができるシステムの設計や X-Y プ
ロッターにファンを乗せ，一つのファンのみで三次元ユーザインタフェースを実現すること，精度を高めるためフィードバック制御や新たなキャリブレーション方法を適用することがある．また本システムの特徴として，ファン上における風による触覚フィードバックがあった．今回提案した球を目印として扱うアプリケーションに加え，Disney
Research の AIREAL [8]のように風を用いた触覚フィードバックによってジェスチャインタフェースの補助を行うようなコンテンツの作成にも努めたい．

謝 辞 	  本稿は，早稲田大学特定課題研究助成費(課題番号
図 6	  ジェスチャインタフェースの目印としてのアプリケーション
Figure 6	  Supporting gesture application．

図 7	  ジェスチャの例
Figure 7	  Examples of gestures．

© 2016 Information Processing Society of Japan

2015A-502)による研究成果の一部である．

参考文献
1) 油井俊哉, 橋田朋子: 浮遊球群の制御によるスケーラブルな実体ディスプレイの基礎検討, インタラクション 2015, pp. 292-295(2015)
2) Sean Follmer, Daniel Leithinger, Alex Olwal, Akimitsu Hogge,Hiroshi Ishii: inFORM: Dynamic Physical Affordances and Constraints
through Shape and Object Actuation, UIST 2013, pp. 417-426 (2013)
3) Rong-Hao Liang, Kai-Yin Cheng, Liwei Chan, Chuan-Xhyuan Peng,Mike Y. Chen, Rung-Huei Liang, De-Nian Yang, Bing-Yu Chen:
GaussBits: Magnetic Tangible Bits for Portable and Occlusion-Free
Near-Surface Interactions, CHI 2013, pp1391-1400 (2013)
4) Jinha Lee, Rehmi Post, Hiroshi Ishii : ZeroN: mid-air tangibleinteraction enabled by computer controlled magnetic levitationInform,
UIST '11 , pp. 327-336 (2011)
5) Calvin Rubens, Sean Braley, Antonio Gomes, Daniel Goc, Xujing
Zhang, Juan-Pablo Carrascal and Roel Vertegaal :BitDrones: Towards
Self-Levitating Programmable Matter Via Interactive 3D Quadcopter
Displays, UIST2015, pp. 57-58 (2015)
6) Ryo Kishi: atOms
https://vimeo.com/140822502 (2015 年 12 月現在).
7) Alrøe, T., Grann, J., Grönvall, E., Petersen, M.G., and Degn,
J.L.G. : Aerial Tunes: Exploring Interaction Qualities of Mid-air
Displays, TEI’13, Proceedings of the 7th International Conference onTangible, Embedded and Embodied Interaction pp. 125-128 (2013)．
8) Rajinder Sodhi, Ivan Poupyrev, Matthew Glisson, Ali Israr :AIREAL: interactive tactile experiences in free air, SIGGRAPH 2013,
Article No. 134 (2013)

640