情報処理学会 インタラクション 2017
IPSJ Interaction 20172-502-13
2017/3/2

タッチスクリーンによる空中像インタフェースの基礎検討
小泉 直也1,2,a)

簾内 統賀1

概要：本研究の目的は，カードゲームにおける空中像インタラクション手法の開発である．空中像ディス
プレイは，映像装置を光源として光学系によって反射・屈折させることで，映像を空中に表示するものである．本研究では，テーブル上に空中像を表示し，プレイヤーがゲームカードを動かすことで空中像が同期して動くしくみを開発する．具体的には，スクリーンシステム，金属製タッチ ID のカード，及び既に提案された EnchanTable と呼ばれるテーブルトップ上に空中像を表示する手法を融合する．

Card game interface for midair imaging system
Koizumi Naoya1,2,a)Sunouchi Toga1

Abstract: The purpose of this research is to develop interaction method in card game with midair image.
Midair image is formed by an optical system using a light emitting display as a light source. In this research,
we develop a interface for the card game with midair imaging. User can move midair image by synchronized
the motion of game card to midair image. To realize this, we adapt touch screen system, metal ID card, andmidair imaging optical system named EnchanTable.

1. はじめにことができる．しかし，現状では RFID によるカード ID
情報の読み取りに応じて，予め準備していた情報を投影

カードゲームはアニメーション等で扱われる人気のあるするディスプレイとしての研究にとどまっている．そこコンテンツであり，テレビゲーム・玩具・アーケードゲーで，カードの ID・位置・角度の読み取りを実現するためムなど各種ゲームメディアに展開されている．本研究はアに，テーブルトップ面として反射可能なタッチスクリーン

ニメ表現で見られるような，カードを机に置くとキャラクを用いて，そこから座標値を取得し，空中像のコントロータが表示されそれを操作することのできるしくみを提案・ルに用いる手法を導入する．

構築する．このようなしくみの実現方法として，モバイルディスプレイや HMD を使用した AR 環境での実写と CGの合成も考えられる．しかしこの方法ではディスプレイ画

2. 関連研究2.1 空中像結像手法

面を用いなければ CG キャラクタを見ることができない．

本研究課題は，空中像インタラクションに関する研究とそこで，本研究では空中像光学系によってカードゲームして位置づけられる．空中像を結像させる光学系として(実物体) とキャラクタ (CG) の一体化を実現する．空中像は，アスカネットの Aerial Imaging Plate（AIP）[2] やパ

提示光学系としては EnchanTable[1] と呼ぶテーブルトッ

リティイノベーションズのパリティミラー [3] や，宇都宮

プ型空中像光学系を使用する．この装置はテーブルトップ大の山本らによる AIRR[4] などがある．

面上に空中像を前後・上下・左右に動かしながら表示する

これらの光学素子を組み合わせた空中像提示手法が複数提案されている．Makino らは 2 枚の AIP を組み合わせ

12a)

電気通信大学
1–5–1, Chofugaoka, Chofu, Tokyo 182–8585, Japan
科学技術振興機構 さきがけ
JST Presto
koizumi.naoya@uec.ac.jp© 2017 Information Processing Society of Japanることで，双方向の視触覚通信手法を提案している [5] ．
さらに Furuyama らは 2 枚の鏡を追加し，実物体の像とその断面図を同時に見ることのできる X-SectionScope[6]436情報処理学会 インタラクション 2017
IPSJ Interaction 20172-502-13
2017/3/2を提案している．金らは対面する二人から見えるようにAIP と，ディスプレイ及び視野角制御フィルムを用いたHoVerTable[7] を提案している．本研究ではカードゲームの読み取りをタッチスクリーンで行うことを踏まえ，テーブルの反射面を利用した空中像提示系である EnchanTable[1]をベースに研究を行う．

2.2 空中像インタラクション
空中像は光源の光を反射屈折させ，空間中に結像することによる視覚情報提示手法である．したがって，像が物理的実体を持たないため，触ることができない．そこで空中像の操作性の向上等を目的として，触覚を付与する研究が

図 1 EnchanTable の光学構成行われている．HaptoMine では，前述した AIP による空Fig. 1 Optical Schematic

中像提示と超音波アレイによる触覚呈示を組み合わせることで，空中像触覚呈示を実現している [8]．一方で Kim らの MARIO では，深度センサを用いて空中像とのインタラクションを実現しており [9]，空中像を直接操作しようとするのではなく，実物体を介して操作させることによって，物理的実体の操作と同様に簡便に空中像をユーザーが操作することを実現している．さらにその結果，日本科学未来館での展示において多くの来場者が積極的に手を伸ばしていたことが確認されている．また Kajita らは，実物を動かす際の空中像の遅れに対して，実物側に小型ディスプレイを取り付け，そこからの光を AIP 及び鏡を介して実物体近傍に結像させる手法を提案している [10]．この手法では，ユーザーからシステムへの入力に関してタッチスクリーンを活用している．本研究でも同様にタッチスクリーンを採用し，それを反射面としても活用する．また，カードの座標位置だけではなく，回転にも対応させることで，空中像を一回転して確認できるように設計を行った．

3. 提案手法
3.1 原理を使用した．また使用した XY プロッタは SmartDIY のSmart Laser Mini をベースに，レーザーを取り外し小型プロジェクタ（Exquizon

GP1S, 500 ルーメン）を使用した．
空中像及び光源の位置制御は，フレーム毎にヘッダ及び XY の座標の計 3byte のデータを laptop から Arduino

Mega に送信し, Arduino Mega から Smart Laser Mini 基板上のモータドライバをコントロールすることで実現した．
更新周波数は画面描画に同期させてあり，おおよそ 60Hzであった．また空中像の光源となるディスプレイとして，スクリーンはリア透過プロジェクションフィルムのブラックタイプ (シアターハウス) を使用した．スクリーン材の選択においては，空中像をより明瞭に視認させることを目的として，高コントラストに提示できる部品を選択した．
カードに関しては，銀ナノ粒子印刷パターンや，薄いアルミ板では誤反応が多かったため，3mm 厚のアルミ板から，先行研究で用いられていたパタンを削り出したものを使用した (図 3)．削り出しの厚みは 2.5mm とし，2mm のアクリル板によって支えることにした．

本研究では，山本らの提案した EnchanTable[1] の光学系を使用した．この光学系の概要を示す（図 1）．空中像の光源となるディスプレイの光は，AIP によって反射された後に，液晶表面の光沢面で反射することによって，タッチスクリーン上に結像する．本研究ではこのタッチスクリーン上に結像した空中像を，池田らによって提案されているタッチスクリーンの導電パターン配置 [11] を採用したカードを用いて操作する．

図 2システム構成

Fig. 2 System Diagram

3.2 実装本システムの構成を図 2 に示す．基本的には，タッチスクリーンで取得した座標情報をもとに空中像の移動量を3.3 動作決定し，XY プロッタに送信した．タッチスクリーンにはタッチパネル上での空中像の動きを図 4, 5 に示す．図 4

投影型静電容量方式で 10 点検出可能な P2314T（DELL)

より，カードを回転させることで，空中像の CG も回転していることが分かる．また図 5 より，カードを移動させる© 2017 Information Processing Society of Japan437

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-502-13
2017/3/2

図 3 使用したカード

Fig. 3 Metal Card

ことで，空中像の CG も移動していることが分かる．したがってカードの動きを用いて，空中像の回転及び移動をコントロールできることが確認できた．
図 6

輝度測定条件Fig. 6 Measurement

4.2 結果図 4

カードによる回転操作

Fig. 4 Rotation

計測の結果を，手前，中央，奥の順にそれぞれ図 7,8,9 に示す．どの角度においても，手前側が暗く奥側にいくほど明るくなっていることが分かる．仰角に関しては，いずれの場合も浅い角度の方が輝度が高く，深い角度の方が輝度が小さい．また方位角においても，正面から離れる程に輝度が減少しており，これらは，光源のディスプレイの光の強度に応じた分布になっていると考えられる．最大輝度は10cd/㎡程度であった．このときに使用したタッチパネルディスプレイの輝度設定を最低輝度にした上で，白色表示カードによる移動操作時の輝度を計測したところ，最大で 2.0cd/㎡であった．しFig. 5 Position Control

たがって，本構成であれば水平面よりも十分に明るく空中図 5像を表示することができることがわかった．

4. 視認性の評価

5. 考察

本研究ではタッチスクリーンの光沢面を反射素子として本研究の課題をまとめる．現在のシステムでは，タッチ使用する．先行研究で使用されている反射材に比較して，スクリーンにおける遅延及び XY プロッタの移動速度の限タッチパネルの反射率は低い．このため，輝度が十分に視界があり，ユーザーがむやみにカードを動かすと，カードの認できる程度であることを確認する必要がある．そこで，動きが遅れてしまう．これに対して，アクチュエータを高結像した空中像の輝度を評価した．

速化することによってカードの動きと空中像の動きを近づけていくことは可能であるが，アクチュエータが大型化か4.1 測定条件し，構築コストが大きくなってしまう．そこで，ユーザー

本研究ではタッチスクリーン液晶の表面の反射を用いてのカードの動かし方を自然に制限する様な提示画面の設計結像をした空中像の輝度を測定した．この輝度の測定にはを行うことで，ユーザーがむやみにカードを動かしすぎず輝度計（LS-100, ミノルタ）を用いた．空中像位置はタッ

自然とある程度の速度で動かすようなインタラクションをチスクリーン上に，ユーザーから見て手前，中央部分，奥導くようなデザインの指標をつくりたいと考えている．ま部分の 3 つの奥行を 5cm ずつ離して行った．また，それぞた，今回使用したカード ID のパタン数では多くの種類のれ俯角を 30 度から 45 度まで 5 度間隔で変更した．また，カードに対応することが難しい．今後はカードのパターン

方位角は 0 度から 25 度まで 5 度間隔で計測を行った．実数を多くする手法なども検討したい．さらに，導電性物質

験時には，プロジェクタから白色の画像を表示し，タッチの 3D プリントを活用することで，カードだけではなく 3スクリーンの電源は切った状態で行った．輝度測定条件を次元形状の物体と空中像の融合も実現したい．

図 6 に示す．

© 2017 Information Processing Society of Japan438

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-502-13
2017/3/2

6. まとめ本研究では，カードゲームとして空中像を用いる手法に関して検討を行った．具体的には，導電性パタンを用いたカードを，タッチスクリーンに置くことによって入力を行い，EnchanTable 光学系を採用することで，そのカードと同じ位置に空中像を表示させる事ができた．輝度の評価を行い，ユーザーに水平面を表示しながら空中像を見せることが可能であることを確認した．今後は，アクチュエータ及びセンシングの見直しや，ユーザーのカード動作の誘導を行い，遅延を認識しにくい設計を実現したい．
図 7 手前に結像した際の輝度

謝辞 本研究は中山財団の助成を受けたものである．

Fig. 7 Luminance (Front)

参考文献
[1]

[2]
[3]
[4]

[5]

図 8 中心に結像した際の輝度[6]

Fig. 8 Luminance (Middle)

[7]

[8]

[9]

[10]
図 9

奥に結像した際の輝度

Fig. 9 Luminance (Back)© 2017 Information Processing Society of Japan[11]山本 紘暉, 梶田 創, 小泉 直也, 苗村 健： EnchanTable：
テーブル面の反射を用いた直立空中像ディスプレイ,
日本バーチャルリアリティ学会論文誌, Vol.21, No. 3,pp.401-410(2016)
株式会社アスカネット：Aerial Imaging technologies，入手先 ⟨http://aerialimaging.tv/⟩ (2016.12.15).
株式会社パリティ・イノベーションズ：パリティミラー，入手先 ⟨http://www.piq.co.jp/about.html⟩ (2016.12.15).
Yutaka Tokuda, Atsushi Hiyama, Michitaka Hirose, andHirotsugu Yamamoto: R2D2 w/ AIRR: real time &real space double-layered display with aerial imaging
by retro-reflection, In SIGGRAPH Asia 2015 EmergingTechnologies (SA ’15), Article 20 , 3 pages(2015).
Yasutoshi Makino, Yoshikazu Furuyama, and Hiroyuki
Shinoda: HaptoClone (Haptic-Optical Clone): Mid-air
Haptic-Optical Human-Human Interaction with PerfectSynchronization, In Proceedings of the 3rd ACM Symposium on Spatial User Interaction (2015).
Yoshikazu Furuyama, Atsushi Matsubayashi, Yasutoshi
Makino, and Hiroyuki Shinoda：X-SectionScope: crosssection projection in light field clone image, In ACM SIGGRAPH 2016 Emerging Technologies (SIGGRAPH ’16),
Article 22 , 2 pages(2016).
Hanyuool Kim, Hiroki Yamamoto, Naoya Koizumi,
Satoshi Maekawa, Takeshi Naemura: HoVerTable: Combining Dual-sided Vertical Mid-air Images with a Horizontal Tabletop Display, ヒューマンインタフェース学会
論文誌, Vol.17, No.3, pp.275 - 286(2015).
Yasuaki Monnai, Keisuke Hasegawa, Masahiro Fujiwara,Kazuma Yoshino, Seki Inoue, and Hiroyuki Shinoda:
HaptoMime: mid-air haptic interaction with a floating
virtual screen, In Proceedings of the 27th annual ACM
symposium on User interface software and technology,663-667(2014).
H. Kim, I. Takahashi, H. Yamamoto, S. Maekawa, and T.
Naemura: MARIO: Mid-air Augmented Reality Interaction with Objects, Elsevier Entertainment Computing,vol.5, no.4, pp.233-241(2014)
Hajime Kajita，Naoya Koizumi，and Takeshi Naemura:
SkyAnchor: Optical Design for Anchoring Mid-air Images onto Physical Objects，ACM User Interface Software and Technology（UIST2016），415-423（Oct．2016）池田 昂平，沖 真帆, 塚田 浩二：CapacitiveMarker: 接触認
識可能な 2 次元コードを用いたインタラクション手法，情報処理学会インタラクション 2015 論文集, 72-79 (2016).

439