Metamorphic Light：
紙の変形と張りを用いた映像操作インタフェースの検討
牧野 由樹子 	  	  	  筧 康明
本研究では，電子デバイスやマーカを取り付けることなく紙の変形を計測し，その変形を映像操作に利用した入出力インタフェースを提案する．これは，物体に直接映像投影を行うことで拡張現実感を体験する際につきまとう，特殊な装置の装着やディスプレイを介することによる不自由さ・不自然さを解消し，より自然なインタラクションを促す．今回は，アクティブステレオ法を用いて変形を取得し，紙の特性である変形の容易さと，素材の有する張りを活かした映像操作インタフェースを実装した．このシステムでは，紙をつついたり，なでたり，息を吹きかけたりして紙を変形させることで動的に映像が変化する．ただの紙が映像を操作するためのインタフェースとなり，人に情報を直接操作する体験を提供する．

Metamorphic Light : A Basic Study on a Video Interface
Using Deformation and Stiffness of Plan Paper
YUKIKO MAKINO†YASUAKI KAKEHI‡

This study provides an (output and input) interface which uses the transformation of paper which has noelectronic devices or markers. By projecting the image directly on the material, it will get rid of theinconvenience and the unnatural feel when using special equipment in augment reality.
We have made a manipulatable image interface by reading deformation of paper using an active stereomethod. This utilizes tension of the material and the characteristics of paper which is easy to transform. In thissystem, the projection image changes by picking, stroking and blowing. An ordinary paper becomes an image
interface and will provide an experience where users can directly manipulate information.

1.

はじめにせなどが一般的な操作のキーとして考えられるが，これらに加えてモノ自体の変形を入力として扱うことがAugmented Reality（AR）技術は，スマートフォンできるならば，タンジブルインタラクションとタッチを用いたアプリケーション等の登場により，いよいよインタラクションの両方の要素を兼ね揃えたより直感

我々の日常生活の中にも浸透してきた．しかし一方で，的な操作を提供できると考える．筆者らの研究グルー

AR ア プ リ ケ ー シ ョ ン を 体 験 す る 際 に は ， Head-プでは，このような考え方のもとでこれまでにMounted Display (HMD) やモバイルディスプレイを介

ForceTile [2] や ARForce [3] など，ゲル状素材のパネすることを必要とするものが多く，ユーザが不自然さルを用いたインタラクティブな情報提示ツールを開発や拘束感を感じることも多い．
このような制約を解放する手段の一つとして，
Spatial Augmented Reality [1] が挙げられる．これは，実空間に直接映像を投影することで，モノそのものを拡張する技術である．モノ自体には電気的・機械的な加工を施すこと無く，それらに関連した情報提示を動的に行えることから直感的なアプローチと言えるが，一方でその情報をどのように操作するかが重要な課題となる．このためには，モノの位置や向き，組み合わ慶應義塾大学大学院	  政策・メディア研究科	 

Graduate School of Media and Governance , Keio University

慶應義塾大学	  環境情報学部	 

Faculty of Environment and Information, Keio University

図 1: Metamorphic Light

情報処理学会 インタラクション 2011

してきた．今回はさらに，紙という我々の日常によりする情報を布の変形を用いて操作することを目的としありふれた素材を用いて新たなタンジブル映像操作イている．上述したが，筆者らのグループで開発したンタフェースを提案する．

ForceTile や ARForce も，タッチ入力に加えて可動性

本研究では，紙の位置に加えて，変形をリアルタイを有し，その位置や姿勢や組み合わせなどを用いたタムに認識することで，入力をオン／オフといった二値ンジブルインタラクションが可能である．これらの研の信号ではなく，連続的な信号として扱うことを可能

究では布やゲルの柔らかさが，システムにとって力情にする．さらには，インタフェースとなる紙自体に映報を取得しやすくする効果以外にも，ユーザに``触り像を投影することで，入力がそのまま出力となり，出たい’’という欲求を持たせる効果もあると考えられる．

力が入力につながるといった直感的なインタラクティ

本研究でも，表面の粗さや固さなど紙質もインタラクブな操作が期待される．筆者らは，本システムをションを構成する重要な要素と考える．

Metamorphic Light と名付け，以下で関連研究を整理した後に，Metamorphic Light の概要，および実装システムに関して述べる．

2.

関連研究

3.

Metamorphic Light の 提 案

3.1

システム概要本研究では，身近に存在する紙を映像操作インタフェースとして利用することを考える．紙は，テクスチ	  まず，本研究に関連する研究として，紙や小型のスャが豊かで触れたくなる素材であること，拡散率や透クリーンを映像操作インタフェースとして利用した事過率がリアプロジェクションに適していること，変形例を挙げる．UlteriorScape[4] や Spindler らの研究 [5]が容易である，などの特徴を有している．

では，テーブル型ディスプレイの上にかざされた小型今回提案する Metamorphic Light では，テーブルのスクリーンにテーブル上とは異なる映像を投影できる．

上に載せられた（もしくは，かざした）紙の形状をリ

これらの研究では，入力として小型スクリーンの位置アルタイムかつ三次元的に計測することにより，位置や姿勢のみを用いている．一方，SecondLight [6] や，情報や曲げによる変形情報を取得する．これらの情報

on the fly [7] では，上記の要素に加え，小型スクリーに基づいて動的に映像を変化させ，紙上に映像を投影ンを指で触れることによるタッチ入力を可能にしてい重畳する．この際，ユーザが手にするインタフェースる．これらの研究では，インタフェースとなる紙やスとなる紙自体には，電気的仕掛けやマーカなどの加工

クリーンは平面のままで，それ自体を変形させる取りをせず，白い紙を用いることとする．

組みは行われていない．また，認識のためにマーカやまた，本システムでは紙の特性である``張り’’をイ

電子的な仕掛けをインタフェースに取り付けている点ンタラクションに積極的に用いる．例えば，図 2 のよも本研究のアプローチと異なる．	 

うに紙を半円筒状に曲げて配置すると，横向きに力を映像スクリーンとなる素材を変形させることで映像加えた際に，紙の弾性から指に反力を感じる．押し込を操作する作品として Illuminating Clay [8] や Khronos

んでから手を離すと，紙は弾性によって元の状態に戻Projector [9] が挙げられる．これらは，スクリーンとろうとする力が働き振動が生じる．このような素材のなる素材の形状変化に応じて投影する映像を動的に変張りから生まれる動きも映像と連動させることで新た化させる点では本研究と共通するが，インタフェースなインタラクティブ表現へとつなげる．となるスクリーン自体は固定され，可動性はない．テーブル上で動かせるモノの変形を入力とする研究として，3D Tangible Tabletop Interaction [10] が挙げられる．
これは，距離カメラでテーブル上の凹凸を取得し，その形状をモデルとした仮想世界の中で CG の車が走り回る光景を見ることができる．簡単に形状を変化させることができる素材として紙が用いられているが，障害物として配置されているのみで，動的な変形を映像操作に用いているわけではない．
紙以外の素材を用いる例として，Lepinski らは，布の変形とジェスチャによるインタフェースを提案している[11]．これは，布で実物体を覆い，実物体に関係

図 2: 張りのある形状

Metamorphic Light：紙の変形と張りを用いた映像操作インタフェースの検討
3.2

システム設計	  図 3 に Metamorphic Light のシステム基本構成を示す．テーブル型の筐体に，紙インタフェースの形状を認識するためのカメラおよび映像を重畳するためのプロジェクタが各 1 台内蔵されている．カメラはテーブル面に対し約 70 度の角度をつけて上方を観察し，プロジェクタは鉛直上向きに設置し，光を投影する．また，テーブル面は透明のアクリルを配し，ユーザはその上にインタフェースを置く（かざす）ことで映像の操作を行う．

4.

実装

上記のような設計のもと，プロトタイプシステムを実装した．今回，プロジェクタは TAXAN 社製 KGPS232Xh，カメラは SONY DCR-TRV22VTSC を使用した．以下，このシステムを用いたインタラクション
手法の提案と，アプリケーション例について述べる．
4.1

操作方法	  今回の実装では，紙の全領域ではなく，1 本または2 本の線をプロジェクタ光の中に含めて投影し，その位置の形状変化を入力に用いることとした．紙の中で，線が投影された位置の三次元形状の値が取得されるため，紙の断面の一部をスキャンした形状を取得することができる．これから取得される値を用いて，いくつかの操作方法を提案する．
か ざ す ：紙をテーブル上にかざし，上下に動かす．
紙の中で，最も高い点の値を入力値とする．
押 す ， 吹 く ：両端を固定した半円筒状の紙をテーブル上に置き，それを左右に押す．手を使わず，息を吹きかけることで紙を変形させ映像を変化させることもできる．紙の中で最も高い点と，最も低い位置にある紙の両端の中点とを結んだ角度を計算し，紙全体がどの程度傾いたかを計測する．

図 3: 横から見たシステム

つ ま む ：両端を固定した半円筒状の紙をテーブル上に置き，つまむ．線上にあたる各ピクセルについてカ3.3

紙インタフェースの形状計測	  マーカや電子的加工を施さずに，紙の変形を計測するための三次元計測の方法として，アクティブステレ

メラフレーム上で X 座標が 20 ピクセル離れた点と比較して，高さがどちらの点に対しても 15mm 以上高い場合，つまみとして検出する．

オ法を用いることとした．アクティブステレオ法とは，ひ ね る ：両端を固定した半円筒状の紙をテーブル上1 台のカメラと 1 台の光投射装置を対にし，投射されに置き，ひねる．紙の両端に１本ずつ線を投影するこ

拡散した光をカメラで撮影することで，カメラフレーとで，各線の最も高い点を結んだ時の角度を計算し，ム上の位置から実世界座標系での三次元位置を導出で紙の歪みを計測する．

きるものであり，信頼性の高い手法とされている[12]．

4.2

アプリケーション例	  今回は，アクティブステレオ法の中でもスリットレ	  今回は，上記のうち``押す，吹く’’という行為によーザ投影法という三次元画像撮影法を利用した．アクるインタラクティブアプリケーションを実装した．本

ティブステレオ法に用いるスリット光は，映像投影をアプリケーションでは，顔のように方向性を有するモ行うプロジェクタと兼ねる．このため，図 3 のようにノの画像を，張りのある紙のカタチに合わせて重畳す

投影画像中の決まった位置に明示的な線を入れ，そのることで，その変形を直感的に映像操作につなげる．

位置をカメラで認識することで三次元情報を取得する．

図 4 のように，紙に操作を加えていない状態では，正	  本手法を用いることで，模様のない表面を持つ物体面を向いた顔画像が投影される．ユーザが紙を押し込や軟体物，非接触物に対しても計測が可能になる．今むことで，右方向に紙が変形した際は，投影される顔回の場合，人にも紙にも加工がいらないため，違和感画像が右を向き，左方向に紙が変形した際は，投影さなく情報にアクセスでき，直接情報を操作している感れた顔が左を向く．ユーザは紙を通して，擬似的に立覚をもたらすことができると考える．

体物を触っている（操作している）感覚を得ることができる．

情報処理学会 インタラクション 2011	  今回は 5 度ずつ向きを変えた 36 枚の顔画像を用意

また，テーブル上で xy 方向の位置認識を行うことし，紙の形状に応じて投影する画像が切り替わる．変で，形状認識と位置認識の両方を用いたアプリケーシ

形の反動により紙がゆらゆらと揺れる様子と，顔画像ョンの提案を行う予定である．また，今回の実装ではが左右に揺れる様子が同期し，触感的な映像効果が生紙にのみプロジェクションを行っているが，まれる．また，手で直接触る以外にも，息を吹きかけUlteriorScape などの手法を用いて，テーブル面にも異るなど非接触な行為でのインタラクションも可能であなる映像を投影することで，より豊かな映像操作を行り，体験したユーザの中にも，映像との関わり方をさうことができると考えている．

まざまに発見していく姿が多く見られた．
謝辞 本研究を進めるにあたり有益なご助言をいた
だいた	 日本電信電話株式会社 NTT サイバーソリューション研究所 有賀玲子氏に感謝申し上げます．

参

図 4: 紙の変形に応じて，映像が変化する様子

図 5: 手以外での操作（吹いている様子）

5.

まとめと今後

本稿では，紙の変形と張りを用いたインタフェース
Metamorphic Light，およびアプリケーションの提案を行った．
今後の課題として，ユーザにとって必要ではない線の投影を避けるために，Kinect[13]等でも用いられているように赤外領域でのアクティブ方式の距離画像取得の導入を計画している．

考文献1) O. Bimber and R. Raskar : “Spatial AugmentedReality: Merging Real and Virtual Worlds”, A K
Peters LTD (2005)
2) Y. Kakehi et al. : “ForceTile: Tabletop Tangible
Interface with Vision-Based Force Distribution
Sensing”, ACM SIGGRAPH 2008 New Tech Demos(2008)
3) K. Jo et al. : “ARForce: A Marker-based Augmented
Reality System for Force Distribution Input”,
Proceedings of the 2008 International Conference on
Advances in Computer Entertainment Technology,
pp. 160-165 (2008)4) 筧ほか : “UlteriorScape テーブル上にかざされた映像重層とその応用”, 日本バーチャルリアリテ
ィ学会論文誌，Vol. 13, No. 2, pp.267-278 (2008)5) M. Spindler et al. : “Tangible Views for Information
Visualization”, ITS201 , pp.157-166(2010)6) S. Izadi et al.: “Going Beyond the Display: A Surface
Technology with an Electronically Switchable
Diffuser” , ACM Symposium on User Interface
Software and Technology (UIST '08), pp. 269-278(2008)
7) “on the fly”, http://minimum.ycam.jp/ (2010 年 12月現在)
8) Ben Piper et al. : “Illuminating Clay: a 3-D tangibleinterface for landscape analysis”, Proceedings of theSIGCHI conference on Human factors in computing
systems: Changing our world, changing ourselves,
ACM Press, pp. 355-362. (2002)
9) Alvaro Cassinelli et al. : “Khronos Projector”,
SIGGRAPH 2005, Emerging Technologies (2005)
10) Andrew D. Wilson : “Depth-Sensing Video Cameras
for 3D Tangible Tabletop Interaction”, TABLETOP
2007, pp201-204 (2007)
11) Julian Lepinski et al. : “Cloth-based Interfaces:
Designing for Interactions with Textile Displays”,
PaperComp2010 (2010)12) 井口ほか :“三次元画像計測”, 昭晃堂 (1990)
13) “Kinect”, http://www.xbox.com/ja-jp/kinect(2010 年 12 月現在)