WISS 2017

nullize:
深度取得可能なスマートフォンを用いたデバイスの透明化・擬態化手法
中屋 裕登* 渡邊 恵太*

概要． 人の姿や物を透明化するコンセプトは，SF 映画やマンガなどの作品に多く登場する．近年では，カメラや再帰性反射材，プロジェクタ装置などを利用して知覚的な透明化を実現する研究が行われている．しかし，現状では実現のためのハードウェアが大掛かりであることや透明化の場所が限定的であることが課題である．本稿では，深度取得可能なスマートフォンのみを利用した透明化・擬態化手法
nullize を提案する．nullize では，スマートフォンを設置した場所のテクスチャを自動で取得し，同じ色柄とサイズで画面に表示して，透明化・擬態化して見せることを目標とする．実際に透明化・擬態化するための実装方法として，深度カメラやモーショントラッキングカメラを用いたセッティング方法を紹介する．また，nullize では，透明化・擬態化した上からコンテンツを表示することを想定している．
その提示方法として，想定されるインタラクションの例を挙げる．

1

はじめに人の姿や物を透明化するコンセプトは，SF 映画やマンガなどの作品に多く登場する．近年では，光学迷彩として，カメラやプロジェクタを組み合わせ，知覚的な透明化を実現する研究が行われている[1]．
しかしながら，現状ではカメラや再帰性反射材，プロジェクタ装置などを利用した実現方法が主流であり，ハードウェアが大掛かりであることや，透明化させる場所が限定的であることが課題である．
透明化を利用した研究として，Yoshida らは， 向
こう側が見えるシースルーのドアとダッシュボードを備えた自動車を提案している[2]．透明化を利用することで，自動車内からより広い範囲の視野を獲得し，安全性と操作性の向上を図っている．
Pearson らは，盗難防止を目的として，スマートフォンの画面を置いた場所のテクスチャに擬態させている[3]．ただし，これはユーザが逐次その場所の写真を撮影し，テクスチャに合わせて拡大縮小する必要がある．
本研究では，深度取得可能なスマートフォンを用いて，スマートフォンのスクリーンを置かれた場所のテクスチャに透明化・擬態化する手法 nullize を提案する(図 1)．nullize では，デバイスの配置場所を自動で特定し，置かれた場所のテクスチャと同じ色柄，サイズに合わせて画面にテクスチャ画像を表示することで，画面の背後が知覚的に透けて見える
Copyright is held by the author(s).
* 明治大学図 1．本手法を実際に使用した例: 本棚に設置したスマートフ
ォンにテクスチャが自動で周囲に合わせて表示されるような透明化，あるいは動物が自身の表皮を周囲にある模様に似せるような擬態化表現を行える．これにより，スマートフォンを置くだけで，その存在感を薄めることを可能にする．本稿では，テクスチャの自動取得および配置手法について述べ，透明化・擬態化を活用したアプリケーションを例示する．

2

関連研究

背景に透明化・擬態化する研究や，物を視覚的に見えなくする研究はこれまでにも行われてきた．
岩井らは，Limpid Desk[4]を提案している． これは，机の上に積み重ねられている書類や本に触れると，その上にある書類を透けるように見せるシステ
ムである．透明度の変化を利用することで，机上のWISS 2017ドキュメントを探索するというメリットを得ている．
このようなプロジェクタベースのシステムでは，輝度を調整する課題が存在することや設置場所が限定されてしまうことが特徴である．
また，プロジェクタ以外のアプローチとして，
HMD を装着する方法がある． 松木らは，HMD を装着したユーザを想定した環境において，物体を視覚的に消し去る場合の両目視野の不整合について分析を行い，対策を提案している[5]． 近年では HMD型のデバイスが注目を集めており，これから一層研究が進むと考えられる．
これらは Diminished Reality と呼ばれる分野である．実世界に情報を付加する形の AugmentedReality とは異なる技術的な課題や性質を持つため，区別され研究が盛んに行われている．
DR 分野の多くの研究とは異なるアプローチを取っ て い る の が Chameleon Devices[3] で あ る ．
Chameleon Devices は，公共の場のテーブル上にスマートフォンを出して置く際に，盗難されることを問題とした．そして，それを解決するアイディアとして，スマートフォンを配置した場所のテクスチャに合わせて溶け込んでいるかのような透明化・擬態化を提案している．この研究は，スマートフォンの透明化・擬態化が盗難と言った社会問題を解決する効果や応用例を示したことは価値があるが，透明化・擬態化のためにその都度，ユーザは拡大縮小や位置調整を行う必要がある．
本研究は，スマートフォンのみを用いてユーザの手間なしにいかにデバイスを透明化・擬態化して見せるかの実装を課題としている．また，その上での応用や表現手法を検討する．

3nullize

nullize は深度取得可能なスマートフォンを用いた周囲テクスチャへの透明化・擬態化手法である．
スマートフォンを置いた場所の背景と同じテクスチャをサイズや位置を自動調整することで透明化・擬態化を実現する．
3.1

実装

実装には，深度カメラとモーションカメラを内蔵した Tango スマートフォンを利用する．今回は，主に ASUS 社 Zenfone AR を使用した．Tango では，一般的な RGB カメラの他に，深度取得可能なカメラとモーショントラッキングカメラが搭載されてい———————————————————————————————VSLAM とは，デバイスの自己位置推定と空間の環境地図作成を行う技術．Visual SimultaneousLocalization and Mapping の略．
1る．そして Tango では VSLAM1を行っている．
深度カメラ及びモーショントラックカメラ，VSLAM を用いて，実世界の 3 次元位置情報を点群として取得し，空間内のデバイスの位置測定や，その情報に基づいた実空間への重畳マッピングなどを行うことができる．
本研究では，この位置計測に基づき，取得したテクスチャ画像を現実世界と同じ大きさや位置で表示することに利用している．
3.2

透明化・擬態化プロセス

透明化・擬態化して見せるための，テクスチャを表示するまでのプロセスを詳細に記す(図 2)．
1. テクスチャ画像の取得 スマートフォンに表示するためのテクスチャを標準の RGB カメラで取得する． スマートフォンに搭載されるカメラでは，ディスプレイよりも高画素の画像が撮影できる．そのため，設置の際に画像を拡大しても，スマートフォンと環境の違和感を最小限に抑えて表示することができる．
2. 空間の記録 深度カメラ，モーショントラッキングカメラを利用して，スマートフォンを設置する場所を記録する．実世界の点群デー
タをスマートフォンに記録することで，スマートフォンがその空間を把握できるようになる．モーショントラッキングカメラは通常，塞がれてしまうと自身の位置を見失ってしまうが，空間の記録を行うことで，カメラの自動的な復帰が可能になる．スマートフォンを置き直したとしても素早く正しい位置でテクスチャを表示することが可能になる．これには，Tango の機能である Area Learning を利用している．点群データを記録することで，スマートフォンが空間を判別できるようになる仕組みである．
3. テクスチャ画像の配置 1 で撮影したテクスチャを，2 で記録した空間に配置する．空間の実際の距離を取得し，画像を自動的に実寸大表示する．この際に，Tango で取得した空間上に配置されるため，スマートフォンを動かしても実世界の空間上に正しい位置で固定される．テクスチャの位置が微妙にずれることがあるが，その場合は，ユーザがスワイプ操作で位置を微調整することができる．

nullize: 深度取得可能なスマートフォンを用いたデバイスの透明化・擬態化手法

図 2． nullize 概要: 深度取得可能なスマートフォンを用いることでテクスチャを取得した範囲内であれば透明化・擬態化する

4

インタラクション

本章では，想定されるインタラクションを紹介する．透明化・擬態化した上に表示するコンテンツの例や，テクスチャ画像に対する加工の例を挙げる(図3-6)．
4.1

カモフラージュカモフラージュは nullize の基本機能である．ス
マートフォンを実世界に置くことで，その位置にあったテクスチャを表示する．テクスチャ配置の際に実世界に基づいた表示を行っているため，ユーザの操作としては微調整のみで，周囲にあったテクスチャ表示を行う．カモフラージュする場所は，床や壁のような面を想定しているが，スマートフォンをスタンドに立てかけたり，空中に吊るしたりしても，面においたときのように周囲に合わせたテクスチャが表示される．
4.2

オーバーレイ表示

テクスチャの一部に情報を付加しオーバーレイ表示する．たとえば図 3 は時刻を表示する例である．
画面タップを行うことで，テクスチャ上に時刻をオーバーレイ表示する．設置時はテクスチャのみを表示しており，その上に情報を付加するようにコンテンツを表示する．これによりデジタルコンテンツが———————————————————————————————
inpainting とは，画像内の特定の領域を取り除き，それにより欠落した部分を周囲のピクセルを利用して自動修復する技術
2

図 3．コンテンツの表示: スマートフォンに表示するテクスチャの一部に現在時刻をオーバーレイ表示する

実世界の物質の上に直接表示されているかのような体験を提供できる．
4.3

傷の修復

これは傷がついた机にスマートフォンを設置する例である(図 4)．表示されるテクスチャでは傷を修復した画像を表示する．傷の付いた机を撮影した後，矩形で選択を行った部分に対して，inpainting2を用いて画像加工する．nullize では，環境のテクスチャを画像として扱うことができるため，その加工を行えることが特徴である．また，この例の傷のように，見せたくないものの上に設置することで隠匿することができる．

WISS 2017

図 4．inpainting による画像加工: 傷のある机のテクスチャを取得したのち矩形で選択した部分を inpainting によって修復する

図 6 UI としての利用: ユーザが制作したスピーカーの筐体に UI としてスマートフォンを設置し操作する

4.4

アンビエント通知

マートフォンが特定の場所に設定されている間のみ，テクスチャの上から UI を表示し，操作することが可能である．

55.1

図 5．アンビエント通知: 表示したテクスチャの色を変化させることでアンビエントな通知を行う

これは画面に表示したテクスチャを利用し，アンビエントな通知を行う例である(図 5)．この例では，テクスチャ内の一部の色相を変化させる設定を行うことでメッセージの通知を行う．変色以外にもテクスチャ内の点を大きくしたり，歪ませたりすることが例として挙げられる．通知の種類によって変化の仕方を別にすることで，ユーザにのみ通知を判別することが可能になる．
4.5

ファブリケーション

これは nullize を使用することを前提とした筐体を作成する例である(図 6)． ファブリケーションとして，デバイスの筐体を木材で作成し，スマートフ
ォンに UI を表示する場合を考える． 筐体の見た目を損なわないまま，デバイスの操作をスマートフォンから行う．IoT デバイスにおいて，NFC を利用して UI を表示するものが存在する．nullize では，ス議論スマートフォンの高性能化

nullize では，ユーザはシンプルな撮影のみでスマートフォンを透明化・擬態化させることができる．
これにはカメラやディスプレイの性能が向上したことが背景にある．Tango スマートフォンに搭載される深度カメラやモーショントラッキングカメラによって，実世界空間を把握する事ができる．また，Apple の True Tone ディスプレイでは，環境光センサを用いて周囲の光に合わせて，画像を自然に表示することができる． このように，特別なデバイスやセンサをスマートフォンと別に用意しなくとも，スマートフォン単体で私たちの身の回りの環境を把握できるようになった．なお，今回の実装では，Tangoスマートフォンを主に利用しているが，iOS11 のARKit では RGB カメラや加速度センサのみを用いて，Tango スマートフォンを利用した場合と同様のことが行える．実際に ARKit を用いた実装を行ったが，深度カメラを用いた場合と同様にカモフラージュできた．深度カメラやモーショントラッキングカ
メラを利用して行った実装を，RGB カメラと基本的なセンサのみで行えることから，nullize にとっても十分利用可能であることを確認した．
5.2

テクスチャのずれと違和感

現在，実装に利用しているスマートフォンではベゼルが存在する．しかし，実際に設置した様子を見ると，それが透明化・擬態化の大きな障害となるこnullize: 深度取得可能なスマートフォンを用いたデバイスの透明化・擬態化手法とはない． ベゼルレスディスプレイは透明化・擬態化の効果を高める期待ができるが，表示するテクスチャの位置やサイズの精度を高める必要があるだろう．
一方で，テクスチャ取得時の視点以外の場所から見る場合は，テクスチャがずれて見えることがある．
これはスマートフォンの厚みが存在することが原因の 1 つである．側面ディスプレイを持つスマートフ
ォンであれば，設置場所とスマートフォンの境界がなくなるため，感じるずれを軽減できると考えられる．また，インカメラを用いてユーザの視点を取得することで，表示する画像を周囲の環境とずれないように加工する研究が存在する[6,7]．本研究においても，同様の技術を用いることで，ずれをなくすことは可能である．ただし，その場合視点は 1 箇所に限定される．
また，テクスチャ画像の配置については改善の余地がある． Tango の性質上，一様な平面，例えば真っ白な平面，に対しては点群データを取得しづらい．
取得したテクスチャをどの大きさで表示するかが推測できない．しかし，そのような平面であれば，大きさを厳密に正しく表示しなくとも，透明化・擬態化の点では障害にならないと考える．
nullize では，その場の環境に合わせて瞬時にテクスチャを表示することを理想としている(図 7)．しかしながら，現在の実装では，主にカメラを利用して深度を取得しているため，カメラが塞がれてしまう接地寸前にズレが生じてしまう．現状では，接地寸前の約 5cm でトラッキングを停止し，それに合わせてテクスチャを表示している．この実装方法では，テクスチャの大きさは自動で正しく表示されるが，位置はずれる可能性がある．スマートフォンを置く際に垂直に下ろす必要がある．その為，スマートフォンを握るようにではなく，画面を覆うように持つという工夫がある．また，加速度センサやソフトウ
ェアの機能向上により，カメラが塞がれているとしても置いた場所を推定することができるようになる
ことは十分に考えられる．
5.3

機能と場所の結びつき

nullize ではスマートフォン内に空間をテクスチャ付きで保存することができる．スマートフォンがどこに設置されているかということを把握することができる．そのため，付加するコンテンツを設置した場所に応じて変化させることも可能である．
Leigh らは，コンピュータのディスプレイにスマートフォンを置き，ディスプレイとスマートフォンの画面をシームレスにコンテンツを表示する THAWを提案している[8]．これは，コンピュータのディスプレイにカラーパターンを表示することで，スマー

図 7．nullize の目指す姿: 手に持った場合やキーボードの上に置いた場合のようにスマートフォンが周囲の環境に合わせたテクスチャを自動で即座に表示するトフォンの位置を特定している．nullize では，カメラから取得した点群データを元に，スマートフォンの位置を特定し，テクスチャやコンテンツの表示を行うことができる．
5.4

テクスチャの時系列

空間の配置が大きく変わることがなければ，テクスチャ画像の取得はいつ行っても構わない．そのため，nullize を Substitutional Reality [9]のように利用できる．現在は存在していないが，過去に存在したものをテクスチャとして表示できる．これは，アンビエント通知において，より自然なテクスチャの変化に用いることが例として考えられる．ただし，このような差分を持ったテクスチャの見た目上の違和感については，実際の使用を通じて調べる必要がある．
5.5

nullize の活用できる場面

nullize では，スマートフォンのディスプレイを上向きに設置することを想定している．
Pearson らは，7 カ国 15 週間にわたって，人々がスマートフォンをどのようにおいているかを調査した[3]．その結果によると，224 台の携帯電話が観測され，そのうち 88%がディスプレイを上に向けた状態で置かれていた．nullize のように，スマートフォンのディスプレイを見える状態で置いておくことは，十分にあり得るシチュエーションであることがわかる．
一方で，Ward らの調査によると，スマートフォンは机の上に置いてあるだけで，私たちの作業のパフォーマンスを低下させる影響がある[10]．この調
査では，ディスプレイを下にし，サイレントモードで置いていたとしても，集中力が散漫になってしまうと主張している．スマートフォンのことを意識し

WISS 2017

ないようにすること自体が問題だとしている．
nullize の理想の姿は，スマートフォンや表示されるコンテンツが周囲の環境に完全に溶け込み，存在感を消すことである．ユーザの視点から，スマートフォンと環境とがシームレスに溶け込むことが出来れば，その存在を感じる必要がなくなるのではないだろうか．

[3]

5.6

[4]

Pearson Jennifer, Simon Robinson, Matt Jones,
Anirudha Joshi, Shashank Ahire, Deepak Sahoo,
and Sriram Subramanian. "Chameleon devices:
investigating more secure and discreet mobileinteractions

via

activecamouflaging."

In

Proceedings of the 2017 CHI Conference on Human
Factors in Computing Systems, pp. 5184-5196,
2017.

素材としてのスマートフォン

Rekimoto らは，未来の建築において，環境や利用者に応じて特性が変化できるビジョン，プログラマブル建築を提案している[11]．その構成要素として，調光液晶シートを利用し，動的に透過度を変化することができる壁面システム Squama を報告している．nullize では，ユーザが所有しているスマートフ
ォンを環境に透明化・擬態化させることを想定しているが，特定の場所に設置された大型のタブレットやディスプレイに対しても手法を適用できる．その場合は，Squama のような，環境に適応する建築素材としての役割を果たすことが考えられる．液晶ディスプレイがますます安価になることを考えると，nullize を利用した素材としてのディスプレイの可能性があるのではないだろうか．

6

おわりに

本稿では，深度取得可能なスマートフォンを用いた透明化・擬態化を行うた手法として，nullize を提案した．そしてその具体的な透明化・擬態化のプロセスと想定されるインタラクション例を示した．ス
マートフォン単体のみでそれが実現可能になった背景には，スマートフォンの性能向上がある． 他に特別なセンサやデバイスを用いる必要がなく，透明化・擬態化を行うことができることを述べ，実装を通じた上での議論を行った．

参考文献[1]Inami Masahiko, Naoki Kawakami, and Susumu
Tachi. "Optical camouflage using retro-reflective
projection technology." In Proceedings of the 2ndIEEE/ACM International Symposium on Mixedand Augmented Reality, p. 348. IEEE Computer
Society, 2003.
[2] Yoshida Takumi, Kensei Jo, Kouta Minamizawa,
Hideaki Nii, Naoki Kawakami, and Susumu Tachi.
"Transparent cockpit: Visual assistance system forvehicle
using
retro-reflective
projection
technology." In Virtual Reality Conference, 2008.
VR'08. IEEE, pp. 185-188. IEEE, 2008.

岩井大輔, 花谷佐和子, 堀井千夏, 佐藤宏介, Limpid
Desk : 投影型複合現実感による机上実物体 の透過化, インタラクション 2006 予稿集, pp.259-266,2006.

[5]

Matsuki Hitomi, Shohei Mori, Sei Ikeda, Fumihisa
Shibata, Asako Kimura, and Hideyuki Tamura.
"Considerations on binocular mismatching inobservation-based diminished reality." In 3D User

Interfaces (3DUI), 2016 IEEE Symposium on, pp.
261-262. IEEE, 2016.
[6] Tomioka Makoto, Sei Ikeda, and Kosuke Sato.
"Pseudo-transparent tablet based on 3d featuretracking." In Proceedings of the 5th Augmented
Human International Conference, p. 52. ACM,2014.
[7] Mohr Peter, Markus Tatzgern, Jens Grubert,Dieter Schmalstieg, and Denis Kalkofen. "Adaptive
user perspective rendering for Handheld
Augmented Reality." In 3D User Interfaces (3DUI),
2017 IEEE Symposium on, pp. 176-181. IEEE,
2017.
[8] Leigh Sang-won, Philipp Schoessler, Felix Heibeck,
Pattie Maes, and Hiroshi Ishii. "THAW: tangibleinteraction with see-through augmentation for
smartphones on computer screens." In Proceedingsof the Ninth International Conference on Tangible,
Embedded, and Embodied Interaction, pp. 89-96.
ACM, 2015.
[9] Suzuki Keisuke, Sohei Wakisaka, and NaotakaFujii. "Substitutional reality system: a novel
experimental platform for experiencing alternativereality." Scientific reports 2 (2012): srep00459.
[10] Ward Adrian F., Kristen Duke, Ayelet Gneezy, andMaarten W. Bos. "Brain Drain: The Mere Presenceof One’s Own Smartphone Reduces Available
Cognitive Capacity." Journal of the Association forConsumer Research 2, no. 2 (2017): 140-154.
[11] Rekimoto Jun. "Squama: modular visibility controlof walls and windows for programmable physicalarchitectures." In Proceedings of the International
Working Conference on Advanced Visual Interfaces,
pp. 168-171. ACM, 2012.