情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C0-1
2014/3/1

モバイルプロジェクタを用いた面特性適応型投映モデル提示システム
岡田 昌浩1,a)

井上 亮文2,b)

星 徹2,c)

概要：モバイルプロジェクタを利用した既存研究では，投映先を一様の平面であることを前提としており，投映先に障害物や投映面自体に凹凸があった場合などは考慮されていない．凹凸面にあわせて映像を補正する技術もあるが，我々の研究では映像を補正するのではなく，投映先の面特性をコンテンツ表現そのものに積極的に取り入れるシステムを提案する．提案システムは，モバイルプロジェクタ・深度センサ・ジャイロセンサ・画像生成部から構成される．これらセンサの値を用いて投映先の凹凸といった特性を取得し，その特性に適合したモデル提示をする．本システムを利用することで，投映面が変化すればゲームの難易度や表現も変化するため，従来のゲームとは違った体験をユーザに提供することができる．評価の結果，面特性判別の精度は実用の範囲であることを確認した．

A Projection-based Entertainment Systemfor Bumpy Surface Using Depth Sensor
Masahiro Okada1,a)Akifumi Inoue2,b)Tohru Hoshi2,c)Abstract: Projection-based systems require flat surfaces to project contents in strain-free condition. Differences in level and bumps on the surface have been considered to be unnecessary elements. In this paper,
we propose SUNDIAL, a mobile projection system for entertainment contents. We take advantage of the”unnecessary” elements to enhance the expression of the projection contents. SUNDIAL can detect thecharacteristic of the projection surface by an integrated device that consists of a mobile projector, a depthsensor, and a smart device. Then projection contents are transformed to various forms appropriate for thecharacteristic. Results of an experiment indicated that SUNDIAL could identify three obstacles with highaccuracy.

1. はじめに
近年プロジェクタの小型化が進み，持ち歩き可能なモバ

年に 50 万台であったが，2018 年には 4500 万台に達し，組み込み型のプロジェクタを合わせると 1 億台を越える規模になる [1] と予想されている．

イルプロジェクタが発売されている．さらに，スマートモバイルプロジェクタは従来の据え置き型プロジェクタ

フォンやビデオカメラと一体化したデバイス *1 も数多く登と異なり，持ち歩きや設置が容易である．この特徴を活用場している．モバイルプロジェクタ単体の出荷台数は 2009

し，ビジネス用途では主に取引先に持ち込んでのプレゼンテーションに利用されている．一方，この手軽さから携帯12a)b)c)*1

東京工科大学大学院バイオ・情報メディア研究科
Graduate School of Bionics, Computer and Media Sciences,
Tokyo University of Technology
東京工科大学コンピュータサイエンス学部
School of Computer Science, Tokyo University of Technology
masahiroo@hil.cs.teu.ac.jp
akifumi@stf.teu.ac.jp
hoshi@stf.teu.ac.jp
Samsung 社, Galaxy Beam

© 2014 Information Processing Society of Japan

ゲーム機のように，どこにでも持ち歩きコンテンツを楽しめることから，エンターテイメント分野での応用が期待されている．
モバイルプロジェクタを用いたエンターテイメント分野
における研究 [2][3][4] では，ユーザが手に持ったプロジェクタを直接動かすことで，投映されたキャラクタを操作す

539

る．このキャラクタを様々な場所に投映することで，室内全体を利用した遊びを実現している．しかし，これらのシ壁面

ステムは表面が一様な壁面への投映を前提としている．一
般的な室内の壁面は家具が配置され大きな段差があったり，SUNDIAL♪
1

照明のスイッチなどにより表面が凹凸であったりする．そのため，このような面では投映されたキャラクタに歪みが生じてしまうため，利用できる場面が限定的である．
凹凸面などへ投映を行なう手法としてプロジェクション

床面

投映位
置変化

面特性が異なるエ ア
23マッピングがあげられる．この手法では事前またはリアルタイムで投映先の形状を細かく取得し，投映映像をその形投映モデ の動作が変化状に合わせて歪み補正することで，ユーザから見た際に違和感なく提示することが可能である．これらの手法において，凹凸面などは映像表現を阻害する要素と考えられている．
本研究では，室内において投映の障害となる壁面上の凹凸や配置された家具などを認識し，キャラクタの動きや効果音といったコンテンツ表現に積極的に利用するシステム「SUNDIAL」を提案する．例えば，凹凸のある床に投映したスキーヤーはグラグラ揺れながら，なめらかな床に投映したスキーヤーはスムーズに滑っている姿を提示する．また，箱状の障害物があった場合にキャラクタが転倒したり，傾斜があった場合にはキャラクタがジャンプするといった表現も可能になる．このように，投映面が変化すればゲームの難易度や表現も変化するため，従来のゲームとは違った体験をユーザに提供することができる．
本論文の構成を以下に示す．2 章では関連研究について，

3 章では提案システムについて，4 章では実装環境について，5 章では評価実験について述べ，6 章で本稿をまとめる．

2. 関連研究と課題
Yoshida らは投映したキャラクタと実物体の影が接触すると，投映されたキャラクタの動きや表情が変わるシステ
ム Twinkle[2] を提案している．Twinkle では，プロジェク
タで投映した画像をカメラで取得し，キャラクタの近くにある明度が低い領域を検出する．この領域を利用することで，キャラクタを瓶などの実物体やホワイトボード上の図形などに沿って動かすことができる．しかし，本システムで想定している投映面に直接配置されているような，影が発生しにくい実物体には対応できない．

Willis らは投映したキャラクタをユーザの持つプロジェクタの傾きや動きにより操作可能なシステム MotionBeam[3]を提案している．MotionBeam では，プロジェクタに組み合わされたジャイロセンサを利用し，プロジェクタの傾きや加速度を取得する．プロジェクタからはキャラクタと同時に迷路などのステージがあわせて投映され，プロジェクタを傾けることでそのコース上にいるキャラクタを操作することができる．しかし，建物内部の平らな面を前提としており，本システムで想定している凹凸面などは考慮され© 2014 Information Processing Society of Japan

図 1 システム概要図ていない．
我々の従来研究 [5] では，ユーザから見た投映面の位置関係に着目している．従来の SUNDIAL ではユーザから見て正面にある壁面，下方にある床面という物理的特性を投映モデルそのものに反映させる．また，プロジェクタの移動に連動し，投映モデルを表示する視点を動的に切り替える．例えば，壁面を空中に対応付けてヘリコプターを，床面を地上に対応付けて車のモデルを提示する．また，壁面上部に投映するとヘリコプターを下からのぞき込んだような，壁面下部に投映するとヘリコプターを上からのぞき込んだような視点に切り替わる．このように従来研究では，ユーザから見た投映位置に主眼が置かれていたが，今回の提案システムでは投映先の特性に着目する．以降，本シス
テムにおいて，投映表面の凹凸や形状といった特性を面特性と定義する．

3. SUNDIAL
本研究では，キャラクタの投映された位置や面特性に応じて，キャラクタの動作や効果音を変化させるプロジェク
タ「SUNDIAL」を提案する．

3.1 システム概要
図 1 に SUNDIAL の概要を示す．はじめに，ユーザはSUNDIAL を手に持ち壁面上の投映位置 (1) に向けると，空中に対応したモデルとその効果音 (以降，エフェクト・図中ではヘリコプターの飛行) が提示される．次に，ユーザが投映面上の投映位置 (1) から (2) を経て，面特性の異なる投映位置 (3) に SUNDIAL を向けると，その面特性に応じたエフェクト (図中ではヘリコプターの爆発) が提示される．
図 2，図 3，図 4 に本システムで床面に対応した車を投映した場合の，面特性とそれに対応したエフェクトを示す．
図 2 では平面上に障害物としてモデルに比べて大きな直方体がある場面を想定している．ユーザが操作する車が障害540

投映 デルブーン♪

ブーン♪

ガッシ ーン♪

(1) 3次元 デルを投映(2) 深度センサ・ジ イロセンサの値から投映面・位置を壁面
投映 デル(3) 投映面の特性を検出
障害物

SUNDIAL

投映 デルバイル
プロジェクタ図 2 障害物 (直方体) と接触した場合における投映モデルのエフェクト
投映 デル

ブーン♪

ガガガ♪

センサデル生成部

床面

ガッシ ーン♪

(4) 投映面の特性に合わせた投映 デルを生成(5) 生成した投映 デルをプロジェクタから再投映

投映 デル

障害物

図 5 システムの処理

投映 デル深度センサ

図 3

障害物 (斜面) と接触した場合における投映面

投映モデルのエフェクト

深度センサの認識範囲

深度センサの認識範囲

障害物
投映モデル

ブーン♪

ガタガタ♪

ガタガタ♪

障害物表面
非認識エリア
深度差を利用して背景平面のみを抽出

投映モデル

投映表面
障害物

図 4

投映面が凹凸面の場合におけるモデルのエフェクト

物のない図 2 左方向の平面から，徐々に障害物に近づいていき (図 2(中央))，障害物と接触すると図 2 右方向のように車が爆発したようなエフェクトが提示される．
図 3 では平面上に障害物として斜面がある場面を想定している．ユーザが操作する車が障害物のない図 3 左方向の平面から，徐々に斜面に近づいていき，図 3 中央のように斜面にさしかかると，車の視点が斜面にあわせて変化する．さらに，斜面を登っていき図 3 右方向のように，車が斜面の先にある絶壁から転落してしまうエフェクトが提示される．
図 4 では，平面と凹凸面が混在している場面を想定している．ユーザが操作する車が障害物のない図 4 左方向の平面から，図 4 中央や右方向のような凹凸があるエリアに入ると車は前後に大きく揺れ，効果音も車が激しく揺れているエフェクトに変化する．

3.2 システム構成
図 5 に SUNDIAL の構成とシステムの流れを示す．SUN-

DIAL は，モバイルプロジェクタ，深度センサ，ジャイロセンサおよびモデル生成部で構成される一体型装置である．

SUNDIAL の処理を以下に示す．(1) ユーザは SUNDIALを利用して，投映モデルを任意の面上に投映する．(2) 深度センサ・ジャイロセンサの値を利用して，投映モデルが壁・床・これらの境界のいずれの面に投映されているかを判別 (以降，面判別) する．さらに，ユーザとモデルとの位© 2014 Information Processing Society of Japan．深度センサから投映面を見た様子

図 6．投映表面と深度センサの位置関係

深度センサの認識範囲と背景平面の検出置関係を判別 (以降，位置判別) する．(3) 投映されている面が平面であるか凹凸面であるか，または，障害物が存在するかなどの面特性を判別 (以降 面特性判別) する．(4) モデル生成部において (2) および (3) の結果に基づき，投映モデルのエフェクトを決定し生成する．(5) 生成したモデルをプロジェクタから再投映する．処理 (2) から (5) を繰り返し行なうことで，SUNDIAL は常にユーザの操作に追従し，面特性にあわせたモデル提示を連続的に行なうことが可能になる．

3.3 面判別と位置判別
床面と壁面のどちらに投映されているかの面判別にはジャイロセンサの値を利用する．値は水平時を 0 度として鉛直下向き時を 90 度とした．また，位置判別に用いる水平方向の傾きの取得には深度センサの値を利用する．従来手法 [5] と同様に深度センサの値から投映面と深度センサの光軸のなす角を取得する．

3.4 面特性判別
SUNDIAL では，深度センサの値を用いて投映面の形状を走査 (障害物検出) し，障害物が存在した場合には，その特性を凹凸面・直方体・斜面の 3 種類に分類した．

3.4.1 障害物検出
SUNDIAL は，モデル投映と同時に深度センサを利用して投映面全体の深度を取得する．図 6 は投映面上に直方体

541

X軸方向
深度センサ

深度センサ

背景平面
G

障害物
YC軸方向重心
E

B

A

F
A

DA

B

E

E

F

H

B

F

投映表面

投映表面

障害物

図 7 障害物と背景平面上のサンプリング座標

図 8

障害物

直方体認識時における

図 9深度センサと投映表面の位置関係

斜面認識時における深度センサと投映表面の位置関係上の障害物を配置した例である．図 6-a に深度センサから投映面を見た様子を，図 6-b に投映表面及び障害物表面とiPod touch

深度センサの位置関係を示す．
図 6-a のように，深度センサの認識範囲から，障害物をKinect除いた背景平面を取得する．背景平面の取得には，投映表面と障害物表面の深度差を利用する．深度センサの認識範
囲に障害物が配置されていると，図 6-b のように障害物表面に比べ投映表面の深度は深くなる．取得した深度のうち最も深い座標を含む連続平面を背景平面とし，それ以外をモバイルプロジェクタ障害物として判別する．深度センサの認識範囲全体を背景平面と検出した場合には，障害物はないと判別する．

図 10

構築した一体型装置

3.4.2 直方体の検出
障害物が検出された場合には図 7 に示すサンプリング点A∼H の座標を算出し，その点の深度を元に障害物およびリング点の座標を算出し，背景平面及び障害物表面の X・Y 軸方向の傾きをそれぞれ取得する．

背景平面の傾きを取得する．はじめに，障害物の重心を計

図 8 に斜面を検出した際の，投映表面と深度センサの位算し座標を取得する．この重心の座標を基準として X 軸置関係を示す．点 A・B 間と点 E・F 間は直方体のときと方向へ走査を行ない，障害物と背景平面との境界点を求め異なり，並行の関係ではない．そのため，点 A・B 間の傾る．その後，境界点から一定間隔離れた点 A・E および点きと点 E・F 間の傾きの実測値の差は図 8 に比べて大きくB・F を取得する．この処理を Y 軸方向に対しても行ない，なる．

点 C・G および点 D・H を取得する．各サンプリング点のこのことから，背景平面上と障害物表面の X 軸方向の傾深度を取得し，点 A・B 間の深度の差を求め，2 点間の距

きと Y 軸方向の傾きの差，いずれかが大きければ障害物は離で割ることにより，障害物表面の X 軸方向における傾斜面であると判別する．また，傾きの差から障害物のいずきを取得することができる．同様の処理を点 C・D 間，点れの辺が投映平面に接しているかを判別できる．

E・F 間，点 G・H 間にも行なうことで，障害物表面の Y3.4.4 凹凸面の検出軸方向の座標および，背景平面上の X・Y 軸方向の傾きを取得することができる．

凹凸面の検出では，3.4.1 項で取得した障害物の数や背景平面の検出の有無を利用する．凹凸面は，一定または不定

図 8 に直方体を検出した際の，投映表面と深度センサの期に起伏が繰り返されている平面である．そのため，背景位置関係を示す．点 A・B 間と点 E・F 間はそれぞれ並行平面の検出を行なうと，凹凸がある付近では，小さな障害の関係にある．そのため，点 A・B 間の傾きと点 E・F 間物が複数検出される．これらの障害物を包括する範囲を凹の傾きの実測値の差は小さくなる．

凸がある範囲として判別する．

このことから，背景平面上と障害物表面の X 軸方向の傾きと Y 軸方向の傾きの差が，いずれも小さければ障害物は直方体であると判別する．

3.4.3 斜面の検出
斜面の検出には直方体の検出同様に，図 7 に示すサンプ

3.5 投映モデルの生成
SUNDIAL では，面判別によりモデルの選択を行ない，投映位置によりモデルの視点を切り替える．面特性判別より図 2，図 3，図 4 に示したモデルのエフェクトを選択・決定する．

© 2014 Information Processing Society of Japan542

直方体

接地側斜面

a. RGBカメ からの取得画像

b. 背景平面の検出とサンプ ング座標の取得
図 11c. 面特性検出後の 内部処理画像

障害物の認識4. 実装
4.1 実装環境
図 10 に構築した一体型装置を示す．一体型装置はモバイ
ルプロジェクタ (SHOWWX+ Laser Pico Projector MVO-BX-001)，ジャイロセンサとして利用する iPod touch，深a. 壁面用モデル

b. 床面用モデル

図 12

利用した投映モデル

度センサとして利用する Kinect for Windows から構成される．投映時に，モデルが取得画像の中央に映るようにモバイルプロジェクタと Kinect を配置した．また，画像処理部には別途 PC を用意した．面特性の検出には Kinect

SDK 1.7 と OpenCV 2.4 を利用し，投映モデルの生成にはOpenGL を利用した．
a. 通常時4.2 面判別および位置判別

図 13b. 衝突時
壁面用モデルのエフェクト

投映面に対して垂直方向の傾きを iPod touch から取得するため，モデル生成部である PC とソケット通信を用いて接続した．また，併用する Kinect の深度センサの解像度は 640×480 ピクセル，フレームレートは 30fps で取得した．

4.3 面特性判別
面特性判別の背景平面検出には，Point Cloud Library(以降，PCL) を利用し，画像処理には OpenCV を利用した．
図 11-a は Kinect の RGB カメラから取得した画像である．
画面上部には直方体が，画面下部には斜面が配置されている．RGB カメラの撮影範囲と同様の範囲を深度センサで取得し，PCL の PARALLEL PLANE モデルとのマッチングを行ない，図 11-b の白色で示した背景平面を抽出した．図 11-b において青色で示された範囲は深度が取得できない範囲を示している．各障害物の重心座標の検出にはOpenCV を利用した．重心座標を元に，サンプリング点として図 11-b の黄色および水色で示した点は，重心座標を元に計算して求めたサンプリング点である．図 11-c は障害物だけを抽出した結果である．障害物の表面は白で，斜面と地面と接地している部分はグレーで塗りつぶされている．

© 2014 Information Processing Society of Japana. 通常時
図 14b. 衝突時
床面用モデルのエフェクト

4.4 投映モデルの生成
投映モデルとして，壁面に対応した図 12-a に示すヘリコプターを，床面に対応した図 12-b に示す車を利用した．
これらの投映モデルは OpenGL を利用して描画した．

SUNDIAL を壁面上の平面に投映した場合には図 13-aのヘリコプターの通常飛行エフェクトを提示する．面特性
判別により直方体との接触が検出された場合には，図 13-bに示すヘリコプターが炎上しているエフェクトを提示する．

SUNDIAL を床面上の平面に投映した場合には図 14-aに示す，車が通常走行しているエフェクトを，面特性判別により直方体との接触が検出された場合には，図 14-b に示す車が炎上しているエフェクトをそれぞれ提示する．

543

表 1

面特性判別の結果

距離 [cm]

凹凸面 (縦)凹凸面 (横)立方体

斜面 (手前)斜面 (奥)

斜面 (右)斜面 (左)

0

可可可可可可可20

可可可可可可可40

可可

斜面 (手前)可可可

可

判別が不安定になることがあった．

SUNDIAL壁面

6. おわりに本研究では，キャラクタの投映された位置や面特性に応障害物

床面

高さ 60 [cm]認識

じて，キャラクタの動作や効果音といたエフェクトを変化させるプロジェクタ「SUNDIAL」を提案した．プロトタ
イプシステムでは，従来の位置判別機能に加え，投映され三脚

距離 x [cm]
図 15

実験環境ている位置に凹凸がある，または障害物があるといった面特性判別機能を実装した．評価実験から，プロトタイプシステムの面特性判別機能の精度は実用の範囲であることを

SUNDIAL を床面上の平面に投映した場合には，図 14-aの車の通常走行エフェクトを提示する．面特性判別により，直方体と接触が検出された場合には，図 14-b の炎上エフェクトを提示する．

5. 評価実験構築したプロトタイプシステムを利用し，投映位置判別確認した．また，投映モデル生成機能により，面特性に応じたエフェクトの提示を行なうことができた．
今後の課題として，投映モデルをリアルタイムで取得画像中のどこにあるかを取得する機能があげられる．今後，この機能を実装することで投映モデルへのエフェクト提示がより正確になると考えられるため，検討するつもりである．の精度を測定するために評価実験を行なった．
参考文献

5.1 実験手順[1]

評価実験では，プロトタイプシステムの設置位置を変更し，面特性判別の精度を検証した．図 15 に実験環境を示す．床面に障害物および凹凸面を配置した．障害物として，長さ 30cm，幅 15cm，角度 20 度の斜面および，縦・横13cm，高さ 7cm の立方体を準備した．また，凹凸面は長[2]さ 18cm，幅 1.5cm，高さ 2cm の直方体を 5cm 間隔で並べたものを準備した．SUNDIAL を三脚に固定し高さ 60cmで固定し障害物までの距離 x を 0cm から 60cm の範囲で[3]変化させた．斜面は SUNDIAL から見て，接地面が手前，奥，右，左の 4 方向で検証した．また，凹凸面は縦，横の2 方向について検証した．投映面および，障害物には映像[4]の反射を防止するため白色の紙を貼り付けた．

5.2 実験結果
表 1 に面特性判別の結果を示す．障害物と SUNDIALの距離 x が 0cm および 20cm の時にはすべての障害物を[5]Pocket Projector Shipment Forecast to Reach
142M Units by 2018, DisplaySearch Reports,
http://www.displaysearch.com/cps/rde/xchg/
displaysearch/hs.xsl/100419_pocket_projector_
shipment_forecast_to_reach_142m_units_by_2018_displaysearch_reports.asp, 2013 年 11 月 20 日参照.
Takumi Yoshida, Yuki Hirobe, Hideaki Nii, Naoki
Kawakami and Susumu Tachi, ”Twinkle: Interacting with Physical Surfaces Using Handheld Projector”,
IEEE Virtual Reality 2010, pp.87-90, Waltham, MA,USA, 2010.
Karl D.D. Willis, Ivan Poupyrev, and Takaaki Shiratori,”MotionBeam: A Metaphor for Character Interaction
with Handheld Projectors”, ACM CHI 2011, pp.10311040, 2011.
Karl D.D. Willis, Ivan Poupyrev, Scott E. Hudson,Moshe Mahler, ”SideBySide: Ad-hoc Multi-user Interaction with Handheld Projectors”, UIST 11, pp.431-440,2011.
岡田 昌浩, 井上 亮文, 星 徹, ”SUNDIAL:モバイルプロ
ジェクタを用いた投映面適応型 3 次元モデル提示システム”, DICOMO2013 シンポジウム, pp.1806-1811, 2013.

正しく認識することが確認できた．
しかし，距離 x が 40cm になると立方体を配置したにもかかわらず，SUNDIAL から見て手前側に接地した斜面であると誤認識をした．これは，立方体表面の傾きを検出する際に用いるサンプリング点が，立方体側面部に取られてしまったためと考えられる．また，斜面の判別ではまれに© 2014 Information Processing Society of Japan544