情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C71
2016/3/4

投影型 AR を用いた実物体へのバーチャル・ペインティング（第 1 報）
長江淳実†1

小島健三†1

柴田龍輝†1

大島登志一†1

本作品は，ぬいぐるみなどの 3 次元の実物体表面へのペインティング遊びを楽しめるインタラクティブメディア作品
である．本システムでは，実際のペインティングのような操作性を備えたバーチャルペイントシステムを実現する．
PC のデジタルペイントソフトでも実際の画材に近い表現力のある高機能なソフトウェアが市販されているが，本研究では，より実物にペイントしている感覚で体験ができるインタフェースに重点をおき，実世界指向のインタフェー
スを採用してバーチャル・ペインティングを実現する．ペンと描画対象の実物体を 3 次元位置計測し，投影型 AR によって実物体に直接映像を投影する．また，カメラで実物から色彩を選択する．直感的なインタフェースにより，小さな子供でも簡単に楽しめるシステムとする．

A Study of Virtual Painting on Physical Surface
by Using Projection-based Augmented Reality (1)ATSUMI NAGAE†1 KENZO KOJIMA†1 RYUKI SHIBATA†1TOSHIKAZU OHSHIMA†1This paper describes an interactive artwork with which user can enjoy virtual painting on physical objects. This system adopts realworld oriented interface in order to realize natural experience of painting. The user holds an object to be painted and a stylus pen,those positions are tracked. The surface of the object works as a projection screen onto which an image is projected. View-frustumof a virtual camera is formed to perspective of a projector in order to fit computer generated image into shape of the object. Painting
color can be changed by using real color samples which are captured by a camera. The intuitive user interface can provide little
children easy and fun painting experience.

1. はじめに本作品は，ぬいぐるみなどの 3 次元の実物体表面へのペインティング遊びを楽しめるインタラクティブメディア作品である．様々なものに色を塗る行為は，時代を問わず小さな子供からお年寄りまで，趣味や遊びとしても広く好まれている．現実のペインティングでは，塗料や着色材料を現実物体表面に付着させるため，一度着色した部分については重ね塗りをするか，着色材料を除去しなくては新規にペイントすることができない．本システムでは，実際のペインティングのような操作性を備えたバーチャルペイントシステムを実現する．PC のデジタルペイントソフトでも実際の画材に近い表現力のある高機能なソフトウェアが市販されているが，本研究では，より実物にペイントしている感覚で体験ができるインタフェースに重点をおき，実世界志向のインタフェースを採用してバーチャル・ペインティングを実現する．ペンと描画対象の実物体を 3 次元位置計測し，投影型 AR によって実物体に直接映像を投影する．

図1

作品コンセプトスケッチ

2. 実物体へのバーチャル・ペインティング
本研究で制作するバーチャル・ペインティングは，本来また，カメラで実物から色彩を選択する．直感的なインタの塗り絵の通りに，フェースにより，小さな子供でも簡単に楽しめるシステム

1) 子供でも気軽に遊べる，単純なインタフェース，装置でとする．

行えること
2) 実物体に描画しているという感触の持てることという二つの要素を持つ作品を目指す．

†1 立命館大学 映像学部
College of Image Arts and Sciences, Ritsumeikan University© 2016 Information Processing Society of Japan

1072

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

この二つの要素を踏まえながら，本研究の構成について検討する．
まず，色をつけるペイントシステムについて考える．二

163C71
2016/3/4

らにはその動きをキャプチャし，それを素材としてモニタ画面上に直接ペインティングできるというシステムを実現した．

つの要素を考えると，本来の塗り絵の通りの実物体をなぞ

MAI Painting Brush [4]では，本研究と同じく実物体をペるだけで色がつくという簡単なインタフェースを崩さないインティングの対象とするが，ビデオシースルー型 HMDことが前提となる．また，本来の塗り絵の楽しさを損なわを用いた複合現実型のディスプレイを採用している．特徴

ないために，ある程度の種類から自由に色選択ができるこ

的なのは，筆デバイスであって，力加減や傾きによって筆と，任意の箇所に色が塗れることも必要となると想定されのタッチがペイントに反映するように工夫されている．

る．そして，バーチャル化することによる利点として，本IO/Brush，MAI Painting Brush では、ペインティング素材来の塗り絵ではできない色の塗り直しが挙げられる．以上の入力や，描画インタフェースに実世界指向の仕組みをを踏まえると本作品のペイントシステムは，積極的に取り入れている．

1) 実物体をなぞるだけで色がつく
2) 色の選択が可能である
3) 色の塗り直しが可能であるという三つのシステムを持つものを想定する．
次に，視覚的表示をする装置について考える．視覚掲示

4. システムの実装
これらの関連研究と，前記の本研究における機能要件を踏まえて，下記のアプローチを採用することとした．
1) 実物体へのプロジェクションによる着色表現の方法として，スクリーン，プロジェクタ，ヘッドマウン

2) 3 次元位置センサによるブラシと描画対象物のトラットディスプレイ（Head-Mount Display ; HMD）等，様々なもキングのが挙げられる．実物体に描画しているという感触の持て

3)るものという要素に関しては，どの表示装置を用いても可能である．ここで問題になるのは，子供でも気軽に遊べる，web カメラからの入力による色彩情報の取得

4.1 システム構成
図 2 にシステム構成を示す．

単純なインタフェース，装置で行えることという要素である．体験者に子供が含まれると考えた場合，過度に重いもの，身に着けるのに時間がかかるものはふさわしくないと想定される．以上を踏まえると，本作品の視覚的掲示シス
テムは，何かを身に着ける必要のない装置構成，インタフ
ェースを考える必要があるということを想定する．
以上のような検討に基づき、実世界指向のインタフェースを備えるべく、投影型 AR によるペイントシステムを構築した．
図2

3. 関連研究バーチャル解剖模型[1]は、主に医療での応用を想定し，トルソー型の人体模型の表面に映像を投影しての内部構造

システム構成また，実際の体験環境として機材について図 3 のように配置する．

を 3 次元的に観察させるというものである．自由な視点から観察することができるが，特定の視点からのみ正確なパースペクティブで観察できる．
Raskar らは，投影型 AR を利用した Dynamic Shader Lamps[2]を提案した．Dynamic Shader Lamps では，物体表面をスクリーンとして，プロジェクタからの投影によって照明環境のシミュレーションや，物体の模様のダイナミックな変更，動画による擬似的な表現などを実現している．また，その応用事例では，プロジェクションによる GUI によって

図3

色の変更を行っている．
以上二つの事例では，実物体上への投影による実世界指向の視覚インタフェースを利用している．

機材のレイアウト

4.2 投影型 AR とユーザインタフェース
1)

投影型 AR

IO/Brush [3]では，絵の具にブラシをつけるメタファーと本作品では，投影型 AR を用いて，実物体表面をスクリして，小型カメラを使って，実物体のテクスチャや色，さーンとして，映像投影するプロジェクタには軽量の LED プ© 2016 Information Processing Society of Japan1073

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C71
2016/3/4

ロジェクタ（Vivitek 社製 QUMI Q5）を使用している．

4.3 3D モデルへのペイント処理

図 4 にこのプロジェクタの幾何学的な投影特性を示す．

本研究でのペイントシステムは，テクスチャの変更では実物体，及びその実物体の CG を正確に重ねて表示するなく PC 上の 3D オブジェクトの頂点カラーの情報を書き換ためには，実物体とその CG モデルの形状および位置と姿えることによって実現している．以下の図○は，3D モデリ勢が一致すること，プロジェクタの投影ジオメトリ特性がングソフトである Metasequoia 上で，3D オブジェクトの頂CG 生成のビューボリュームと一致することとが要求され点に色をつけた様子である．この図から頂点カラーの情報る。そのため，プロジェクタの投影特性と一致する視体積を書き換えることでペイントシステムが成り立つと確認しパラメータの設定を行っている．トラッキングについてはた．

下記に示す．

図7

図4

投影のジオメトリ

図5

くま型デバイス

形状モデル

図8

頂点カラーの変更

このため，Metasequoia ファイルフォーマットである MQOファイルを読み込むプログラムから頂点カラーの情報を取得し，書き換えるプログラムを加えている．また，頂点の2)ペンとオブジェクトのトラッキング

取得の判別には以下の方法を使用している．FASTRAK のペ

描画対象物として，くま型のモデル（以下オブジェクト）ンセンサから任意の値 r を設定する．ペンデバイスをくまを使用している（図 5）．このオブジェクトと描画用のスタ型ぬいぐるみに近づけることで， r の値内に 3D オブジェイラス型ペンは磁気センサ（Polhemus 社製 FASTRAK）でクトの頂点が入る．この r 内に入った頂点の情報を書き換トラッキングしている．これは，オブジェクト表面をスクえている．

リーンとして使用することと，あらゆる方向から投影するという使用条件から，精度よりもロバスト性を重視し，光学式のように物体表面へのマーカを取り付けや，死角が発生しない，磁気式センサを使用した．
3)

色の取得

本研究では，USB カメラからの画像を取得し、くま型のカラーカードで色彩を変更できる．小さい子供がより楽しく色を選択できるように配慮している．

（a）実物体図9

色情報の取得は USB カメラの中央の画素のカラー情報（b）CG オブジェクト
頂点の選択を取得することによって色画用紙などから色情報を取得す

上記方法でペイントシステムを制作した場合，くま型ぬることが可能である．色の制限もなく，無限の色を取得すいぐるみを反転したとき，実際のペンの位置と逆側の位置ることが可能である．の頂点の色が変更されてしまうことが分かった．このため，ペンとくま型ぬいぐるみの各座標系を統一させる必要があった．この時の世界座標系からくま座標系への変換を，世界座標系からペン座標系への変換をする．まず，世界座標系を中心として，ペン座標系，クマ座標系それぞれに変換されている．この座標系をくま座標系を中心にした変換に置き換える．この時，くま座標系から世界座標系へと変換（a）USB カメラ
図6（b）カラーカード

USB カメラとカラーカード© 2016 Information Processing Society of Japanするため変換が逆変換となる．この時のくま座標系からペン座標系への変換をする．この変換を利用し，座標変換を行った．

1074

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

5. 考察
6.1.1 ペイントシステムに対する考察
くま型ぬいぐるみに対して直接色を塗っているという感触に関しては大半の人に感じてもらうことができており，現実志向インタフェースの感触を多くの人に持ってもらうことができた．しかし，本来の塗り絵の操作と比べて誤差を感じる人が多く，本来の塗り絵と同じような単純なインタフェースという点については実現できていないようだった．もう一度本研究のインタフェースについて，見直し改良する必要があると判明した．
6.1.2 色画用紙での色の変更についての考察
カメラ画像を使用した色変更に対して面白さを感じて

163C71
2016/3/4

機能を組み込み，コンテンツの機能を豊かにすることで，より単純なインタフェースを持ちつつもエンターテインメント性の高い作品を目指す．また，現時点ではくま型ぬいぐるみという実物体のみであり，ペイントする実物体について非常に限定的なものになっているが，空間コード化法を用いた，複数の実物体でのペインティングを可能にする．
空間コード化法を用いることによって，あらかじめ形状を模した 3D オブジェクトを用意しておく必要がなくなり，その場で即時的に形状を認識することができる．これにより，実物体を限定することなく，体験者が自ら持ってきたものであってもペイントできる応用コンテンツへの発展を想定している．

もらえる人は多かったが，ペンデバイスを持ったままの色の変更が難しいなどの意見も伺った．現状の色画用紙による変更はそのままに使いやすいインタフェースの再考が必要であるとわかった．
6.1.3 位置情報取得についての考察
多くの人が，くま型ぬいぐるみの投影の誤差や，ペンデバイスの誤差によるくま型ぬいぐるみの思ったところに対して塗れないと感じており，また，そのことをストレスに感じている人が多かった．エンターテイメント性の高い作品を目指す上で，早急にセンサの誤差を計測するプログラムを組み込む必要があるとわかった．
6.1.4 投影に対しての考察
プロジェクタに関しては，多くの人から問題はないという回答を得ることができた．しかし，実際の PC 上の 3D オ
ブジェクトの色から投影されることで彩度が落ちてしまい,色が醜くなってしまうという問題を発見した．今後は，プロジェクタを使用した場合でも，PC と同じ彩度が再現できる変換が必要だとわかった．
6.1.5 全体の考察
基本的なペイントシステムの開発を行うことはできたが，インタフェースや機材レイアウトの再検討，プログラ謝辞

本プロジェクトでの開発および展示実験に協力いただいた立命館大学映像学部の大島研究室各位，特に本プロジェクトのサポートメンバー（賀集美和，小野千晶，櫻井清花）に謝意を表する．本研究の一部は，科学研究費
基盤研究 (S)24220004. の補助により行われた．

参考文献
1) Deepak Bandyopadhyay, Ramesh Raskar and Henry Fuchs: DynamicShader Lamps: Painting on Movable Objects, Proc. of ISAR’01, pp. 207- 216 (2001)
2) Iwata Mai Otsuki, Kenji Sugihara, Asako Kimura, Fumihisa Shibata,and Hideyuki Tamura: MAI Painting Brush: An Interactive Device That
Realizes the Feeling of Real Painting, Proc. of UIST '10, pp. 97 – 100(2010)
3) Kimiko Ryokai, Stedan Marti ,and Hiroshi Ishii “I/O Brush: Drawing
with Everday Objects as Ink”, Proc of CHI’04, pp. 303 - 310 (2004)
4) 近藤大祐，後藤敏之，河野誠，木島竜吾，高橋優：自由曲面への投影を用いたバーチャル解剖模型，日本バーチャルリアリティ学会論文誌，Vol. 10, No. 2, pp. 201 - 208 (2005)
5) 3D モデリングソフトウェア「Metasequoia（メタセコイア）」
公式サイト http://www.metaseq.net/jp/（2015 年 12 月 20 日閲覧）
6) Metasequia モデル描画プログラム GLMetaseq, 橋本直
工学ナビ URL: http://kougaku-navi.net/ARToolKit/index.html（2015年 12 月 20 日閲覧）

ム面のさらなる発展が必要であるなど，多くの問題点を発見した．しかし，現時点での作品で，体験者から楽しかったという感想をもらうことができ，本来の塗り絵と同じのエンターテイメント性の高い作品の開発が可能であると感じることができた．今後は，まず体験者がストレスと感じる点についての解消に力を注いでいき，完成度の高いシステムを目指す．

6. むすび本研究では，投影型 AR を用いることで立体物に着色することのできる，単純なインタフェースを持つペイントシステムについての開発を行った．問題点に関しては多く発見しているが，基本的なペイントシステムについては開発できたと言える．今後は，評価実験にて明らかになったイ
ンタフェースの問題を再考し，色のリセットや混色など新© 2016 Information Processing Society of Japan1075