情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C67
2015/3/7

StudI/O：
プロジェクションマッピングを用いたトイブロック組み立て支援システム
橋本 菜摘1,a)

椎尾 一郎1,b)

概要：実世界の立体的な建物や物体に映像を投影するプロジェクションマッピングの技術では，立体物の形状を補償した映像を投影することで歪みの無い映像投影を可能にしている．本研究では，この手順を逆にし，正しく組み立てた場合に歪み無く見える映像を投影することで，部品の取り付け位置や向きを提示するトイブロック組み立て支援システム StudI/O を提案し，実装した．ユーザ自身が手作業で行う位置調整により，人やトイブロックの位置検出のためのセンサーは不要であるため，投影を行うプロジェクタのみというシンプルな構成で効果的な実用性の高いシステムである．

StudI/O：Supporting Toy-block Assembly by Projection
Hashimoto Natsumi1,a)Siio Itiro1,b)Abstract: Projection mapping uses a compensating technique to project images correctly even on threedimensional buildings or real-world objects, other than ordinary ﬂat projection screens. In this study, wereverse this procedure to provide toy-block assembling instructions to a user. Our ”StudI/O” system projects
round markers on studs of a target toy-block to indicate the mounting position and direction. When the user
places the block in an appropriate place, the stud areas are exactly illuminated without distortions. This isan eﬀective and practical system that uses only a projector, and no sensing devices to detect the positionof the user and toy-blocks are required, because the user adjust the positions manually during the assemblytask.

1. はじめにし，紙やコンピュータ画面上の説明書を見ながらの作業は多くの初心者にとって煩雑で面倒であり，キットやアートトイブロック (以下 LEGO R ブロックまたはブロック)作品などの作成を困難にしている．一方，コンピュータ上は，想像力を働かせながら独創的な組み立てを行うことで LEGO 作品を作成するソフトウェアの普及に伴い，こで，遊びを通して創造力を伸ばす子供向けの玩具として登のソフトウェアにより自作した作品データをインターネッ場した．その後，作品を作るために必要な部品や説明書をト上に投稿している愛好家も多い．組み立て手順を支援す同胞したキットとしても販売されるようになり，子供だけるインタラクティブシステムが提供されれば，初心者でもでなく大人も楽しめるものになってきた．これにより，ブ容易に LEGO 組み立てが可能になるとともに，インターロックの使用目的は単なる積み木玩具の域に留まらず，巨ネット上で共有されている膨大な LEGO 作品を短時間で大な彫像作品やモザイクで絵を作ったり，実際に機能する再現することが可能になるであろう．

複雑な機械を作ったりと表現の幅が広がっている．しかトイブロックをはじめとする機械や家具などの立体物の組み立て作業を支援するシステムはこれまで多数研究され

1a)b)

お茶の水女子大学大学院 理学専攻 情報科学コース
Ochanomizu University, Bunkyo-ku, Tokyo 112-8610, Japanhashimoto.natsumi@is.ocha.ac.jp
siio@acm.org© 2015 Information Processing Society of Japanている．これらの研究では，透過型の頭部装着型ディスプ
レイ (HMD) やカメラを内蔵し作業空間とコンピュータ情982

わせて真下に投影するようにプロジェクタを設置する．これをコンピュータと接続し，組み立て支援のための情報を表示する．

LEGO 製品は，突起のある組み立て基板やブロックの上に，別のブロックを固定することで組み立てを行っている．
そこで，作業エリア上方のプロジェクタから，LEGO 組み立て基板やブロックの突起 (stud) の先端部に円形マーカを投影し，組み立てを行うユーザとインタラクション (I/O)
することで組み立て作業を支援する．投影の様子を示したものが図 2 である．図 2(a) は組み立て基板の突起の先端部に白い円が多数投影されているが，中央にある 4 つの突起への投影が，基板の突起位置からずれている．ユーザが
図 1

本システムの概観．LEGO 設計ソフトで設計した作品の組みずれの生じている場所にブロックを置くと，図 2(b) のよう立て手順を投影する．に組み立てたブロックの突起先端部に正しく投影される．

Fig. 1 Overview of the system. Projecting assembly procedureof the model designed by LEGO building software.

このように，投影が正しく行われるようにユーザがブロックを配置することで，指示に従った組み立てを進めることが出来る．
本システムでは，これから設置するブロックの突起に投影を行った．一方で，設置するブロックの土台になる下のブロックの突起にマーカを投影し，手順を指示することも可能である．土台ブロックに投影する方式では，突起に合致した正しいプロジェクションがブロック設置前に行わ(a)(b)れ，本方式では，設置後に正しくプロジェクションされる．

図 2 LEGO 突起への円形マーカー投影．(a) 中央の 4 突起への投本方式は，ブロック設置後に作業が正しかったことを確認

影がずれている．(b) ブロックを置くと上面の 4 突起に正しくできる利点があると考えている．また，実際に使用したと投影される．

ころ，ずれた投影状態をブロックの設置により正していく

Fig. 2 Projecting round markers to LEGO studs. (a)A projection to central 4 studs is shifted. (b)When the user
places the block in an appropriate place, 4 studs areexactly illuminated without distortions.

作業には達成感が伴い，組み立て作業を気持ち良く行えるという意見を多くのユーザから得ることができた．

3. 実装

報を表示する携帯端末などを利用しているものが多い．しLEGO 作品の組み立てを支援する StudI/O のシステム

かし，実世界の状況を反映したリアルな AR を実現するた構成を図 1 に示す．プロジェクタには 854 x 480 画素，投めには，物体や人の正確な位置検出が必要であり，高価，射距離 20〜300cm の小型プロジェクタ*1 を使用した．プ

複雑で，設置が困難なシステムとなる問題点がある．実世

ロジェクタは自在アームを使って作業机上 48.5cm に固定界にコンピュータ情報を投影する手法は，作業支援に留ました．このとき机上への投影画面は 30.0cm x 16.8cm にならず，各種の情報提示やエンタテインメントに応用されてる．投影画面中央には 12.6 cm x 12.6 cm の突起を備えたいる．実世界の立体的な建物や物体に映像を投影するプロ作業基板を置き，ユーザはこの上に LEGO 作品を組み立

ジェクションマッピングではあらかじめ立体物の形状を保てる．

証した映像を投影することで，歪みの無い映像投影を可能

プロジェクタは PC *2 に接続し，この PC 上の Process-にしている．この手順を逆にし，正しく組み立てた場合にing 2 *3 によりアプリケーションプログラムを開発した．

のみ歪み無く見える映像を投影することで，空間内の部品

Processing2 によるアプリケーションは，組み立て基板との位置や向きを提示する方法を提案し，LEGO ブロックの基板の上に組み立てられたブロックの突起先端部分に，突組み立て支援を行う StudI/O を実装した．

起と同じ大きさの円をプロジェクタから投影する．市販の2. StudI/O

プロジェクタの多くは，光軸が投影面中央を通らず，投影StudI/O は安価で小型軽量なプロジェクタを使用した*1

LEGO 組み立て支援システムである．図 1 のように，ユー*2

ザが組み立て作業を行う机の上方に，光軸を鉛直方向にあ*3© 2015 Information Processing Society of Japan

サンワサプライ社 400-PRJ014BK. DLP 方式．光源は LED, 85
ルーメン．
MacBook Pro. OS は Mac OS X 10.9.4.
http://www.processing.org/983

(a)

(b)

図 4 StudI/O により作成した作品例．(a) 制作過程(b) 完成図Fig.

(a)Making

4 An

examplemadebyStudI/O.

(b)Completion
(a)

(b)

(x)

(y)
図 5 作成を依頼した LEGO 作品．

Fig. 5 The LEGO models I asked to assemble.

置き，投影された円と突起先端が合うように位置調整を行う．本システムは，プロジェクタのみで組み立ての指示を
(c)
図 3

Fig.

行うため，机上に置かれた基板やブロック，さらにユーザ

StudI/O による LEGO 組み立て手順．(a) 基板の位置合わの手などの位置を検出するセンサーなどは無い．しかし，

せ，(b) ブロック位置の指示，(c) ブロック設置

ユーザが組み立て基板を手で動かして位置合わせを行うこ3 The

LEGO

assembly

procedurebyStudI/O.

(a)Posithioning a plate by the user. (b)Instructions ofa block position. (c)Set a block.とで，正しい位置への投影が可能になる．ユーザはマウスクリックをすることで設置作業を進め，最下段のブロックから順次上の段のブロックを組み立てていく．

面の下辺または上辺にオフセットした光学系を採用してい本システムにより作成した作品例を図 4 に示す．これるため，鉛直方向に設置したプロジェクタの光軸上以外のは，キットとして販売されている作品を元に作った犬の頭

広い範囲で，高さ方向が異なると投影すべき場所が異なる．

部である．

各突起から光軸までの距離を元に，突起先端に正しく投影

4. ユーザ実験するよう位置調整を行っている．
基板上に組み立てられた LEGO ブロックを表現するデーStudI/O の有用性を確認するために，従来の紙の説明書

タ形式は，LEGO 設計プログラムのオープンスタンダードと本システムを使って組み立てを行うユーザ実験を行った．

である LDraw*4 の形式を使用した．このデータからブロッ20 歳代の情報系学科大学院生４名の被験者に図 5(x)(y) にクの突起部分の座標を計算し，投影を行う．LEGO 社も無示す LEGO 作品の組み立て作業を依頼した．どちらの作料の LDD(LEGO Digital Designer)*5 を提供しており，広品も部品数は 21 個で，4 段の高さからなる意味の無い形状く利用されている．LDraw と LDD のデータ形式は異なるをした同程度の難易度の作品となっている．被験者は本シが，その差は軽微であり，互換性があるためデータ形式の変ステムと紙の説明書を使って，それぞれ 1 回ずつ，合計 2換も可能である．そこで，本システムではこれらの普及し回の組み立て作業を行い，紙の説明書を使って組み立てたているアプリケーションで作成され，流通している LEGO場合と比べて，本システムではどのくらい早く間違いなくブロック作成データを使用して LEGO 作品を作成するこ組み立てることが出来るのか検証した．とが出来る．

被験者 A,B,C,D のうち A,B の 2 名は先に本システムを本システムを起動すると，ブロック組み立て基板の突起使い，次に紙の説明書を使って組み立てを行い，C,D の 2

先端を照射する多数の白い円がプロジェクタから投影され名は先に紙の説明書を使い，次に本システムを使って組みる．図 3(a) に示すように，ユーザは組み立て基板を机上に立てを行った．組み立てを依頼した２つの作品はどちらも*4*5

http://www.ldraw.org/
http://ldd.lego.com/© 2015 Information Processing Society of Japan

同程度の難易度の作品であると考えているが，念のためA,C には図 5 の作品を (x)(y) の順で，B,D には (y)(x) の984

表 1

作業スペースの上にプロジェクタとカメラを置き，あらか組み立て作業時間 (秒).

Table 1 Assembly work time(sec).
被験者順序

∗

投影 (本方式)

改善度物大で投影することで，実物と照らし合わせながら組み立A投影→紙136

135

1てを行うことが出来る．ClayMore[2] は，粘土による造形

B

投影→紙16614818

行為を支援するシステムである．深度カメラとプロジェク

C

紙→投影

150

12030

紙→投影

タを組み合わせて，手本となる粘土作品と比べて差異のあD

435

16027522214181平均∗紙 (従来)じめ記録した組み立て手順を投影する．使用する部品を実ブロック取り付け位置に間違い有り．

る部分をプロジェクションによる光で知らせる．また，東城ら [3] は，物体への投影像の歪みを利用して遠隔作業支援を実現している．これらのシステムは，本システムと同順で組み立てを行ってもらった．

様に HMD を装着することなく利用できるという特徴があ

4 名の被験者が組み立てに要した時間を表 1 に示す．そるが，精密な位置指定，とくに立体的な位置指定が十分にれぞれの被験者の作業時間 (s) と本システムによる改善度実施されていない，もしくは精度が低い問題点がある．こ(s)，これらの平均を表している．4 名の被験者全員が，程のため，立体的な組み立てを行う必要のある LEGO 組み度の差はあるものの，本方式においてより短い時間で作業立てでは，十分な効果や精度を期待できない．プロジェクを終了している．

ションを利用して作業支援を行う従来研究と比較した本シ

被験者 A は，ブロック組み立て作業に慣れているのか，ステムの特徴は，部品の特徴的な部分 (ここでは突起) へのどちらのタスクも短時間で終えている．特に，紙の説明書投影を利用した点である．これにより，組み立て設計図とを使って組み立てを行った際に，1 段で使用するブロックを実体の差を感度良く検出し，ユーザに伝えることが可能に持ちながら，ブロックの配置作業を行っており，効率的になり，立体的な LEGO 組み立て作業を，簡便な構成にもか組み立てを行っていた．それにも関わらず，本方式の方がかわらず効果的にかつ精度良く支援する．

短時間に作業を終了しており，さらに紙の説明書の作品では，ブロックの取り付け位置に間違いがあり，出来上がっ6. まとめた作品は説明書とは異なったものであった．被験者 D は，投影を利用した 3D 組み立て作業支援手法を提案し，ブロック組み立て作業に不慣れな様子で，紙の説明書によLEGO ブロックの突起部分にマーカを投影することで組みる組み立てでは，配置するブロックの位置に迷いが生じ，立て支援を行う StudI/O を実装した．ユーザ実験により，長時間の作業となった．しかしながら，本方式では手を止

従来の紙の説明書に比べて使いやすく負担の少ない作業がめることなく順調に作業を進めることが出来たため，作業可能であり，作業時間が短縮されることを確認した．今後時間が劇的に改善されている．以上から，本方式は組み立は，ユーザ評価で得られた意見を参考に，紙の説明書のよてに不慣れな初心者に対して，作業時間短縮の効果が特にうに 1 段ずつ組み立てるよう指示する方法も実装し，ユー高いと考えられる．また，組み立てに慣れているユーザにザが組み立て方法を選択できるように改良したい．また，対しては，初心者ほどの作業時間短縮効果は期待できない組み立てを行っていくにつれ，1 つのストーリーが完成しものの，組み立て間違い防止に効果があると考えられる．

たり，組み立てが完了した作品に対してプロジェクション

実験終了後に被験者に本システムの使い勝手などについマッピングを行うなどエンタテインメント性をもたせるこて，紙のアンケートを行った．本システムによる LEGOとも検討したい．そして，LEGO ブロックにとどまらず，組み立て作業は従来の紙の説明書に比べて容易であったかその他のトイブロック製品や，家具などの組み立ても支援（1:非常にそうである，2:そうである，3:どちらとも言えなしていきたい．

い，4:そうではない，5:全くそうではない）の 5 段階で回答してもらったところ，B,C,D の 3 人は 1:非常にそうである

参考文献と回答し，A は 2:そうであると回答した．さらに，本シス[1]

テムは従来方式より作業の負担が少ないかどうかを同じく

5 段階で回答してもらったところ，A,B が 1:非常にそうであると回答し，C,D が 2:そうであると回答した．これによ[2]り，本システムは使いやすく負担の少ないシステムになっていたと考えられる．

5. 関連研究[3]

Koji Tsukada, Keita Watanabe, Daisuke Akatsuka andMaho Oki: FabNavi: Support system to assemble physical objects using visual instructions 10th Fab Lab annualmeeting(2014)
若園祐作 and 暦本純一: ClayMore:粘土を用いた造形の支援情報処理学会シンポジウムシリーズ, インタラクション論文集 147-152(2013)
東城 賢司, 目浦 慎作 and 井口 征士: プロジェクタを用いた 3 次元遠隔指示インタフェースの構築 VR 学会論文
誌,vol7.2 169-176(2002)

プロジェクターにより実世界に情報を投影して作業支援を行うシステムは多数提案されている．FabNavi[1] では，© 2015 Information Processing Society of Japan985