情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-62
2020/3/9

Projection-Domino:プロジェクションマッピングを用いたドミノ制作支援三島侑樹†* 彭以琛† 五十嵐大和† 宮内涼将† 大川将広† 謝浩然† 宮田一乘†
概要： ドミノ倒しには遊戯目的の楽しさだけでなく，想像力や集中力，協調性などの教育的効果を得られるメリットがある．しかし，現状のドミノ制作では設計図や絵コンテを手動で作成し，設計図からどのようにドミノを配置するかは想像で行う．そのため，作成に時間がかかる，実際に完成したものと設計図の間で差が生じるなどの不都合となる場合がある．また，共同作成する場合，作成者間のイメージの共有が難しく，これは大規模なドミノ制作になるほど困難になる．本稿では，ユーザーが描いた絵からリアルタイムでドミノの配置図を自動生成し，プロジェクションマッピングを用いて実際のドミノ作成を支援するシステム”Projection-Domino”を提案する．本研究では，従来の作成方法と本システムを利用した場合での評価実験を行い，本手法がドミノ制作支援に有効であると確認した．

研究事例は多くなく，ほとんどはシミュレーションなどの1. はじめに数学的なモデリングに関するものや教育領域の研究である．

ドミノ倒しは誰もが遊んだことのある遊戯の一つである

インタラクション分野の研究には，平田らが開発しだろう．ドミノ倒しは単に遊戯目的なだけではなく，制作た”DOMINO(DO Mixed-reality Non-stop) Toppling”がある過程において想像力や集中力，協調性などの教育的効果を[1]．平田らの研究では MR 技術に基づいて，物理接触デバ子供から大人まで得ることができる．しかし，現状のドミイスを利用し，仮想のドミノが現実のドミノの位置まで倒ノ倒し制作（以降，ドミノ制作）では，設計図や絵コンテれてきた際に現実のドミノが倒れるように設計している．などを手動で作成し，設計図から実際のドミノの配置は想このようにして，現実のドミノと仮想ドミノを R-V（Real像で行う．そのため，作成に時間がかかり，完成したものto Virtual） / V-R（Virtual to Real）遷移する MR 空間を作成と設計図の間で差が生じることがある．また，共同作成すしている．MR 空間を観測するデバイスとしてビデオシーる場合，作成者間のイメージの共有が難しく，これはドミスルー型 HMD を使用し，現実と仮想ドミノの見た目や位ノ倒しが大規模になるほど困難になる．さらに，ドミノが置，倒れる音などを再現することによって R-V/V-R のシー交差する際などには細かい配置の調整も必要である．

ムレスな遷移を実現した．平田らの研究目的は MR 表現のこれらの課題に対し，本研究では，ユーザーが描いたス魅力を高めることであり，本研究のようなドミノの制作支ケッチからリアルタイムでドミノの配置図を自動生成し，援には触れていない．本研究では，ドミノの設計や作成過プロジェクションマッピングを用いてドミノの配置場所を程を支援するシステムを提供する．

ユーザーに指示し，ドミノのデザインおよび制作を支援するシステムを提案する．従来のドミノ制作手法と本提案システムを利用した場合との評価実験を行い，本手法の有効性を確認した．

2.2

プロジェクションマッピングによる活動支援

制作支援の研究事例として，大規模なバルーンアートの制作を簡易化する手法として，モデルを各層ごとに分割し，実空間とのキャリブレーションを各層に実施する手法を提案した．[2，3] 演奏支援の研究事例として，土井らは，プロジェクションマッピングにより，箏演奏情報を箏の弦や龍甲に直接提示することで，初心者を対象とした奏演奏の学習支援システムを構築した．[4]このように，プロジェクションマッピングによる活動支

図 1

プロジェクションマッピングを用いたドミノ制作支援は盛んに行われている．本研究では，プロジェクション

援．（a）スケッチ入力と（b）投影結果マッピングを用いてドミノ制作のガイダンスを行い，ユー

2. 関連研究

ザーが思い描いた図の実現やドミノ制作時間の削減，多人

2.1

ドミノを題材とした MR アトラクション

これまでにドミノを対象としたインタラクション分野の†1

北陸先端科学技術大学院大学

数での共同作成を可能にすることを目的としたシステムを提案する．

*筆頭著者© 2020 Information Processing Society of Japan409

情報処理学会 インタラクション 2020IPSJ Interaction 2020

3. Projection-Domino

1C-62
2020/3/9

投影面に線を描く．そして，以下に示すように、線の描画軌跡をリアルタイムで記録する．まず，反射材のエッジ検出をし，反射材の中心となる座標を算出する．次に，検出速度を 60FPS に設定した上，フレームごとに中心点の座標を取得してストロークを作成し，フィードバックとして描いた軌跡を投影する． 最後に，作成したストロークデータを後述のデータ整形部へ出力する．
3.3 データ整形軌跡の検出で得たストロークデータをドミノ倒しのストロークに変形する処理を以下に順に示す．
(1). 処理の簡単化のため Ramer-Douglas-Peucker アルゴリ

図 2

ズムを適用する．[5，6] これにより，データ内の座標提案システムのフレームワーク

本提案システム Projection-Domino のフレームワークを図2 に示す．システムのプロセスは以下の 4 つのステップで構成する．
1).

赤外線トラッキングによる軌跡の検出2).

ドミノ倒しを可能にするデータ整形3).

プロジェクションマッピングによるガイダンス4).

赤外線トラッキングによるドミノ検出

まず，取得した赤外線画像からユーザーが描いた線を抽出数を，ストロークの形を損なうことなく減らすことができ，処理の軽量化が期待できる．
(2). ドミノの実現上不可能な部分(鋭角，小さいループなど)を削除する．
(3). 処理したストロークをスプライン補間で滑らかにする．[7](4). 交差する部分にテクニックが適用できるように処理をかける．
(5). ドミノが連鎖して倒れるように間隔を空けた座標列を生成する．検証を基に，ドミノを倒れる間隔は 2cmし，システムの入力となるストロークデータ（ドミノの配と設定した．

置の標列）を作成する．そのデータに対して，ドミノ倒しを実現できないような角度や過度に密集したストロークデータの頂点などを調整するデータ整形を行う．そして，整形されたデータをもとにプロジェクションマッピングを行い，ユーザーにドミノの配置を指示する．この際に，ユーザーがドミノを正しい位置に配置したかを判定するドミノ検出を行う．

3.4 ドミノの検出
ユーザーが実際に置いたドミノの位置と、投影したガイド位置とが合致しているかを確かめるために，ドミノの座標を取得する．Kinect を用いて取得するドミノの上面に貼った再帰性反射材による反射光の画像からエッジを検出し，その中心点を記録する．これらの中心点の座標を投影され3.1 キャリブレーション
軌跡とドミノ検出では，赤外線トラッキングを行うため、深度センサ Kinect とプロジェクターのキャリブレーションが必要になる．本研究では，深度センサの照射範囲とプロジェクターの投影範囲を合わせるようにキャリブレーションを行う．まず，計算機内にて実際の投影面と深度センサの照射面を仮想的に構築する．次に，深度センサ の照射面積を Kinect の解像度（512 ×424）で投影し，映像の面積で割った結果をサイズ と位置の比率（Ratio）として算出する．映像を Ratio 倍で拡大し，サイズのキャリブレーションを行う．また，サイズのキャリブレーション後の映像投影範囲の上辺および左辺を Kinect 照射範囲の上辺と左辺 に合わせ，位置のキャリブレーションを行う．
3.2 軌跡の検出
ユーザーは，自作した再帰性反射材付きのペンを用いて© 2020 Information Processing Society of Japanたドミノの座標と比較し、ガイダンス情報を投影する．

4. 制作インタフェース
4.1

プロジェクションマッピングによるガイダンス

まず，再帰性反射材付きのペンを使用し，リアルタイムで軌跡を表示できる投影面に線（スケッチ）を直接描く．
次に，描いたスケッチから算出したドミノの配置場所の全体図を白色で提示する．その投影された全体図をもとにユーザーはドミノを実際に置いていく．その際，全体像の把握と多人数での共同作成を目的として全体像を投影しているため，ユーザーがドミノを置く順番は制限せず，多人数での作成も可能である．また，実際のドミノが置かれた位置と投影したドミノの位置が合致しているかを確かめるた
め，置かれたドミノの中心に色付きの「円」を投影する．
ここで，目標位置との距離によって「円」の色をカラーグラデーションで表示する．
配置したドミノと投影されたドミノの距離によって，カ410

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-622020/3/9

ラーグラデーションの「円」を図 3 のように表示する．目(2). 本システムによって投影された全体像とガイダンス

標位置は白く投影されている長方形の部分であり，正しくをもとに作成する．この時，並べる順番などは制限し配置された場合は緑色で表示され，距離が離れるほど赤色ない．並べるドミノの図は（1）と同じものを使用すになるよう設定した．図 3a のように約 2cm 以上離れている．実験の様子を図 5b に示す．

ると赤色，図 3b のように約 1cm 離れていると黄色で表示される．

図 3

図 5

カラーグラデーションの例

評価実験の事例

本実験では，従来の方式（1）の実施後に本システムを利4.2実装環境用した方式（2）を実施する．それぞれの方式で，作成時間実装環境は図 4 のように設定した．作業スペースとなると完成後にドミノ倒しを行い，すべて倒れたかどうかを記

テーブルの高さは 70cm とし，使用機器は，レーザープロ録する．ドミノを並べる過程で倒れてしまった場合は倒れジェクター（LG HF80JG，2000 lumen）および深度センサた回数を記録し，最初から作成し直してもらい，再度時間（Microsoft Kinect V2，解像度 512×424）を使用する．レ

をリセットして計測する．

ーザープロジェクターはテーブル上 70cm に角度 49 度，Kinect はテーブル上から 97cm の位置に垂直に設置した．
投影面のサイズは 46.5cm×27cm とする．

5.2

比較実験の結果

本実験では，システム全体を通して実行し，完成したドミノがすべて倒れたかどうかを記録し，アンケートを実施する．

図 4

実験環境の設置

図 6

従来手法との比較（箱ひげ図）

5. ユーザースタディ
5.1

従来手法との比較実験

本システムを，従来の手動で作成した設計図をもとにドミノ制作を行う場合と比較することを目的に評価実験を実施した．本実験では，12 名の被験者（20 代男性 10 名・30代男性 1 名・20 代女性 1 名）が，（1）設計図をもとに作成する従来の方式，（2）本システムを利用した方式，を使用して評価した．具体的な評価内容を以下に述べる．
(1). 設計図（A4 サイズ）に描かれている図をテーブル上

図 7

比較実験のアンケート結果の投影面のサイズ内で再現する．この時，ドミノの間

図 6 に作成時間を計測し，従来手法と比較した結果を箱隔などは制限せず，1 回のドミノ倒しですべて倒れる

ひげ図で示す．システムありでは最大値 185 秒，最小値 109ような並べ方をするよう指示をする．実験の様子を図秒，平均値 140 秒となった．システムなしでは最大値 231

5a に示す．

© 2020 Information Processing Society of Japan秒，最小値 88 秒，平均値 155 秒となった．この結果からシ411

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-62
2020/3/9

ステムなしに比べてシステムありの方は，作成時間のばらつきが抑えられ，平均作成時間も短縮できていることがわ

5５段階評価かる．さらに，作成途中にドミノを誤って倒してしまった
人数は，システムありで 4 人，システムなしで 8 人となった．完成したドミノをすべて倒すことができた人数はシステムありで 8 人，システムなしで 3 人となった．よって，本システムはドミノ作成時間を短縮することができ，ドミ4321ノの安定した配置を提供できることが確認できた．このよ01

うな結果の理由として，全体像の把握ができるため，位置23456

人数をずらす回数が減ることや配置しやすい位置から置き始め
図 9ることができることなどが考えられる．

アンケート結果

図 7 にシステムありとなしでの比較アンケートの結果を示す．5 段階評価 1～5 は，1 に近いほどシステムありで，5 に

図 9 にシステム全体を通して実行した際に，描いたスト近いほどシステムなしの評価が高い．a～d は以下のアンケ

ロークに対して，考えた通りのストローク（ドミノ配置）ート項目を指す．

が出力されたかを 5 段階で評価した結果を示す．ここでは，(a). どちらがドミノを並べやすかったか

1 は”出力された”，5 は”出力されなかった”ことを表す．半(b). どちらの完成度に自信があるか数以上が考えた通りのストロークが出力されなかったと答(c). どちらの方が達成感があったかえている．その原因として，ペンを用いて描くストローク(d). どちらの方が楽しかったかを自由なものにしていたため，現在のデータ整形部のアルアンケート結果より，どちらの方がより達成感を得られたゴリズムでは対応できない複雑な交差などが含まれていたかの設問以外はシステムありの方が評価が高いことが明確ことが考えられる．完成したドミノを倒した結果，完全にである．達成感に関して，差が生じづらかった原因として倒すことができた人数は 3 人であり，倒れなかった内のほは，全体像を投影してガイダンスを行うことで配置変更なとんどが交差や鋭角に関わる部分でドミノ倒しが途切れてどが許されず，作業が比較的単調になってしまうことが考いた．

えられる．
5.4
5.3

共同作成

図 10 に本システムを用いた共同作成の様子を示す．全

システム全体の評価

体像の把握ができ，配置順の制限がないため，従来手法では難しい共同作成が可能になった．これにより，作成時間の削減や協調性を高める効果などを期待できる．

図 10
図 8

評価実験結果図 8 に被験者がシステム全体を通して実験を行った様子

共同作成の様子

6. 今後の予定
実験結果の考察から，今後の課題を以下に示す．

を示す．図 8a は，完成したドミノを全て倒すことができた



投影方法の改善例，図 8b は一部倒れなかったドミノの例である．



大規模なドミノ制作への対応



交差や鋭角を正確に実現する並べ方の提示© 2020 Information Processing Society of Japan412

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-62
2020/3/9



制作過程でのドミノの追加や配置変更

参考文献



ドミノ制作時や倒した際のエフェクト[1]

本研究では，テーブル上の投影範囲が 46.5×27cm と小規模で行っているため，より大規模なドミノ制作に対応するために実装環境の変更を行う必要がある．複数台のプロジェクターを使用することによって実験環境の拡張と同時に，配置済みのドミノによる影の軽減ができると考える．現状
ドミノが交差する際の配置は，１通りの方法で実装しており，鋭角な部分は緩やかになるようなアルゴリズムを使用している．元のスケッチの形をできる限り保つためにデータ整形部のアルゴリズムを改善し，複雑な交差や鋭角の処理を行いたい．また，特殊な並べ方は数種類あり，交差や鋭角になる位置を検出して，特殊な並べ方をユーザーが選択し，動画などで提示することによってインタラクティブな要素を与え，制作の幅が広がると考えている．さらに，ドミノ配置に対する支援に加え，デザイン提案の支援を目的として，よりインタラクティブな部分に焦点を当てて研究を進めていきたい．本システムでは描いた線をもとにドミノの配置を行うため，ドミノの追加や配置変更には対応していない．今後はドミノの配置動作と並行したデザインの動的な編集を可能にしていきたい．現時点では，Quick,Draw! Dataset [8]のようなイラストを時系列データとして

平田 遼太郎, 石橋 朋果, チェ カネイ, 森 尚平, 池田 聖,柴田 史久, 木村 朝子, 田村 秀行．DOMINO Toppling: 実物体と仮想物体のシームレスな遷移を可能にした MR アトラクション．日本バーチャルリアリティ学会論文誌 2016 年 21
巻 3 号 p. 463-472[2] Haoran Xie, Yichen Peng, Naiyun Chen, Dazhao Xie, Chia-Ming
Chang, and Kazunori Miyata, BalloonFAB: Digital Fabrication of
Large-Scale Balloon Art, ACM CHI Conference on Human Factors
in Computing Systems (CHI 2019), Late Breaking Work, 2019.
[3] 吉田 匠吾,Yichen Peng,Dazhao Xie,Naiyun Chen,謝 浩然,張家銘,宮田 一乘．階層的プロジェクションマッピングによる大規模バルーンアートの制作支援．Visual Computing, 2019[4] 土井麻由佳，宮下芳明．プロジェクションマッピングによる箏演奏学習支援システム．情報処理学会論文誌,Vol2017-HCI172,No15,2017[5]Douglas, David H, and Thomas K Peucker. 1973. “Algorithms for theReduction of the Number of Points Required to Represent a
Digitized Line or Its Caricature.” Cartographica: The International
Journal for Geographic Information and Geovisualization 10 (2):
112–122.
[6]Ramer, Urs. 1972. “An Iterative Procedure for the Polygonal
Approximation of Plane Curves.” Computer Graphics and Image
Processing 1 (3): 244–256.
[7]P. Dierckx, “Curve and surface fitting with splines”, Monographs on
Numerical Analysis, Oxford University Press, 1993.
[8]The Quick, Draw! Dataset
https://github.com/googlecreativelab/quickdraw-dataset

扱っているデータセットなどを活用し，ドミノが現在置かれている位置から描きたいものを完成させる確率が高い次の配置場所をいくつか提案することによって，デザインの変更とユーザーが描きたいものを実現する補助を行う手法を考えている．デザイン提案の支援を行うことで想像力や創造力などを養うことができ，教育目的での活用や遊戯の幅が広まることを期待する．さらに，プロジェクションマッピングの追加要素として，ドミノ制作時や倒した際のエフェクトを加えることでドミノ制作に対する意欲の向上や楽しさを高めることができると考える．

7. まとめ本研究では，ユーザーが描いたスケッチからドミノ配置を自動生成し，プロジェクションマッピングを用いてドミノの配置を指示することで，従来の方式の課題解決を試みた．本稿では実装詳細の説明とシステムの評価について述
べた．評価手法として従来の方式とシステムありでの作成時間や完成度などの比較，アンケートを行った．実験の結果，本システムの使用による作成時間の削減や作成途中に倒してしまうリスクの回避に貢献できると確認した．7 章
では実験結果から今後の課題を取り上げた．よりインタラクティブな部分にも焦点を当てることによってユーザーの達成感や想像力の向上を図り，教育分野での利用や遊戯の幅が広まることを期待する．

© 2020 Information Processing Society of Japan413