研究報告書概要 2020 実施

人間と遊び

プロジェクションマッピングによるゲーム支援技術の研究
北陸先端科学技術大学院大学
講師 謝

1.

浩然

(2) Sketch2Domino: スケッチによるドミノ制作支援

研究目的

本研究では，プロジェクションマッピングを代表とする空間拡張

本プロジェクトでは，ユーザが描いた絵からリアルタイムでドミ現実技術(SpatialAugmentedReality)を用いることで，ゲーム要ノの配置図を自動生成し，プロジェクションマッピングを用いて素を取り入れた日常生活活動を支援する目的の達成を目指した．

実際のドミノ作成支援システムを提案した（図 2）．提案フレー

ゲーム開発や促進のためには，ユーザガイダンスを提示すること

ムワークは赤外線トラッキングによる軌跡の検出，ドミノ倒しをで３次元ユーザインタフェースの開発を行った．具体的には，生可能にするデータ整形，プロジェクションマッピングによるガイ活支援と制作支援の研究プロジェクトを推進した．
生活支援には，ダンス，および赤外線トラッキングによるドミノ検出という4つインタラクティブプロジェクションマッピングによるルービッのステップで構成した．評価実験では，本提案手法がドミノ制作

クキューブ解法支援，ダンス練習支援や弁当具材配置支援システ支援に有効であると確認した．

ムを開発した．制作支援には，ドミノ及び新聞紙アート制作支援
システムを提案した．本研究では，現実空間と仮想空間をシームレスに繋ぐ，ゲーム要素の設計支援と体験支援技術を提案することで，生活の多様化と生活の質の向上に貢献できる．
助成研究Ａ
︵１年間︶

2

2.

提案手法と成果

本研究では，空間 AR 技術を用いてゲーム要素を取り入れた支
援技術基盤を確立するため以下の研究プロジェクトを推進した．

（１）GhostCube: 逆再生によるルービックキューブ解法支援

図2．ドミノ生活支援システム

本プロジェクトでは，ルービックキューブ完成の過程で誤った操(3) NewsFab: 大規模新聞紙アート制作支援作を行った際に復元が困難である点に注目し，直感的な操作性を本プロジェクトでは，形状を変化させやすく手に入りやすい新聞担保しながら，過去の手順を遡ることで苦手箇所を重点的に練習紙に着目し，一般ユーザでも形の整った立体作品を作ることがでできる，空間インターフェースを活用した「逆再生」支援を提案

きる造形支援を提案する(図 3)．提案システムでは，作品の形状した（図 1）．提案システムがユーザの学習体験に如何なる影響を維持するためのスケルトン構造や造形物の製作ガイダンスをを及ぼすかを検証し，被験者はルービックキューブの構造への理ユーザに提示し，複雑な形状の新聞紙アートを容易に製作できる解が深まり，誤操作を認識しやすくなる結果が得られた．

図１．ルービックキューブ解法支援

図 3．新聞紙アート制作支援システム

システム

102

- 1 -

研究報告書概要 202財団レポート
0 実施

2019・2020

ように支援するまた，深度差分情報を造形中の製作物に投影するの楽しさを体験できるシステムを考案した．本研究では，「人間ことにより，積層構造で新聞紙の造形に必要なガイドを提示した．

中心」の考え方でユーザがより楽しく日常活動を支援するシステ(4) FreeDance: 適応型ダンス練習支援

ムを目指す．提案技術を検証するために，具体的な適用事例とし

本プロジェクトでは，適応型ダンス練習支援システムを提案し、て典型的なゲーム（ドミノ倒しとルービックキューブ）を挙げてダンス練習の動機づけを促進する．そのため，三面壁型透明スクいるが，これらのゲームに限定せず，多種多様の活動（ダンス，リーンを取り入れることで没入感の向上を図った．加えて，ユーアート創作，弁当作り）に対する支援技術を開発した．

ザのダンスに対し動きの判定機能を設け，キャラクターからの応本研究の実施にあたり，同大学先端科学技術研究科宮田一乘教授

援インタラクションをユーザに伝えることを実現した(図 4)．まより甚大なサポートを受け，宮田研究室の大学院生18名はプロ

た，ユーザが選択したキャラクターは，ユーザの動きに合わせ，ジェクトの研究開発に参加した．まだ，本研究助成の他，同大学ダンス速度を調整する．これにより，一面的なダンス指導ではな研究拠点形成支援事業萌芽的研究支援，リサーチコア協生AI×く，ユーザの選好に合わせたダンス練習が可能となり，キャラクデザイン拠点の支援を受けていた．

ターと共にダンスを楽しむ環境を提供する．これらを考慮し，モ3.

チベーション向上の仕組みを取り入れ，ユーザは楽しみながらダ本研究の研究成果は，コンピュータグラフィックス研究分野におンスを継続し，結果として健康維持が期待できる．

ける有名な国際会議NICOGRAPHInternational等の国際研究

主な研究業績(*責任著者)

発表 9 本，ヒューマンコンピュータインタラクション研究分野
における国内最大の学会であるインタラクション等の国内研究
会発表9 本，最優秀論文賞等の受賞3 件の業績が挙げられた．
ここで，主な研究業績を以下にリストしている．
[1] H. Xie*, Y. Peng, H. Wang, K. Miyata. SketchMeHow:
Interactive Projection Guided Task Instruction with User
Sketches, 23rd International Conference on Human Computer
Interaction (HCII2021), full paper, 2021.07.
T. Sato and K. Miyata, Skeleton-Based Interactive Fabrication(5) Sketch2Bento: スケッチによる弁当具材配置支援

for Large-Scale Newspaper Sculpture, NICOGRAPHの配置を支援するガイダンスシステム Sketch2Bento を提案すInternational 2021, full paper, 2021.07.
[3] H. Wang, H. Kanayama, Y. Peng, S. Yoshida H. Xie*, S.

る(図 5)．提案システムは，空間拡張現実技術を用いて，弁当箱にユーザの作業状況に応じた配置ガイダンスをインタラクティ

Okada, K. Miyata, Sketch2Bento: Sketch-based Arrangement

ブに提示する．また，本システムによる支援がユーザへどのよう

Guidance for Lunch Boxes, NICOGRAPH International 2021,な影響を与えるのか評価実験を行い，有効性を検証した．

poster, 2021.07.

2

︵１年間︶

本プロジェクトでは，ユーザの手書きスケッチを入力とし，具材助成研究Ａ[2] S. Li, S. Yoshida, K.Arihara, K. Nakashima, Y. Peng, H. Xie*,

図4．ダンス練習支援システム[4] Y. He, X. Zheng, A. Yagami, Y. Peng, S. Yoshida, H. Xie*, H.
Kanai, K. Miyata, Interactive Dance Support System Using
SpatialAugmented Reality, NICOGRAPH International 2021,full paper, 2021.07.
[5] Y. Peng, Y. Mishima, Y. Igarashi, R. Miyauchi, M. Okawa, H.
Xie* and K. Miyata. Sketch2Domino: Interactive Chain
Reaction Design and Guidance. NICOGRAPH International
2020, full paper, Tokyo, 2020.06

図５．弁当具材配置支援システム[6] S.Ajisaka, S. Hara, M. Matsuchi, S. Luo, S. Yoshida, H. Xie*

3. おわりに本研究では，現実空間における空間拡張現実インタフェースによand K. Miyata. Learning Rubik's Cube through User

るガイダンスシステムを用いてユーザが容易に作業するシステ

Operation History. NICOGRAPH International 2020, short

ム，および仮想空間における計算技術を用いてユーザがシステム

paper, Tokyo, 2020.06.

- 2 -103