視覚効果投影による人形遊びの拡張
小笠原 萌

1

(指導教員：椎尾 一郎)

はじめに

子供は人形遊びを行う際に現実的な場面だけではなく，魔法を使う・怪獣が火を吹くなど，非現実的な場面を創造することがある．このような場面を，子供は擬音語や擬態語を用いることで演出する．また市販のおもちゃには，子供の操作に応じて光や音を出し，臨場感を与える製品がある．しかしこれらの方法では，子供が自由に想像した演出を，臨場感を伴って施すことは難しい．そこで本研究では，子供が独自の視覚効果を作成し，人形遊び空間に投影するシステムを開発することで，人形遊びの拡張を目指した．

2

関連研究

図 1: システム構成

Lampe らは，騎士の城を舞台にしたおもちゃセットを用い，聴覚・触覚・視覚に対しフィードバックを与えることで，ごっこ遊びを促進し，インタラクティブな学習体験を提供するシステムを実装した [1]．しかし，あらかじめ作成されたフィードバックが用いられるため，それが子供の求めるフィードバックであるとは限らない．また，フィードバックを得るためには，指定されたおもちゃを使用しなければならない．山本らは，机上遊びで生じる音を加工することで，物理現象をアニメーションの世界で起こっているように感じさせ，創造的な遊びを誘発するシステムを実装した [2]．これは音により遊びを拡張する研究であり，机上で動かす物体には多様なものが利用可能だが，施される加工はあらかじめ用意されている．
本研究では，視覚効果を子供自身が作成可能なので，人形遊びにおける子供の発想を制限することはない．
さらに，人形自体に加工をする必要はないので既存の人形を用いて遊ぶことが可能である．また，人間は五感の中で視覚を最も使用しているとされる [3]．そこで本研究では，視覚効果を利用したシステムを実装することで，人形遊びに臨場感を効果的に与えることを目指した．

3

Processing を用いた．
3.1

エフェクトの作成

一般的なエフェクト作成用アプリケーションを使用する場合，エフェクトの状態を観察しながらパラメータの微調整を繰り返す必要がある．この作業は子供や初心者には容易ではない．本システムでは，絵を描くことでエフェクトの形や色を入力し，動きを自動的に補間することで，エフェクト作成を容易にした．
ユーザははじめにエフェクトを表現する絵を描く（図2 左）．お絵かきには，赤・黄・黄緑・水色・青・オレン
ジ・ピンクの七色と，消しゴムを利用できる．このとき，筆跡と色の情報を PC に送信する．次に，エフェクトの中心点を選択する（図 2 右）．中心点は絵を描いたキャンバス上の任意の点から選択することが可能である．同一の絵を描いた場合も，異なる点を中心点として選択することで，異なる雰囲気のエフェクトを表現することが可能である．ここで選択された点の情報は PC に送信される．
これらの情報を元に，エフェクトのフレームを作成する．本システムではエフェクトを作成するために，パーティクルを使用する．各パーティクルには，描画点の中からランダムに選ばれた目標点の位置と色が割り当てられる．次に各パーティクルは，中心点を初期位置として目標点に向かって一定の速度で移動する．
この速度は中心点から目標点までの距離に比例するよう定められ，目標点までの移動時間は全てのパーティクルにおいて等しい．また全てのパーティクルは同じ寿命を持っており，単位時間当たり確率 4/5 で寿命が減る．寿命が尽きたパーティクルは消滅する．目標点に到達した際に寿命が残っているパーティクルは，目標点を通過し寿命が尽きるまで移動を続ける．こうして最終的に作成されるエフェクトは，中心点から広がりパラパラと消えていく花火のようなアニメーションになる．

システム概要システム構成を図 1 に示す．本システムは，タブレッ
ト PC に子供が描いた絵から，３秒程度のアニメーション（以下，エフェクト）を自動作成し，これを遊び空間のテーブルに投影する．タブレット PC1 と Wi-Fi 接
続した PC2 が，子供が指定した中心点から絵の要素が噴き出すエフェクトを自動生成する．エフェクトを利用する際には，帯状の再帰反射材がマーカとして巻かれた杖型のデバイスを使用する．杖の先を押し込むと，天井に設置したプロジェクタ3 から杖の先端部分にエフェクトが投影される．マーカの検出には，天井に設置した赤外線 LED と可視光遮断フィルタを取り付けた赤外線カメラ4 を利用した．全てのアプリケーションは Processing3 で実装し，画像認識には OpenCV for

3.2

エフェクトの利用

エフェクトの再生や投影位置の認識に必要なデバイスが人形遊びを妨げないよう，杖型のデバイスを作成した．このデバイスは “魔法の杖”として人形に持たせ

1 HUAWEI MediaPad M3 Lite 10, Android 7.0
2 MacBook Pro, 2.5 GHz Intel Core i5, macOS Sierra
3 EPSON 社 EB-410W
4 ハンファQ セルズジャパン社 DC-NCR300U

61

図 3: 杖型デバイスの杖の先を押し込んでいない状態

図 2: お絵かき画面（左）と中心点選択画面（右）．画（左）と押し込んでいる状態（右）．向き判定用帯を赤，面下の矢印をタップすると，作業状態を移動可能．

種類判定用帯を黒の数字により示す．て使用する．また杖型デバイスには電池が不要なため，電池の消耗を気にせずに遊ぶことが可能である．

3.2.1

杖型デバイスと帯状マーカ

杖型デバイスを図 3 に示す．杖型デバイスには，押し込まれると遮蔽される箇所に一本，常に認識可能な箇所に四本の，太さの異なる帯状の再帰反射材をマーカとして巻きつけた．12mm の帯は 1，6mm の帯は 0を表し，常に 1 から始まり 0 で終わるように帯を並べることで，マーカの向きが判定できる．本デバイスでは，押し込まれると遮蔽される箇所と，常に認識可能な杖の先端側に 1 を配置し，常に認識可能な杖の持ち手側に 0 を配置した．また，マーカの向き判定用帯に挟まれた箇所に，マーカの種類判定用帯を配置した．
本デバイスは二本のマーカの種類判定用帯を使用した
ため，00・01・10・11 の四種類のマーカを判定可能である．さらに，本デバイスでは杖の先を押し込み，帯の数を変化させることにより，マーカの状態を判定する．このことを利用し，杖の先が押し込まれ帯が四本になった時にエフェクトの再生を開始する．
将来的には，押し込むと遮蔽される帯の数を増やすことで，帯の本数によって異なるエフェクトを再生することが可能になると考えている．また種類判定用マーカにより，複数の杖を同時に使用することも可能だが，今回はプログラムの簡易化のために一本の杖の使用に限定した．

3.2.2

図 4: 作成したエフェクトを利用している様子．

4

まとめ

本研究では，人形遊びにおける臨場感の伴った演出を，子供が自由に作成し利用可能なシステムを実装した．今後は評価実験を行い，本システムの有効性の検証を行いたい．また，より多様なエフェクトを容易に作成する方法や，マーカの認識精度の向上，複数マーカの導入を検討するとともに，エフェクトを人形遊びの中でより自然に使用する方法を開発したい．

参考文献

エフェクトの投影[1] Matthias Lampe and Steve Hinske. The augmented knight s castle–integrating mobile andpervasive computing technologies into traditional
toy environments. In Concepts and technologies for Pervasive Games-A Reader for Pervasive Gaming Research.1, pp. 41–66. Shaker Verlag, 2007.

赤外線カメラの映像の解析とエフェクトの投影の制
御は PC で行う．杖型デバイスに巻かれた再帰反射材に反射した赤外線を赤外線カメラで捉え，取得した映像に対し輪郭抽出を行う．この輪郭の中から極端に小さな領域と極端に大きな領域を除外すると，杖型デバイスのマーカ領域だけが残る．これらの領域の中心座標と面積から，帯の数・マーカの向き・位置・種類を計算する．帯が四本であれば，杖の先が押し込まれたと判定しエフェクトの投影を開始する．エフェクトは杖の先が映像の下辺中央に位置するように投影される（図 4）．

[2] 山本澪, 花光宣尚, 金稀淳, 南澤孝太, 稲美雅彦.
Dramagic:机上遊びを拡張するサウンドアニメー
ションのデザイン. 日本バーチャルリアリティ学会
論文誌, Vol. 21, No. 3, pp. 473–482, 2016.
[3] 教育機器編集委員会. 産業教育機器システム便覧.
日科技連出版社, 1972.
62