情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-012017/3/2

身体動作を用いた浮世絵鑑賞への仮想参加
草島 将太1,a)

高橋 拓也1,b)

友広 歩李1,c)

角 康之1,d)

概要：浮世絵のジャンルのひとつに，人や動物を寄せ集めることでより大きな人や動物をつくりあげる「寄せ絵」というものがある．本研究では，この寄せ絵の構成員一人ひとりをパズルのピースに見立て，自分がその構成員を真似してとったポーズをパズルのピースとして VR 空間内で組み立てることで，自分だけの寄せ絵作品をつくるパズルゲームを開発する．そして，このパズルゲームをさまざまな人に体験してもらい，構成員がとっているポーズの難しさや滑稽さを実際に体験してもらったり，自分がとったポーズが寄せ絵の作品になることを通して，絵画作品としての新しい鑑賞体験を目指す．

Virtual Participation in Ukiyoe Appreciation using Body Motion
Shota Kusajima1,a)Takuya Takahashi1,b)Ayuri Tomohiro1,c)Yasuyuki Sumi1,d)Abstract: As one of the genres of Ukiyoe, there is something called ”Yose-e” (literally, an assembled picture). It is made by gathering humans or animals to build up a larger people or animal. In this research,
we develop a puzzle game which create Yose-e. In this game, members of Yose-e are regarded as pieces ofthe puzzle. A player imitates the pose of the members and assembles some pieces in virtual space. Also, wehave various users experience the puzzle game. We aim for a new viewing experience of paintings throughthe experience of diﬃculty or fatuousness of poses taken by members and creation of Yose-e with own poses.

1. はじめに江戸時代から明治時代にかけて，浮世絵のジャンルのひとつに「寄せ絵」というものがあった．寄せ絵とは，文字通り人間や動物を「寄せ」集めることによってより大きな人間や動物をつくりあげる作品であり，中でも歌川国芳による寄せ絵の作品が有名である（図 1）．しかし，こういった作品は，実際の人間が寄せ絵の構成員として，組体操のように再現しようとするのは物理的に困難である．
そこで本研究では，歌川国芳による寄せ絵の作品のひとつである「みかけハこハゐがとんだいゝ人だ」（図 2）を題材に，寄せ絵の構成員がとっているポーズの難しさや滑稽さを体験することが可能なシステムを開発し，絵画作品の新しい鑑賞体験を目指す．

図 1

歌川国芳が描いた「寄せ絵」

Fig. 1 ”Yose-e” drawn by Kuniyoshi Utagawa

また，このシステムは国際学生対抗バーチャルリアリ
1a)b)c)d)

公立はこだて未来大学
s-kusajima@sumilab.org
t-takahashi@sumilab.org
a-tomohiro@sumilab.org
sumi@acm.org© 2017 Information Processing Society of Japan

ティコンテストに出展するために VR 作品として開発し，コンテスト内の限られた時間でできるだけ多くの来訪者に体験してもらうために，ゲーム性のある体験型コンテンツとした．このコンテストは予選大会と決勝大会があり，そ678

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-012017/3/2

3. システム構成
3.1 システム概要
本システムは，歌川国芳によって描かれた寄せ絵である「みかけハこハゐがとんだいゝ人だ」をベースとして，体験者が実際に寄せ絵の構成員になりきってポーズをとり，そのポーズをパズルのピースとして新しい寄せ絵をつくるパズルゲームである（図 3）．
ゲーム内で体験者はとるべき構成員のポーズを指示され，全身を使ってそのポーズを再現する．提示された全てのポーズを再現し終わると，Unity を用いてつくられたVR 空間内に，自分のとったポーズが追加された寄せ絵の3D モデルと元の寄せ絵を基にしてつくられた 3D モデル，加えて過去に他の体験者によってつくられた作品が表示さ
図 2 「みかけハこハゐがとんだいゝ人だ」

Fig. 2 Mikake ha kowai ga tonda ii hito da

れぞれの体験者の様子を観察することで，作品の発展に活用した．
本論文では，今回のコンテンツ作成とコンテストでの展示・体験を通して，インタラクティブコンテンツの空間設れ，さまざまな場所や角度からそれらのモデルを鑑賞することができる．
体験者以外の外で見ている観衆も，寄せ絵の構成員のポーズを全身で真似しようとしている様子を見てその滑稽さを楽しんだり，自分が体験するときの参考にすることができる．

計・時間設計について議論する．

2. 関連研究2.1 浮世絵の 3 次元 CG アニメーション化角らが行った，2 次元の絵画作品をコンピュータグラフィクスによって 3 次元アニメーション化することを試みた研究がある [1]．この研究では，歌川国芳の浮世絵「みかけハこゐがとんだいゝ人だ」を題材にし，浮世絵の登場人物を3 次元 CG アニメーションにすることにより，作品を多視点から観たり，登場人物の視点に乗り移るといった参加型の鑑賞を可能にした．角らの研究では，浮世絵を 3DCG アニメーションで再現することにより，鑑賞者がインタラクティブに作品を見る視点を変えたり，作品が作り上げられ

図 3

自分のとったポーズが組み立てられる様子

Fig. 3 Appearance of assembling posesてゆくような参加型の鑑賞を可能とした．

2.2 視点移動による不可能物体の表現

3.2 使用機材

大和田らは，エッシャーの無限階段といったようなだま本システムでは，寄せ絵の構成員のとるポーズを真似しし絵，現実世界では形成できない物体を視点移動によってているプレイヤーの動きを記録するために Kinect v2 を，CG 空間内に表現する手法を提案している [2]．この研究でまた，自分がとっているポーズや完成した 3D モデルを VRは，CG 空間内にある不可能物体をマウスドラックするこ空間でさまざまな角度から鑑賞するために Oculus Rift をとによりインタラクティブに回転させ，視点を変えて物体用いている．プレイヤーが見ている画面には自分がポーズを鑑賞するツールの制作に試みた．不可能物体を様々な角をとって動かす人型のモデルが表示されており，Kinect v2

度から見ることによって，物体自体が変形するような立体の前でポーズをとることにより自身がとっているポーズ視効果が得られたと述べている．これにより，立体視を用と連動してモデルが動くため，それを参考にしてパズルのいたアート表現の可能性を広めるものとなることが期待さピースをつくっていく．また，提示された全てのポーズをれている．

つくり終えると，自分がつくった寄せ絵の 3D モデルと手本となる元の 3D モデルが並んで表示されるので，Oculus© 2017 Information Processing Society of Japan679

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-6F-01
2017/3/2

Rift を装着したプレイヤーはさまざまな角度から作品を鑑賞することができる．これにより，2 つの作品を見比べてポーズをとる難しさを実感したり，普段は見ることのない3D 作品としての浮世絵から新たな気付きが促されることが期待される．
ゲームを体験する空間としては，Kinect v2 のデータ取得範囲を考え，1.8m 四方の対角上に Kinect v2 とプレイヤーを配置することとした．また，プレイヤーの中には正面方向に奥行きのあるポーズをとることも考えられたため，
図 5

プレイヤーをより正確にトラッキングするために，Kinectv2 を地上から 1.8m の高さに設置し，斜め下に向けるようにした．

パズルピース（鼻）の作成

Fig. 5 Making puzzle pieces (nose)

た 3D モデルが並べて表示される（図 6）．VR 空間内に表

3.3 ゲームの流れ
本システムは，大きく分けて説明パート，体験パート，鑑賞パートの 3 つに分かれている．
はじめの説明パートでは，体験者自身がプレイヤーとして寄せ絵の構成員となるパズルのピースを作成することと，寄せ絵のうちどの部分のポーズをとるかの説明が 20 秒程示されているので，Oculus Rift を装着したプレイヤーは正面からだけではなく，さまざまな方向から作品を鑑賞することができる．また，自身のプレイ以前に他のプレイヤーによってつくられた別の作品も周りに表示されているため（図 7），他の作品を見て自分のつくった作品との違いを楽しんだり，他人のとったポーズから，作品への新たな見方を獲得することが期待される．

度でなされる．舞台は江戸の町並みを意識し，江戸の町人2 人がナビゲーターとしてプレイヤーにとるべきポーズの指示をしていく（図 4）．

図 6 作成された 3D モデルと，お手本となる 3D モデル

Fig. 6 3D model created by player, and model created basedon the original work
図 4

江戸の町人の指示によるゲーム説明

Fig. 4 Introduction of game by instruction of townspeople inEdo

次の体験パートでは，プレイヤーが実際に身体を動かして寄せ絵の構成員としてのパズルのピースを作成していく．今回はプレイヤーがとるポーズを耳・鼻・唇に限定し，Oculus Rift の画面に表示されている自分のとっているポーズと同じ動きをする人型のモデルを動かしていく形
で，3 つのパズルピースを作成する（図 5）．プレイヤーが直感的にポーズをとることを意識するため，ひとつのポーズをとる際にかける時間はそれぞれ 10 秒とし，耳，鼻，唇図 7ととるのが簡単そうなポーズから順にプレイヤーに行ってFig. 7 3D model created other players

他のプレイヤーがつくった 3D モデルもらうことで，ポーズをとることに慣れていってもらう構成とした．

また，耳・鼻・唇いずれかのポーズをとっているときの最後の観賞パートでは，自身のとったポーズが追加されプレイヤーの画像を Kinect v2 を用いて撮影し，完成した

た 3D モデルと，歌川国芳の元の作品を基にしてつくられ寄せ絵のモデルの上に重ね合わせ，減色処理を施すことで© 2017 Information Processing Society of Japan680

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

実際の浮世絵のようにした画像を同時に作成する（図 8）．

3-6F-012017/3/2

4.2 体験の様子

あとからその画像を見返すことで，自分の作品や自分の国際学生対抗バーチャルリアリティコンテストの予選大ポーズが浮世絵になる様子を確認でき，新たな鑑賞体験に会では 100 人程度，決勝大会では 150 人程度の来場者が本つながることが期待される．

システムを体験した（図 9）．外から体験者の様子を見ている観衆も，再現が困難な寄せ絵構成員のポーズをとっている体験者の滑稽さを面白がったりといった様子が見てとれた．また，手渡した印刷物を体験者が見て，プレイ中にとっていた自分のポーズを見てその滑稽さに笑っている人も多かった．

図8

プレイヤーのとったポーズと，作成された 3D モデルが重ね合わされた浮世絵風画像

Fig. 8 Image like Ukiyoe with superimposing 3D model on
player’s pose

図 9 コンテスト来場者による体験の様子

Fig. 9 Appearance of experience by contest visitors

4. VR コンテストでのプレイ体験

今回パズルとして用いた寄せ絵は歌川国芳の作品の中で開発したシステムを，2016 年 9 月 15 日，16 日につくは有名なものではあったが，作品自体を知らない，またはば国際会議場で開催された国際学生対抗バーチャルリアリ

作品は知っていても，その構成員がどのようなポーズをティコンテストの予選大会と，10 月 29 日，30 日に日本科とっていたかまでは覚えていない人が多いだろうと予想さ学未来館で開催された同コンテストの決勝大会で参加者にれていた．また，体験者に事前に各ポーズがどのようなも体験してもらった．2 つの大会は一般に公開されており，のであるか教えることもしていなかったため，耳，鼻，唇合わせて 250 人程度の来場者が体験した．のそれぞれでさまざまなポーズが見られると予想されていた．しかし，鼻と耳のポーズに関しては，ある程度の種類4.1 体験の流れの型に分類できた．鼻のポーズでは，しゃがむ事により身2 つのコンテストでは 1.8m 四方の体験スペースが設け体全体で表現しているパターンと，身体をくの字に折り，られていたため，1 つの角に体験者の動きをトラッキング

鼻を再現しているパターンの人がほとんどであった．耳のするための Kinect v2 を置き，体験者にはその対角でポーポーズでは，腕を使って耳を表現しているパターンと，身ズをとってもらった．また，体験者が体験している様子を体を C の字に曲げて全身で耳を表現しているパターンに分見ることができるスペースもあり，そこには体験者が装着けられた．

している Oculus Rift に映し出されているものと同じ映像を表示させたディスプレイを配置した．

今回はそれぞれのポーズをとってもらう時間を各 10 秒ずつとしたが，その短い時間の中で創意工夫しながらいろ

1 人で体験しにきた来場者にはシステムの発表者が，複いろなポーズをとることで，外で見ている観衆も楽しんで数人で体験しにきた来場者には発表者に加えて体験していいる様子が見て取れた．また，とるのが簡単な耳のポーズない来場者が，体験者にどのようなポーズをとればいいのからの体験としたことで，最初は操作の方法がわからなかを指示した．

かった体験者も操作に慣れ，後半の鼻や唇といった難しい

また，プレイが終了した際に，そのプレイ内で体験者がポーズにも対応できていたため，短い時間であっても，簡とったポーズと完成した作品を重ね合わせて処理を施した

単なものから徐々に難しいものへとしたことでうまく展開図のような画像を印刷し，体験者に手渡した．

が進む様子が見られた．

© 2017 Information Processing Society of Japan681

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

また，自分のつくった作品と歌川国芳の作品を基にして

3-6F-012017/3/2

2008.

つくられた 3D モデルだけでなく，他のプレイヤーによってつくられた作品を周りに配置することで，新しい反応が得られることが期待された．実際には，他の人の作品に対して完成度の高さを評価する反応や，それだけではなく，うまく作品をつくることができずに顔が崩れてしまった作品や，再現度があまり高くない作品に対して，その面白さ，滑稽さを評価する反応も多かった．これらの反応から，プレイヤーはゲームを通して，完成度の高い作品をつくるだ
けでなく，自分だけの特徴のある作品をつくることの楽しさも求めている傾向にあることが見て取れた．

5. おわりに本研究では，絵画作品の新しい鑑賞体験を実現するために，歌川国芳による「寄せ絵」を VR 空間内で自分のポーズを用いてパズルのように組み立てるシステムを開発した．自分で実際にポーズをとって，本来の作品に近づけたものをつくったり，あえて本物とは違うポーズをとることで自分だけの新しい作品をつくったりといった体験ができるのと同時に，実際の寄せ絵の構成員がとっているポーズを再現することの難しさや，構成員のとっているポーズを自分が再現していることの滑稽さを，プレイヤーだけではなくそれを見ている観衆も楽しむことができるシステムをつくることができた．
また，開発したシステムを多くの人に体験してもらうことで，絵画作品の鑑賞に VR を取り入れることで鑑賞者の反応や作品への見方がどのように変化するのかを見ることができた．VR 空間内に作品を３ D モデルとして配置するという特徴を活かし，さまざまな角度から作品を鑑賞する様子や，自分のとったポーズを用いて組み立てられた作品
全体の 3D モデルと本来の作品を基にしてつくられた 3Dモデルを見比べながら，本物はどのような形になっているのかを見て感心している体験者の様子，また，体験者が寄せ絵の構成員として各部位のポーズをとっている様子を見ながら，体験者に指示を出すなどして楽しむ観衆の様子も観察することができた．

謝辞
本作品を制作するにあたり，作品中の音源の作成・編集に携わっていただいた同大学の菊地純輝さん，歌川国芳の作品や，体験者が動かすための 3D モデルの制作に携わっていただいた同大学の浜本誠也さんに深く感謝致します．
参考文献
[1]

[2]

角康之，名生圭佑，松村耕平：浮世絵の 3 次元 CG アニ
メーション化の試み，情報処理学会論文誌（デジタルコンテンツ），Vol.2，No.2，pp.1-9，2014.
大和田茂，藤木淳：アート表現としての不可能物体立体視，映像メディア学会技術報告，Vol.32，No.14，pp.43-46，© 2017 Information Processing Society of Japan682