情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C62
2015/3/7

観客参加型 YOUPLAY でのインタラクティブシステム運用
磯山 直也1

木下 晶弘2,3

出田 怜1

寺田 努1,4

塚本 昌彦1

概要：本稿は，参加型演劇 YOUPLAY で用いたインタラクティブシステムについて報告する．YOUPLAYとは，一般の参加者が演者となり，決められた物語の中で役を演じる舞台となっている．舞台は床一面壁一面に映像が投影されており，舞台の天井にカメラを仕込んだり，参加者がセンサを身に着けることによって，映像や音声がインタラクティブに変化し，参加者は物語の中に没入して演じることができる．

YOUPLAY はこれまでに YOUPLAY Vol.0 (03/20–24, 2013) と YOUPLAY Vol.1 (11/16–24, 2013) の 2
度，大阪梅田の HEP HALL にてそれぞれ全 40 公演ずつ行なっており，参加者の様々な反応を見ることができた．実運用を通じて確認できたシステムの有用性や不具合，またその改善策について記述する．

Actual Use of Interactive System on YOUPLAY
Naoya Isoyama1

Worry Kinoshita2,3

Ryo Izuta1

Tsutomu Terada1,4Masahiko Tsukamoto1

Abstract: In this paper, we report some interactive systems for a participatory theatrical performance
named YOUPLAY. In YOUPLAY, each general people who is usually audience becomes an actor and plays
a role of a character in the performance. He/she wears several equipments such as sensors and microphone,and experiences an interactive story. We explain the detail of system for YOUPLAY, and show the knowledge from 80 actual stages for two weeks. We describe system usability, trouble and its remedy that we haveconfirmed through actual uses.

1. はじめにて (YOUPLAY Vol.0 と YOUPLAY Vol.1)，全 80 公演行なった．図 1 は公演中の様子である．演劇は，俳優が舞台

近年，センサの小型化や，センシング技術の向上により，上で役を演じ，聴衆が観客席から見て楽しむというのが一人の行動を認識し，それに対応したサービスを返すインタ般的なスタイルである．YOUPLAY は，演劇をもっと多くラクティブなシステムの発展が目覚ましい．このようなシの人に娯楽として提供することを意図して，一般の参加者

ステムはエンタテインメントの分野と親和性が非常に高が演者となり，協力して，決められた物語の中で役を演じく，観客が参加したり体験したりできるインタラクティブる舞台となっている．参加者には設定の書かれた役柄，小な演出を行なったステージパフォーマンスやメディアアー道具と衣装が与えられ，それぞれ基本的にアドリブで物語トに注目が集まっている．我々はこれまでに人の行動に合を展開し，そのアドリブに合わせて，床一面と壁一面に対わせた反応を返すインタラクティブなコンピューティング

して投影された映像や舞台上のスピーカと個々に与えられ技術と，昔から多くの人々に親しまれている演劇を組み合たヘッドホンから音が出力される．これらの映像や音声にわせた参加型演劇 YOUPLAY を提案し，2 度の期間に分けよる演出の一部にインタラクティビティを付与することにより，参加者が演劇の世界観に没入しやすいようにした．

1

2

3
4

神戸大学
Kobe Uniersity
オリジナルテンポ
ORIGINAL TEMPO
sunday
科学技術振興機構さきがけ
PREST, JST© 2015 Information Processing Society of Japan

本稿では，インタラクティビティ付与のために仕様したシステムやその演出内容について報告する．

964

図 2

図 1

YOUPLAY の公演中の様子

キャラクタの設定クリーンに投影できる．
上記のように，観客が参加・体験できるエンタテインメ
ントが注目を集めており，YOUPLAY では，観客がセンサ

2. 関連研究を身につけてインタラクティブに変化する演出の中で「演近年，ステージパフォーマンスやメディアアート等において，画像処理が装着型センサを用いたインタラクティブなものが多数登場している．このようなシステムは観衆がじる」ことを楽しむことを目的としている．

3. 観客参加型演劇 YOUPLAY体験したり，参加したり，演出の世界観に入り込んだりとYOUPLAY の概要について述べる．基本的には 1 ステー

いった，これまでには味わえなかった楽しさを得ることがジ 10 名の演者 (一般人) が 10 種類のキャラクタ (図 2) のできる．

どれかを割り当てられ，さまざまなイベントをこなしつつ例えば，Jellyfish Party[1] は，息を吹き込むことでヘッドインタラクティブにストーリーを進めていくものである．

マウントディスプレイを通して現実空間内にシャボン玉の参加したい場合，あらかじめなりたいキャラクタと公演日CG が飛び出すインスタレーション作品である．livePic[2]時を決めて予約し，当日は現地で指定の衣装と，ヘルメッと ThermoRetouch[3] では，スクリーンの後ろに赤外線サートを装着し，キャラクタに応じた小道具を持って公演に参

マルカメラを備えることによって，観客が触れたり，息を加する．それぞれ参加者は，予約時にウェブサイト上で公吹きかけたりした際の表面上の温度の変化を認識し，スク演内容の大まかな設定とストーリーを知ることができる．

リーン上に投影された映像が変化する．筆者らの研究グ

上演時間はおよそ 30 分間で，物語の中でいくつかの分岐ループでも，鉛筆などで描いた部分が導電性をもつことに点があり，マルチエンディングとなっている．

着目し，絵に触ると音が流れる絵楽器 [4]，息を吹きかけた位置と強さがわかるインタラクティブスクリーンを用いた
メディアアート作品「34°4. インタラクティブシステム

30.7’E」[5] など

YOUPLAY では一般のお客さんにアドリブで演じさせ多数のセンサ融合型インタラクティブシステムを構築してるため，システムオペレータは参加者がどのように動くかいる．Wii や Xbox + Kinect，Playstation + PS Move な

予測できない．しかし，演劇の世界観に没入させるために，どの体感型ゲーム機でも同様にインタラクティビティがあ

参加者の動きに合わせた演出が必要となる．そこで，衣装ることでユーザはゲームの世界に入り込むことができる．

として装着させるヘルメットと小道具 (虫取り網) にセンサ

ステージパフォーマンスにおいても，観客が舞台上の演出を搭載したシステムを組み込むことによって，インタラクに関わることができる試みがなされている．古くは，1994

ティブな演出を可能とする．Vol.1 のシステムは Vol.0 で年から平沢進氏が「インタラクティブ・ライブ [6]」を行のシステムにさらに機能を追加したものであるため，Vol.1なっており，会場内に仕掛けた独自のインタフェースを介でのシステムについて説明する．

41.38’N 135°

して観客が映像への介入ができる演出をしている．スマー
トフォンを介して参加できる試みも多く，Plastikman がツ

4.1 ヘルメット用システム

アー用にリリースした iPhone アプリケーション SYNK[7]それぞれ参加者が装着するヘルメットを図 3 に示す．

では，観客はアプリを通じて，音やステージ上の LED をメイン基盤は後頭部に設置され，マイクロコンピュータコントロールできる．iPhone アプリケーション DROW[8](Arduino Nano)，MP3 ファイル再生アドオンモジュール

は，観客が iPhone の画面上で描いた絵をステージ上のス(MP3-4NANO)，無線通信用機器 (XBee-PRO Series 1，以© 2015 Information Processing Society of Japan965

IR LED

MP3 Player add-on

Lithium ion battery

Microcomputer

Xbee

Headphone

Microphone

XBee

Accelerometer
Front

Back
Serial SRAM Chip

図 3 ヘルメットのシステム構成図

Arduino Fio
Accelerometer

図 5 虫取り網のシステム構成図

よって「上から振り下ろす」「水平方向に降る」の 2 種類の振りの動作を認識し，認識すると XBee からオペレータ室の PC へと信号が送信される．PC は信号を受信すると，2 種類の振りのそれぞれに応じた音を舞台全体用スピーカ
図 4 参加者の周りに明かりの映像が投影される.

から出力する．Arduino Fio のみでは，行動認識のためにデータを保存するには SRAM のメモリ容量が不足したた

下 XBee)，加速度センサ (#KXM52-1050 (XYZ ±2G)) かめ Microchip Technology 社のシリアル SRAM チップを用ら構成され，頭頂部の複数の赤外線 LED，口元へ伸びたマいてメモリ容量の拡張を行なっている．

イクロフォン (BOB-09868) につながり，さらにオーディ

網を振る行動は学習データを用いた波形マッチングによオケーブルでヘッドホンにつながっている．周囲の音が十る認識を行った．網を振り終えた後に認識して音を鳴らす分に聞こえる必要があるので，ヘッドホンと耳には間を開と，参加者が意図するタイミングよりも遅く音が出力さけ，周囲の音声，ヘッドホンからの音声どちらも聞こえるれ，参加者や観覧者に対して違和感を与えてしまう．そこようにした．

で YOUPLAY では筆者らが提案する早期認識の手法 [10]赤外線 LED はオペレータ室の PC から XBee を用いて送信された信号を受信することで ON/OFF が切り替えられ，を用いることで，網を振っているタイミングで効果音を出力し，臨場感のある演出を可能にした．

舞台天井に設置した 2 台の広角 Web カメラ (iBUFFALO

BSW20KM11BK，視野角 120 度) により赤外線 LED の点

4.3 工夫点灯を撮影することで，参加者の位置のトラッキングを行な

加速度センサやマイクロフォンによる参加者の行動の認う．トラッキング情報は，参加者に映像が追従したり，位識はセンサが接続された Arduino のみで行ない，結果を置に合わせてヘッドホンから聞こえる音声の音量が変化し無線で PC に集約させた．Vol.0 の際には，生データを PCたりといった演出に用いる．また，加速度センサにより参へ無線で飛ばし，PC で認識処理を行なうことを試みたが，加者の動きを認識し，マイクロフォンにより参加者が声を電波環境上受信データが途切れ途切れになり，加速度デー発したかどうかを認識する．MP3-4NANO には音声が入っタによる行動認識を行なえるような状態ではなかった．事

た SD カードが差し込まれており，XBee からの信号や，加前に現場環境で無線のテストを行なった際にはデータが速度センサの認識結果に応じて音声をヘッドホンから再生途切れることはなかったが，映像や音響を含めた全てのシする．図 4 は，ライトが灯されていることを意図した画像

ステム設営がされた後にデータ受信の確認をしたところ，が参加者を追従している様子であり，各参加者が「ライトデータが途切れ途切れとなっていた．演出デザインの段階

オン」と大きな声で言うと表示される．

でこのような事態を想定していたため，加速度センサによる認識は物語の進行には問題が無かったが，臨場感を減ら

4.2 虫取り網用システム

す演出となってしまった．マイクロフォンによる認識の代

虫取り網は図 5 のような構成である．システムにはマ替策として，「ライトオン」と言ったかどうかを目視で確イクロコンピュータ (Arduino Fio)，リチウムイオン電池，認し，各参加者に対応するキーをキーボードにより押下す

XBee，Serial SRAM Chip，加速度センサが含まれている．

ることで映像出力のトリガーとした．しかし，発言者と対加速度センサによって網を振る動作を認識し，認識する応するキーの確認に時間がかかったり，発言者を間違えてと XBee から PC へと信号が送信される．加速度センサにしまって違う参加者の所に映像が出力されてしまうことが© 2015 Information Processing Society of Japan966

あった．そこで Vol.1 では Arduino のみで認識結果を算出し，その結果を PC から受信したことの返信があるまで送り続けるようにした．また，不要な場面で認識を行なってしまわないように，PC から XBee で信号を送信することにより，認識処理を行なうかどうかを切り替えた．
虫取り網を使う場面は序盤の参加者の自己紹介の場面と床にプロジェクタで投影されたねずみの映像を追いかけて網で捕まえる場面の 2 箇所のみであり，不要な場面での効図 6

果音の出力を防ぐために，その他の場面では音声が出力さ手動でトラッキング ID を割り当てる.

れないようにした．キャラクタ紹介の場面では虫取り網を使って虫を捕まえる演技をさせるなど網に注目が集まる演出をした．
位置のトラッキングについては，参加者それぞれの位置を個別に把握するために，参加者のヘルメットに装着された赤外線 LED を１つずつ点灯していき，各点灯タイミン
グでその光がカメラで撮られた位置にそれぞれのキャラクタに割り当てた ID を当てはめる．1 度トラッキング用のID が割り当てられると，その後はすべての赤外線 LED は点灯し，カメラ撮影の毎フレームごとに前のフレームで IDが割り当てられた位置と，現在のフレームで検出された各光の位置の最も近い位置に更新していくことでトラッキン

図 7

タブレット PC 上で映像出力の位置を操作する.

グを行なう．参加者同士が近付くことによってトラッキン
グ ID が間違った参加者の位置に割り当てられてしまうよ

は難しく，物語の内容を考慮してトラッキングの正確さにうなエラーが起きた際には，再度 ID の割り当て処理を実ついて各キャラクタに優先順位をつけることとなった．ま行する．上記機能を可能なプログラムを実装してテストした，指で操作していてもカメラでトラッキングを行なう方たところ，PC のカメラ画像取得の処理が遅く，カメラのフ法と比べて映像の動きが滑らかにはならなかったり，実際レームレートを 9fps 程度しか出すことができず，全 ID をの舞台上とタブレット上での位置関係の把握が難しかった

割り当てる間に最初の方に割り当てられた ID の位置が大りした．

きくずれてしまい，本番で使える状態にならなかった．そこで，オペレータがカメラの取得画像が表示されたディス

4.4 参加者の反応

プレイを見ながらマウスとキーボードを使って手動で ID

自分の発言に合わせて映像が変化したり，映像がついてを割り当てる方法をとった．図 6 右のようにカメラの取得きたりすることに驚いたり，喜んだりといったポジティブ画像を二値化した画像がディスプレイに表示され，白い部な印象を受ける参加者がほとんどであった．しかし，映像分をクリックするとそこにキーボードで指定した ID 番号による演出はミスもわかりやすく，実際に映像が追従しなが割り当てられ，図 6 左のような表示により ID とその位いと「ついてきていない！」と言う参加者も多く，物語の置の確認ができる．この手動によるトラッキング ID 割当

世界から抜け出させてしまっていた．人に映像が追従して修正作業には，この作業だけを行なうオペレータを 2 名用ついてくるといった演出は，視覚的でわかりやすい変化で意し，ミスが少なくなるようにした．１人の参加者だけをあるため，うまく働いていないと違和感も大きくなる．公トラッキングするシーンがあるが，そのシーンではその参演後の参加者のアンケートでは，「楽しかった」，「もっと加者の赤外線 LED のみを点灯させることで，より確実にやりたかった」，「次回作も期待しています」といったポジトラッキングできるようにした．カメラを 2 台用いている

ティブな記述が大半であったが，ネガティブな意見も一部のは，1 台では舞台全体を撮影できなかったためである．

あり，そのほとんど映像が追従していないことへの意見で位置のトラッキングについて，Vol.0 の際には上記のシあった．こういった演出を行う際にはエラー対策やロバスステムに不具合があったため，図 7 に示すようなタブレットネスの強化が重要である．

ト PC 上で指でアイコンの位置を動かすことで出力する映ヘルメットに内蔵した加速度センサを用いて，ジャンプ像の位置を操作できるソフトウェアを実装し，タブレットと重力が軽くなったようにゆっくり歩くことを認識し，そPC を 2 台用意し，オペレータ 2 名で操作を行なった．しれに合わせて音を出力した．この機能に関しては劇中ではかし，オペレータ 1 名で 5 人の参加者を追いかけること

使用シーンが短く，音も個人のヘッドホンにおいてのみ聞© 2015 Information Processing Society of Japan967

こえるので，それに対する参加者の具体的な反応はわからなかった．ゆっくり歩くシーンにおいて，本公演では参加[5]者によって歩き方は様々であったが，統一感のある歩き方をさせるといった演出をしたい場合も考えられる．その際に，音が出力される認識アルゴリズムの認識条件を厳しく[6]することで，うまく音が鳴るような動きになるように参加者を自然に動かせることも狙える．
虫取り網の効果音に関しては，網を振り効果音が発生すると参加者らが驚きを示したことから参加者に振りと音が連動していることを認識させることができていたことがわかる．Vol.1 と効果音システムを組み込んでいなかった

Vol.0 を比べると，参加者の動きが大きくなり，音も出力

[7]
[8]
[9]
[10]

(ACE 2012), pp. 384–397 (Nov. 2012).
N. Isoyama, T. Terada, and M. Tsukamoto: An Interactive Surface that Recognizes User Actions using Accelerometers, Proc. of the 12th NICOGRAPH International 2013, pp. 72–80 (June 2013).
平 沢 進:
イ ン タ ラ ク テ ィ ブ・ラ イ ブ:
http://noroom.susumuhirasawa.com/modules/artist/
interactive-live.html.
SYNK: http://hexler.net/software/synk.
DROW: http://drow.jp/.
YOUPLAY: http://youplay.jp/.
R. Izuta, K. Murao, T. Terada, and M. Tsukamoto:
Early Gesture Recognition Method with an accelerometer, Proc. of the 12th International Conferece on
Advances in Mobile Computing and Multimedia(MoMM2014), pp. 43–51 (Dec. 2014).

させることから観覧者もより楽しめたと考えられる．

5. まとめ
本稿では，これまでに 80 公演を行なった観客参加型演劇

YOUPLAY について説明した．本公演を通して，観客自身が演者となり物語を進めていく観客参加型演劇 YOUPLAYが多くの人に楽しまれ，物語が破綻することなく公演を終えられることがわかった．映像や音声が参加者 (演者) の動きに合わせて変化することによって没入感が増し，参加者が照れることなく迫力ある動きをできることがわかった．

YOUPLAY Vol.0 と Vol.1 はともに大規模なシステムでの開催となったが，骨伝導スピーカや頭部装着型ディスプレイを使うことでより汎用的に開催できる仕組みについても検討する．
謝辞 観客参加型演劇 YOUPLAY は，HEP FIVE が主催，HEP HALL と株式会社リコモーションが企画制作を行った．開催するに当たりご協力いただいた HEP HALL
プロデューサー星川大輔氏を始めとするスタッフの方々に感謝の意を表する．本研究の一部は，科学技術振興機構戦略的創造研究推進事業 (さきがけ) および文部科学省科学研究費補助金挑戦的萌芽研究 (25540084) によるものである．
ここに記して謝意を表す．
参考文献
[1]

[2]

[3]

[4]

Y. Okuno, H. Kakuta, and T. Takayama: Jellyfish Party:
Blowing Soap Bubbles in Mixed Reality Space, Proc. ofthe 2nd International Symposium on Mixed and Augmented Reality (ISMAR 2003), pp. 358–359 (Oct. 2003).
M. Katsura and M. Inakage: livePic, Proc. of the 33thInternational Conference and Exhibition on Computer
Graphics and Interactive Techniques (SIGGRAPH2006) (July 2006).
D. Iwai and K. Sato: Heat Sensation in Image Creation
with Thermal Vision, Proc. of the 2nd International
Conference on Advances in Computer Entertainment
Technology (ACE 2005), pp. 213–216 (June 2005).
Y. Takegawa, K. Fukushi, T. Machover, T. Terada, andM. Tsukamoto: Construction of a Prototyping Support
System for Painted Musical Instruments, Proc. of the9th Advances in Computer Entertainment Conference© 2015 Information Processing Society of Japan968