WISS2009

映像と連動したインタラクティブパフォーマンスのための演者支援システムの設計と実装
Design and Implementation of a Performer Support System for Interactive Visual Performances

池田 惇

竹川 佳成

寺田 努

塚本 昌彦∗

Summary.
近年，人間の動作とその背景に投影された映像を組み合わせたパフォーマンスが注目されており， 演者の動作が映像に作用しているように見せることで，観客の驚きや笑いを誘っている．しかし，演者は映像を背にしたり，ステージ上を移動するため，常に映像を確認しながら演技できず，映像と演者が直接掛け合いを行うようなインタラクティブなパフォーマンスを行うことが難しかった．そこで本研究では，情報提示デバイスを用いて演者に映像情報を提示するシステムを提案する．提案システムでは，頭部装着型ディスプレイ (HMD: Head Mounted Display）を使用し，演者の向きや姿勢に制限されず，常に映像情報を提示できる．提示映像は，数種類の表示内容や形式を選択可能で，さらに付加的な機能を持たせることで，さまざまなパフォーマンスに対応できる．評価実験により，提示デバイスが演技に与える影響を評価した．結果から，提示デバイスによって，演技の自然さが変化することを確認した．また，実際に 2 つのイベントでシステムを運用し，その有効性を確認した．

1

はじめに
近年，動作認識を用いたダンシング楽器システム[1] など，コンピュータ技術を取り入れたパフォーマンスが行われるようになった．ステージで披露されるパフォーマンスでは，映像を個人で手軽に加工・編集・生成などできるようになったことで，VJ（VideoJockey）システムや EﬀecTV[2] などの映像効果を活用するためのツールを用いたパフォーマンスが注目を集めている．特に図 1 に示すような，人間の動作と映像を組み合わせたパフォーマンスが注目されており [3]，演者の動作が映像に作用しているように見せることで，観客の驚きや笑いを誘っている．
しかし，演者は映像を背にして演技したり，ステージ上を移動しさまざまな方向を向くため，映像を常時確認できるわけではない．したがって，映像に背を向けたまま動作と映像が連動したパフォーマンスを行うことが困難で，映像と演者が直接掛け合うイ
ンタラクティブなパフォーマンスを行うことが難しかった．
これまでのパフォーマンス支援のための情報提示システムとしては，演説やニュースの原稿を表示するプロンプタ [4] や，プレゼンテーションソフトの原稿表示機能があるが，定位置での使用が前提となっており，本研究で扱うようなステージパフォーマンスでの使用は考えられていない．そこで本研究で∗Copyright is held by the author(s).
Jun Ikeda, Tsutomu Terada and Masahiko
Tsukamoto, 神 戸 大 学 大 学 院 工 学 研 究 科, Yoshinari
Takegawa, 神戸大学自然科学系先端融合研究環

図 1. 映像を使用したステージパフォーマンス

は，頭部装着型ディスプレイ (HMD: Head MountedDisplay）を使用して演者が必要とする映像情報を提示するシステムを構築する．
これまで，HMD を使用した情報支援としては，バイクレースにおいて走行タイムや路面状況を提示するシステム [5] や，ボーカリストにステージの様子を提示する試み [6] がある．どちらもプロの現場で運用されており，結果からもその有効性が示されている．特に [6] では，普段は見えにくい観客の表情を見ながら歌うことができ有用であったという意見が得られている．しかし，これらの支援では，使用者と映像の連動の支援は考慮されていない．
以下，2 章では対象とするパフォーマンスについて説明し，3 章ではシステム設計について述べる．4章で評価と考察を行い，5 章では実運用について説明する．最後に 6 章で本論文をまとめる．

WISS 2009

観客への映像提供装置(スクリーン )映像情報
制号御信映像

HMD

映像制御装置2

映像と連動したパフォーマンス

既存のインタラクティブパフォーマンスは，作りこまれた映像に演者が合わせて演技するものや，システムが演者の動きを検出し，映像を動的に生成するものが多かった．特に前者のパフォーマンスにおいては，映像の内容を記憶し，自身の立ち位置や振る舞いなどを覚え込む必要があり，大変な労力と時間を要する．また，映像にランダムな要素を付加した場合，観客の方を見ながらパフォーマンスをすることは難しく，表現の幅が限定されていた．
図 2 の例は，観客側を向いてダンスを行い，その動作に合わせて背景映像にエフェクトを表示するパフォーマンスである．このような場合，映像は演者の背後に表示されているため，振り返る動作等なし
では映像を全く確認できない．また，図 1 右の例は，演者の口からシャボン玉が出ているように見せるパフォーマンスである．このような場合，表示された映像との距離が近いため映像全体を確認できない．

3

システム設計前章で述べたように，パフォーマンスにおいて演者が映像全体を確認できる状況は少ないが，スムー
ズな演技を行うためにはタイミングや位置など，映像中の情報を得る必要がある．そこで，本研究では演者に対して，適切な情報を適切な提示装置によって提示するシステムの構築を目指す．そのために，提示装置を選定し，演者に有用な提示内容を考える．

3.1
3.1.1

ハードウェア設計
情報提示装置の選定

演者へ提示する情報として，映像，音，振動などを用いることが考えられるが，演者は映像中の表示内容や，位置や，タイミングなど多くの情報を必要としており，これらの情報を音や振動によって提示するのは困難である．したがって，演者へ提示するコンテンツは基本的に映像コンテンツとする．また，ステージ上の演者は，演技中にさまざまな状況に置かれる．そのため，多くの状況に対応可能な情報提示装置を選択する必要がある．

カメラ
観客への映像提供装置(プロジェクター)

演者

図 2. 観客側を向いたパフォーマンス

ＰＣ

図 3. システム構成

据え置き型ディスプレイを用いた場合，映像の視認性は高いが，演者がディスプレイに視線を向ける必要があるため，演技の自由度が制限される．また，実際のイベント等では複数台設置によって演者のさまざまな位置や向きに対応しているが，設置コストが高い．したがって，本研究では HMD を用いることとした．対象とするパフォーマンスでは，演者の状況や必要な情報はさまざまで，パフォーマンス中に必要な情報が変わったり，複数種の情報が求められるため，方向，位置，姿勢を問わず，常に映像を確認できる HMD が有効であると考えられる．HMDの使用により，演者はステージ上に表示された映像を直接見られない状況でも，映像の変化のタイミングや自分の動作を確認して，映像に合わせた演技が可能となる．デメリットとしては，演者が機器を身に着けることで見た目が不自然になる点がある．

3.1.2

ハードウェア構成

ハードウェア構成を図 3 に示す．システムは PC，プロジェクタおよびスクリーン，HMD，映像制御装置，カメラから構成される．観客が鑑賞する映像は PC から出力され，プロジェクタによりスクリーンに投影される. 演者は主に表示された映像の前に立ち，支援システムからの映像が表示された HMDを装着して演技する．演者はステージ上で演技を行いながら無線ボタンを操作したり，センサを用いて演技の動作そのものを操作に使用したりすることで，演技に合わせて映像を変化させられる．

3.2

提示映像の生成スムーズな演技を可能にするため，適切な提示映像を選定する必要がある．また，選定した映像を必要に応じて加工したり，経過時間など，付加的な情報を提示することも有用であると考えられる．

3.2.1

提示映像の選定

提示する映像内容として，スクリーンに投影したコンテンツと同じ映像や，演者と映像中の物体の位

Design and Implementation of a Performer Support System for Interactive Visual Performances

置関係を把握するため，カメラによって観客側からステージを撮影した映像が考えられる．以下では前者を「ステージ用映像」，後者を「カメラ映像」と呼ぶ．ステージ用映像は視認性が高く，映像に遅延がないが，画像中に演者が含まれないため演者とス
クリーン上の物体の位置関係が把握できない．一方，カメラ映像は演者自身とスクリーン上の物体の位置関係が把握できるが，ステージ用映像に比べて視認性が低く，カメラ撮影による遅延がある．このように，両手法にはそれぞれ長所，短所があり，パフォーマンスの内容によって使い分けるべきである．

3.2.2

提示映像の表示機能

提案システムでは演者が演技しやすい映像を提示するため，以下の機能をもたせることで，用途に合わせて，映像の表示方法を選択できるようにした．
なお，描画先画面の指定機能と色変更機能は，映像コンテンツ自体を加工するため，カメラ映像では使用できない．

図 4. 関連情報の表示機能

描画先画面の指定機能
演者は HMD に表示された，ステージ上の映像コンテンツを確認するが，コンテンツの全ての要素を見る必要はない．具体的には，背景や，装飾的に配置された図形などは，演者への提示画面に表示する必要はなく，演者が触っているように見せるオブジェクトなど，演技動作に関連するオブジェクトのみを選択して，表示すればよい．逆に，演者への提示画面のみに，オブジェクトの移動先を示すマーカなどを表示することで，演技を支援できる．
色変更機能
色情報が重要でない場合，図形などの各オブジェクトの色情報を破棄し，全てのオブジェクトを輪郭のみ描画することで，シンプルで見やすい画面を提示できる．また，特定のオブジェクトの色を変えることでも演技を支援できる．
差分部分の強調表示機能
演者自身と映像中のオブジェクトの位置関係を見やすくするため，パフォーマンス開始時のスクリーンを撮影し，そこからの差分部分を特定の色で塗りつぶすことで，スクリーンの前に立った演者や映像中に現れたオブジェクトを強調表示する．
関連情報の表示機能
付加的な情報として，図 4 に示すように，経過時間と入力フィードバックを表示できるようにした．
経過時間はパフォーマンス開始時からの時間を表示
し，入力フィードバックは映像制御信号の入力があった場合に赤色の図形が表示される．表示位置については，画面上の 4 隅から選択できる．

図 5. 描画先画面の指定コマンドの使用例

3.2.3

機能の使用方法

描画先画面の指定機能と白黒表示機能を使用する
ためには，映像コンテンツを作成する際に機能に対応したコマンドを使用する必要があるが，できるだけコンテンツ作成者に負荷をかけずに機能を利用できるようにする必要がある．そこで，提案システム
では，Processing[7] の描画コマンドでコンテンツを作成する環境を想定し，提案機能を利用するためのコマンドライブラリを実装した．Processing の描
画コマンドの先頭を大文字にすることで提案機能に対応した描画コマンドが実行されるため，コンテンWISS 2009

図 6. 文字探しゲーム

図 7. ボール拾いゲーム

ツ制作は通常の Processing とほぼ同様に行うことができる．実装したライブラリには，約 20 種類の描画コマンドの他，コンテンツ開始時に各種設定を行うコマンドなどコンテンツ作成のためのさまざまな機能を提供している．
通常の Processing のプログラムと，描画先画面の指定コマンドを使用した例を図 5 に示す．コンテンツのプログラム中に描画先を指定するコマンドを挿入することで，図形，画像，文字などの各オブジェクトについて，スクリーンと HMD の両方またはどちらか一方を指定して記述する．色変更機能，差分部分の強調表示機能，関連情報の表示機能に関しては，プログラム中に ON/OFF を切り替えるコマンドを記述して使用する．

4

評価実験

提示装置が演技に与える影響を評価するために，インタラクティブパフォーマンスの要素をもつゲー
ムによる演技精度の評価と観客によるアンケートをもとにした演技の自然さの評価を行った．プロジェ
クタからスクリーンの距離は約 7m，スクリーンには縦約 2m，横約 2.7m のサイズで，映像の下端が床から約 60cm の位置に投影し，HMD の比較対象として，据え置きディスプレイを使用した．ディスプレイのサイズは 17 インチで，スクリーンの中央からプロジェクタ側に 3m の位置に 1 つ設置した．
映像制御にはエレコム社製の無線マウス M-D13URを使用し，ボタン操作によって，映像の変化を制御できるようにした．ソフトウェアの開発および，映像コンテンツ制作には Processing を使用した．

4.1

ゲームを使用した実験

情報提示装置の映像をもとに，演技の速さ，位置把握の精度，タイミング認識の精度の 3 つの項目を評価するため，それぞれに対応する 3 種類のゲームを構築した．各ゲームにおいて，HMD と据え置
きディスプレイ，支援なしの 3 通りの情報提示方法を評価した．演者は映像の表示されたスクリーンの前に立ち，観客がいると想定して，前を向いてゲー

図 8. リズムゲーム

ムを行った．ただし，支援なしの場合は前を向いたまま演技ができないため，演技中に振り返り，スクリーンに表示された映像を直接見て演技を行った．
各ゲームの目的と内容を以下に示す．
文字探しゲーム
映像中の情報の読取り速度および正確性の評価を目的としている．ゲームの様子を図 6 に示す．画面の領域を 4 分割し，ランダムな 1ヶ所にはアルファベットを表示し，その他の 3ヶ所には数字を表示する．演者はアルファベットの表示された領域を叩く動作を行う．選択した領域の正誤を演者以外の者が目視で判定し，正しければ得点を 1 点加算し，40 秒間での得点を記録した．
ボール拾いゲーム
映像に対する演者自身の位置把握の評価を目的としている．図 7 に示すように，画面上を直径約 20cmの円が上端から下端へと垂直に通過し，演者は両手のどちらかで円を受け止める動作を行い，掌に重なって通過すれば得点を 1 点加算した．円はランダムな7ヶ所を通過し，合計 50 個での得点を記録した．
リズムゲーム
映像変化のタイミング認識の評価を目的としている．ゲームの様子を図 8 に示す．演者は，4 章で述
べた無線マウスを装着し，中央からランダムに 4 隅のいずれかに移動する円が，あらかじめ表示された4 隅の円と重なるタイミングでボタンを押すと，効果音の出力と得点の加算が行われる．円が重なるタイミングと約 ±0.13 秒以内ならば 2 点加算され，約±0.26 秒以内ならば 1 点加算される．これを 50 回行い，満点は 100 点である．また，パフォーマンスを想定し，ボタン操作と同時に重なる円の方向を叩く動作を行わせた．
各組合せについて 20 代の男性 5 名の被験者に，ステージ用映像とカメラ映像の両方で，1 度ずつゲームを行わせた．各ゲームの提示装置別の得点を図 9

Design and Implementation of a Performer Support System for Interactive Visual Performances

HMD
10090
80
70
60
50
40
30
20
100

数点

据え置きディスプレイ

⽀援なし
78.5 74.7

39.4

69.6

44.2 44.8

22.6 23.9 21.6

⽂字探しゲーム

ボール拾いゲーム

リズムゲーム図 9. 提示装置別のゲームの得点に示す．結果として，1 元配置分散分析を行ったところ，いずれのゲームでも提示装置による有意な差はみられなかった．よって，HMD と据え置きディスプレイのどちらも，スクリーンを直接見た場合と同等の読み取りができるといえる．

4.2

パフォーマンスの実演による実験

観客側からの評価として，演者の状況別に 3 種類のパフォーマンスについて，ゲームでの実験と同様の環境で演技を行った．各パフォーマンスの目的と内容を以下に示す．
スライドを動かすパフォーマンス
前を向いた演技での評価を目的としている．演者
は映像中にランダムに 4 方向で表示された矢印の向きを読み取り，その方向へスライドを移動させる動作とともにボタンの操作を行う．スライドは矢印の方向へ移動 (図 10) し，次のスライドが現れる．この演技を 10 回行った．
ボーリングパフォーマンス
映像から離れ，実物体を扱う演技での評価を目的としている．演者は動作に合わせて，ボタンの操作を行い，映像中のピンが倒れる．離れた位置からボールを転がしてピンを倒す演技 (図 11) を 3 回行った．
なお，映像から離れる距離は約 3m であったが，より遠く離れた状況を再現するため，スクリーンの映像を縮小し，縦約 1.2m，横約 1.6m のサイズで，下端が床から約 10cm の位置に投影した．
シャボン玉パフォーマンス
映像に密着した演技での評価を目的としている．
演者は映像中のランダムな位置に表示された円に近づき，息を吹きかける動作とともにボタンの操作を行い，口からシャボン玉を吹き出す演技 (図 12) をする．この演技を 3 回行った．

ステージ用映像とカメラ映像の両方で，3 つの演技を 1 度ずつ行い，20 代の 16 名の被験者に対して，演者が映像を確認する自然さのアンケートを行った．
提示装置別のアンケート結果を図 13 に示す．スラ
イドを動かすパフォーマンスとボーリングパフォー
マンスでは，有意差は確認できなかった．よって，前を向いて行うパフォーマンスや，映像から離れて行うパフォーマンスでは，据え置きディスプレイとHMD の両方で自然に映像を確認できるといえる．
一方，シャボン玉パフォーマンスでは，ディスプレイを使用した場合の点数が低く，HMD を使用した場合の点数が高くなった．演者はシャボン玉を吹く
演技をする際に，スクリーンに密着して横を向いて演技を行うため，ディスプレイの方向に自然に視線を動かすのが困難で，映像を確認する動作が目立つためだと考えられる．よって，映像に密着して演技を行う際は，HMD が据え置きディスプレイよりも優れているといえる．今回の実験では据え置きディスプレイは 1 台での使用であったが，今後は複数台設置した場合についても調査し，HMD との比較を行っていく予定である．

5実運用

2008 年 12 月 13 日および 14 日に神戸ルミナリエ
イベントステージ，2009 年 6 月 27 日にホテル阪急
インターナショナルでのウェディングショーにて，提案システムを使用したパフォーマンスを行った．パ
フォーマンスの内容は，メッセージの書かれたスライドを動かす演技，演者の口や手から多数のシャボン玉を吹き出す演技 (図 14) などで，それぞれ，60秒 ∼120 秒のパフォーマンスを行った．
確認できた有用性として，観客の方を向いたまま演技を行う場面やスクリーンに密着して演技を行う場面など，スクリーンの映像全体を直接見ることが困難な場面において，HMD に表示された映像を常に確認でき，落ち着いて演技できたことがある．問
題点としては，ボタンの誤操作を防ぐために，無線マウスを装着した手を激しく動かせないことがあげられる．解決のためには，演技の動作に影響を与えない映像操作手法への改良が必要となる．

6

おわりに

本研究では，映像と連動したインタクティブパフォーマンスにおける演者支援システムを構築し，評価を行った．提案システムは，演者の位置や姿勢によらず，常に映像を確認しながら演技を行うことができ，観客側を向いたまま演技ができるなど，表現の幅を広げることができる．また，評価実験により，既存手法である据え置きディスプレイと比べて，映像を確認する自然さの点で，HMD の使用が有利である場合があると確認できた．

WISS 2009

図 10. スライドを動かすパフォー
マンスHMD
54

4.1

4.0

4.0

3.8

図 11. ボーリングパフォーマンス

据え置きディスプレイ
4.1
3.3

数
点2
3

[2] K. Fukuchi, S. Mertens and E. Tannenbaum. EffecTV: a real-time software video eﬀect processor
for entertainment. In Proceedings of the 3rd International Conference on Entertainment Computing , pp. 602-605, 2004.
[3] 小 林 賢 太 郎. KENTARO KOBAYASHI LIVE
『POTSUNEN』& KENTARO KOBAYASHILIVE POTSUNEN 2006『○ ∼maru∼』. ポニー
キャニオン, DVD, 2007.

10

図 12. シャボン玉パフォーマンス

スライドを動かす

ボーリング

シャボン⽟

図 13. 提示装置別の映像を確認する自然さ[4] 日 本 放 送 協 会. 番 組 作 り に 活 躍 す る も の.
http://www.nhk.or.jp/kodomo-land/yellow/
yellow katuyaku.html/.
[5] T. Terada, M. Miyamae, Y. Kishino, T. Fukuda,and M. Tsukamoto. An Event-Driven Wearable
Systems for Supporting Pit-Crew and Audienceson Motorbike Races. In iiWAS2008 Special issue
in Journal of Mobile Multimedia (JMM), Vol. 5,No. 2, pp. 140-157, 2009.
[6] ウェアラブルコンピュータ研究開発機構. おそらく世界初!?ウェアラブルによるパーソンズ音楽ライブのサポート. チームつかもと会報誌「ウェアラブルでいこう」, Vol. 00, 2004．
[7] Processing. http://processing.org/.

図 14. シャボン玉を吹き出す演技

今後は，提示内容についての評価を行っていく予定である．さらに，イヤホンなど他のデバイスと連携させ，さらに高度な支援を目指す．

謝辞
本研究の一部は，科学研究費補助金特定領域研究(21013034) および中山隼雄科学技術文化財団研究助成の支援によるものである．ここに記して謝意を表す．

参考文献[1] M. Fujimoto, N. Fujita, Y. Takegawa, T. Teradaand M. Tsukamoto. Musical B-boying: A Wearable Musical Instrument by Dancing. In Proceedings of the 7th International Conference on Entertainment Computing, pp. 155-160, 2008.