iPhone による観客と VJ のセッションシステム
白井	  大地	  	  	  白鳥	  啓	  	  	  岡村	  綾子	  	  	  平林	  真実UStream,などリアルタイムでの動画配信サービスが一般化してきている。同時に Twitter など SNSも普及している。これらのサービスを利用すれば、コンサートなどのイベントで実際に会場に来なくても体験を共有する事ができる。NxPC.Lab では主にクラブ空間をターゲットにイベントのUStream 配信、インタラクティブなシステムの開発を行っている。これまでのクラブ空間は、DJ/VJのような演奏者の演奏によって演出されてきた。iPhoneVJ システムは観客が iPhone によって VJ に参加し、VJ とインタラクティブに繋ぐことによって空間演出に参加するシステムである。

VJ by iPhone and spectator's session system
DAICHI SHIRAI†SHIRAITORI KEI‡OKAMURA AYKO‡HIRABAYASI MASAMI‡

The streaming service by the real time such as UStream generalizes. SNS such as Twitter is widespread atthe same time, too. If these services are used, the experience can be shared even if not actually coming to thehall in the event of the concert etc. UStream delivery of the event and an interactive system are chiefly
developed in NxPC.Lab aiming at the club space
A current club space has been produced by the player's performance like DJ/VJ. The iPhoneVJ system is asystem that participates in the space production by the spectator's participating in VJ by iPhone, and tying to VJ
interactively.

1.

はじめにン、さらに会場の観客／演奏者とネット上の視聴者を繋ぐインタラクションを開発することで、クラブ空間

我々はインタラクティブな環境を構築するためのシを拡張する事ができる。今後、クラブ空間のみならず、ステムや装置を開発するため NxPC.Lab を立ち上げ、様々なコンサートやイベントで益々一般化していくと実験の場として NxPC.Live というイベントを行って思われる。しかし、実際の実施において、このようないる。NxPC.Lab ではクラブ空間を主なターゲットとインタラクティブな環境の構築は、現場でのシステムして、実際にインタラクティブなシステムの開発、イの安定的な運用や、演奏者の協力などが必要で難しいベントの開催を行っている。

点が多い。誰もが考える事ではあるが、実際に行われ本 稿 で は 、 会 場 の VJ シ ス テ ム と 観 客 を 結 ぶ
iPhoneVJ システムについて報告する。
iPhoneVJ システムでは観客の“踊る”というインている例は少ない。

1.3 目 的タラクションに注目した。DJ の流す曲で踊る際、手	  現在はコンピュータの発達により、DJ/VJ のようなに iPhone を持ってもらうだけで、VJ の映像にセッシ演奏者が発信するだけのパフォーマンスではなく、観ョンできるシステムを開発した。会場の音楽、観客、客とインタラクティブにやりとりができるパフォーマ映像の盛り上がりを繋げることができると考えた。

ンスが可能だと考えられる。VJ に気軽にセッション1.2 背 景できる仕組みがあればこれを実現できると考えた。	  観客が VJ に参加してもらうためのデバイスとしてUStream などネットワークでリアルタイム放送がでここでは iPhone を使っている。iPhone は多くの人がきるサービスが一般化してきている。また、twitter や所有しており、イベント用のアプリを app store で無Facebooke などのリアルタイムにコミュニケーション料ダウンロードできるようにすれば会場でデバイスをを行えるサービスも普及している。これらを使い会場配らなくてよい。また、マルチタッチ、加速度センサ、に来なくてもネットワークをかいしてクラブ空間を共カメラ、マイク、GPS など多くのセンサ類が内蔵さ有する事ができるようになった。このような状況を踏れており、これらのセンサ類を使えば専用デバイスをまえ観客と DJ/VJ のような演奏者とのインタラクショ作らなくても十分事足りると考えたからだ。現在はiPhone 版しか開発していないが、今後は android など

情報科学芸術大学院大学
国際情報科学芸術アカデミー

他のスマートフォンでの開発も検討している。	  従来の VJ ならば事前に映像を用意し、自分で操作情報処理学会 インタラクション 2011

する事になるが、iPhone による VJ システムでは VJほどになり、このメンバー以外ではライブを行う事がは映像を用意するだけではない。観客にどんな動きをできない。2010 年のワールドツアーの際には appさせる事で、映像がどう変化するかというインタラク

store にてライブ専用 iPhone アプリ“SYNC”をリリションデザインも考えることになる。簡単な操作で変ースした。“SYNC”は観客と演奏者の間のコミュニ化が大きいものでなければ、観客には何が起こっていケーションに対する実験で開発された。iPhone の画るのかが解りづらく、演奏よりも iPhone の操作に気面の映像が曲のテンポに同期して点滅したり、観客のがいってしまう恐れがある。そこで、加速度センサとインタラクションが VJ に反映することで観客と演奏タッチセンサを使った簡単なインタラクションを考え者をインタラクティブにつないでいる。

ることにした。クラブの観客は会場で曲に合わせて踊	  藤本実 3)の行っている Wearable	 LED はダンサーがっているので、手に持って踊ってもらう事で映像に反全身に LED をつけたスーツ着てパフォーマンスを行う。

映するようにした。また、曲のテンポに合わせて画面LED はダンサーの動きに応じて光り方が変わる。このをタッチすることで web カメラが切り替わるようにシステムは機材の設置位置から移動できない DJ/VJ とした。

違い場所を選ばすにパフォーマンを行えるのが特徴だ。

3 開発環境及び仕様機材
2 関連研究NxPC.Lab では演奏者と観客、ネット上の視聴者を・音響や画像などリアルタイム処理が行える
Cyclin’74 の max.msp.jitter

インタラクティブに繋ぐシステムの開発、イベントの・ Java ベ ー ス で メ デ ィ ア 処 理 む け に 使 わ れ る

開催を行っている。その点において共通しているイベProce55ing

ントを以下に挙げる。

・OSC(Open Sound Control) 電子楽器やコンピュータ	  テクノポップミュージシャンの平沢進が 1994 年かでデータ共有を行うための通信プロトコルである。

らインタラクティブ・ライブというコンサートを開催

MIDI では不可能だったリアルタイム性の利用が可能している。ロールプレイング・コンサートとも言われである。一般的に UDP で仕様する。

るこのコンサートでは、会場内に様々なインターフェ・カオスパッド KP2 KORG の開発したタッチパッド

イスが仕掛けてあり、コンピュータを介して平沢進とによる音用エフェクター。KP2 はバージョン２にあ観客がインタラクティブに対話をする。会場には巨大たる。バージョン１は映像のコンポジットの入出力がスクリーンがあり、ここにリアルタイム CG が映る。

あったが、KP2 以降はないため、MIDI で映像の制御

コンサートにはストーリーが存在するが、観客の意思を行う。

でストーリーが分岐する。例えば、ストーリーの分岐

・ QuartzComposer MacOSX 用 の 統 合 開 発 環 境点になるとスクリーンに二つの扉が表示される。観客

Cyclin’74 の max.msp.jitter と同じくパッチ型プログラはどちらか開きたい方へ大きな歓声を向けると扉を開ミングを行う。

く事がきる。他にも、気象予報用の巨大な風船にセンサを取り付け、観客が手を叩くとサンプリングマシンが起動し、平沢進とセッションできるインタフェース

3.1.1 シ ス テ ム 構 成 1
イベント用に開発したアプリを６台の iPhone にイなどがある。また、テレビ電話を使い戸川淳が遠隔地ンストールし、WiFi を使い iPhone と VJ のパソコンからコーラスで競演している。インタラクティブ・ラを接続する。ここまでの設定が完了したら、会場で観イブは「デジタル・コンテンツ・グランプリ 2001」

客に iPhone を配る。iPhone からの値は OSC で送られで最高賞である経済産業大臣賞と部門別最優秀賞を受る。パソコン側では iPhone 側からの OSC の値をいっ賞している。

た ん max.msp.jitter で 受 け 取 り 、 そ の 後 OSC で	  近年では Richie Hawtin が Plastikman 名義で iPhone

Proce55ing に渡している。VJ 自身はカオスパッドや最先端の照明や映像などの装置を駆使してKP2 を使って、iPhone の操作に割り込む事ができる。

Plastikman Live を開催している。テクノの DJ である

カオスパッド KP2 の MIDI コントロールナンバーもRichie Hawtin は、自身のアイデアを音楽的や音響的iPhone と同じく、いったん max.msp.jitter で受け取り、に実験したい時に Plasticman 名義で活動する。最先端

その後 proce55ing に受け渡している。（図１）の機材を扱うため、Plasticman のクルーは総勢２５人

iPhone による観客と VJ のセッションシステム

3.1.2 シ ス テ ム 構 成 ２ (QuartzComposer ver.)	  iPhone 側のアプリを既存のアプリ”mrmr”に変更した。mrmr は加速度センサなどの値を OSC で送信できる ア プ リ だ 。 パ ソ コ ン 側 の 開 発 環 境 はQuartzComposer に 変 更 し た 。 QuartzComposer は 、qcOSC というプラグインを仕様すると max.msp.jitterを使わずにすむ。Proce55ing ver.では iPhone の反応が

図 4 Proce55ing ver

解りづらいと意見があったため、Proce55ing ver.のよiPhone の画面に表示されている円を指触ると対応すうなモーショングラフィック版（図２）と web cam

る位置に円がプロジェクションされる。円の位置は左の切り替え操作と Twitter と連携するバージョン（図上から連番になっており、その番号を OSC で送信し３）の２パターンを制作した。観客が自由に映像ソーている。

スを切り替えることが可能になり、Twitter アイコン

iPhone を持ちながら踊ることで、加速度センサの Xを VJ の映像に反映させることで現在操作している人軸 Y 軸の値が変わりプロジェクションされている円を示すことができる。

が縦横に引っ張られる。
VJ がカオスパッド KP2 を操作すると全ての円の制
御に VJ が割り込む事ができる。VJ が割り込むと全ての円に重力がかかり、画面の外まで落ちる。	  タッチセンサに反応するプログラムと加速度センサに反応する Proce55ing 側のプログラムは異なるので、VJ が会場の様子を見て切り替える

図 1 システム構成１	 
4.2 操作方法(QuartzComposer ver.1.)
web カメラの切り替え版	  iPhone の画面を四分割する。（図 5）これらがスイッチャーの役割を果たし、ボタンを押すと会場内に設置された web カメラが切り替わる。会場に設置したweb カメラは２台なので、残りの２つのボタンはエフェクトの切り替えに使う。ボタンを押すと現在プロジ

図 2 システム構成 2.1

ェクションされている web カメラの映像にエフェクトがかかる。

図 5 mrmr の GUI(1)
図 3 シ ス テ ム 構 成 2.2	  モーショングラフィック版

4.1 操作方法 (Proce55ing ver.)	  Proce55ing 版では、VJ が映像を切り替えるとイン

iPhone の画面には赤、青、黄色、緑、紫、水色のタラクションが異なる観客に解りづらいシステムだっどれか１色の円が５４個（縦横）表示されており、対応する色の円を操作する事ができる。（図 4）た。そこで、映像を切り替えてもインタラクションは変わらないシステムに変更した。モーショングラフィ
ック版の映像と GUI（図 6）

情報処理学会 インタラクション 2011

どこで iPhone を貸し出しているか解らなかった。
6	  まとめ	  今後の展開	  これまで見るだけだった VJ の映像に観客が参加できるようにした事で、観客も VJ も新たな体験をする事ができた。映像を再生するだけの VJ や音楽に反応

図 6mrmr の GUI(2)するタイプの VJ では、会場の盛り上がりと映像の盛	  iPhone の画面の円を指で移動すると、映像のオブり上がりが一致しない場合がある。観客に iPhone をジェクトも対応する位置に動く。加速度センサの値に渡すことで、会場が盛り上がっている時には映像も盛応じて表示されるオブジェクトの色が変化する。曲のり上がる。会場が落ち着いているときには映像も落ち泊に合わせて iPhone を振ることで表示されるオブジ着く。会場の盛り上がりと音楽の盛り上がりは一致しェクトとパーティクルの色も泊に合わせて変化する。ているので、会場、音楽、映像が上手く一致できたと

また、パーティクルの数と大きさも加速度センサに反思える。

応する。テンポの早い曲の時に iPhone を激しく振れ

しかし、現在 iPhone 側のアプリは既存のものを使っば、表示されるパーティクルの数が増え、大きさも大ているため、GUI が映像と一致していない。今回のきくなる。

VJ に必要のない機能がついており操作を難しくしているという問題がある。この問題はイベント用のアプ

5 体験と考察

リを独自開発することで解決できる。その時々のイベ	  iPhone を振ると映像が変化するというインタラク

ントで使う映像にあった GUI にすること、必要なイションは、音楽に合わせて踊るという行為の邪魔をしンタラクションをアフォードしてくれるデザインをしておらず違和感なく受け入れてもらえた。しかし、タたアプリの開発を行う必要がある。また、現段階ではッチセンサを使うインタラクションは、インタフェー

iPhone は単なるコントローラだと思われてしまう。

スをトラックパッドや midi コントロールから iPhone

今の映像は iPhone を使って web カメラのスイッチンに置き換えただけと受け取られた。

グやオブジェクトの位置を操作するだけだ。	  同じインタラクションだけで映像コンテンツを切りProce55ing ver.ではカオスパッドを使って VJ と観客の替えるだけでは観客に飽きられてしまう。映像コンテ

コミュニケーションをはかったが、今後は観客同士がンツだけでなく、インタラクションの種類も増やす必コミュニケーションをとれる映像コンテンツの開発を要がある。また、観客は自身も VJ/DJ を行う人、コン考えている。例えば、Twitter の利用で、ツィート機ピュータに詳しい人とは限らないので、映像の変化を能も実装することで会場とネットワーク上も繋ぐ VJより大きくしたほうが理解するのに時間がかからなかを行える。

ったと考えられる。既存の mrmr を使ったため、映像のどの部分を操作しているのかが全くインジゲートされていなかった。これは、イベントの進行に合わせて動的に変化する iPhone アプリを開発することで解決できると考えている。プロジェクションされている映像だけでなく、iPhone 側の画面も観客が操作している要素が動的に変化すれば解りやすい。
iPhone の渡し方、使い方の説明をもっと考える必要がある。仮装したスタッフ１人に iPhone を配ってもらったが、iPhone で何ができるのか理解してもらうのに少し時間がかかった。会場は音量が大きいため口頭で説明しても声が通らない。Web サイトや会場のどこかにパネルを用意し、事前に iPhone で VJ とセッションできるという事を告知しておく必要があった。
設置ブースなどを設けず１人に配ってもらったため、

参考

文献

1) 平沢進	  インタラクティブ・ライブ
http://byakkoya.interactivelive.org/modules/tinyd0/index.php?id=52) Plastikman
http://www.higher-frequency.com/interview/2304
3) 藤本実,	 藤田直生,	 竹川佳成,	 寺田努,	 塚本昌彦:ウェアラブルダンシング演奏ステムの設計と実装, 神戸大学大学院
4) Open Sound Control: http://opensoundcontrol.org
5) mrmr:http://opensoundcontrol.org/implementation/mrmr