情報処理学会 インタラクション 2017
IPSJ Interaction 20173-503-16
2017/3/2

モバイル端末複数台を集合体的に利用した VJ 表現の提案
綿貫岳海†1平林真実†1小林孝浩†1

概要：本稿では,iPod Touch 20 台を VJ のように制御することで,クラブ空間での新たな演出を試案,製作しライブにて数度実演した.制御する本システムについての説明と,どのような演出ができたのかということについて説明,考察する.

Proposal of VJ using Multiple
Mobile Devices in Aggregate Way
TAKEMI WATANUKI†1 MASAMI HIRABAYASHI†1
TAKAHIRO KOBAYASHI†1
Abstract: This paper proposes a new way to support VJ and Decoration. We made a system called the “iPod Jockey”
which controls 20 iPod Touches as a VJ. As I have performanced this system in a club house already, I will illustrate this“iPod Jockey “ system and investigate how it supports the VJ and Decoration direction from my experience.

1. はじめにからパフォーマへのインタラクションを可能にし,相互関係を実現している[2].また青木らによる鉄道空間内での現在,クラブ空間における Visual Jockey(以下 VJ)とは必iPad を用いた VJ デコレーション表現作品は,鉄道空間とい要不可欠の存在となっており,新規性がもとめられているう限られたスペースの中での,モバイル端末による画面のこ と も 間 違 い な い .音 楽 会 場 に お け る 新 た な 体 験 と し て拡張と GPS データから分析しリレー制御のように速度の様々なデバイスの提案や取り組みが行われてきた.

可 視 化 を 行 う こ と が 目 的 と さ れ て い る [3]. 神 田 に よ る

本稿では,iPod Touch 端末 20 台をクラブ会場の壁などに「F_M_B」はラップトップ PC と接続された複数台のタブ貼り付け,VJ のように全台を集合体的に制御することでクレット端末を制御用のタブレットからの信号を柔軟に受信

ラブ空間での新しい演出につながらないかと提案した.こし,音と映像の出力装置として扱った演奏システムである

こで言う集合体的制御とは iPod Touch 端末それぞれに割[4].

り振られた個別 ID 番号をもとに波のように全体が映り変本稿における作品のコンセプトは既存にある複数台のモわる演出や 1 段目 3 段目と 2 段目 4 段目が交互に変化する

バイル端末の利用作品の特徴の中でも,特に同時かつ集合映像の呈示の仕方などがある.また iPod Touch 端末は機能体的制御をベースとした,インタラクションのある VJ 映像として,インカメラ,ディスプレイ,マイク,加速度センサなを端末のディスプレイに呈示させることに重きをおくことどを持ち合わせている.それらを用いた映像の呈示の仕方とである.

を行うことで新たな演出につながらないかと考え実装した.

2. 先行事例・関連研究

3. 作品について
3.1 概要複数のモバイル端末を組み合わせた作品は本研究とは目

本作品「iPod Jockey」は iPod Touch 端末 20 台をクラブ

的が違うが,すでにいくつか研究されてきた. THOMSON

会場の壁に貼り付け,ラップトップ PC から OSC 通信によ& CRAIGHEAD らによる TELEPHONY は 42 個の携帯電り制御を行う演出システムである.iPod 端末が持っている話端末に別々の着信音が登録され,連 鎖 的 に 着 信 が そ れ

インカメラやマイク,加速度センサからのデータをもとにぞ れ に 来 る よ う に プ ロ グ ラ ム さ れ た 作 品 で あ る .着した演出や指示した映像を表示させることが可能である.

信音が重なっていくことで音楽を創出するという制御方法は 3 種類あり,リアルタイムな演出には操作性のも の だ [1].また平林らによる高可聴領域を用いた音声 ID

高い iPad アプリからの制御,ラップトップ上で制御可能なの顧客参加音楽作品は,観客の所持しているモバイル端末†1 情報科学芸術大学院大学
Institute of Advanced Media Arts and Sciences© 2017 Information Processing Society of Japan732

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-503-16
2017/3/2

openFrameworks を用いたアプリケーション.展示など自動制御が必要な際は Max からの制御が可能.

た.
3.

操作性を重視するために別のタブレット端末か3.2 システム構成

ら操作を行うアプリケーションも開発した.

全体の構成は制御用ラップトップ PC、無線通信装置、端末

swift により開発を行い,仕組みとしては iPad かからなる.PC では oF または MAX で作成アプリを動作さら OSC 信 号 を ラ ッ プ ト ッ プ 上 の Max へ 送せる.

り,Max から iPod 端末へ OSC 信号が送られA.通信についてる.iPad は操作性も高く,ライブなどで実際に使各端末への信号を送信するには OSC 通信を用いた. シス

用する際もこのタブレット形式を採用することテム構築の容易性を狙い、当初はアドホックモードによりが多い.

ネットワークを構成していたが,13 台を超える端末を扱うようになってからは同時接続数の限界のためか,遅延や通信エラーが多発するようになった.そのため iPod Touch 端
末と制御用ラップトップ PC を通信容量の大きい Air Mac
Extreme のような無線 LAN ルーターへとつなげることで問題を解決した.

図 １

システム構成図Figure 1 System Overview.
B.端末上のアプリケーションについて

図 2

操作 UI 画面(openFramework 製)

Figure 2 View of Controller UI View(made in

iPod Touch 端末上で稼働するアプリは swift により開発

openFrameworks).

を行った.制御 PC から送られてくる OSC 信号に対応した画面遷移と映像を呈示した.映像はレイヤー分けされたいくつかのパーツから成り立っており、レイヤーの表示,非表示を切り分けながら演出に合わせた映像の切り替えを可能とした.また,集合体の中で連携した表現を可能とするために各端末に ID を振り分け,個別に演出を行えるようにした.
C.制御用ソフトについてこれまでに 3 種類の制御手法を行ってきた.
1.

openFrameworks により開発したラップトップ
上で操作可能なアプリケーションは制御したい端末の IP に切り替えることでそれぞれに OSC信号を送信し、任意の映像を呈示させることで

図 3 各操 UI 画面(swift 製)演出を行った.リアルタイムに端末を選択し、映Figure 3 View of Controller UI (made in swift).

像を切り替えることができたが、マウスで制御したい端末一つ一つを選択しなければならない点に関しては操作性が低かった.
2.

4. 実演

Max により開発したアプリケーションは主に展

これまでに 6 回のクラブ会場での実演,2 回の展示,1 回の示を想定して開発を行い,制御せずとも自動制音楽イベント会場での実演を行ってきた.以下が詳細な日

御で OSC 信号を送信できるようにした.また信程と実施会場である.

号はブロードキャストにより全台へ信号を送り,

8/7 AkiParty2016@秋葉原 mogura

信号の中に操作対象とする端末の ID を持たせ8/13 名古屋 Quatro© 2017 Information Processing Society of Japan733

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-503-16
2017/3/2

8/20-21 Summer Sonic Art 展 2016

見ることができた.

9/2 kiddle@名古屋 club domina

B.端末の集合体としての演出

9/11 常夏 ice cream@恵比寿 KATA実演を行っていく中で端末１つ１つの輝度が高く,LED

11/9-10 ISCA2016@大阪グランフロントのように捉えられるが,画質もそれぞれ高いことが面白い”

12/3-4 Ogaki Mini Maker Faire@ソフトピアホールというコメントをいただいた.既存の VJ であれば一つのデ

12/9 kiddle@名古屋 club dominaィスプレイあるいはスクリーンに対して１面の映像を呈示

12/17 Club Train 2016 @樽見鉄道.

するものの,本作品はそれらの映像を同画質のままバラけ

イベントを終える度にアップデート必須な要素を洗い出させることが可能であり,各々にしっかりとしたセンサ,カし,実装を行ってきた.端末の並べ方は,会場の貼り付け可能メラを搭載し,インタラクションが可能であることが特徴な場所により臨機応変に対応して貼り付けを行ってきた.

的だったと考える.
C.アプリのリスクマネジメント

制作を始めて最初の頃は実演中に端末側のアプリケーションがクラッシュしてしまい,ホーム画面が表示されてしまうアクシデントが起こることがあった.端末が自分で操作可能な距離にあればすぐに修復できるものの,離れている場合は修復作業が困難であり,ましてや実演中に端末のホーム画面が表示されることはナンセンスである.対策として,受けた OSC メッセージの中に不足した情報がないか一度確認してから処理を行うようにすることでアプリケーションのクラッシュを防いだ.
D.VJ ソフトとしてVJ ソフトにはいくつかの映像をオーバーレイしていく
図 4 会場風景Ⅰ(名古屋 Quatro)仕組みがあり,コンテンツの掛け合わせにより会場での盛Figure 4 Scenes of PerformanceⅠ(Nagoya Quatro).

り上がりの上下に沿った演出を行っている.iPod Jockey でも数段階のレベルで表示していくオブジェクトの量を調整することで演出を実現した.
E.開発言語について

iPod Touch 端末側での開発は swift を用いて開発を行い,アニメーションとグラフィック画像データの組み合わせにより演出をおこなってきた.幾何学的模様を swift により描画するには手間が少しかかるため画像データを代用していた.swift でもクリエイティブコーディング可能な C4と い う フ レ ー ム ワ ー ク を 用 い る こ と で processing やopenFrameworks のようなコーディングが可能になるということから今後はこちらへのシフトも行っていきたいと考えている.
図 5 会場風景Ⅱ(クラブ café domina)
Figure 5 Scenes of Performance Ⅱ( club café domina).

5. 考察
A.体を動かしたくなるような仕組み

6. おわりに
本論文では,iPod Touch 端末 20 台を VJ のように集合体的に制御することでクラブ空間での新たな演出を狙って開発を行ってきた.これまでの実演を重ねるたびにその新たな可能性は感じ取ることができた.これまでの VJ とは イ

インタラクションのあるシステムとしてインカメラの映ンカメラ映像を用いた演出や,細かいディスプレイの集合像を呈示する際に,再生するタイミングを数ミリ秒前後に体により新鮮な映像などが新たな演出につながったものとずらすことでお客さんは再生される映像とのズレから体を考える.

動かしたくなる仕組みを想定していた.実演では実際に手今後の展望としては,VJ 表現の幅をより広げるためにもを振る動作や,端末の前で全身を動かすお客さんが何度もコンテンツをより多く増やし,掛け合わせることが可能に© 2017 Information Processing Society of Japan734

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-503-16
2017/3/2

することや,インカメラ映像をうまく組み合わせたコンテンツの制作をおこなっていく.また台数を増やし,今以上に集合体としての表現が可能ではないかとさらに追求していくつもりである.
謝辞

本作品を制作するにあたり,iPod 端末を何度も貸していただいた情報科学芸術大学院大学(IAMAS)赤松正行 教 授 ,実 験 の た め に 外 部 イ ベ ン ト へ 誘 っ て い た だ い た
IAMAS 修士２年の佐野和哉さんに感謝申し上げます.

参考文献
THOMSON & CRAIGHEAD :TELEPHONY< http://www.thomson-craighead.net/teleph.html >(参照2016-12-12)[2] 平林真実, 高可聴域音による音声 ID の観客参加型音楽作品へ の応用, インタラクション 2014, インタラクティブ発表,(2014)[3] 青木聖也, 鉄道などの狭い移動体空間を利用した VJ・デコ
レーション表現の提案,インタラクション 2014,インタラク
ティブ発表,(2014)[4] 神田 竜: F_M_B,<https://www.youtube.com/watch?v=qp3Xz9biJHw>(参照2016-12-12)[1]© 2017 Information Processing Society of Japan735