情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B1-0
2014/2/28

LyricVJ：楽曲構造を意識した VJ 表現を支援する
歌詞インタフェース本多翔†1久留島寛也†1西本一志†2

本稿では，歌詞カードの様な映像操作インタフェースを持つ VJ システムを提案する．VJ 表現の全体デザインを支援する本システムについての説明と，提案システムによって楽曲構造を意識した VJ 表現の支援ができたかについて考察する．

LyricVJ: Lyric Interface for Song-Structure-Aware VJing
Sho HONDA†1

Hiroya KURUSHIMA†1

Kazushi NISHIMOTO†2

This paper proposes LyricVJ system that have video manipulation interface like lyric card. This system to support VJing of total
design. We illustrate this system and investigate how it supports to song-structure-aware VJing.

1. はじめに
Visual Jockey（以下 VJ）とは，流れる音楽やその場の雰曲構成を意識した VJ 表現を行うことができなかった．本
システムによって，VJ が楽曲構造を意識して VJ 表現をデザインすることを可能にし，バンド演奏に対する映像表現囲気を基に，映像演出を行う行為者である．VJ はクラブシの難しさを軽減することで，VJ 表現の全体デザインの支援ーンを中心に認知度を高めてきたが，Jazz，Rock，Pop なを目指す．また，演奏者が歌詞に視覚的なデザイン行い，どの生演奏のバンドに合わせて映像演出を行う機会も近年

VJ との協同制作を実現することで，演奏者の VJ に対する増加している[1]．

意識が変化する事を期待する．

本論文では，特に生演奏に合わせて行われる VJ 表現を支援する VJ インタフェース LyricVJ を提案する．表現ツー

2. 関連研究

ルを構築するにあたっては，表現者の創造性が発揮される映像について扱った研究として，映像の自動生成やイン部分以外の操作的負荷を少なくし，創造性を発揮するためタラクティブ性を高める VJ システムの研究，映像コンテの操作に集中できるようにする仕組みが必要である[2]．そンツの共同制作システムの研究がある．

こで VJ が抱える問題を把握し，VJ の創造性を発揮できるInteractiveDanceClub は，音楽や観客の動きを基に映像をインタフェースを制作するために，筆者は VJ 表現を実際自動生成する VJ システムである．参加者はシステムの説に体験するとともに，VJ への聞き取り調査を行った．その明を受けることなく，映像の変化を意識した動作をし，独結果，クラブミュージックと比較して，バンド演奏に対す自のゲームを作り出した[4]．TurningTheTables はマルチタる VJ 表現は難しいという問題が明らかになった．これは，ッチインタフェースを用いて直感的に VJ 表現を行うシス

バンド演奏では曲の雰囲気やリズムが頻繁に変化することテムである．試用実験では，観客が VJ と共に VJ 表現を行や，歌詞への思い入れからイメージが構築されていること

うインタラクションが発生した[5]．Hook らは，VJ の表現が原因であった．そのため，バンド演奏と合わせる VJ 表だけではなく，技術と VJ の関係や性質を研究することで，現の創作では，楽曲の全体構造や歌詞の内容を意識する必表現豊かなインタラクションの理解と解釈を支援すること要があることが示唆された．また，バンドメンバーの VJを試みた[6]．StoryCrate はテレビを代表する映像制作現場に対する認識は裏方程度であり，VJ の立場が低いという指において，数ある工程の全体状況を提示することで，制作摘がある[3]．原因は複数存在するが，VJ と演奏者が各々の支援を行っている[7]．の表現を独立して制作することが原因の 1 つであると考え以上の研究では，システムを介した人と人，及び映像とており，演奏者と VJ の協同的な制作過程が必要である．のインタラクションによって，VJ や映像制作が抱える問題

本研究では，歌詞カードの様なユーザインタフェースをの解決を果たそうとしている．本研究で提案するシステム

持つ VJ システムを提案する．既存の VJ システムでは，楽は，既存のソフトウェアでは実現されていない VJ 表現の全体デザインを実現するために，歌詞インタフェースによ†1 北陸先端科学技術大学院大学 知識科学研究科
School of Knowledge Science, Japan Advanced Institute of Science andTechnology†2 北陸先端科学技術大学院大学 ライフスタイルデザイン研究センター
Research Center for Innovative Lifestyle Design, Japan Advanced Institute ofScience and Technology© 2014 Information Processing Society of Japanる楽曲構造を意識した VJ 表現構築の支援を目指す．また，371

歌詞に対しての視覚的なデザインを用いて，演奏者の VJースとして歌詞が有用であることを検証するための印象評に対する意識が変化する事を期待する．

価実験を行った．

3. 予備的な調査と実験
VJ が現場で抱える問題を把握するために聞き取り調査を行い，筆者自身も VJ 体験をした．また，VJ 行為の負荷

3.3.1 実験条件
被験者は楽譜を読むことができる者，読めない者各４名ずつの合計 8 人であり，全員が VJ 未経験者である．被験者は，白紙のメモ・楽譜・歌詞カードとペンを使用できるにならないシステムを制作するために，VJ 表現の全体デザ状況で，楽曲 3 曲に対して VJ ソフトウェアを使用し，音イン支援ツールとしてメモ・楽譜・歌詞を使用し，それぞ楽に合わせて映像を選択した（図 2）．

れの印象比較調査を行った．
3.1 聞き取り調査
VJ４名からの聞き取り調査を行った．調査対象となった
VJ の職業は，VJ，デザイナー，会社員，ファッションデザイナーであり，全員がクラブミュージックとバンドミュージック両方に対する VJ 経験がある．今回の調査対象となった 4 名の VJ は現在音楽活動をしておらず，その内 3 名は楽譜を読むことができない．

図2

VJ 表現制作支援ツールの印象評価実験

バンドミュージックはクラブミュージックと比べて，リFigure2. Evaluation Experiment of VJing production

ズムの変化が多く，曲の雰囲気も変わりやすいという特徴

support toolsがある．また，歌詞を含む楽曲が多いため，音だけでなく3.3.2 アンケート

歌詞の意味合いも楽曲イメージに影響を与える要因となり白紙のメモ・楽譜・歌詞カードの印象評価をアンケーやすい．また今回調査を行った VJ 全員が 1 つのバンドやト調査にて行った．アンケートは表 1 の項目をそれぞれのDJ に所属することなく，色々なイベントで複数の DJ やバンドに対して VJ 表現を行うことが多く，1 名の VJ からバンドミュージックに対しては裏方に徹するという発言もあった．

アイテムに対して行った．アンケート結果を図 3 に示す．
表 1 アンケート
Table1. Questionnaires

今回の調査で，音楽経験が少なく，音楽的知識も少ない

好感が持てる-1-2-3-4-5-6-7-好感が持てない

VJ が存在することや，バンドミュージックへの VJ 表現が直接的-1-2-3-4-5-6-7-間接的難しいことがわかった．

単純な-1-2-3-4-5-6-7-複雑な
身近な-1-2-3-4-5-6-7-なじみのない

3.2 VJ 体験
第 1 著者自身も VJ 体験をし，ビデオ撮影を用いて演奏

頼もしい-1-2-3-4-5-6-7-頼りない者から VJ 表現のフィードバックを得た（図 1）．バンド演

スマートな-1-2-3-4-5-6-7-やぼったい奏に対する VJ 体験では，リズムや曲の雰囲気が頻繁に変理解しやすい-1-2-3-4-5-6-7-理解しにくい化することから，納得感のある VJ 表現を行うことが難し

やさしい-1-2-3-4-5-6-7-難しいかった．第 1 著者による VJ 表現へのフィードバックとし支配的-1-2-3-4-5-6-7-服従的て，演奏者から歌詞の意味合いとそれに伴うイメージを伝役に立つ-1-2-3-4-5-6-7-役に立たないえられたことから，演奏者は歌詞と映像のイメージを結び付けている場合があることがわかった．

図1

VJ について現地調査

Figure1. The field research of VJ
3.3 VJ 表現制作支援ツールの印象評価実験
楽曲構造を意識した VJ 表現構築を支援するインタフェ© 2014 Information Processing Society of Japan

図3

アンケート結果

Figure3 Result of Questionnaires

372

の上に配置することで，楽曲構造の把握と全体デザインを3.3.3 インタビュー
実験後被験者にインタビューを行った．調査項目を表 2可能にする．また，演奏者が歌詞に視覚的なデザインを施すことで，VJ に対して演奏者の楽曲イメージを直感的に伝に示す．
表2

インタビューTable2. Interviewえることを可能にする．
4.2 システム概要

曲をしっていたか？

本研究で構築したプロトタイプシステム LyricVJ につい楽器経験、楽譜読めるか？て述べる．システム使用手順の概要を図 4 に示す．はじめ

音に映像を合わせる行為はどうだったか？に演奏者は歌詞に対して視覚的なデザインを行い，曲の雰難しかったことは？

囲気を VJ に伝達する．VJ は視覚的にデザインされた歌詞メモ・楽譜・歌詞はそれぞれ役にたったか？

を受け取って，それをシステムに入力する．そのデザイン役に立たなかったのはなぜか？

された歌詞を UI の中心に置き，VJ はあらかじめ歌詞の上なぜ書き込みを行わなかった or 行った？に画像を配置し，楽曲構造を意識した VJ 表現の全体デザインを行う．こうしてデザインされた，歌詞とその上に配3.3.4 アンケート
アンケート調査の結果から，歌詞は白紙のメモや楽譜と比較して VJ 表現制作の支援ツールとして役に立つという置されたサムネイル画像からなる VJ 操作インタフェースを用いて，本番のパフォーマンスで映像を出力・操作する．
本システムの各内容を以下に説明する．

印象を与える傾向があり，インタビューでも歌詞が楽曲構造を把握するのに役に立ったという被験者が 5 名いた．また，歌詞は楽譜と比べて，理解しやすく単純なイメージを持たれていることや，歌詞は被験者に楽曲構造を把握させたため，インタフェースとして有効である可能性が示された．インタビューの中で，音から色や形を想像し，その色や形に合った映像を選び，VJ 表現を行った被験者が存在した．視覚的なデザインが VJ 表現の助けに有効である可能性がある．
今回の実験では，ペンを使って書き込みをした被験者は少なく，システム化が必要であるという仮説を得た．また，
図4記入された項目は「間奏」や「サビ」の様な楽曲構成のメシステム全体像

Figure4. System Configuration

モであったため，直感的に楽曲構成を理解できるインタフ
ェースが必要である．
3.4 まとめ予備実験の結果から本研究では，以下の点を意識した VJシステムを制作する．

4.3 歌詞デザイン
楽曲イメージを記録するために楽譜に施される注釈の代わりに、歌詞に対して視覚的なデザインを用いて、演奏

バンド演奏への VJ 表現を支援者が VJ に曲のイメージを伝える．映像を扱う VJ にとって

音楽未経験者である VJ の存在を想定

視覚的な情報は負荷が少ないであろうことを想定している．



楽曲構成把握による VJ 表現の全体デザイン

4.4 歌詞 UI を持つ VJ システム



演奏者の曲のイメージ伝達による VJ 表現への介入

4. LyricVJ
4.1 提案手法
本研究では，歌詞インタフェースを用いて，楽曲構造を意識した VJ 表現の構築を支援し，歌詞の視覚的デザインによって演奏者の表現意図を伝えるシステム LyricVJ を提案する．

歌詞カードの様な映像操作インタフェース上に，ユーザはあらかじめ映像のサムネイルを配置する．VJ が楽曲の時間軸に対する VJ 表現のデザインを行うことで，楽曲構造を意識した VJ 表現構築が可能になり，VJ の操作的及び認知的負荷が少なくなることで，創造的な表現行為に集中可能になる．
システムのユーザインタフェースは，歌詞と動画のサムネイルを表示する歌詞インタフェース領域，2 つの映像をLyricVJ はライブハウスで演奏されるバンドミュージッオーバレイさせる映像ミックス領域，映像ソースを表示すクに特化した VJ システムであり，PC 上で動作する．歌詞るメディアプール領域，映像出力のプレビュー画面領域でをインタフェースの中心に置き，映像のサムネイルを歌詞構成される．

© 2014 Information Processing Society of Japan373

5. 試用実験

インタビューにおいても，被験者全員（今の所）が曲全体を意識して映像選択をしたと答えているため，提案システ

5.1 内容LyricVJ を使用することで，楽曲構造を意識した VJ 表現が可能になるかを調べるために，被験者に思考発話法を用ムを利用することで楽曲構造を意識した VJ 表現が可能になる可能性がある．
歌詞デザインについては，被験者の発話から「歌詞に色いてシステムを使用してもらい，実験後インタビューを行った．参加者は合計 3 名で，その内 1 名は VJ ソフトを使用した事があり，全員ライブでの VJ 経験はない．実験には 2 曲のバンドミュージックを使用し，ランダムに片方の歌詞には視覚的なデザインを施す．
今回の実験では LyricVJ の機能として，サムネイルの配置，サムネイルクリックによる映像出力，映像の透過処理，映像のプレビューを使い，実験を行った(図 5)．はじめに被験者は曲を聴き，メディアプールにある映像を確認しながら，映像のサムネイルを歌詞インタフェースに挿入し，選ついた」という発話があったものの，実験の数が少なく意図が伝わるかどうかの検証はできなかった．
歌詞の上の画像をクリックして，映像を変化させるだけではなく，リアルタイムに映像を選択していく瞬間が楽しいと答えた被験者がいた．このことは，VJ 表現の全体デザインをした後の操作が極端に少なることが原因であると考えられ，反対に操作的な負荷が少なくなったとも言える．
しかし，歌詞インタフェースが VJ 表現の満足度を下げている可能性があるため，動画像処理や歌詞出力などの機能択する予定の映像群を歌詞上に配置し，VJ の全体構成をデを実装し，VJ 表現の幅を広げて，もう一度検証したい．

ザインする．サムネイル画像の配置を終えた後に，被験者

6. まとめは曲に合わせて歌詞の上に配置されたサムネイルをクリックする事で映像を切り替えて，VJ 表現を行う．また，被験者には思考発話法を実践するよう実験前に伝えている．

本論文では，楽曲構造を意識した VJ 表現を支援するために，歌詞インタフェースを持つシステムを実装した．簡
易な試用実験の結果，ユーザは提案システムを用いることで楽曲構造を意識した VJ 表現が可能になった．短期間の実験であったため，歌詞デザインが有用か否かを評価することはできなかった．
今後の展望として，歌詞デザインの有用性を調査することや，LyricVJ の機能を拡充し，VJ 表現の満足度について調査すること，実際の練習やライブでの運用を基に既存ソフトウェアとの比較を行う予定である．

参考文献
1.

図5

実験で使用したシステム

Figure5 System Used in Experiment5.2 実験後のインタビュー

2.
3.

実験後被験者にインタビューを行った．調査項目を表 3に示す．

4.

表3

インタビューtable3. Interview

5.

歌詞インタフェースの良かった所・不便な所は？
歌詞インタフェースへのサムネイル配置で意識した事は？
本番では何を意識して VJ 表現をしたか？
曲全体を意識して映像選択をしたか？

6.

操作に余裕があったか？
5.3 結果と考察
はじめに，被験者は楽曲構造を意識できたかを考察する．
被験者から，「前のサビと一緒の映像にしよう」や「ここが7.

MotomuraKenta：VJ towards media art a possibility interactive
visual expression，NICOGRAPH International，2005．
西本一志：創造活動のためのユニバーサルな道具とは，エンタテインメントコンピューティング 2006 予稿集，pp.7-8，
2006．
本村健太：インタラクティブ映像メディア表現の構成学的研究に向けて － VJ 表現のメディアアートへの展開事例とその基本原理の考察－，岩手大学教育学部研究年報，pp.17-32，
2011．
Ulyate, Ryan and Bianciardi, David：The interactive dance club:
Avoiding chaos in a multi-participant environment，Computermusic journal，pp.40-49，2002．
Taylor, Stuart and Izadi, Shahram and Kirk, David and Harper,
Richard and Garcia-Mendoza, Armando：Turning the tables: aninteractive surface for vjing ， Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems ，pp.1251-1254，2009．
Hook, Jonathan and Green, David and McCarthy, John and Taylor,Stuart and Wright, Peter and Olivier, Patrick：A VJ centeredexploration of expressive interaction，Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems ，pp.1265-1274，2011．
Bartindale, Tom and Sheikh, Alia and Taylor, Nick and Wright,
Peter and Olivier, Patrick：StoryCrate: tabletop storyboarding forlive film production，Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems，pp.169-178，2012．

間奏だから」など，楽曲構成についての発言が見られた．

© 2014 Information Processing Society of Japan374