情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C42
2016/3/2

kinect を使用した hole 検出による VJ コントロールシステム
高見 安紗美†1 	  平林 真実†1	  	 概要： VJ 自身のパフォーマンスや観客の動きを映像表現に取り入れ，より感覚的で簡単な VJ を行なうことが出来るようにするため，kinect に対し輪を作るジェスチャーをすることで 輪が作られたタイミング，輪の位置， 輪の数，輪の大きさを検出し，それぞれを変更することで映像をコントロールできるシステムを考案し,制作した．そして実際にイベントで行った報告をする．

VJControl System by Detecting Holes in Gestures
ASAMI TAKAMI†1	 

MASAMI HIRABAYASHI†1	  	 Abstract: Intention is new VJ system that simply and sensuous control by Video expression adapt motion of the VJ andaudience .on that account, I make system that The size of the ring made of a gestures , position as a hole, number as a hole ，is	 detected by kinect. Intention is to control the VJ with the position,size and number of the holes. and I really performed it.I'll
report those results.

1. は じ め にいるのかをわかりやすくする」となっている．そのためコ	  	 ントローラーの機能に特化し考案されている．プレイヤー	  現在ライブやクラブなどの音楽会場においては映像を担のシルエットが映るという点においては他の事例と似てい当する Visual Jockey（ＶＪ）がほぼ必須となっている．VJるが，コントローラーとして扱う点で，今回非常に参考にによる映像コントロールには PC 上で VJ ソフトなどを使用なった事例である。

し，映像を切り替える，または，絵を重ねることでエフェ	  Kinect によって体の動きをただセンシングするだけでは，クトのような効果を出すことで VJ ワークを行うタイプとVJ に必要な映像を明確に操作するということができない．

プログラムを書き音に合わせ映像を生成するタイプの生成

検出範囲内に人の身体が存在するだけで反応をするという系と呼ばれるタイプの大きく 2 種類があり．生成系タイプだけになってしまいがちであり，それではコントロールしの VJ においては，映像を切り替えるだけではなく映像パているとは言えない．そして映像に対しての広がりが生ま

ラメータを操作することで動的な制御が行うことができる．

れてこないという問題が発生する．「V Motion Project」でこれらのパラメータの制御にジェスチャーを用いることで，はその点を，映像に映った自分の身体が映像内で自分を取音楽会場において VJ 自身のパフォーマンスや観客の動きり囲む円の周辺と重なった時に音や映像エフェクトが発生を映像表現に取り入れる方法を提案する．

するようになっており，コントローラーとしての利便性を	  Kinecta)を利用し， 映像をコントロールしようとする試高めている．しかし，操作自体は複雑でパフォーマー自身みは多い[1]．しかし，多くが身体のシルエットをそのままにもある程度の修練が必要になってくる．この点において使用し身体の動きそのものを映像として扱っていることがは感覚的に VJ をプレイしたいという意図に反している．

多く，映像をコントロールする手段として、アウトプット	  このような問題を解決するために Kinect を利用したジェが限られている状況になっている． VJ ではなく，DJ のコ

スチャー認識による感覚的な VJ パフォーマンスと，同時ントロールを kinect と映像で行うプロジェクト「V Motionに会場の観客の参加性を持つ VJ システムを制作した．まProject」[2][3]も先行事例として紹介する．この「V Motion

た学内で行われた実験的なイベントにて，実際にこのシスProject」では，パフォーマーが映像を見ながら身体を動かテムを用いた VJ パフォーマンスを行なうことができた．

すことによって，DJ のコマンドが発動し DJ ワークを行な

本稿では実際にパフォーマンスをして見えてきた可能性にう．映像自体も作品になっており DJ のコマンドが発動す

ついても記述する．

ると同時に映像のエフェクトが発生するようになっている．
プロジェクトの目的は「DJ をプレイしている人が何をして2. 提 案	  	 	  今回提案するのは，身体で輪を作るジェスチャーをする†1 情報科学芸術大学院大学
Institute of Advanced Media Arts and Sciencesa) Microsoft から発売されたジェスチャー，音声認識によって操作ができるデバイス．

© 2016 Information Processing Society of Japanb) "「創造的なコーディング」のための C++のオープンソースツールキット"openframeworks 日本語版オフィシャルウェブサイトより

332

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C42
2016/3/2

ことで，輪が作られたタイミング，輪の位置， 輪の数，輪の大きさを検出する．それをそれぞれ体の動きによって変

まず，kinect を用いて人を検出し，openframeworks を使い、更することで，映像をコントロールするという手法である．

addon に含まれていた，openCV を使い contourFinder 関数を検出には、kinect と openframeworks b)を使用する．この手使用し輪を検出した．この関数は，検出した範囲に囲まれ法をとった理由は， 輪を作るという動作をすることで，人ている部分があると true を出してくれる．つまり，検出範の身体そのものをセンシングした時よりも多くのパラメー囲内に輪があるかどうかを判断してくれる関数である．

ターを故意に変化させることが出来るようになる点である．

contourFinder 関数で検出した輪の内部は，openCV によっ

輪を作ることで，まず輪が画面内にあるかどうかで ON，て一つの領域として扱うことが出来る．その領域の範囲とOFF を切り替えることが出来る． そして、輪の位置で二その重心の x 座標 y 座標を openCV を用い計算し，映像に次元方向にパラメーターを変化させることが出来，また輪反映させられるようにするという仕組みである．システムの大きさや，輪の数によっても変化させることが出来る．

自体は非常に簡単で，誤作動も少ない．その後の映像自体身体そのものを単純にセンシングした場合，ON，OFF には openframeworks で一貫して制作している．

は検出範囲外への移動によって行い，二次元方向へは横方向への移動のみになる．大きさは変化させることが難しい．

4. 実 演数に関しては１人１つになると考えられる．これに関してはこの輪を作るシステムでも 1 人で行なうと 2 つ程度までしか輪を作ることは出来ない． しかしこのシステムの利点は，複数人でプレイするとより表現の幅が広がる点にもある．輪を作る動作というのは，自分の左右の手をつなぐことだけではない．他の人と手を繋げばより大きな輪を作ることが出来．互いの体に触れあうことによって，不規則に輪の数を増やすこともできる．複数人いることの利点が画面内で人がジェスチャーすることよりも多く，より多彩な表現が可能になる．	  このようにこのシステムは、ジェスチャーの感覚的に行える操作と，操作性を兼ね備えた形式として優位であると言えると考えられる．また輪を作るという動作は人にとって簡単な動作なので、飛び入りで参加しやすく 観客側に向け一緒にプレイすることも可能であるため，参加型 VJ への応用もできると考えられる．

3. シ ス テ ム

図２ 会場風景
Figure 2 Scenes of Performance2015/12/10 ソフトピアジャパンセンタービルのギャラリーにて IAMAS の学内限定で実験的なイベント「NxPC．
LIVE 360」[4]が行われた．そこで今回のシステムの実演を行なうことが出来た．このイベントは，イベント会場を360°撮影し配信するという趣旨のものである．VJ の映像はプロジェクターで壁３面に映し出された．リハーサルの時点では演者側に向かってキネクトを設置し，DJ の背後で
図１	  システム構成プレイする予定であった．しかし客席側に向けても十分場

Figure 1 System Overview

所を取ることができ，場を盛り上げることにもつながると© 2016 Information Processing Society of Japan333

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C42
2016/3/2の意見をいただき，急遽客席側で行うことになった．プレ術大学院大学(IAMAS)修士 1 年 NxPC 所属の佐野和哉さん，

イは私と補助としてもう１人呼び 2 人組で行なった．パフ共に VJ をしてくれた情報科学芸術大学院大学(IAMAS)修ォーマンスの時間は 30 分で，その間リズムに乗りながら輪士 1 年嶋田元菜妃さんに感謝申し上げます．

を作るパフォーマンスを行なった．二人で輪を作る状況に興味を持った観客が数人きて一緒に輪を作り共に VJ を行

参考文献

なうこともできた．それにより場を盛り上げることに貢献

1) kinect vj デモ
https://www.youtube.com/watch?v=qzcggvcQFxw(2015.12.20 アクセス)
2) V Motion Project – Part I: The Instrument
http://www.custom-logic．
com/blog/v-motion-project-the-instrument/(2015.12.20 アクセス)
3) いっかい エレクトロミュージックにまつわるいろいろなこと	 
V Motion Project キネクトを使ったボディコントロール・ミキサー
http://goo.gl/2rWfJc(2015.12.20 アクセス)
4) NxPC．LIVE 360°
http://nx360.Tumblr.com/(2015.12.20 アクセス)

できていることを実感した．

5. 考 察
実験してみてわかったことは， まず，プレイヤーが体力的に非常に消耗するという点．四六時中リズムに合わせ屈み，腕を曲げ伸ばしし，非常に体力を使う．ダンスパフォーマンスとしてなら，この程度の疲労は仕方がないが，コントロールシステムと考えると不必要な疲れとも考えられる．また映像の展開のスピードを制御することが難しいという点についても問題があった．映像に可能性はあるが，一度に実装できてしまうため，徐々に映像に変化をつけるという点において不利であった．解決案としては，何かしらのアクションをした時に時間経過にしたがって変化させるという方法がある．次回はこの方法で実験してみたいと考えている．	  この VJ コントロールシステムには２つの方向性がある．
一つはより身体パフォーマンスに特化した方向．今回のシステムによる動作はもう少し工夫をすれば十分身体パフォーマンスという形でも実装できると思われる．輪をつくりながらダンスをするという型と振り付けを作ることになる．
しかしそうするとこのシステムの簡易性を失ってしまい兼ねない．反対にもう一つの方向性として観客参加型に振り切れることも出来る．今回の実験はこちらの方向性に近い形になった．その方向性にするためには，検出範囲と，人同士の重なりをどう扱うべきかが問題になってくるだろう．

6. お わ り に	  実際のパフォーマンスを終えて，オーディオリアクティ
ヴだけでは無い激しく変化のある映像を生み出すことができた．また感覚的に動くことで，映像もまた観客たちとの感覚にあった動きを見せていた．飛び入りで参加した人もすぐに仕様を把握し参加できたため，観客の動きも映像に取り入れることができたと思われ, 想定していた仕様のほとんどを実現できていたと考えられる．	  今回は，輪をつかったコントロールのみをピックアップしたが，このシステム自体は，キネクトによるコントロールシステムにおける，一部のアイデアでしかないと考えている．このシステム自体難しいものではないので，今後このアイデアを組み込み，より豊かな表現ができる VJ コントロールシステムを作ることができたら良いと考えている．	  謝 辞 	  実験をする場を提供してくださった情報科学芸© 2016 Information Processing Society of Japan334