プロジェクト報告書 Project Report

提出日 (Date) 2016/1/06

シンクロ現象と音楽・映像表現プロジェクト

Musical and Visual Expression of Beat Synchonization
1013073 勝原 望 Nozomi Katsuhara
1 背景

1. 同期についての研究や映像、音楽表現で広く用いられているビジュアルプログラミング言語である

複数人で歩いているときの歩いている歩幅や歩調、速Max を導入し全員が Max の基礎的な技術を習得す度が同じになっていたり、指揮者に合わせて演奏をする。

ることを行い、Max の基本的な使い方や音楽表現

これらはシンクロ現象の一例であり意識下無意識下関係の基礎を習得した。

なく、日常の様々な場所でシンクロ現象は発生する。シ

2. シンクロ現象による音楽・映像表現のプロトタイプ

ンクロ現象を用いた研究の例としてイタリアのジェノバを作成する。ここで映像班・同期班・音楽班の３つ大学、Varni, G., Mancini, M., Volpe, G.,Camurri, Aのグループに分かれてそれぞれの部門で課題を設定によってなされているものがある。複数人が端末を持して一つのシステムを完成させるようにした。

ち、それを振る。その中にある加速度センサが反応した• 映像班

タイミングで同期判定を行い、それによって音が流れる

Processing でカメラからの入力をもとに、複数というものである。この研究で使われている音は一定のの物体の動きを個別に判定するプログラムを作

音の高さを持つ単一の音であり、映像も端末に対応した成する。また、その判定した情報を Max に送基本矩形が配置された映像に同期された組み合わせにる仕組みを作成した。

よって線が結ばれるという初歩的なものである。本プロ• 同期班

ジェクトではこの先行研究をもとに、人の動作によるシMax を用いて、Processing から送られてくるンクロ現象から音楽や映像の表現を変化させるシステム

情報をもとに、複数の物体の動きの同期具合を開発し、新しい表現方法を探求することを目的にこのを判定するプログラムを作成する。また、Pro-プロジェクトは活動を行ってきた。

cessing から情報を受け取る仕組みを作成した。

2 課題の設定と到達目標
2.1目標設定

このプロジェクトの活動の目標は、「先行研究を元にしたシンクロ現象による音楽や映像の新たな表現を行うシステムを構築して、人に対する心理的効果を明らかにする」ことである。この目標を達成するためのシステムを開発するにあたって、どのようなものを作るべきかというところから始まった。「映像や音に合わせて人が動くのではなく、人の動きに合わせて映像や音が変化する同期の確認が分かりやすいシステム」をコンセプトとして開発していく活動を行ってきた。

2.2

目標到達への手順

目標到達として以下のような 4 つの手順で行われた。
本プロジェクトは、以下の 4 つ手順で行った• 音楽班
Max を用いて、同期班によるプログラムから判定された同期具合によって、音楽が再生される仕組みを作成した。

3. 前期に作成したプロトタイプから発展した新たなシステムの構想を練る。
課題：プロトタイプ制作にあたっての問題点、改善点を探し、それを解決する方法を考える。また、中間発表会でのフィードバックを集計し、これからの活動に活かす。

4. 新たなシステムの制作
課題：前期に制作したプロトタイプをより発展、改善させたプログラムを作成する。また、手順 4 では、Kinect 班、同期班、音楽班、照明班、デザイン班の 5 つのグループに分かれて作業を行った。各班

での作業は以下のようにする。

• Kinect 班

Processing で内蔵カメラから映像を取得できるようにして、人の腕の上下の動作を映像から取得することにし今回は、Kinect センサーを用いて、人体の骨格た。しかし人間の動きを丸ごと取得することができないを取得、追跡することで複数人の動きを個別にためカメラで取得した映像から色を指定して、その指定判定するプログラムを作成する。また、Kinectした色の軌道を追跡するというカラートラッキング法をを使うために、C#の技術を習得する。そして、用いた。そのことによってその色を人が上下の動作を行C#のプログラムで Max に送る仕組みを作成

うことによって上下の動作を取得することができた。指する。

定した色ごとにその色の y 座標を取得してその移動方• 同期班

向が逆転した時に信号を送るというものである、そのそ前期に作成したプログラムを発展させ、利用者れぞれの信号の送られるタイミングの違いによって同の同期具合によって小節ごとに BPM を変化さ期判定を行うことができた。その信号は Open Soundせる機構を作成する。

Control(以下 OSC) と呼ばれるアプリケーション間で• 音楽班の通信プロトコルの機能を用いることで、processing か利用者が同期しやすいと感じられるような音楽ら Max に送ることができた。このことにより、カメラを作成する。再生される曲の音色を変更する。

を用いて人の動作を取得して、それを同期判定の入力と• 照明班
RainbowCube kit を用いて、参加者が楽しめしてシステムを開始させることができた。
同期判定班

るような光の表現方法を探求する。利用者の同同期判定班では、映像班から送られてきた 3 つの信号期具合によって変化する光の表現を作成する。

を、その信号が送られてきたタイミングのずれから同期• デザイン班

具合を判定し、その同期具合の結果を信号として出力しProcessing を用いて、アニメーションを作成て、音楽の表現を変化できるような機構を Max を用いする。利用者の同期具合によって変化するアニて作成した。最初は 3 つの信号のうち 2 つずつ判定をメーションを作成する。

行い、その判定をそれぞれ音楽の表現に対して変化させて出力できるように作成を行った。しかしその場合では

3 課題解決のプロセスとその結果3.1

前期の活動映像からの動作が検出できていなかったときに判定すべき小節がずれるという問題があった。そのため Max 内

Camurri, A らの研究をもとに Processing でカメラで javascript を起動させ、3 つの信号が一定時間内に収からの入力を用いて物体の動作の検出を行い、動作が検まっているかどうかを 8 回判定し、8 回中に何回一定時出された時に信号を送るシステムを作成する映像班、映間内に収まっているかを点数化し、その点数によって音像班から送られた信号を Max を用いて同期の判定を行楽表現を変化させるように信号を送る方法に切り替え

う同期判定班、同期具合によって出力される表現としてた。最終的に、3 つの信号が一定時間内に収まっている音楽を作成する音楽班に分かれて活動を行った。それぞかどうかを判定して、その動作判定の結果の点数を信号れに置かれた班の目標によって人数を配分し、映像班 4として送るプログラムを作成できた。

人、同期判定班 3 人、音楽班 2 人で分かれて、複数の物

音楽班

体の動きを検出し、その信号のタイミングを判定し表現

音楽班では、同期判定の点数の結果を受けとり、そのが変化するシステムのプロトタイプを作成した。

点数に対しての音楽表現の変化が分かりやすくなるよう映像班

な音楽の作成を行った。Max では MIDI ファイルを再

映像班では、同期判定に用いるために複数人の動作を生することができるため、まずは MIDI 編集ソフトであ取得してその動作が検出された時に信号を送るシステ

る sakura を用いて MIDI ファイルを作成した。sakura

ムを作成した。Camurri, A らの研究では、端末の上下

では音程を「ドレミファソラシ」の文字で入力することの動作を同期判定の入力としていた。そのため今回はができる。今回音楽表現として用いたものは「バッハルベルのカノン」の 1 フレーズを使った。この曲は楽譜ののプロセスとするアプリケーションとなった。前期では音程が明白であるため、sakura を用いた MIDI 作成のフレーム単位で速度を求めていたが、今回ミリ秒で計算方法がやりやすいと考えた。出力するパートを 3 つにを行うことによってより正確な動作の判断が行われると分け、メロディ、コード、伴奏に分けた。また同期判定考えられる。このアプリケーションによって個々の人の班での 8 回の動作検出は 8 泊で 2 小節に対応している骨格のデータと時間、右手の座標を取得して、その右手ため、それぞれのパートをさらに 2 小節ごとに分割しの動きから速度を計算することでその位相と速度が変化て MIDI ファイルを作成した。それを Max 内に接続すすることによって動作のの判定がなされ、OSC を介しることで同期判定班から送られてきた点数の高さの信号てその情報を Max に送信するアプリケーションを作成が 2 小節ごとにわけられた音楽の流れるパートの組みすることができた。

合わせに反映できるようにした。その同期具合の点数の同期判定班

高さに合わせて 0 2 天の時はベースのみ、2 5 点の時は同期判定班では、Kinect 班から送られてきた信号をベースとコード、6 点以上の時はベース、コード、メロ

OSC を介して受け取った 3 人分の動きの情報を受け取ディー全てが流れるようにできた。

る。最初の 4 つの入力情報ではクリック音が鳴るようにこれによってカメラから物体を動かす人の動きを検して、被験者にこのシステムの開始の合図とするととも出し、それを信号で送り、信号の送られた時間のずれにに、その 4 つの打刻から音楽の流れるテンポの速さを変よって同期具合を点数化する。その点数によって音楽の更するための計算を行えるようにした。その次の入力か表現が変化するという一連の動作が行えるシステムをら MIDI ファイルを再生するようにしている。この時、作成することができた。しかし、このシステムでは出力最初の状態では最低の同期具合の結果での再生を行ってされる音楽が、動作している早さによって変化しないたいる。またシステム内の時間をカウントして同期判定をめ音楽に合わせて動作することでも同期ができてしま開始し、それをどのくらいの時間が経過しているかといい、本来の目標と反する結果となった。また Max 内でう情報を javascript の中に送信した。また同期具合の点javascript を動かしているため、動作に時間差が発生す数の判定も変更し 1 拍に対して判定できるようにした。

るという課題がある。これらの課題も踏まえて、kinect

このことでより自然に同期具合が鋭敏に変化できるようを用いた動作検出の方法を変更したり、デザインや照明になった。後期に作成したシステムでは同期判定の結果による表現を追加して改善して新たにシステムを作成すの信号はどのくらい同期しているかを 3 段階で評価するる活動を後期に行った。

ほかに、誰と誰が同期しているかという信号も 8 通りで後期の活動の数値で送信できるようにした。どのくらい同期してい3.2

Kinect 班
Kinect 班ではカラートラッキング方のような物体を動かす方法から改めて、kinect V2 のの深度センサーをるかの信号は音楽班に、誰と誰が同期しているかの信号は照明班やデザイン班に用いられるようにしている。
音楽班

利用して人体の骨格を検出し、右手の座標を取得するこ

音楽班は前期の課題として作った音楽は 8 分主体のとで、身体全体の動きから同期判定のための動作を取得

メロディーであったもののリズムが分かりにくいといできるようなアプリケーションを開発するために活動をう問題があった。その原因として、伴奏が高音でのみ構行った。C のプログラムを用いて、人体の骨格を検出成されていたという問題があった。カナダの Marie, C,し、そこから右手を検出できるようにして、その右手のBruce, IC, Trainor, LJ らの研究で、人は低周波の音をy 座標の情報とシステムの起動時間を取得した。このこ

よりリズムを認知するという低音がより良い効果を持っとによって時系列における右手の座標が分かるために、ているということを示唆している。この研究を元にして計算によって速度や加速度も導出できるようになった。

MIDI 編集ソフトである「Domino」を用いてメロディ、このデータから右手を振る速度をもとにして振ったとい

ドラム、コードの 3 つのパートにわけて作成を行った。

う判定ができるようにしている。またその情報は OSC

Domino は時系列にピアノロールで音のデータを配置すと接続を行って、同期判定班に送信できる物までを一連る MIDI 編集ソフトであり、今回はオリジナルでの音楽

を作成するために sakura による音階の文字表記よりもクターは 16 コマで 1 ループするようにしている。OSCこちらの方が作成に適していると考えて作成を行った。

を介して誰と誰が同期しているかという信号が Max か

作成するにあたってはドラムはバスドラム 1 小節にを 4ら送られてくるため、その結果に合わせて、同期してい回等間隔に打刻するように配置し、メロディやコードはる被験者同士に対応するキャラクターが動く様に設定をMarie, C らの研究から、低い音を基調とすること、また行った。これによって同期による映像表現が完成した。

前期同様に繰り返し再生されていても違和感なく聞くことができるように注意して作成を行った。また Domino

4 実験と課題で作成した音源では音が乏しいために、音源を追加する

実際に動作を行った課題として、kinect で右手が安定プラグインである Visual Sound Technology を用いてして取得されていないという事があげられる。右手の座ドラムやピアノの音を追加して、その音源を使って再生標取得が安定していないため入力の動作が検出されていできるように Max 内で接続した。これによって再生さないことがあった。それによって同期判定の抜けが発生れる早さが変化していてもリズムがとりやすく、また動して同期が確認されていないということがあった。その的に変化する同期具合に合わせて自然に変化するようなような同期判定の不具合を調整する他に、判定の基準値音楽表現が完成した。

を改善することによってより安定した動作で精度の高い照明班

判定が実現できる。

照明班では同期が確認された時の表現として被験者にまた同期班ではシステムの起動時間による javascript同期具合で視覚的に認識できるようにした。ヒトの知覚のデータを使用していない。これによって動作中に動的の割合は視覚が 8 割、聴覚が 1 割、その他の感覚器で 1に音楽の流れる速さを変更できるようになるが、今期そ割程で構成されていると産業教育機器システム便覧ではれを使用することはできなかった。そのためこれを導入述べている。そのため照明を導入することによって同期することによってより目的であった「映像や音に合わせによる表現の変化がより認識できると考えた。照明器具て人が動くのではなく、人の動きに合わせて映像や音がとして Seeed Studio 社の Rainbow cube Kit を使用し変化する同期の確認が分かりやすいシステム」ができるた。縦横高さそれぞれ LED4 つずつ、計 64 個の立方体のではないかと考えられる。となるように配置されている照明器具である。Rainbow

今期の活動においてはシステムの作成を行うだけでこCube を組み立て、Rainbowduino という LED 制御にれを用いた実験を行うことができていなかった。そのた特化した Arduino 互換ボードで制御を行った。照明のめ、同期現象によって心理的な効果を図ることや、音楽表現方法については LED の点灯パターンをいくつか用や照明、デザインにおいてより効果的な表現方法を模索意し、シリアル通信を用いて Max から受け取った誰とするということができなかったことが課題である。

誰が同期しているのかという数値の信号によって、点灯

5 参考文献パターンを制御させた。それによって同期による光表現を行うことができ、視覚的な表現の手段を獲得することができた。
デザイン班
デザイン班では Max の同期判定の結果から、同期具合を映像として出力できるようにした。Max から受け取った数値の信号によってアニメーションによって同期の結果が分かりやすく判断できるようなデザインを目指し、processing を用いて作成を行った。同期判定を分かりやすく判断できるように、被験者一人一人に対応するようなキャラクターを色の三原色の赤、青、緑を基調としてイラストソフトで作成した。それぞれのキャラ

Varni, G., Mancini, M., Volpe, G., & Camurri, A.
(2010). Sync n Move: social interaction based onmusic and gesture. In User Centric Media (pp. 3138). Springer Berlin Heidelberg.
Hove, MJ, Marie, C, Bruce, IC, and Trainor, LJ(2014). Superior time perception for lower musicalpitch explains why bass-ranged instruments lay down
musical rhythms.. Proc Natl Acad Sci U S A, 111(28),10383-8