情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C3-1
2014/3/1

Music Puzzle:パズル解法を動機とした音楽シーケンサ
山口隆†1卯田駿介†1 中西恭介†1 尹玄玄†1 角谷亮祐†1馬場哲晃†1 串山久美子†1倉知尚貴†1Music Puzzle はスライドパズルブロックを音楽シーケンサの各ブロックに見立てることで，視覚と聴覚を同時に利用してパズルを解く作品である．それぞれのブロックにはメロディやリズムが割り当てられており，ブロックをスライドして動かすたびに，絵柄だけでなく，自動演奏される音楽も変化する．絵は色数が尐なく似た絵柄のブロックがあるが，メロディの違いをヒントにして解くことができる．

Music Puzzle: Music Sequencer that Motivated The Puzzle Solution
TAKASHI YAMAGUCHI†1 SYUNSUKE UDA†1 KYOSUKE NAKANISHI†1YIN XUANXUAN†1 RYOSUKE KAKUTANI†1 NAOKI KURACHI†1TETSUAKI BABA†1 KUMIKO KUSHIYAMA†1Music Puzzle is the application that solving puzzle by the image and sound likened to each block of music sequencer the slide
block puzzle. The melody and rhythm is assigned to each the block, so the user can change not only the image but also thesequence music each time the user slide the block of puzzle. The color of the puzzle is few and the pattern of the block is similar,
but the user can solve with melody of difference.

1. 背景

2. 関連研究

一般的に，絵合わせのパズルはそのピースの形や絵柄な

近年，実物体指向型インタフェースを利用した

どといった視覚情報のみをヒントに解答を得る．これまで

reactable[1]や Blinky Blocks[2]といった事例が数多く報告さにもパズルの視覚的効果やゲーム的効果を楽器演奏に利用れている．中でも実物体の配置によってループ演奏を行うした事例は報告されている．しかし，これらの事例は実物AudioCubes[3]や，実物体を組み合わせ複数の操作を遊びな体を組み合わせることで演奏するものが多く，パズルの視がら演奏を行うことができる Tabletop Puzzle Blocks[4]とい覚的解決と楽曲的解決が直接結びついた事例はあまり見らったパズルのようにオブジェクトを組み合わせて演奏を行れない．そこで，本研究では一般的によく知られているスう音楽インタフェースについての研究は多数存在する．

ライドパズルを楽器演奏に応用したシステムを提案する．

Audio D-touch[5]はタンジブルな実物体オブジェクトの組

これにより，音楽シーケンサ単体では比較的表現が困難な，

み 合 わ せ に よ っ て 音 楽 が 演 奏 さ れ る ． LEGO Step

視覚的にわかりやすい問題設定を導入でき，結果として音Sequencer[6]は大きな正方形のレゴブロックに 4 色の小さ楽演奏モチベーション向上への期待が持てる．

いレゴブロックをはめていくことでシーケンスミュージッ1.1 作品概要

クを演奏する．ブロックの配置をカメラデバイスで読み取本システムはスライドパズルのブロックを音楽シーケることで，リアルタイムでループ演奏のパターンが出来る．

ンサの各ブロックに見立てている．スライドパズルとは枠

Bubblegum Sequencer[7]も同様にカメラデバイスで 4 色のの中に収められたブロックを空所へと動かし，目的の配置球状オブジェクトの配置を読み取りシーケンスミュージッにするパズルのことである．それぞれのパズルブロックにクをリアルタイムで演奏している．これらの事例はオブジメロディを割り当て，ブロックを移動させるたびに絵柄だェクトの配置，移動や取り外しという直感的な動作で演奏

けでなく，ループ演奏される音楽も変化するシステムを提技術がなくても演奏を行うことが出来る．しかし，オブジ案する． そうすることで，パズルの正解画像との比較だけェクトを配置することで視覚的効果のある形状や画像を形ではなく，ループ演奏されるメロディの違いをヒントにす成するものはあまり見られない．

るといった，視覚と聴覚の両方からパズル解決のヒントをThe Music Puzzle[8]は起動後に録音した音声を同じ時間得る独自の解決手法が提案可能である．また，一般的な音で等分割し，画面上の球状オブジェクトに割り当て，その楽シーケンサとは異なり，ユーザがスライドパズルで遊ぶ

並び方によって順番を替えて音声を再生するのは本システだけで自然とシーケンスミュージックを演奏できる為，音ムと同様であるが，オブジェクトの並び方に視覚的な効果

楽初学者でも「パズルを解く」といったわかりやすい演奏はあまり見られず，音声の聴覚的な解決とパズルの視覚的動機の基に演奏を楽しむことができる．

© 2014 Information Processing Society of Japan†1 首都大学東京大学院システムデザイン研究科
Graduate School of System Design Tokyo Metropolitan University639

解決が直接には結びついていないことが本システムと異な4. 今後の展望

る．

3. 操作方法
アプリケーションを起動し，画面下部にあるスタートボ
タンを押すと，画面中央の画像がランダムに並び替えられる．ユーザは並び替えられたパズルブロックを指でスライドさせて並び替えていく．ゲームが始まった直後はブロックの並び方に応じて順番がバラバラになった楽曲がループ演奏されるが，パズルが正解に近いほどメロディは正しい順番で演奏されるので，演奏される楽曲をパズル解決の聴覚的なヒントにしてパズルを攻略することが出来る．

図3

展示した時の様子

Figure 3 The exhibition of the puzzle
本システムではパズルの視覚的解決と楽曲的解決を同時に達成することを目的としているが，現段階ではループ演奏される音楽を聞くことよりもパズルの絵柄を見ることに集中し，演奏される楽曲を意識することが尐なくなっている.また，パズルを遊んでいる時に流れる楽曲がメロディ中心の楽曲の場合，メロディをバラバラに並び替えると 1つの楽曲として成り立ちにくい.また，流れる楽曲がリズム中心の楽曲の場合，パズルブロックを並び替えても楽曲の変化が分かりにくくなっている.
展望としては，メロディを再生しているブロックの絵柄のみを表示することで画面に表示される視覚情報を減らし，ユーザが聴覚情報を積極的に取り入れるような仕組みや，
図1

アプリケーションの UIFigure 1 User Interface of the application
難易度やパズルをクリアするまでの時間といったユーザの達成感が増す仕組みを実装した.パズルの難易度は画面下部にあるボタンを押すことで選ぶことが出来る.

図 2 パズルの種類

音楽演奏インタフェースとしてのパズルアプリケーションの発展を検討している.

参考文献
1) Sergi Jordà. 2010. The reactable: tangible and tabletop music
performance， CHI '10 Extended Abstracts on Human Factors in
Computing Systems(CHI EA '10). ACM， New York， NY， USA，2989-2994
2) Brian Kirby， Michael Ashley-Rollman， Seth Copen Goldstein.:
Blinky Blocks: A Physical Ensemble Programming Platform， CHI’11，ACM， Vancouver， BC， Canada， 1111-1116， May 7-12，2011
3) Bert Schiettecatte， Jean Vanderdonckt.: AudioCubes: a Distributed
Cube Tangible In-terface based on Interaction Range for Sound Design，
TEI’08， Bonn， Germany， 3-10， Feb 18-20， 2008
4) Hyunjoo Oh， Anisha Deshmane， Feiran Li， Ji Yeon Han， Matt
Stewart， Michael Tsai， Xing， Xu and Ian Oakley.: The Digital Dream
Lab: Tabletop Puzzle Blocks for Exploring Programmatic Concepts，
TEI’13， ACM， Barcelona， Spain， 51-56， Feb 10-13， 20135) E.Costanza，S.B.Shelley and J.Robinson，"INTRODUCING AUDIO
D-TOUCH: A TANGIBLE USER INTERFACE FOR MUSICCOMPOSITION AND PERFORMANCE "Digital Audio Effects， 2003
6) Guido Lorenz，"Lego Step Sequencer"，ADVANCE HACKATHON，
2010
7) Hannes Hesse，Andrew McDiarmid and Rosie Han，"BubblegumSequencer"，De-Bug Magazine Nr.135 ，20098) Rumi Hiraga，Kjetil Falkenberg Hansen，Sound preferences ofpersons with hearing loss playing an audio-based computer game，
IMMPD'13，ACM，New York，USA，25-30 ，2013

Figure 2 Type of the puzzle© 2014 Information Processing Society of Japan640