デモンストレーション：音楽情報処理の研究紹介 VI
中野 倫靖
福島 直
小川 圭祐
早渕 功紀
梶原 祥平
浜中 雅俊
一瀬 護
数森 康弘
橋本 祐輔
石先 広海
神田 竜
冨林 豊
平井 重行
渡辺 晃生
安藤 大地
竹川 佳成

産業技術総合研究所
東京工芸大学芸術学部メディアアート表現学科
東京工芸大学芸術学部メディアアート表現学科
筑波大学大学院システム情報工学研究科
九州大学大学院芸術工学府
筑波大学大学院システム情報工学研究科
龍谷大学大学院理工学研究科
龍谷大学大学院理工学研究科
関西学院大学大学院理工学研究科
KDDI 研究所
関西学院大学理工学研究科
神戸大学大学院工学研究科
京都産業大学コンピュータ理工学部
東京大学大学院工学研究科
東京大学大学院新領域創成科学研究科
神戸大学自然科学系先端融合研究環

あらまし 本デモセッションでは，音楽情報処理の研究分野のさらなる発展に向けて，研究事例をデモンストレー
ション形式で紹介する．

Demonstrations: Introduction of Research on Music
Information Processing VI
Tomoyasu Nakano
Nao Fukushima
Keisuke Ogawa
Kouki Hayafuchi
Shohei Kajiwara
Masatoshi Hamanaka
Mamoru Ichise
Yasuhiro Kazumori
Yusuke Hashimoto
Hiromi Ishizaki
Ryo Kanda
Yutaka Tomibayashi
Shigeyuki Hirai
Akio Watanabe
Daichi Ando
Yoshinari Takegawa

National Institute of Advanced Industrial Science and Technology (AIST)
Department of Media Art, Faculty of Arts, Tokyo Polytechnic University
Department of Media Art, Faculty of Arts, Tokyo Polytechnic University
Dept. of Intelligent Interaction Technologies University of Tsukuba
Gradualte School of Design, Kyushu University
Department of Intelligent Interaction Technologies, University of Tsukuba
Graduate School of Science and Technology, Ryukoku University
Graduate School of Science and Technology, Ryukoku University
Graduate School of Science and Technology, Kwansei Gakuin University
KDDI R&D Laboratories, Inc.
Graduate School of Science and Technology, Kwansei Gakuin University
Graduate School of Engineering, Kobe University
Faculty of Computer Science and Engineering, Kyoto Sangyo University
Graduate School of Engeneering, The University of Tokyo
Graduate School of Frontier Sciences, The University of Tokyo
Organization of Advanced Science and Technology, Kobe University

Abstract Toward further progresses of research on music information processing, we introduce case studies
of demonstrations.
1

今回は，過去最多の 15 件 1 の発表応募があった．紙面の都合上，表紙ページにおける代表発表者以外の氏名
中野 倫靖 (産総研)
は，やむなく省略させていただいた．指導者や共同研究
デモセッションは，「音楽情報処理の研究分野では，ま者の皆様には大変恐縮であるが，各半ページの原稿中でだ有名でない若手に活動の場を与える」ことを目的との連名表示のみとなることをご了承いただきたい．さら
し，2004 年から毎年開催されてきた．これは，音楽情に，原稿締め切り後もデモ発表の飛び入り参加を引き続
報科学研究会 (音情研) の若手企画の一環であり，通常
き募集している．
「開発途中/一発ネタ系のシステムを発の発表ではなかなか発表しにくいような思いつきで作っ表可能」と言われても，「本当に開発途中のシステムで，たシステムや，以前に発表したがそれ以降デモンスト
半ページとはいえ原稿を書くのはちょっと…」と考える
レーションの機会に恵まれていないシステム，開発中の方も多いだろうと思う．飛び入り参加は，そういった方システムを，デモンストレーション形式で発表できる特も参加しやすくなる意味で，有意義だと考えている．
別企画である．質疑や議論も親しみやすい雰囲気となっ
また，発表者が原稿を書いて当日デモをするだけでている．また，通常の発表形式と異なり，原稿提出ぎりなく，企画・運営といった裏方的な仕事も「若手」メイ
ぎりまでタイトル変更等に柔軟に対応することで，できンで行っていることも本企画の大きな特長である．
「音るだけ気軽に発表できる雰囲気づくりを心がけている．
情研でこんなことをやってみたい」といった企画立案や音情研における本デモセッションは， 2008 年 2 月の「研究会場とコンタクトを取って会場の情報を得る」と
音声言語情報処理研究会 (SLP 研) との共催での開催をいった裏方的な作業を分担して行う．裏方的な作業とし含めて，過去 7 回行われてきており，音情研単独の開催ては，過去 6 回のデモセッション毎に色々議論されてきではタイトルを「若手による研究紹介」としていた．こていて，これまで以下のような役割があった．
こで，我々が「若手」と言っていたのは，年齢が若いと原稿係 各発表者の原稿を集積して一つの原稿へまとめ，いう意味だけではなく，音楽情報科学の「若手」という発表者によるチェック，事務局への郵送を行う．
意味で以下のような方々を想定していたからである．
会場係 研究会会場と事前にコンタクトを取り，コンセ• 学会発表の経験が少ない学生
ントの位置や借りられる備品の確認等を行う．また，• 音情研の研究報告は読んでいるが，6 枚の原稿は各デモ発表の配置を決定する．
ハードルが高く，発表を躊躇している他分野の方
1 分プレゼン係 研究会当日は，デモの概要を一人一分• 音楽情報科学研究会で過去に発表をしたことはある程度プレゼンする時間を取っていただいているのが，それっきり学会や研究会との接点がない方で，そのプレゼン資料を全員分，事前に集積する．
また，企画・運営自体も「若手」が行うという意味のタ
宅配便係 デモに必要な機材を運ぶ際に，宅配便利用のイトルでもあり，これらの方針に変わりはない．しかし，必要があれば，その手配をまとめて行う．
「若手」という言葉をつけてしまうと，語弊を招く可能
撮影係 研究会に参加できなかった方のため，そして今性がある．それによって「これまで音楽情報処理以外を後のために，デモセッションの様子を撮影する．
メインに研究・活躍されていた先生方」が参加を躊躇す
今回は，原稿係を梶 克彦 氏 (NTT)，会場係を大石 康智
ることはできれば避けたい．以上から，今回は「音楽情氏 (名古屋大) に担当していただいている．他の担当も報処理の研究紹介」へとタイトル変更した．
決まり次第，Web 上等でその貢献を明記したいと思う．
また，タイトル変更にはもう一つ意図がある．それは，デモセッションは，以上で述べた数々の特長を持ち，他研究会との共同開催を今後増やしていきたいと考えて役割分担のノウハウなどもかなり蓄積されてきた．デモ
いることにある．つまり，既に開催されてきた「音楽情セッションは，今後もぜひ継続していきたいが，それに報処理の研究紹介」，「音声・音楽情報処理の研究紹介」
加えて新しい企画を立ち上げてみたい．実験的に色々でに加えて「○○・音楽情報処理の研究紹介」として増やきるこの機会に，一緒に企画・立案・運営をやってみた
していきたい．音情研は，音響信号処理，記号処理，心い方は，以下の連絡先へぜひご連絡いただきたい．
理学，ユーザインタフェース，インタラクション，デー
タベース，アノテーションなどの多様な専門分野で構成
Sigmus 若手企画メーリングリスト参加者募集
されており，それは音情研の大きな魅力の一つである．
Sigmus 若手企画メーリングリストは，これまでのデそれによって，自分の専門のみを見ていただけでは思いモセッションに参加いただいた方々に登録いただいていつけないアイディアや知見を得て，研究分野の発展に繋るもので，デモセッションの事務連絡および，今後の若がるといえる．同様に，「音楽」以外の研究分野に視野
手企画の相談，連絡等を行っています．年齢等制限ありを広げることも重要である．例えば，「音声」にも視野ません．今後の企画に参加したいと思っている方は是非を向けると，音声を研究していたからこそ，音楽を研究
メーリングリストに加わってみませんか．
していたからこそ，音声・音楽の両方を知っていたから
こそ，思いつけることもあるだろう．そういう意味で， 問い合わせ先：中野倫靖（t.nakano@aist.go.jp）

はじめに

SLP 研とのデモ共催は，音声・音楽両分野の発表者・聴取者にとって有意義であったと感じている．

1 これまでの発表件数は，7 件 (1 回目: 2004 年)，8 件 (2 回目:
2005 年)，10 件 (3 回目: 2006 年)，8 件 (4 回目: 2006 年)，14 件(5 回目: 2007 年)，14 件 (6 回目: 2008 年, SLP 研と共催) である．

2

MIDI ギター演奏スタイルに同期する映像表 ライフゲーム・オーケストラのデモンストレー
現パフォーマンスション
福島 直, 久原 泰雄（東京工芸大）小川 圭祐, 久原 泰雄（東京工芸大）本システムはギターのライブ演奏スタイルに応じて本システムは複数のライフゲームを同時に稼動し，音リアルタイムに同期しながら変化する映像を生成する． 楽合奏を生成する．セルオートマトンを用いた自動作曲
6 弦の情報を独立して取得し演奏スタイルを分析して映 ではセルの状態をピッチ，音長，音色などのに適用した
例 [1] が提案されているが，本システムでは複数セルで像表現に反映させた．
構成される二次元のパターンに応じて音が生成される．
(1) システム構成
制作環境として Max/MSP+Jitter を用いた．
本システムは PC, Max/MSP+Jitter, MIDI インターフェイス, ギターシンセサイザー, MIDI ギターで構成 (1) 方法される (図 1)．ギター演奏の MIDI 信号が PC に送ら
まず音に対応する 2 次元セルパターンを複数決定す
れ，Max/MSP にて処理し Jitter にて映像を描画する． る．例えば，1*3, 3*1, 2*2, 3*3, 5*5 のパターンである．
MIDI ギター Godin Electric Synth Access[1] は，各弦 概ね単純なパターンは発生しやすく，複雑なものは発生の信号を独立に取得し別々の MIDI チャネルに出力す しにくいため，単純なパターンは通常の音階や和声上のる．これにより各弦ごとの情報を個別に監視し，ノート ピッチに割当て，複雑なパターンはテンション的なピッ
番号，ノート列音程変化，音長，ベロシティ，同時使用 チに割当てる．生成される音楽はこうしたパターンと弦，フレットポジション，ピッチベンドなどから演奏ス ピッチの割当てに大きく依存する．マトリックス全体にタイルを分析し，映像の色相，彩度，透明度，動き，エ 対してパターン検索し，合致したら割当てられたピッチ
フェクトなどに反映させる．チャネル番号は弦番号に相 のノートを発音する (図 1)．合致したパターンの 2 次元
当し，1 弦につき 1 つの映像オブジェクトを制御する． 座標はオクターブやベロシティなどの値に利用する．例
えば左上端に単純なパターンはルート音を強いベロシ(2) 評価と展望
ティで鳴らし，右下端にある複雑なパターンはテンショ
本システムでいう演奏スタイルの例を以下に挙げる．
ンノートを弱いベロシティで発音するといった利用法で初心者のストローク演奏：全弦をローポジションで演ある．セル上の生命はマウスで入力可能なので，インタ奏し，使用ノートは限定され，強弱変化に乏しい．ピッラクティブに実演者の意図するパターンを入力し，楽曲
チベンドはない．この場合，映像は単調になる．
生成に介入することができる．ライフゲームの世代更新
上級者の表情豊かな演奏：使用ノートはスケールを中のタイミングは予め実演者が定義した時刻になされ，楽心として時折テンションも含まれる．ハマリング，チョー
曲のグルーブ感を形成する．複数のマトリックスを同時キングなどピッチベンドが多い．ベロシティ変化，使用に稼動させ，マトリックス毎に，パターン割当て，更新
ノートの比率，フレットポジション，同時発音弦などかタイミング，音色を設定し，アンサンブルを構成する．
ら音楽ジャンルや演奏スタイルが予測できる．これらの(2) 展望情報が反映され映像表現が豊かになる．
今回は MIDI ギターの演奏情報のみに留まったが，今セルパターン割当ての方法，セル座標の使い方などで後は他楽器とのセッションなどを反映させた映像表現を 生成される楽曲が変化するため，実演者の創造性を刺激模索していきたい．
する優れた設計を目指す．またビジュアル面や入力イン
ターフェイスの改善も今後の課題である．
参考文献[1] http://www.godinguitars.com/godingman.htm

謝辞

有益なコメントをいただいた石川敦啓氏に感謝する．

参考文献[1] Beyls, P：The Musical Universe of Cellular Automata,
Proceedings of International Computer Music Conference, pp.34-41, 1989.

GuitarSynthesizer

patterns

Speaker
MIDI

MIDI
Interface

MIDI

Movie

MIDI Guitar

MIDI

etc...

PC

searchMax/MSP

match

note on timing

Jitterpitch

図 1: 発音フロー

図 1: システム構成

3

MusicGlove: 身体動作を用いた楽曲の演奏・ 独りスーパースターマシン
探索インタフェース
梶原 祥平，中村 滋延（九州大）
早渕 功紀，鈴木 健嗣（筑波大） (1) 制作意図
誰でも矢沢永吉のライブのステージにおける気分を体験できるシステムとして制作した．矢沢の魅力を詳細に調査・分析し，メディア・アートとして完成させ，新たな視点からその魅力を理解したいと考えた．

装着型のデバイスを用いて，実時間でのユーザによる身体動作を利用した音響処理や楽曲探索を行うシステ
ムを提案する．本研究では楽曲の制御に重点を置き，楽曲そのものを探索し，結合させ，また変化させるとともに，音響を出力する装着型デバイスの開発を行っている[1]．これは，身体的動作によるシステムの操作の簡易性と，音響と楽曲の制御による新たな音楽聴取方法を提示
する．

Battery(2) システム構成《独りスーパースターマシン》が持つ諸機能は Cycling 74 社の Max/MSP，Jitter にてプログラムを行っている．5 種類のセンサー，赤外線 LED，マイクを取り付けたマイクスタンド及び（以下，スタンド），曲げセンサーを右肘部分に取り付けた白いジャケットを入力装置として使用する．

Acceleration Sensor(3) 機能解説
音の機能
LED

Microprocessor
Wireless Module

Bend Sensor

Bend Sensor

Baud rate:
rate 60Hz Weight: 167g
: 60Hz

図 1: Device Overview
デバイスの概観を図 1 に示す．本システムでは，ユー
ザはグローブ型のデバイスを装着して楽曲制御を行い，出力された音響を聴取する．これは音響の出力形態によって以下の２種類に大別される．(1)PC を用いて制御・出力を行い，スピーカ，ディスプレイ等の外部環境から音響出力を行う，(2) デバイスを音楽プレーヤとして機能させ，デバイス自身が音響出力を行う．ユーザは，
加速度センサと変位センサ，および通信機器等が内蔵されたデバイスを手に装着し，規定のジェスチャを行う事
で音響・楽曲制御を行う．装着型デバイスを用いることによって，直感的で音楽との親和性の高い操作システムを構築した．
システムは入力されたジェスチャをセンサデータより認識し，各ジェスチャに対応する制御・処理を実行する．
その制御は，(1) 楽曲の再生・停止などを行う再生操作，(2) 楽曲の音響データ自体を制御する演奏操作，(3) 複数の楽曲を逐次的に提示する曲探索の３種類に大別される．曲検索では，手を空中で動かすことで，再生する候補曲が順次ユーザに提示され，多くの楽曲データベー
スから直観的に楽曲選択を行うことが可能である．今後は，将来的には単一デバイスにおいて全ての機能を集約させることを目指す．
参考文献[1] Kouki Hayafuchi, Kenji Suzuki. MusicGlove: A Wearable Musical Controller for Massive Media Library. In
N ewInterf acesf orM usicalExpression(NIME),
2008.

4

1. 永ちゃんコール機能
マイクに向かって手拍子をすると，そのテンポで「永ちゃん！永ちゃん！」という声が再生される．
2. コール＆レスポンス機能
マイクを強く握るとマイクへの音声入力が録音され，スタンドを深く傾けると，その音声入力を変調したレスポンスが再生される．
3. エアギター機能
エアギター的な動作を行うと，ギターの音が鳴る．
音高は左腕とスタンドとの遠近で制御できる．
4. アクセル音機能
マイクを握るとバイクのアクセル音が再生される．
5. 衝撃音機能
スタンドを激しく掴むと，雷鳴音が再生される．
6. 歓声機能暗くなると，大きな歓声の音が再生される．

映像の機能
1. レインボースター機能
マイクに向かって歌うと，体験者の口元から，七色の星が吐き出されている映像が投影される．
2. タオル投げ機能
スタンドを激しく掴むと，タオルが舞う映像が投影される．
3. 羽根機能
スタンドの前に立ち，腕を広げると，その背後に白い羽根が広がる映像が投影される．
4. バイク機能
マイクを握ると，体験者の両脇にバイクが現れる．
5. ツバ機能
スタンドをやや傾けて歌うと，体験者の口元から，ツバが吐き出されている映像が体験者に投影される．
6. ビッグスター機能
スタンドを深く傾けると大きな星の映像が投影され，歌う声が大きくなると赤色から黄色に変化する．

敷きモーフ

複数の計算機によるジャムセッションシステム
浜中 雅俊（筑波大） の開発

敷きモーフは，前回のデモセッションで発表した電気
一瀬 護，田村 崇行，三浦 雅展（龍谷大）
モーフ [1] (図 1) に続くモーフシリーズの第 2 弾である． ジャムセッションには演奏技術の向上や新しい刺激をメロディモーフィング手法自体は，電気モーフと同様 2 得るなどの良い面があるが，人数を揃える必要性やスタ
つのメロディの特徴を反映させる度合いをスライダーボ ジオなどの演奏環境を整備する必要性など，ソロ演奏とリュームで調節するものである．敷きモーフでは，以下 比べ高い困難性が存在している．もし手軽にジャムセッのような改良を行った．
ションができれば，奏者の演奏技術の向上などに役立つと考えられる．そこで本研究では，奏者が自由に参加・離脱可能なセッション演奏を計算機によって実現し，参加している奏者の代わりに計算機によって自動演奏させることが可能なジャムセッションシステムの開発を目的としている．
図 1 に奏者が３名の場合のジャムセッションの例を示
す．この例では，パート１を担当する奏者が MIDI 楽器を演奏することにより，パート２となる自動演奏楽器及図 1: 電気モーフ
びパート３を担当する奏者に演奏情報を送信する．パー
ト２では，受信した演奏情報に基づいてリズムや演奏
コンテンツの決定に用いられる．パート１とパート３(1) 曲の選択： 荒城の月
電気モーフでは，ファンクメタル系の 2 つのメロディ の奏者は人間による演奏であるが，パート２の奏者は，A,B に対してメロディモーフィングを行い，その中間的 パート１とパート３の演奏状況に応じて自動的に演奏さなメロディC の生成を行っていた．しかし，見学者の一 れる．
この方式に基づき，実装したシステムについて述べ部の方から，元のメロディA と B の違いがわかりにくる．１つのパートに１台の計算機を割り当て，それぞれ
いとの指摘があった．そこで，今回は，多くの方が聞いたことのあるメロディとして滝 廉太郎 作曲の「荒城の の計算機はネットワークで接続されている．計算機にはそれぞれ MIDI 楽器が接続され，演奏情報を MIDI 信号
月」を用いることにした．
荒城の月は，ドイツ系，北欧系のメタルギタリストが で処理している．システムには，同時に演奏している複好んで演奏する曲としても有名である．今回は，ギタリ 数の計算機に演奏情報を送信するための，手動で演奏すストがアルペジオで弾いた伴奏をメロディＡ，ソロをメ るためのモードと，自動で演奏するためのモードが選択
ロディB としてメロディモーフィングを行うと，A と B 可能である．また，今後の方向性として，任意の計算機の中間あたりで，荒城の月の原曲に近いメロディが生成 に MIDI ファイルと演奏区間及び演奏トラックを指定することで，その計算機は演奏情報をループ演奏させ，同されることを示す．
時に演奏されている他のパートの演奏状況に合わせて，(2) インタフェースの改良
リアルタイムに編曲などを行なうことを目指している．
電気モーフでは，2 小節のメロディについて，スライ このセッション演奏に自由に参加・離脱することで，演ダーが一番左にあるときメロディA を，一番右にあると 奏情報を流し続けているパートに追従する形で演奏する
きはメロディB を再生し，スライダーを左右に動かすと， ことも可能になる．このシステムにより，少人数であっメロディモーフィング手法によって生成された A と B ても，セッション演奏が可能になる．
の中間のメロディをループ再生していた．
ループ再生の問題点は，小節の頭を一度誤って理解す
ると正しい頭を見つけることが難しくなる点，繰り返し同じメロディが再生されるためデモとしての面白みに欠ける点である．
今回のデモでは，各小節ごとにスライダーボリュームを用意することで，曲を楽しみながらモーフィング操作を行えるようにした．具体的には，荒城の月は 8 小節で
図 1: 提案システムの例
あるが，その 2 番までの分，つまり 16 本のスライダー
謝辞 本研究を進める上で貴重なご意見をいただき，日頃よ
ボリュームを用意した．
り多方面でご指導いただきました本学杉田繁治教授に感謝します．本研究の一部は文部科学省のハイテク事業による私学助成を得て行なわれた．

参考文献[1] 浜中雅俊：電気モーフ，情報処理学会研究報告デモセッ
ション原稿, MUS-74-11, p. 61, 2008.

5

協調演奏機能及び演奏評価機能を用いたギター AiiM：音楽音響信号を対象とした指揮演奏シ
コード演奏支援システム
ステム
数森 康弘，此木 康至，江村 伯夫，三浦 雅展（龍谷大）
橋本 祐輔，北原 鉄朗，片寄 晴弘（関学大）
ギターを始めて間もない初心者が選択する練習課題
演奏の指揮を再現するシステムにおいては，楽曲の演の１つとして，コード演奏が挙げられる．しかし，初心 奏形式に MIDI を用いるものと音響信号を用いるもの者にとって練習教本に書かれた押弦位置のみを参考にし に大別される．音楽音響信号を対象とした既存のシステて練習し続けるのは，アミューズメント性に欠けるもの ムでは，拍打に基づく再生速度の制御は行なわれているであるため，この練習過程を継続できずに練習に飽きて が，正確なスケジューリングは実現されていない．本研
しまい，その結果，ギター演奏の楽しさを体感できない 究では，指揮演奏における拍打位置情報を利用し，拍打まま習得を断念してしまうことが多い．本研究ではこの 予測に基づく指揮演奏システムを制作した．設計したイ問題を解決するために，ポピュラー音楽を対象とし，ア ンタフェースを図 1 に示す．
ミューズメント性に重点を置いたコード演奏支援システ(1) 拍打予測ムを開発している．本システムは，MIDI ギターを用い本システムでは，あらかじめ楽曲データに拍の時刻をたコード演奏を対象とし，協調演奏機能及び演奏評価機
人手で付与しておく．拍打を検出する毎に次拍の時刻を
能の 2 つの機能から構成される．以下でそれらの機能に予測し，それに合うようにテンポを調整する．拍の時刻ついて述べる．
の予測においては，(1) 協調演奏機能
1. ユーザの過去 4 回分のテンポ履歴の平均
この機能は奏者のコード演奏に対して，それに呼応し
2. ユーザの過去 2 回分のテンポ変化率た楽曲（旋律パート，伴奏パート，ドラムパート）を自
3. 楽曲の平均テンポ
動生成し，リアルタイムに出力を行なう．旋律パートの4. ユーザが拍打した時点の楽曲テンポ
生成手法は，まず，奏者が演奏したコードの構成音から にそれぞれ重み付けをすることによって，ユーザの演奏
開始音高及び目標音高を定め，それらの音に対して修飾 意図を重視するのか，元の楽曲の演奏意図を重視するの音（経過音及び刺繍音）を補間することにより音高列を かについてユーザが決定できる．拍打の抽出には Wii リ生成する．そして，その音高列を既存の楽曲に多用され モコンまたはキーボードが使用可能である．
るような音価パタンと対応づけることで，コードに呼応(2) フェルマータにおけるノイズ低減
した旋律音の生成を行なっている．
音楽音響のタイムストレッチにあたって，調波音・打(2) 演奏評価機能
楽器音分離手法 [1] を用いてフェルマータ時の打楽器音
この機能は奏者のコード演奏を 3 つの評価パラメタを を抑制することにより，音楽音響のフェルマータの表現用いて評価し，スコアを表示する．用いている評価パラ におけるノイズ低減を行なっている．
メタは「演奏時刻のずれ」「各弦におけるヴェロシティ
のばらつき」「コード音の持続時間長」であり，これらを用いて演奏の評価スコアを算出し，そのスコアを用いWiiリモコン用の通信ボタンて協調演奏を様々に制御している．提案システムの動作
画面を図 1 に示す．
楽曲テンポ設定
楽曲(音響信号)の再生速度決定用
拍打位置情報を使用する場合は自動設定される

拍打位置情報の読み込みおよび書き出し
拍打予測における
演奏意図調整スライダ
左に寄せるとユーザのテンポ
履歴重視の拍打予測をする
右に寄せると楽曲に付与された
拍打位置情報重視の拍打予測をする

図 1: システムのインタフェース

図 1: システム動作画面
謝辞 本研究を進める上で貴重なご意見をいただき，日頃より多方面でご指導いただきました本学杉田繁治教授に感謝します．本研究の一部は文部科学省のハイテク事業による私学助成を得て行なわれた．

参考文献[1] 宮本賢一, 亀岡弘和, 小野順貴, 嵯峨山茂樹, スぺクトロ
グラムの滑らかさの異方性に基づく調波音・打楽器音の分離, 日本音響学会春季研究発表会講演論文集, 2-5-8,
Mar. 2008.

6

自動 DJ ミックスシステムの試作

音を発生するオブジェクトを描くインタラク
石先 広海，帆足 啓一郎，滝嶋 康弘（KDDI 研究所） ティブ演奏システム：Rods

本研究では全自動 DJ ミックスシステムの実現を目指し，
神田 竜，橋本 祐輔，片寄 晴弘（関学大）楽曲ビート検出，音響的特徴に基づく音楽情報検索手法
Scanned Synthesis[1] や SonicWireSclptor[2] 等に代及び楽曲連続再生手法を適用した自動 DJ ミックスシス 表される， パフォーマーの挙動を音に変換するツール
テムを試作した．ここで本システムにおける DJ ミック の開発は，NIME[3] においても盛んに取り上げられてスとは，再生楽曲群における前後の楽曲同士のテンポ・ いる．この種のツールの特色として，観客達に音と同ビートを調整し，リズムを同期させたまま楽曲の移行を 時に視覚的な情報を提示できることにある．観客は，パ促すことを表している．
フォーマーの振る舞いに加えて，音と同期した映像の動きも鑑賞することができる．VJ と呼ばれる映像をコントロールするアーティスト達が人気を博し，VJ 用のソ
フトウェアの開発が行われている事 [4] からも，音と映像との同期を念頭に置いたツールの重要性はますます高まっていくように思われる．以上のような観点から，今回開発したのがこのツールである．ユーザーは wii リ
モコンからの入力により画面内に音を発生するオブジェ
クトを描き込むことができる．オブジェクトは単純に手の軌跡をなぞるものから，描かれた後自律的に動き出す
ものまで数種類あり，生成される音色はその挙動によって変化する．Y 軸にピッチを，X 軸に空間定位を割り当て，音色についてはテルミン風のサイン波から，エレピのような短い音までを用意する事で，多彩な演奏が出来るように実装した．また，視覚的な要素として，手が実際の現実空間にオブジェクトを描いているような面白さを出すために，カメラからリアルタイムに取り込んだ映像とオブジェクトを合成している．オブジェクトが空間を飛び回る様をより見せるため，ユーザーの背後にオブジェクトが回り込むという演出を用意した．

(1) システム概要
本システムの構成図を図 1 に示す．楽曲ビート検出には Dixon が構築した”BeatRoot”[1] を利用し，事前にデータベース内の楽曲に対してビート情報を付与させた．ミックス対象楽曲抽出方法として，Hoashi らの音
楽情報検索手法 [2] を用いた．実際にはユーザが好みの楽曲をクエリとし，データベース内にある楽曲群とクエリの音響的類似度に基づいて楽曲を検索する。最終的に検索結果において類似度上位 N 曲をミックス対象として用いている。
DJ ミックス処理では文献 [3] にて記述されている方式を用い，テンポ・ビート調整の際に楽曲信号の伸縮操作によりリズム同期を行っている．そのため楽曲ビート
検出において，ビートの曖昧性によって正解テンポに対して倍もしくは 1/2 のテンポ情報が推定，付与された場
合，DJ ミックス時に本来不必要な楽曲操作が生じ，楽曲再生において聴取者に違和感を与える事がある．文献[3] では，テンポ差が大きい場合においても聴取者に違和感の少ない DJ ミックスを実現している．

図 1: 演奏デモ及びシステム
参考文献
図 1: 自動 DJ ミックス概要及び，システム構成
参考文献[1] Dixon, S.: BeatRoot: An Interactive Beat Tracking
and Visualisation System,
http://www.elec.qmul.ac.uk/people/simond/beatroot/.
[2] Hoashi, K. Matsumoto, K. Inoue, N.: Personalizationof User Profiles For Content-based Music Retrieval
Based on Relevance Feedback, Proc. ACM Multimedia 2003, pp.110-119. 2003.
[3] 石先，他：音質劣化を考慮した音楽自動リミックス手法，
情報処理学会研究報告, 2008-EC-009, pp.43–50, 2008.

7[1] http://www.csounds.com/scanned/[2] http://www.pitaru.com/sonicWireSculptor[3] http://www.nime.org/[4] http://www.numark.com/nuvj

装着型センサを用いたウェアラブル DJ システム

Max/MSP 等の音声入力による操作支援イン
タフェース

冨林 豊，竹川 佳成，寺田 努，塚本 昌彦（神戸大）
平井 重行（京産大）
既存の DJ システムは機材から離れられないため行動
音楽プログラミング環境として有名な Max/MSP や範囲が限られており，自由なパフォーマンスを行うのが PureData は，ビジュアルプログラミング環境でありマ困難であった．本研究では，ウェアラブルコンピューティ ウス中心の操作であるものの，キー入力も多分に必要とング技術を活用した DJ システムを提案する．提案シス される．操作に慣れるとマウス・キーボード間の手の移テムは装着型センサとジェスチャ認識技術を活用するこ 動が操作効率を下げる要因となることから，本研究ではとで，場所を問わずに直観的な操作でかっこいい DJ パ キーボードと音声を併用した操作支援インタフェースの開発を行っている．これまで，オブジェクト機能割当て
フォーマンスを行える．
ウェアラブル DJ システムは図 1 に示すように両手の のための文字列音声入力する機能を基本に，音声認識誤甲に加速度センサを装着し手の動きをセンシングして りを許容するための競合候補リスト提示機能，プログラ
ジェスチャ認識を行う．そして，あらかじめ登録された ミング上の特殊操作を実行する音声コマンド機能などを動作定義に従い BGM やエフェクトを制御する．提案す 実装しており，今回はそれらのデモンストレーションをるウェアラブル DJ システムは以下のような特徴をもつ． 行う．
(1) 基本的な音声認識機能
1. 自由に移動できる．
我々の研究グループで開発した小型軽量な無線加速
音声認識エンジンは Julius を利用し，認識すべきオ
度センサチップを使用することで，ブースやフロア， ブジェクト名や数字，音声コマンドなどを記述した専用
ステージ上など場所を問わず，自由に DJ パフォー 辞書ファイルを作成することで，Max/MSP 向けの専用
マンスを行える．
認識エンジンとして動作させる．
(2) 競合候補提示選択機能
2. 視覚的にパフォーマンスを理解できる．
「手を上げ下げすることで音量の大小を制御する」 似たようなオブジェクト名や発音の仕方によって音声といったように視聴者が視覚的に操作内容を理解で 認識誤りが起こるため，音声認識結果の複数候補をマウきる動きと音楽制御のテンプレートセットを用意し スカーソル位置にリスト提示し，ユーザが選択できる機
た．これにより，修得した操作技術を観客に理解し 能である．
てもらえると同時に観客に興味をもってもらえる． (3) 音声コマンド機能
3. カスタマイズ性が高い．
音声入力機能のオンオフ切替や，競合候補リストのユーザは任意の動きのパターンをシステムに登録で キャンセルなど，本操作支援インタフェースの動作自体
き，登録した動きと音楽制御を自由に関連付けでき に関する機能のほか，Max/ MSP で利用できるショー
る．これにより，ユーザはオリジナルなスタイルの トカットキーの実行，オブジェクトボックス生成などのDJ パフォーマンスを披露できる．
操作について，音声コマンドとして認識，実行する機能
4. DJ パフォーマンスに必要な機能をもつ．
である．なお，これらはオブジェクトとしては存在しな
ウェアラブル DJ システムは既存の DJ パフォーマ いものなので，オブジェクト名入力の妨げにはならない．
ンスで必要な音楽制御に関する以下の機能をもつ．
• 再生・停止• フェードイン/アウト・クロスフェード再生• エフェクト (7 種類)• スクラッチ効果・キューポイント• 音量・パン・ピッチの調整
今回のデモセッションでは，ウェアラブル DJ システ
ムを実際に体験していただくことで，動きにより音楽を制御することの可能性について議論したいと思います．

図 1: 操作支援インタフェースの構成

無線通信①加速度センサのデータ

参考文献

②動作認識
動
作
定
義
③BGM制御[1] 田中秀明, 平井重行: 音声入力を用いたビジュアルプログ
ラミング環境の操作効率向上, インタラクション 2007 論
文集 CD-ROM (2007)[2] 平井重行, 田中秀明: 音声入力によるビジュアルプログラ
ミング環境操作支援インタフェース, 情報処理学会研究報告 2008-MUS-75 , pp.19-24, (2008)

図 1: ウェアラブル DJ システムの構成

8

対話型進化論的計算を用いた歌声合成パラメー 音楽用対話型進化論的計算のインタフェース
タの探索安藤 大地，稲田 雅彦，丹治 信，伊庭 斉志（東大）
渡辺 晃生，安藤 大地，丹治 信，稲田 雅彦， 既存の IEC のインタフェースはシステムが提示する
伊庭 斉志（東大） 作品に点数をつけていくだけのものであった．そのため
YAMAHA 社から発売された VOCALOID[1] を用い 音楽創作の初心者が退屈さを感じてしまい音楽創作のモ
た CGM 作品は，発売当初では人間の歌唱のコピーが流 チベーションを高めることが出来ていなかった．高度な行していた．しかし現在は VOCALIOD の特性を活か 音楽知識や経験を持たない初心者ユーザには音楽創作作した人間には表現できない歌唱を生成するために用いら 業そのものを楽しく感じることが出来るインタフェース
れることが多くなっている．歌唱コピーでは，中野らの が必要であると考えた．
そこで，著者らは音楽創作作業そのものを楽しく感じ
VocaListener[2] などの人間の歌唱を転写する技術が登場しユーザの助けとなることが期待されているが，人間 させるような IEC インタフェースの開発を行った．
には表現できない歌唱や音響の生成の手助けになるツー (1) 個体の円周配置型インタフェース
ルは現在存在していない．そのためユーザは人間のコ個体の円周配置型インタフェースは，個体を円周上に
ピーではないオリジナル歌唱を生成する時には手作業でならべ中心からの距離により評価とするものである．ふ全てのパラメータを変化させることを試す必要があり，
わふわと動き回る個体の見た目の楽しがユーザのモチユーザにとって非常に大きな負担となっていた．
ベーションを高めることを期待した．さらに染色体が類
そこで，市販されているシンセサイザの音色の探索に似した個体を現在聴取している個体の側に引き寄せる機も用いられている対話型進化論的計算を用いることで，能を持っている．この聴き比べを行うことができる機能
VOCALOID のシンセサイザパラメータの組み合わせのにより評価時のユーザの心理的な負担が減少した．
探索を行えないかと考え，プロトタイプのシステムを作(2) 女性の買い物フロー型インタフェース
成した．
構築したシステムの特徴を以下に示す．
図 1 に女性の買い物フロー型インタフェースを示す．
1. GP(遺伝的プログラミング) をもとにした時系列パ 女性買い物フロー型インタフェースは，服飾品などの買ラメータの生成．
い物かごにおける品物の移動をモチーフにした評価プ
2. ネットワークを通じて複数の VOCALOID エンジ ロセスを取り込んだインタフェースである．個体アイコンを駆動することによる処理待ち時間の低減．
ンを「購入対象外エリア」，「ちょっと気に入ったので購3. ユーザインタフェースの工夫．
入を検討してみるエリア」，「気に入ったけど所持金の関特徴 1 については，GP のプログラムで時系列パラ 係であとで購入エリア」，「すぐに購入エリア」などにメータを表現することにより，合成ターゲットとなる曲 移動させることで評価を行う．さらに Similarity-Basedの長さに依存しない遺伝子型を実現した．これによりど Reasoning の考え方を取り込み，染色体が類似した個体のような長さの曲でも理論上は合成可能である．
を引き寄せ同時にエリア移動をさせることが可能であ特徴 2 については，VOCALOID エンジンの合成に る．これにより発想支援の効果を失うことなく評価の労要する処理コストが大きいことが問題であった．対話 力を減らすことを可能とした．
型進化論的計算では多くの個体を同時にユーザに提示しなければならないため，発現に要する時間が非常に大きくユーザにストレスを与えてしまう．そこで複数の
VOCALOID エンジンを同時にバックグラウンドで動作させることによる発現の処理時間の低減を達成した．
特徴 3 については，時系列を扱う対話型進化論的計算の問題である個体の認識などについて，個体提示方法の改善によりこれを解決した．
参考文献[1] 剣持 秀紀, 大下 隼人：歌声合成システム VOCALOID- 現状と課題, 第 74 回情報処理学会音楽情報科学研究会,pp.51–56, 2008.
[2] 中野倫靖, 後藤真孝：VocaListener: ユーザ歌唱を真似る
歌声合成パラメータを自動推定するシステムの提案, 第75 回情報処理学会音楽情報科学研究会,pp.49-56, 2008.

図 1: 女性の買い物フロー型インタフェースの概観

9さまざまな演奏スタイルに適応可能な電子鍵 おわりに盤楽器 UnitKeyboard

竹川 佳成（神戸大）
竹川 佳成，寺田 努（神戸大），西尾 章治郎（阪大） 今回で 7 回目を迎えた本企画は，15 件の正式エントリー
鍵盤楽器の歴史は古く，ピアノ，オルガン，アコーディ があり過去最高の発表件数となった．このような発表件
オン，鍵盤ハーモニカなど目的や状況に応じて鍵盤数， 数の増加や内容の充実は，本企画が立ち上がったとき
段数など鍵盤構造が異なるさまざまな鍵盤楽器が提案さ から一貫している「発表済みのシステムを展示できる」
れてきた．しかし，従来の電子鍵盤楽器は，鍵盤数固定 「未完成/一発ネタのシステムを展示できる」という敷居の単一楽器であったため，手軽さの問題や求められる鍵 の低い出展ポリシーをはじめ，企画者・展示者・参加者
盤構造に柔軟に適応することが難しかった．そこで，本 の積極的な広報活動，原稿提出ぎりぎりまで発表希望や研究では 1 オクターブを基本単位とする鍵盤を組み合わ タイトル変更を受け付ける柔軟な対応や飛び入り参加のせることでさまざまな鍵盤構造に適応できるユニット鍵 歓迎といった企画者サイドの細やかな気遣いなどが実を結んだ結果だといえる．
盤 (UnitKeyboard) を構築する．
個人的な話で恐縮だが，私は今回を含めて 4 回目の出設計展である．そこで，本章を執筆するにあたり，これまで
ユニット鍵盤は，1 オクターブの鍵盤を組み合わせ の体験を交え出展者の立場から本企画の雰囲気についてることでさまざまな鍵盤構造を構築できる鍵盤楽器であ お伝えできればと思う．
思い返せば私が初めてデモ発表を行ったのも，京都大る．例えば，図 1-(a) に示すように，ユニット鍵盤 2 個
学の京大会館にて開催された第1 回目の本企画であった．
を横並びに接続することで，2 オクターブの音域をもつ
発表前は，デモのノウハウは全くなく雰囲気もわからず，
鍵盤楽器となる．また，図 1-(b) に示すように，2 オク
ターブのユニット鍵盤を 1 オクターブ分ずらして縦並び おまけに「楽器で音楽的に文字を入力しちゃうぜ！」とに接続すると，エレクトーンのような 2 段の鍵盤をも いう挑戦的な内容で，コンセプトそのものを否定されたつ構造となる．縦方向で重なっている 2 つのユニット鍵 り，理解してもらえないのではないかと戦々恐々として
盤は上下で結ばれているため同じ音域となる．また，図 いた．しかし，実際には，多くの人に喜んでもらえ，研1-(c) に示すように抵抗，センサやアクチュエータなど 究の方向性やターゲットとする国際会議など貴重なアド
入出力機器を搭載した「拡張ユニット」を挟むことで， バイスをいただけたことを覚えている．また，他の出展
仮想的に 1 オクターブ音域を高くしたり，直観的なユ 者は「既発表だが開発したシステムをもっと広く知ってもらいたい」「おもしろい音楽システムができたので見ニット鍵盤の操作を実現することもできる．
「開発途中のシステムだが専門家の意見
今回のデモセッションでは，ユニット鍵盤を実際に体 てもらいたい」
を聞きたい」などさまざまなモチベーションで出展にの験していただくことで，ユニット鍵盤の演奏性や楽器をユニット化することの可能性について議論したいと考え ぞんでおり，私と同様「音楽情報科学を専門とするプロの意見が聞ける」「さまざまな観点から有用な知見が得ている．
られる」「実践をふまえた良い発表練習の機会になる」などさまざまな肯定的なコメントを耳にしている．
(a)
このように，見学者の多くは音楽に関して柔軟な考えと情熱をもっており「研究をもっと良くするためにはど
基準ユニット 基準ユニット鍵盤よりうしたら良いか」という前向きな視点で見ておられ，今1オクターブ高い音域
鍵盤
後参加を検討されている方はぜひお薦めする．また，個人的な思いであるが，「研究成果を音楽に応用してみたが意見を聞きたい」「特にアイデアはないが，こんな素基準ユニット鍵盤より(b)
2オクターブ高い音域
材/技術を音楽に応用したい」など音楽利用や音楽応用に興味のある他分野の研究者も本企画を活用していただ
ければと考えている．上述した理由から，有用な知見が得られるはずであろう．逆に，研究成果を他の分野に応基準ユニット 基準ユニット鍵盤より
鍵盤
1オクターブ高い音域用したいと考えている音楽情報科学の研究者も多く，共同研究のきっかけになることもあり得ると考えられる．
(c)
最後になるが，このデモセッションにご支援いただいた方々に心より御礼を申し上げる次第である．
基準ユニット 拡張ユニット 基準ユニット鍵盤より
鍵盤2オクターブ高い音域

図 1: ユニット鍵盤の構成例

10