情報処理学会研究報告
IPSJ SIG Technical Report

Demonstrations: Introduction of Research on Music Informatics VII

デモンストレーション：音楽情報処理の研究紹介 VIIDaichi Ando

Faculty of System Design,
Tokyo Metropolitan University

安藤 大地

首都大学東京システムデザイン学部

Katsuhiko KajiNTT Communication Science Laboratories

Kentaro Kitaichi

Graduate School of Science and Engineering,

梶 克彦

NTT コミュニケーション科学基礎研究所

北市 健太郎

早稲田大学基幹理工学部情報理工学専攻

草間 かおりお茶の水女子大学大学院人間文化創成科学研究科

佐藤 和哉

電気通信大学情報通信工学専攻

竹川 佳成

神戸大学自然科学系先端融合研究環

浜中 雅俊

筑波大学大学院システム情報工学研究科

深山 覚

東京大学大学院情報理工学系研究科

松原 正樹

慶應義塾大学大学院理工学研究科

Waseda University
Kaori Kusama

Dept. of Computer Science
Ochanomizu University

Kazuya Sato

Graduate School of Information andCommunication Engineering,
The University of Electro-Communications

Yoshinari Takegawa

Organization of Advanced Science andTechnology, Kobe University

Masatoshi Hamanaka
音楽情報処理の研究分野のさらなる発展に向けて，音楽研究事例をデモンストレーション形式で紹介する．

Dept. of Intelligent Interaction Technologies,
University of Tsukuba

Satoru Fukayama

Graduate School of Information Science andTechnology, The University of Tokyo

Masaki Matsubara

Dept. of Computer Science, Keio University

Toward further progresses of researchers in the field of music information
processing, we introduce case studies of demonstrations.

1c 2009 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

はじめにt-Room の記録再生機能を用いた非同期音楽セッション

梶 克彦（NTT）
デモセッションは 2004 年に開催されて以来，夏シンポの恒例企画となっている．新しいシステムはもちろんのこと，通常発表しにくい未完成のシステムや，過去に発表したもののそれ以降デモの機会に恵まれないシステムについてもデモンストレーション形式で発表することができる．多くの研究者が気軽にシステムを発表できるよう，ぎりぎりの発表申し込みや原稿提出にも柔軟に対応している．また残念ながら原稿提出期限に間に合わない発表についても，飛び入り参加という形で，当日デモ発表をする場を提供する．
デモセッションは若手企画の一環として，若手主体で運営されてきた．研究会の運営委員に限らず，学生などの若手が研究会の運営に少し携わってみるよい機会にもなっている．私自身，学生時代からしばしば運営に関わっているが，本企画は音楽研究を下側から盛り上げるための重要な意味を持っていると感じている．以前のデモセッションのタイトルは，企画運営を若手が担っているという意味を込めて， 若手による音楽情報処理の研究紹介 というように， 若手 という冠がつけられていたが，デモ発表者を年齢の若い方に限定しているわけではないため，昨年からはこの冠がはずされている．
今回のデモセッションには，原稿締め切り時点で 8 件の応募が集まった．演奏支援や作曲支援など，幅広い内容となっており，いずれも大変興味深い．発表者，参加者の皆様には，ぜひともデモセッションの場で活発な議論を交わしていただきたい．音楽研究者の集まるデモセッションは，発表者にとっては深い議論を行い研究を発展させるヒントを得る場として非常に有効である．また同時に，参加者にとっても様々なシステムに触れて刺激を受ける有益な場となる．今回のデモセッションが，発表者，参加者の皆様の研究をより魅力的にする糧となれば幸いである．
今後も若手の力によってデモセッションを継続させて行きたいと考えている．一緒に今後のデモセッションを運営したり，新たな企画を立案してみたい方は，ぜひ以下の連絡先へ連絡をいただきたい．

梶 克彦，平田 圭二（NTT）
従来の遠隔地間で音楽セッションを行う手法として MTR(Multi Track Recording) が挙げられる．MTR によって演奏の障害となる遅延の影響をを回避することができるようになる．しかし，MTR は音だけの非同期録音再生であり，演奏者どうしでタイミングを合わせる手段としてはドンカマ程度しかなかった．音楽セッションはインタラクティブかつ豊富なジェスチャを伴う作業である．目線や顔・体の向きで情報を伝えあうだけでなく，体全体を使ったジェスチャや空間内移動を行う．演奏中だけでなく，リハーサル中も同様であり，楽譜を共有し会話しながらそれを指差ししたりすることがある．そのため，非同期に録音再生することで低下してしまうインタラクション性を，作業環境に関するコンテキストを遠隔地間のユーザどうしで共有することで補い，さらには拡張・強化することが必要となる．
我々は作業環境に関するコンテキストを共有するシステムとして t-Room を構築した．
t-Room は，大型ディスプレイで囲まれた空間を作り，ユーザ全員が視野の大部分を共有し，全身を等身大で表示することで，距離感や方向感の共有を可能にしている．t-Room で非同期音楽セッションを行うユーザは，過去のユーザがあたかも同じ空間でセッションを行っているように感じることができる (図 1)．
また，過去のセッションの෌⏕ࡉࢀࡿ㐣ཤࡢ₇ዌ
記録を再構成することで，マイナス１演奏（カラオケ）の作成を容易にしたり，同一人物による多重合奏が可能となった [2]．既に記録されたセッションの特定の楽器パー㐣ཤࡢ₇ዌ࡟ྜࢃࡏ࡚
ࢭࢵࢩࣙࣥࡍࡿ⌧ᅾࡢ₇ዌ⪅
トを消し，そのパートに新た
図 1 非同期音楽セッションの様子に演奏者が入り込むことで，新たなバージョンの音楽セッションを行うことができる．

Sigmus 若手企画メーリングリスト参加者募集
Sigmus 若手企画メーリングリストは，これまでのデモセッションに参加いただ
いた方々に登録いただいているもので，デモセッションの事務連絡および，今後の若手企画の相談，連絡等を行っています．年齢等制限はありません．今後の企画に参加したいと思っている方はメーリングリストに加わってみませんか．
問合せ先：中野倫靖 (t.nakano@aist.go.jp)[1] 梶克彦, 平田圭二, 社会的インタラクションのコンテンツ化のためのアーキテクチャ, 情報処理学会 グループウェアとネットワークサービス ワークショップ, pp.113-118, 2007.
[2] Kaji, K., Hirata, K., Asynchronous Music Production in Life-sized Video CommunicationSystem t-Room, International Conference on Music Information Retrieval(ISMIR), 2008.
(Late-breaking)2c 2009 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

Wii リモコンを用いた音楽インタラクション

MusCat: 楽曲の印象表現に基づいた一覧表示の一手法

北市 健太郎，甲藤 二郎（早大）
既存の音楽家向けのツールでは，音楽の知識や経験が多くないユーザが音楽インタラクションを体験するには不十分であった．特殊なセンサや MIDI 楽器などを必要とするものでは，音楽にそれほど関わりのない人にとっては敷居が高いといえる．そこで，本研究では入手が容易で感覚的に扱うことができるインターフェースとして，Wii リモコンを扱った音楽インタラクションを提案する．今回紹介するのは，実際の楽曲再生と同時に，ユーザがセッション感覚で演奏することができるアプリケーションである．ユーザが自分の好きなタイミングで Wii リモコンを操作することで，楽曲のコード（調性）に合った音が自動で生成される．
本アプリケーションによって，様々な音楽・楽器の擬似演奏を行うことができる．

草間 かおり，伊藤 貴之（お茶大）
本稿では，曲名やアーティスト名等のメタデータに依存せず，旋律や調性などの楽曲特徴や印象に基づいて楽曲を検索するツール MasCat を紹介する．MusCat は，視覚的にとらえることの出来ない楽曲を，瞬時にかつ直感的に検索するために，各楽曲を印象画像に置き換えて一覧表示するツールである．

(1) 処理の概要
図 1 に本アプリケーションの処理の流れを示す．
( 1 ) Wii リモコンのパラメータ取得 Bluetooth 通信によって Wii リモコンの各種パラメータを秒間 50 回取得する．それらの値を用いて，ユーザの拍打を識別する．
( 2 ) 12 次元 chroma-vector のリアルタイム取得楽曲の再生と同時に，音響信号に対してFFT をかけ，12 次元 chroma-vector へマッピングする．この値を用いて再生音高を決定する．
( 3 ) HMM による再生音の前後関係の考慮生成される音列を状態遷移とみなし，HMM によって定義することで音楽的な音列を実現する．
本研究では，Wii リモコンを用いることで，楽曲再生に合わせてユーザが様々な楽器での擬似演奏を行う音楽インタラクションシステムの試作を行った．本システムによって，誰でも簡単に音楽に触れることが可能になったと言える．

(2) 処理手順
MusCat を実現する処理手順は，以下の通りである．
( 1 ) 各楽曲データから特徴を検出する．
( 2 ) 特徴量に基づいて楽曲を階層的にクラスタリングする．
( 3 ) 特徴量に基づいて印象画像を自働生成する．その際，クラスタの平均特徴量の代表画像も生成する．
( 4 ) 画像ブラウザ CAT で印象画像を一覧表示する．
MusCat では，GUI 操作による拡大縮小にともなった詳細度制御が可能である．ズームアウ
ト表示では，詳細度制御により類似した楽曲群の代表画像を表示する．ズームイン操作をする
ことにより，低階層クラスタが表示され，さらに拡大表示すると，長方形で囲まれた長方形領域の中に各楽曲に対応した印象画像をサムネイル表示する．このように，MusCat は階層化された画像群に対するズーム操作によって，直感的に楽曲を絞り込める．

(1) MusCat の全体像
図 1 に，MusCat による楽曲一覧表示の例を示す．MusCat は大量画像を表示するブラウザ CAT[1] を楽曲再生ユーザインタフェースとして拡張し，各楽曲の印象画像を表示するものである (Music CAT)．

[1] Bernd Bruegge, Christoph Teschner, Peter Lachenmaier, Eva Fenzl, Dominik
Schmidt, Simon Bierbaum：Pinocchio:
conducting a virtual symphony orchestra, Proceedings of the international
conference on Advances in computer
entertainment technology , pp.294-295,
2007

1 A. Gomi, R. Miyazaki, T. Itoh, J. Li:
CAT: A Hierarchical Image Browser Usinga Rectangle Packing Technique, 12th International Conference on Information Visualization, pp.82–87, 2008.

図 1 MusCat: ズームイン

図 1 処理の流れ

3c 2009 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

CodeMusician:プログラム可聴化システム

運指認識機能およびピアノへのアノテーション投影機能をもつ演奏支援システム

佐藤 和哉，丸山 一貴，寺田 実（電通大）
プログラムの実行を音（効果音や合成音声）を用いて可聴化を行ったシステムを紹介する．プログラムの動作パターンを特徴的なメロディの連続により表現することで，実行構造や処理順序など，プログラム理解に有効であると考えられる．図 1 に CodeMusician の概観を示す．

竹川 佳成，寺田 努，塚本 昌彦（神戸大）
ピアノ演奏では，正確な打鍵や適切な指使いなどさまざまな技術が求められる．しかし，光る鍵盤 [1] をはじめとする既存の学習支援機能は運指の正誤チェック機能をもたず，学習者に効果的な運指教示を行えなかった．そこで，本研究では我々の研究グループが開発した運指認識技術 [2] により運指チェックを行うと同時に，鍵盤上部に設置したプロジェクタを用いて運指などの演奏支援情報を提示する演奏支援システムを提案する．
提案システムは図 1 に示すように，打鍵鍵 (次に打鍵する鍵) や候補鍵 (打鍵鍵より後に打鍵する鍵) の輪郭を運指ごとに割り当てられた色で囲む．正解運指が打鍵鍵や候補鍵上にある場合，該当する鍵全体が塗りつぶされる．一方，誤運指で打鍵している場合や，誤った鍵を打鍵した場合，矩形を赤色で塗りつぶすことで間違っていることを視覚的に示す．これにより演奏者は容易に打鍵位置や運指を把握することができると同時に，リアルタイムに正誤チェックをかけることでユーザは誤りに気づき補正できる．また，上部に現在演奏している付近の楽譜を示しており，音符と音符に対応する鍵との間が線で結ばれている．これにより譜面が読めないユーザであっても音符と鍵の関係が理解でき読譜学習にもつながる．

(1) 可聴化手法
プログラムの実行情報は以下のように可聴化する．
・ 変数値
実行点移動の間に取得されたすべての変数に対し，沖縄音階における15 音を変数値に応じて循環的に割ǊƍǜƘƍƬƘƦȸƱƘƍƬƘƦȸƱり当てる．
図 1 CodeMusician
・ 関数名
関数呼び出しやリターンの際，音声合成技術を用いて関数名を読み上げるという表現を行った．
・ 関数呼び出しの深さ
関数名による音に付加するエフェクトのパラメータとして使用した．
・ 繰り返し文
繰り返し文による処理を検出し，音程調整や速度調整などのエフェクトを付加し，メロディに変化をつけた．
これらの手法で可聴化を行った例として図 2 に変数値によるパートの楽譜を示す．
ȗȭǰȩȠƷᢠ৸ᲦϐဃᲦͣഥ᪦᣽  ϐဃᡮࡇƷᛦૢܱᘍໜ

᧙ૠԠƼЈƠƴ
Ɠƚǔ᨞‫ޖ‬ನᡯ‫٭‬ૠ͌ऴ‫إ‬ǽȸǹǳȸȉ

現在演奏している付近の楽譜

演奏する音符と鍵が線で結ばれている．
太線は次に演奏する鍵であることを示す．

正しい運指が鍵上にあれば，鍵上が塗りつぶされる．

1 #include <stdio.h>
23 int main(void)
4 {5int temp;
67int a = 1;
8int b = 5;
910temp = a;11a = b;12b = temp;
13 }

図2ӧᎮ҄

変数値の変化をメロディの変化として聞き取ることが可能なため，ソートプログラムの聞き比べのような利用方法から学習支援にもつながると考えられる．また，よいプログ
ラムを書くとよい音楽が聴ける，というシステムを実現できれば有用性が増大すると考えられる．

a:=1 a:=1 b:=5.

.

図 1 ユニット鍵盤の構成例

C:=1 b:=5 temp:=1 a:=5 b:=5 temp:=1 a:=5 b:=1 temp:=1.

.

.

1 光ナビゲーションキーボード, http://casio.jp/emi/key lighting/.
2 竹川佳成, 寺田 努, 西尾章治郎, “鍵盤楽器のための実時間運指取得システムの構築,” コンピュー
タソフトウェア (日本ソフトウェア科学会論文誌), Vol.23, No.4, pp.51-59 (2006 年).

可聴化を適用したプログラムの例

4c 2009 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

掛けモ〜フ

Orpheus Ver2.0: 歌詞の韻律に基づく自動作曲システム
深山 覚, 西本 卓也, 小野 順貴, 嵯峨山 茂樹（東大）
Orpheus はユーザが入力した歌詞とリズム、和声進行などの条件を用いて、歌唱曲のメロディを自動作曲するシステムである。音楽理論や作曲法に基づく制約条件に加えて、歌詞の韻律がメロディ上下動に与える制約を考慮した作曲アルゴリズムを実装している (システムの構成図を下図に示す。詳しくは [1])。今回のデモセッションでは、最新バージョンのシステムの紹介をするとともに、Orpheus のコンセプトと今後の方向性について参加者の方々と議論したい。
作曲は人間の行う行為の中でも感性に頼る部分の多い行為である。一方、型にはまった方法でもそれなりの曲が作れてしまうという一面もある。したがって音楽理論や作曲法の規則に基づいたアルゴリズミックな処理によって（平凡かもしれないが）特定のスタイルに照らして間違いのない音楽を十分に自動生成できる可能性がある。過去の研究例でも [2] のようにバッハスタイルを模倣したコラールを生成する試みが行われている。しかし問題は作曲理論書中で明文化されていない規則や曖昧な制約があることである。自然言語処理において言語学の知見を計算機で扱うための整理が必要であるように、作曲法も計算機で扱うための整理が必要である。
Orpheus 開発のコンセプトは、このような問題意識に基づき、音楽理論や作曲の中で顕在化してはいないが重要である法則性や理論を作曲家と工学者の双方の観点から掘り起こし、実際にあらかじめ設定したスタイルを逸脱しないメロディが生成可能かどうか検証することである。本発表の題名にある「歌詞の韻律に基づく」ことは、古典的な日本語歌曲の作曲法として明文化されているため [3]、新しく掘り起こしたものには当たらないが、本システムへ今後様々な規則を加えていくための第一歩としたいと考えている。
現在は非和声音の規則をどのように自動作曲に反映させるかについて研究を行っており、それについては本研究会で発表する予定である。

浜中 雅俊（筑波大）
電気モ〜フシリーズ第 3 弾，掛けモ〜フを紹介する．電気モ〜フシリーズとは，我々が構築した音楽理論 GTTM に基づくメロディモーフィング手法 [1] についてのデモシステム群のことで，これまで，電気モ〜フおよび敷きモ〜フ [2] (図 1) を紹介してきた．
掛けモ〜フの基本的な仕組みは，これまで同様，2 つのメロディの特徴を反映させる度合いを一つのパラメータで調節するものである．掛けモ〜フの特徴は以下の 2 つである．

(1) iPhone/iTouch 上への実装
従来の電気モーフシリーズは，計算機にインストールしたプログラム
環境 Max/MSP 上で動作するものであった．システムを配布し，多くの人に試用してもらう上で，Max/MSP
図 1 敷きモ〜フ（横軸は時間，縦軸はモーフィングレベル）をインストールしなくてはならないという条件は，非常に敷居の高いものになる．より多くの人に試用されるように Apple の iPhone/iTouch 上で動作するモーフィングインタフェースを構築した．今後 Apple iTune Store で公開予定である．
(2) インタフェースの改良
電気モ〜フおよび敷きモ〜フでは，2 つのメロディの間のモーフィングレベルを調節するために，スライドバーを用いていた1 ．掛けモ〜フでは，iPhone/iTouch に搭載されている，加速度センサを使ってモーフィングレベルのコントロールを行った．すなわち，ギターの穏やかなメロディと激しいソロをモーフィングした場合に，iPhone/iTouch を静止している場合穏やかなメロディが再生され，激しく振るとソロが再生され，その中間の振り方のときには中間のメロディが再生されるようにした．

[1] 深山 覚 他 :“Orpheus: 歌詞の韻律に基づいた自動作曲システム,” 情報処理学会研究報告, 2008-MUS-76, pp.179–184, 2008.
[2] Ebcioglu, K. : “An expert system forharmonizing four-part chorales,” Computer Music Journal, Vol.12, No.3,pp.43–51, 1988.
[3] 長谷川 良夫 : “作曲法教程 上巻,” 音楽之友社, pp.68–89, 1953.

[1] Masatoshi Hamanaka, Keiji Hirata, Satoshi Tojo: Melody Morphing Method based on
GTTM, Proceedings of the 2008 International Computer Music conference (ICMC2008),
pp. 155-158, August 2008.
[2] http://music.iit.tsukuba.ac.jp/hamanaka/index j.html (デモビデオあり.)
1 電気モ〜フでは，電気毛布の温度調節ボリュームを動かすとスライドバーが動くハードウェアも構築した．

5

図 1 自動作曲システム Orpheus のシステム構成

c 2009 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

ScoreIlluminator: オーケストラスコア色付けによる音楽を聴くスキルの熟達支援インタフェース

おわりに安藤 大地（首都大）今回のデモセッションの多くの発表は，ユビキタス情報社会において人間がどのように音楽とつきあっていくかを予感させるものであった．音楽は他に例を見ない聴覚・時間メディアであるために，誰もが納得できる容易な可視化など，他メディアとの関連づけを行う手法は未だ確立していない．今現在，音楽の研究者に求められている最重要課題の一つは，音楽の専門的知識を持たない人間や音楽を楽しむ専用環境を持たない人間がどのように音楽とふれあっていくかの予想図を示すことである．今回のデモセッションで多く見られた，他メディアと音楽メディアを関連づけることにより人間と音楽のインタフェースを提案する研究は，今後ますます盛んになっていくだろうと予想されている．完全に個人的な見解となって申し訳ないが，このような研究を進めるために重要なのは，「突飛な発想」と「三人寄らば文殊の知恵」の両立と私は考えている．一見とんでもないと思われるようなアイデアは，実現してみれば素晴らしい結果を出すことがある．またシステムの体験者のフィードバックやディスカッションにより突飛な発想が洗練され見事に化けることもある．しかしながら発想とディスカッションのどちらか一方が存在するのみでは，良い研究結果を出すことは難しい．
本デモセッション企画が立ち上がった時から一貫している「未完成/一発ネタのシステムを展示できる」「発表済みのシステムを展示できる」というポリシーは，まさに突飛な発想とフィードバックやディスカッションによるブラッシュアップを支援するものである．デモセッションの見学者の多くは，音楽に関して固定観念で接することはなく柔軟にこれからの音楽情報研究の発展を考えられる方々である．突飛なアイデアが何のフィードバックもなく一笑に付される危険性はなく，発表者はきっと良いフィードバックを得られるだろう．また見学者も自分一人では思いつかなかった突飛なアイデアに触れる良い機会でもある．発表についてそのシステムを前にしてディスカッションを行える本デモセッションは，発表者，見学者の双方に非常に刺激的な良い研究発表の機会であると私は感じている．まだデモセッ
ションでの発表経験がない方，見学の経験がない方には，ぜひ一度発表や見学を検討して欲しい．
本デモセッションは若手を中心とした，企画者，発表者，見学者の積極的な広報活動，原稿提出ぎりぎりまで発表希望やタイトル変更を受け付ける柔軟な対応や飛び入り参加の歓迎といった企画者サイドの細やかな気遣いなどに支えられてきている．このような発表の場をもうけていただいていることに，心より感謝する次第である．

松原 正樹，曽根 孝明，斎藤 博昭（慶大）
オーケストラなど多くの楽器のために作曲された大編成の楽曲を聴く時，人間は最も高い音や最も大きい音など表面的に目立って聴こえやすい音のみを知覚することが多い．そのためパート一つ一つの音を聴き分け大編成楽曲の本来の面白さに気づくことができない．本研
究ではこのようにパート一つ一つの音を聴き分け，音楽的構造を知覚することを「音楽を聴くスキル」と呼び，そのスキルの熟達支援インタフェースを提案することを目的とする．
「音楽を聴くスキル」は楽器演奏やスポーツの技に代表される身体知と同じく暗黙知であり，暗黙知の熟達には身体の動きや体感をメタ認知的にことばにする試行が有効であることが実証されている (身体的メタ認知理論)[1]. そこで我々は何に注意して音楽を聴いているかを気づかせる（ことばにする）ことで一般の人の「音楽を聴くスキル」の熟達支援が可能であると考え，そのような知覚を促すものとして色付け楽譜に着目した．
図1

ScoreIlluminator のインタフェース

図 1 に ScoreIlluminator のインタフェースを示す．色による事象の分節化提示によるス
キル熟達支援の有効性が西山ら [2] によって示されているように，スコアの色付け手法 [3]を用いて，色付け楽譜を提示するインタフェースを作成した．ユーザは ScoreIlluminator
を用いて，色付け楽譜を作成し，色付け楽譜を見ながら音楽を聴くことによって，何に注意して音楽を聴いているかを考えるようになり，何回か繰り返していくうちに「音楽を聴くスキル」を熟達させていくことができる．
[1] 古川康一編著，植野研，諏訪正樹他著, “スキルサイエンス入門―身体知の解明へのアプローチー(7 章)”, 人工知能学会編, オーム社, pp.157–185, 2009.
[2] 西山武繁, 諏訪正樹, “身体運動時の姿勢変化の分節化によるスキル熟達支援”, 人工知能学会身体知研究会研究報告，SKL-1-3, pp.13–16, 2008.
[3] 松原正樹, 他, “ScoreIlluminator: スコアリーディング支援のためのオーケストラスコアの自動色付け”, 情報処理学会音楽情報科学研究会研究報告，MUS-78-1, pp.1–6, 2008.

6c 2009 Information Processing Society of Japan