デモンストレーション：若手による研究紹介
浜中 雅俊
北原 鉄朗
石田 克久
谷井 章夫
竹川 佳成
吉井 和佳
宮下 芳明
上田健太郎

日本学術振興会特別研究員 PD／
産業技術総合研究所
京都大学大学院情報学研究科
東京理科大学大学院理工学研究科
関西学院大学理工学研究科
大阪大学大学院情報科学研究科
京都大学大学院情報学研究科
北陸先端科学技術大学院大学

あらまし 本デモセッションでは，音楽情報処理の研究分野における若手研究者のさらなる発展に向けて，若手による研究事例 7 件をデモンストレーション形式で紹介する．

Demonstrations: Introduction of Research by Young Researchers
Masatoshi Hamanaka
Tetsuro Kitahara
Katsuhisa Ishida
Akio Yatsui
Yoshinari Takegawa
Kazuyoshi Yoshii
Homei Miyashita
Kentaro Ueda

Research Fellow of the Japan Society for the Promotion of Science／
National Institute of Advanced Industrial Science and Technology (AIST)
Graduate School of Informatics, Kyoto University
Graduate School of Sciences and Technology, Tokyo University of Science
Graduate School of Science and Technology, Kwansei Gakuin University
Graduate School of Information Science and Technology, Osaka University
Graduate School of Informatics, Kyoto University
Japan Advanced Institute of Science and Technology

Abstract Toward further progresses of young researchers in the field of music information processing, we
introduce seven case studies of demonstration.
タ」や「つくっちゃいました系」など通常の研究発表では発表しにくいものを含む様々な特色を浜中雅俊
持つ 7 件のシステムが寄せられた．
情報処理学会音楽科学研究会では，これまで多7 件のシステムの中には，評価基準が明確なもくの魅力的な音楽システムが発表されてきた．シのだけでなく，評価が難しいシステムも含まれてステムのデモを発表中で行う例も増えてきたが，いる．評価の難しいシステムについては，このデまだ多くの発表では，30 秒からせいぜい 1 分ぐら
モセッションが評価基準の設定について皆で議いの断片的な映像しか見ることができていない．
論していく機会となることを期待する．また，一しかし，それでも見られた人はまだラッキーなほ
般の人による主観的な評価も，システムを改良しうで，自腹を切って旅費や宿泊費を払って参加すていく上で有効な場合が多く，是非システムに関る学生にとっては，研究会に毎回参加することは困する率直な意見を述べて頂きたい．
難で，残念ながら見落とした研究も多いと思われる．
今回のデモセッションへの参加にあたって，若そこで，システムを実際に見る機会を増やすた
手研究者が一番心配していたのは，システムの欠めの試みとして，若手主導によるデモセッション点を見つけられて，査読の際に不利に働かないかを企画した．これは，音楽情報処理の研究分野でという問題である．本研究会が若手を育てる場とは，まだ有名ではない若手に活躍の場を与えるた
なるよう，暖かい目で見守って頂くことを願う．
めの試みでもある．今回のデモセッションには，本デモセッションが，本研究会の発展の一助と既に論文や研究会で発表したものから，「一発ネなることを願っている．

はじめにism:旋律補正に基づく即興演奏支援シス
テム

即興演奏を支援する演奏システム
INSPIRATION

石田克久，北原鉄朗
ism は，即興演奏における旋律中の不自然な個所をリアルタイムに補正する演奏支援システムである．即興演奏は，楽器演奏と旋律創作を同時に行う高度な演奏形態であり，楽器演奏自体ができる人であっても思い通りに行うことは難しい．
本システムは，楽器演奏はできるが，どの音を出せば自然な旋律になるかを瞬時に判断できない人を対象とし，演奏表現の幅を狭めることのない演奏支援システムを目指している．

(1) システム概要
本システムは，MIDI コントローラと音源モジュールの間に設置され，演奏情報を監視し，不適切な音を検出して適切な音に変換する．現在の実装では，あらかじめ与えられた伴奏ファイルとコード進行に基づいて，この処理が行われる．

(2) 補正手法
旋律中の不適切な個所を検出する手法の 1 つとして，アヴェイラブルノートスケールから外れる音（アウト音）をすべて補正することが考えられるが，これらの音が常に不適切であるとは限らず，この手法では演奏表現力の低下に繋がる．本研究では，即興演奏の旋律を N-gram でモデル化し，あらかじめ用意した旋律データベース（スタンダードジャズ約 400 曲）中で N-gram 確率の小さなアウト音のみを補正対象とすることで，比較的用いられやすいアウト音を許容した，演奏表現の幅を狭めることのない補正処理を実現した．

谷井章夫
即興演奏（創作と演奏を同時に行う演奏行為）を行うには，様々な音楽理論の理解と高度な演奏技能が要求されるため，ピアノ演奏非経験者はもとより，既存 楽曲の再現しか経験のないピアノ演奏者にとっても非常に困難な演奏行為である．
我々は，鍵盤楽器における即興演奏を対象とした演奏支援システム INSPIRATION[4][5][6]の開発を進めてきた．INSPIRATION は，でたらめな演奏を音楽的に許容できる演奏に実時間で変換するため，楽器演奏が苦手なユーザでも気軽に演奏表現を楽しむことができる．
具体的には，ユーザの表現する演奏意図を，打鍵タイミング，音の強弱，音の高低，同時に入力する音数などの物理的な量として捉え，それらをできる限り保 持した状態で，スケールノートやコードノートヘ置換することにより音楽知識と演奏技能を補う．
INSPIRATION を利用した演奏状況については，
http://ist.ksc.kwansei.ac.jp/~katayose/members/yatsui/inspiration001.html から閲覧できる．

P...

-3-2-1

図 1：システムの全体像

図 2：システムの全体像

鍵盤を用いた芸術的な PC 操作

ドラムイコライズシステム INTER:D

竹川佳成
吉井和佳
我々の研究グループでは，いつでもどこでも楽
我々は音楽を聴くとき，CD プレイヤーなどに器を演奏し音楽を能動的に楽しみたいという要搭載されているグラフィックイコライザを用い求を満たすため，手軽に持ち歩いて利用できるモて楽曲の音量バランスを調節することがある．従バイル楽器の開発を行っている[7, 8]．このような来のグラフィックイコライザは，音楽音響信号にモバイル楽器が普及し，常に楽器を持ち歩く環境対して帯域抑制・通過型フィルタを適用し，該当が一般的になれば，楽器演奏者は持ち歩いている帯域周波数のスペクトル成分を抑制あるいは増楽器を用いてあらゆることを行いたいと思うよ
幅するという原理で動作する．この方式では，任うになると考えられる．
意の周波数帯域のスペクトル成分を調節するここのような要求に対し，我々は持ち歩き可能なとができる一方，ある楽器の音量のみをピンポイ
小型鍵盤を用いて PC を操作するシステムである
ントで調節することはできなかった．
モバイルクラヴィーアを構築してきた[9]．プロト
この問題を解決するため，音量調節したい楽器
タイプシステムでは 25 鍵盤を搭載した小型鍵盤に由来するパワー成分のみを調節できるイコラ楽器を使用した．そのため，一般の PC 用キーボ
イズ方式 INTER(Instrument Equalizer)を提案
ードと比べてキー数が少ない条件の中で各種操する．INTER を用いると，ユーザはその楽器パ作(文字入力操作，マウス操作，ウィンドウ操作)ートの音量だけを他楽器に影響を与えることなを行い，かつ芸術性を組み込まなければならない． く調節しながら音楽を楽しむことが可能になる．
例えば，文字入力操作では，鍵盤の左半分を伴(1) 機能紹介
奏(左手)領域，右半分を文字指定(右手)領域に割り
本稿では，ドラムイコライズシステム当てている．提案する文字指定方式は，各文字にINTER:D(INTER for Drums) を開発したので対して使用する鍵が決まっているため，文字に依報告する．現在の実装では，バスドラムとスネア存した芸術性に乏しい音楽が出来上がってしま
ドラムの音量調節ができる．また，ドラムスの音う．そこで，文字入力中に打鍵する鍵から出力さ量を完全にキャンセルし，全く別の音色のドラムれる音を，左手で入力する和音(伴奏)に応じて変スに置換する機能も実装している．
えることにした．伴奏と不協和音にならない音集合を導出し，文字指定領域にその音を敷き詰める(2) 動作原理ことで違和感のない文字入力演奏を実現してい我々が提案したドラムスのパワースペクトルる．また，文字指定タイミングや，伴奏におけるに関するテンプレート適応 / マッチング手法
コード進行などを工夫することで芸術性をさら[10]を利用する．まず，音楽音響信号からイコラに高められる．
イズ対象となる楽器個体 X のパワー分布を再構
今回のデモセッションでは，モバイルクラヴィ
成し，X の発音時刻をすべて検出する．その後，ーアを用いたパフォーマンスとして文字入力操
発音時刻周辺のもとのパワースペクトルから X
作，マウス操作，ウィンドウ操作を実際に体験しのパワースペクトルを rate 倍したものを加減すていただく．これまでに発表した文字入力方式にることでイコライズ処理を行う（図 4 参照）．
加えて，新たな文字入力方式や，学内でのアンケート結果等を紹介し，演奏でコンピュータを操作
musical audio signal
することの可能性について議論したいと考えて
Onset-Detection
いる．
…

replaceextract

onsetsoriginal spectrum spectrum template equalized spectrum±

frequency

f1.0
rate

=tpower

図 3: システムの使用風景

P′PX

Pframe

図 4:ドラムイコライズシステムの概要

鍵盤温度を用いた音楽情報提示システム

SMF データ入出力ライブラリーSMFIO のの研究開発

開発

宮下芳明
未だ萌芽的ではあるものの，今日音楽演奏における「出力機器」ともよべる研究開発が行われている．長嶋による bio-feedback system [11]は電気パルスをフィードバック信号としてダンサーに送信する．また，振動を用いて皮膚に音楽情報を伝えうる Vibrotactile Suit [12]なども該当するであろう．これらは，身体運動をセンシングする「入力機器＝楽器」とは逆に，視覚以外の感覚で演奏者に音楽情報を伝達する．
今回我々は，音楽演奏のための新たな出力機器として，鍵盤の温度をダイナミックに変化させることにより，演奏者と楽器の接点において温度情報を呈示するシステムを構築した．温度感覚を媒介とする場合，量的に，そして持続的に信号を制御できる点が長所といえる．また，con fuoco (炎のように)といった音楽記号からもうかがえるよ
うに，温度感覚は音楽における情動表現と関係が深い．
各鍵盤には，下図のようにペルチェ素子を配置している．これは片側の面から反対側の面へと熱を移動させる素子で，極性を反転させることにより加熱・冷却が切り替えられる．システムは MIDI情報を受信し，それに応じて鍵盤の温度を変化させることができる．

上田健太郎
SMF（Standard MIDI File）とは，コンピュータやシーケンサーなどの MIDI 情報を扱うソフ
トウェア間でデータのやり取りを行うために標準化されたファイルフォーマットである．SMF
自体はバイナリ化されたデータであり，そこに含まれるデータを扱うには OS や開発環境に依存したライブラリ関数を用いるか，解析用のプログラムを用意する必要がある．
そこで，これまで SMF をマルチプラットホームで手軽に扱えるようにするため，ANSI 対応のC 言語用ライブラリ，SMFIO（実際にはソース形式）を提供してきた(http://homepage.mac.com/interplay/MR/index.
htm)．これらは前バージョンや，その前身のMacintosh 用のライブラリから数えると総ダウンロード数も１２００を超えていることから，様々に活用されているものと考える．

(1) SMFIO
SMF 内のデータを手軽に扱うために開発してきたライブラリであり，元々は Macintosh 用のライブラリとして開発していた．SMFIO として公開するにあたり，C 言語の ANSI に対応する事により Macintosh だけでなく，UNIX や Windowsでも使用が可能となった．

(2) 追加機能

図 5：ペルチェ素子を配置した鍵盤

Version2 までは SMF から読み出したデータを配列構造で管理していたが，今回新たにリスト構造でデータを管理できるようにした．これによりデータの追加や削除が容易になり，プログラム上でデータをより手軽に改造できるようになった．
また，それに伴い．プログラム内部でのデータの変換を行える関数を用意するとともに，より楽譜に近い形でのデータへの変換も可能とした．

NIME04 で発表した Thermoscore [13]では，こ(3) SMFIO の活用の鍵盤を MIDI シーケンサに接続し，時系列的にSMFIO を活用する事により SMF を容易に扱同音名の鍵盤温度を変化させた．こうした温度シう事ができる．今回はSMFIO を用いた簡単なデークエンスは，即興演奏における一種の制約としモプログラム PSMatch を用意する事により，そて機能する．例えばある鍵盤を加熱すると，そのの有効性を実際に目にしてもらう．
鍵盤を長時間押し続けることが困難となりデュ
尚，上記の成果はレーションが短くなるため，結果としてこの音は
http://homepage.mac.com/interplay/MR/index.
他の音に向かう経過音になるわけである．現在は，htm にて全て説明を加えて公開する予定である．
このシステムを応用した即興演奏支援の可能性について検証実験を行っている．

Guitarist Simulator

おわりに浜中雅俊
Guitarist Simulator は，ある人間の演奏者を模倣した仮想演奏者と，人間の演奏者とがインタラクティブに即興演奏できるジャムセッションシステムである．Guitarist Simulator は，機能を追加しながら，これまで何度かバージョンアップしてきた[14-18]．最新版[18]では，演奏者の振舞いの個性（相手の演奏に対してどのような演奏で反応するか），演奏者固有のフレーズの個性，演奏の発音時刻ゆらぎの個性という 3 つの個性を模倣した仮想演奏者を実現している．本デモンス
トレーションでは，システムをノートパソコン上で動作させることを考えて，演奏者の振舞いの個性のみを模倣した最も古い（最も計算負荷の軽い）バージョン[14][15][16]を紹介する．

北原鉄朗
今回，このデモセッションをある思いを込めて企画した．音楽情報処理という研究分野がより発展していくには，音情研が 2 つの役割を担う必要がある．1 つは「音楽情報処理システムを実際に使いながら議論できる場」である．これまでに多くの音楽情報処理システムが構築されてきたが，それらの多く，特にジャムセッションに関するものや音楽インターフェースなどは，実際に使ってみないとその魅力に気づかなかったり，有益な議論ができないことがある．
「はじめに」によると，システムの欠点を見つけられて査読が不利になることを心配する研究者がいるとのことだが，本来はむしろ逆で，実際にシステムを試用することで，魅力が伝わり，有益な議論がなされ，新たなアイディアが生まれていくはずである．そのためには，音情研がシステムをデモする場を提供する必要がある．もう１つの役割は「未完成の研究をみんなで育てていく場」である．現状では未完成であっても，今後の発展が期待できたり，まだアイディアレベルだがあと少しのひらめきで完成できそうな研究というのは，実は多いのではないかと思う．そういったものを音情研の参加者がみんなで議論できれば，一研究室や個人だけでは思いつかないようなアイディアが生まれるかもしれない．音情研は，そういった未熟な研究を暖かく迎え，育てる場であってほしい．我々がデモセッションを企画したのは，そういった思いによるものである．
このように通常の研究発表とはかなり異なる趣旨の企画の下，7 件のシステムが応募された．
どれも，実際に自分の目で見てみたい，自分の手で触ってみたいと思わせる魅力的なシステムで，デモセッション当日が今から楽しみである．また，今回集まった 7 件のシステムは，どれも完成度が高く，音情研の通常の発表形式や国際会議などですでに発表しているものも多い．その意味では，今回のデモセッションは，上で述べたような未熟な研究を育てるというよりは，既に一定の評価を得ている研究をさらに発展させるという位置づけに近くなったかもしれない．いずれにせよ，これからもこのような試みを継続させ，すでに高い完成度を持つものから未完成だがポテンシャルは高いものまで，さまざまなものをさまざまな形で議論できる場をつくっていきたい．
最後になるが，このデモセッションに応募していただいた方々，ご支援いただいた方々に心よりお礼を申し上げる次第である．

(1) 人間と入れ替わり可能な仮想演奏者
Guitarist Simulator では，仮想演奏者と人間の演奏者合わせて 3 人がギターで，12 小節 1 コーラスの典型的なブルース進行の曲を，ソロや伴奏を繰り返しながらジャムセッションする．シス
テムの入出力は MIDI である．仮想演奏者は，自分を含めたすべての演奏者の演奏を聴き，その演奏に対して自分の振舞いを決定するため，相手が人間であるか仮想演奏者であるかは問わない．

(2) 動作原理
Guitarist Simulator は，演奏者の振舞いのモデルを学習するとき（学習モード）とそのモデルを用いて実際にセッションするとき（演奏モード）
では，それぞれ異なった動作をする．学習モード
は，非リアルタイムで実行され，演奏記録から演奏者の入出力関係（その演奏者がどんな演奏に対してどんな演奏をしてきたか）を統計的に学習する．そして，演奏モードは，リアルタイムで実行され，得られたモデルを用いてフレーズデータベースからフレーズを選択し，それをつなげあわせることで，出力演奏を生成する．
印象算出部

演奏生成部

意図決定部

物理特徴空間 印象空間

振舞いのモデル.
.
.

CCA
物理特徴空間

PCA

出力q

∑q

∑
∑

意
図
ベク
トル

意図空間 物理特徴空間
...

CCA
MDS
類似度

出力演奏生成物理特徴空間RBFネットワーク

印象語
印象語評価

特徴抽出

隠れ層q

過 入力
去印
12象
小ベ節クのトル

一対比較

特徴抽出

フレーズデータベース

MIDI演奏記録

図 6：Guitarist Simulator の全体像

学習モード
演奏モード

謝辞
中村裕樹氏をはじめ，本研究にご協力頂いたすべての方々に心から感謝します（石田）．
本研究の一部は，日本学術振興会未来開拓学術研究推進事業（JSPS-RFTF 99P01404），科学技術振興機構さきがけ研究 21「協調と制御」領域の支援を受け実施されました（谷井）．
演奏者として協力して頂いた山背隆文氏，音響機材の準備をして頂いた稲垣文彦氏に感謝いたします（浜中）．

参考文献[1] K. Ishida, T. Kitahara, M. Takeda: ism:Improvisation Supporting System based on
Melody Correction, Proceedings of the 2004
Conference on New Interfaces for MusicalExpression, pp.177-180, June 2004.
[2] 石田克久，北原鉄朗，武田正之: "N-gram による即興演奏の旋律補正"，情報処理学会論文誌（ テ ク ニ カ ル ノ ー ト ）， Vol.45, No.3,pp.743-746, March 2004.
[3] 石田克久, 北原鉄朗, 武田正之: "ism: 即興演
奏の不自然な旋律を補正する演奏支援システム", Proc. 11th Workshop on Interactive Systemsand Software, pp. 19-24, December 2003.
[4] 谷井章夫,片寄晴弘:音楽知識と技能を補うピ
アノ演奏システム INSPIRATION,情報処理学会論文誌 Vol. 43, No. 2, pp. 256-259, March2002.
[5] 谷井章夫,片寄晴弘:音楽知識と技能を補うピ
アノ演奏システム INSPIRATION,インタラク
ティブシステムとソフトウェア IX：日本ソフトウェア科学会 WISS2001, pp.99-200 ,近代科学社, December 2001.
[6] AkioYatsui,Haruhiro
Katayose:An
accommodating piano which augments intentionof
inexperienced
players,
Entertainment
Computing Technologies and Applications,pp.249-256, Kluwer Academic Publishers, May
2002.
[7] 塚本昌彦:”PocketMusician：''両手入力による携帯型コード演奏システム,'' 情報処理学会研
究報告(音楽情報科学研究会 2001-MUS-40),
Vol. 2001, No. 3, pp. 15‐20, May 2001.
[8] 寺田努，塚本昌彦，西尾章冶郎: ''二つの PDAを用いた携帯型エレキベースの設計と実装,''
情 報 処 理 学 会 論 文 誌 , Vol. 44, No. 2, pp.
266—275, February 2003.
[9] 竹川佳成，寺田努，塚本昌彦，西尾章冶郎: ''鍵盤を用いた PC 用入力インタフェースの設計と実装,'' 情報処理学会研究報告(音楽情報科学研究会 2004-MUS-55), Vol. 2004, No. 41,
pp. 27-32, May 2004.
[10] 吉井和佳, 後藤真孝, 奥乃博: "テンプレート
適応を利用した実世界の音楽音響信号に対するドラムスの音源同定", 情報処理学会 音楽
情報科学研究会 研究報告 2003-MUS-53-12,
Vol. 2003, No. 127, pp. 55-60, December 2003.
[11] Yoichi Nagashima. Bio-Sensing Systems andBio-Feedback Systems for Interactive Media Arts.
Proceedings of the 2003 Conference on New
Interfaces for Musical Expression (NIME-03), pp.
48-53, 2003.
[12] Eric Gunther, Glorianna Davenport, SileO’Modhrain. Cutaneous Grooves:Composing for
the Sense of Touch. Proceedings of the 2002
Conference on New Instruments for MusicalExpression (NIME-02), pp. 01-06, 2002.
[13] Homei Miyashita, Kazushi Nishimoto.
Thermoscore: A New-type Score for Temperature
Sensation, Proceedings of the 2004 Conference
on New Instruments for Musical Expression(NIME-04), pp. 104-107, 2004.
[14] 浜中雅俊, 後藤真孝, 麻生英樹, 大津展之:"Guitarist Simulator: 演奏者の振舞いを統計的に学習するジャムセッションシステム", 情報処理学会論文誌, Vol. 45, No. 3, pp. 698-709,March 2004.
[15] Masatoshi Hamanaka, Masataka Goto, Nobuyuki
Otsu: Learning-Based Jam Session System for a
Guitar Trio, Proceedings of the 2001 International
Computer Music conference(ICMC2001), pp.
467-470, September 2001.
[16] 浜中雅俊, 後藤真孝, 大津展之: "学習するジャムセッションシステム:演奏者の振る舞いのモデルの獲得", 情報処理学会 音楽情報科学研究会 研究報告 2000-MUS-34-5, Vol. 2000,
No. 19, pp. 27-34, February 2000.
[17] 浜中雅俊, 後藤真孝, 麻生英樹，大津展之: "学習するジャムセッションシステム: 演奏
者固有のフレーズの獲得", 情報処理学会 音楽 情 報 科 学 研 究 会
研 究 報 告2002-MUS-47-13, Vol. 2002, No. 100, pp. 71-78,
October 2002.
[18] Masatoshi Hamanaka, Masataka Goto, Hideki
Asoh, Nobuyuki Otsu: A Learning-Based Jam
Session System that Imitates a Player's
Personality Model, Proceedings of the 2003
International Joint Conference on ArtificialIntelligence(IJCAI2003), pp. 51-58, August 2003.