らふのおと：クラシック楽曲の時間変化を単音楽譜風に表現する可視化ツール
長津静香 (指導教員：伊藤貴之)
1. 概要がある．これは音域に注目しているため，テンポや和クラシック楽曲は長い演奏時間の中で様々な変化を音などの特徴をとらえることが困難である．また楽曲見せる．テンポが急に速まったり音量が急に小さくなの繰り返しを可視化した SmartMusicKIOSK[5]は，変化ったり，その変化を私たちが感じることで，その楽曲の多いクラシック楽曲のような音楽ではなく，繰り返の世界を感じ取れる．このようなクラシック楽曲を鑑しの多い POPS などを対象にしていると言える．

賞する際，私たちはイヤホンやスピーカーを用いて楽3. 提案内容
3.1 楽曲の時刻ごとの特徴量抽出

曲を流す．しかし，これでは楽曲を聴くことと変化を感じ取ることが同時進行しているため，楽曲を最後まで聴かなければテンポや音量などの変化を理解するこ提案手法では与えられた音響データを一定時刻ごととが難しい．また，視覚エフェクトのように楽曲に合に分割し，MIRtoolbox(音楽特徴量検出ソフト)を用いてわせてアニメーションを見せるものあるが，これも楽特徴量を検出する．本研究では，音量，音域，和音，曲のその瞬間の特徴のみを表示するため，全体がどの不協和音，テンポの 5 つの特徴量を一定時刻ごとに検ように変化していくのか理解できない．そこで本研究出・保存する（図 1）．

では，1 つの楽曲の特徴を時系列に沿って一画面に可視化し，楽曲を鑑賞しながらの時間変化の理解を支援する可視化ツールを提案する．
時系列に沿って音楽を可視化する研究は多くなされている．MIDI データを対象とする研究においては，

MIRtoolbox

メロディや和音進行の分析に基づいた手法が多く発表されている．しかし，観賞用に普及している音響デー

12345タを対象とすると，明確な音域や和音を検出することが MIDI よりも困難となり，音域や音量のみに主眼をおいた可視化手法が多い．このような手法では，楽曲のテンポ
112
112
112
112
30

和音-42-4-45

音量0.050.060.030.02
0.06

音域 不協和音
1780
2500
3000 10247
1200 11000
4300
1399
4200 10000

時間変化を音域や音量の変化でしか理解出来ない．
本研究では，楽曲を鑑賞するという立場から，MIDI

図 1：音響データから特徴量抽出などの演奏データ・楽譜データではなく，MP3 などの3.2 各時刻における特徴量からの表現形式

音響データを対象とし，楽曲の 5 つの要素（音量，音域，和音，不協和音，テンポ）を時系列に沿って可視提案手法では，こうして得られた特徴量から各時刻化し，クラシック楽曲を聴く際の時間変化の理解を支に対して 1 つの球を与える．このとき提案手法では，援する手法「らふのおと」を提案する．本手法では，音量を球の大きさで，音域を球の位置で，和音を球の見て飽きないデザインを提示しながら，音楽的内容の色相で，不協和音を球の明度で，テンポを球の動きで理解を支援する．これにより，楽曲を聴き流すのでは表現する（図 2）．この球が，その時刻のおおまかな特なく，観て楽しみながら楽曲がどんな変化をしている徴を示すグリフとなる．のか発見することが可能になる．
音量

2. 関連研究

大音域
高和音

不協和音

テンポ

長和音

多い

アニメー

楽曲を特徴量から時系列で可視化する研究は以前よション

り多くの手法が提案されている．Colorscore[1]ではメロディの類似性やその役割の変遷を分析し，音楽構造を可視化している．また，和音を抽出し，和音の印象を小色彩に割り当てたものもある[2]．しかし，これらは低短和音少ない

図 2：各特徴量から球を描画

MIDI データを対象としており，鑑賞用に普及した音響データを対象としない．

こうして生成した球を，水平方向を時刻，垂直方向一方，音響データを用いて楽曲を時系列に沿って可を音域とした画面に配置していくことで，クラシック視化したものでは，音域に注目して楽器を推定するも楽曲を単音楽譜風に表現することが出来る（図 3）．の[3]，楽曲の音域をピアノロール風に表現するもの[4]8912345テンポ
112
112
112
112
30

和音
-42-4-4
5

音量
0.05
0.06
0.03
0.02
0.06

音域 不協和音
1780
2500
3000 10247
1200 11000
4300
1399
4200 10000

音域

フィナーレに向かって徐々に音域が上がる時刻を，一目で理解できる．
図 6 はベートーヴェン作曲の交響曲第 5 番を用いた可視化結果である．カルメンと比較すると音域が低く，全体的に短和音や不協和音が現れる回数が多く，暗い印象を受ける．また，①と②の部分の球の並びが非常に類似しており，ここで楽曲を再生してみると同じテーマを繰り返していることが分かった．

時刻①②

図 3：球を画面上に配置
図 4 における表示例では，時刻①における楽曲の特徴は，音量は大きく，音域は高い，和音は長和音が多く，不協和音は少ない，ということがわかる．また時
刻②についても同様に，音量は小さく，音域は低い，和音は短和音が多く，不協和音は多い，ということがわかる．

図 6：ベートーヴェン交響曲第 5 番を用いた実行結果①

5. まとめと今後の課題
本研究では，クラシック楽曲の時間変化の可視化手法を提案した．なお，本研究の題名「らふのおと」とは，楽譜上の音符ほど細かい要素を含まないおおまかな(rough)音符(note)を意味するものである．
今後は，本手法を活かした再生機能の充実と，ユーザーの欲求（テンポを重視したいなど）に対応した実装を可能にしたい．
②

図 4：表示例

参考文献[1] 林亜紀, 伊藤貴之, 松原正樹, Colorscore:クラシッ

4. 実行結果

ク楽曲構造の可視化と圧縮表示, 情報処理学会 音楽情
報科学研究会 研究報告, Vol.2010-MUS-86, No.28, 2010.
[2] 藤澤隆史, 谷光彬, 長田典子, 片寄晴弘, 和音性の定量的評価モデルに基づいた楽曲ムードの色彩表現インタフェース, 情報処理学会論文誌, Vol. 50, No. 3, pp.
1133-1138, 2009.
[3] 北原鉄朗, 後藤真孝, 奥乃博, 音高による音色変化に 着目した音源 同定手法 , 情 報処理学会 研究報告 ,Vol. 2000, No. 45, pp. 7-14, 2001.
[4] Shigeki Sagayama, Hirokazu Kameoka, Takuya
Nishimoto, Specmurt Anasylis: A Piano-Roll-Visualizationof

図 5：カルメン第 1 組曲「闘牛士」を用いた実行結果

PolyphonicMusic

SignalbyDeconvolutionofLog-Frequency Spectrum, Perceptual Audio Processing(SAPA2004), (2 October 2004 - 3 October 2004, Jeju,

本章では提案手法による可視化結果を示す．図 5 はKorea), Oct. 2004.

ジョルジュ・ビゼー作曲のカルメン第 1 組曲より「闘[5] 後藤 真孝, SmartMusicKIOSK: サビ出し機能付き牛士」に対して，特徴量を 5 秒おきに検出して可視化

音楽試聴機, 情報処理学会論文誌, Vol. 44, No. 11, pp.

した結果である．急激に音域や音量が変化する時刻や，

2737-2747, November 2003.
90