Colorscore : MIDI を利用したクラシック楽曲構造の可視化と圧縮表示
林 亜紀(指導教員 : 伊藤 貴之)

1. はじめに
近年，様々な目的で音楽情報の可視化が研究されている．
本研究では情報量の多い 1 楽曲の理解を支援する可視化手法の確立を目標とする．情報量の多い楽曲の一例として，オーケストラ向けの楽曲のようにたくさんのパート(楽器）が同時に異なるメロディを演奏する楽曲が挙げられる．本
報告ではこのような楽曲を「大編成の楽曲」と呼ぶ．また，楽団の全パートを一冊にまとめた楽譜をスコアと呼ぶ．大編成の楽曲においては，スコアは段数が多いため読み取るのが難しく，その扱いに慣れている専門家でも楽曲の理解には時間がかかる．一方，大編成の楽曲を扱う作曲者や編曲者，演奏者は楽曲を理解するにあたって，曲の全体像を短時間で捉えたいという要求と，効率的に他の編成にアレンジしたいという要求を持つことが多い．そこで，本研究ではこれらの要求を直感的に短時間で実現するために，楽曲の音楽構造の可視化と圧縮表示を試みる．
本報告では，クラシック楽曲の各パートが担うメロディの類似性とその役割(主旋律，伴奏など)の変遷を分析し，その結果を活用して音楽構造を可視化する手法を提案する．さらに，重要なメロディを強調し，一画面で表示するメロディを減らす縦方向の圧縮表示と，大きな変化のない小節を縮めて描く横方向の圧縮表示を適用する．これらにより，大編成の楽曲における音楽構造の把握と異なる編成へのアレンジを，音楽経験が浅い場合や，時間がないときにも直感的に行えるような支援ができると考える．

2. 提案手法
本手法ではまず，音楽構造の分析により，どのパートがいつどのような役割のメロディを担うかについての情報を得る．次に，この分析結果を描画し，さらにユーザの操作に応じて縦横 2 方向の圧縮表示を行う．
2.1 音楽構造の分析
本手法では楽譜データに MIDI を用いる．MIDI では，楽譜上の各パートの各音符に対応して，発音のタイミング，音程，強さなどが数値で記述されている．分析の手順としては，まず対象データの各パートをブロックに分割する．
そして，役割判定のためにあらかじめ与えたパターンとのマッチングにより，全てのブロックの役割を判定する．
2.1.1 役割判定のためのパターン付与
まず，役割判定のためのパターンを付与する．本手法におけるパターンとは，1 パートで構成される数小節単位の短い楽譜のことであり，本手法ではユーザによって MIDI形式で付与されるものとする．また，ここでいう役割とは，主旋律，伴奏(和音)，伴奏(低音)などである．主旋律に関しては，可視化の対象楽曲中に出現する，高々数種類のメロディに対して，最も基本的なものをパターンとして与える．伴奏に関しては，主旋律とは異なり，典型的な伴奏のリズムのみをパターンとして与え，音程に関する情報は与えない．これは，多くの楽曲において伴奏の特徴は，主として音程の動きよりも，反復的なリズムにあると考えるためである．
2.1.2 初期ブロックの生成
続いて大まかな初期ブロックを生成する．本処理では各パートに対して，休符が 1 小節以上続いた箇所をブロックの切り目と判断し，各パートを 1 個以上の初期ブロックに分割する．なお，音符が存在しない小節はブロックに含まない．
2.1.3 ブロックとパターンのパターンマッチ
2.1.2 節で生成した初期ブロックを，2.1.1 節で与えたパ89ターンとマッチングする．本処理ではブロックと各パターンのメロディの距離を求め，その距離が最小かつしきい値よりも小さいパターンを選出することで，各ブロックの役割を決定する．この際，ブロックの方がパターンよりも長い場合には，余った部位を別ブロックに分割して，再び役割判定を適用する．また，ブロックの途中の小節からパターンと合致する場合にも，ブロックの再分割を行う．
パターン i とブロック j の距離は，文献[1]を参考に式 1で算出する．ここで，w1 と w2 は重み定数であり，DRA( i, j )はリズムの決定要因であるタイミングの cos 類似度，DMA( i, j )はメロディの決定要因である音程遷移の cos 類似度である．

D(i, j) = w1DRA(i, j) + w2DMA(i, j) ---式 1
タイミングの類似度には，
パターン i とブロック j の RA
ベクトルの余弦を採用する．ここで RA ベクトルを，最も短い音符の長さを単位時間として，単位時間ごとに音符が発音されたタイミングである場合を 1，それ以外を 0 とし，これに強拍であるか弱拍であるかによって重みづけを行った n 次元ベクトル（n は単位時間を 1 としたときのブロック長）と定義する．
音程遷移の類似度には，パターン i とブロック j の MA
ベクトルの余弦を採用する．ここで MA ベクトルを，単位時間ごとの音符間の遷移について，前の音符の音程から高く遷移する場合を正，低く遷移する場合を負として表した
n-1 次元ベクトルと定義する．
RA 行列，MA 行列の例を図 1 に示す．

RA = [ 3 0 2
3 0 23 0 2]
MA = [ 0 -53 0 -5
3 0 -7]
図 1：RA，MA の作り方
以上の処理を全てのブロックとパターンについて，各ブロックの役割が定まるまで再帰的に適用する．なお，合致するパターンがなかったブロックはその他（装飾）として分類し，色付けの際は灰色にする．
2.2 分析結果の描画

図 2：(左)役割の分析結果 (右)可視化結果
続いて，2.1 節に示した分析の結果を，縦方向をパート，横方向を時間，役割をブロックの色として表形式で描画す
る．伴奏には淡い色を，主旋律には鮮やかな色を用いた．
図 2 (左)は分析結果，図 2 (右)は本手法での可視化結果である．図 2 (右)で特定のブロックをクリックすると，ブロックの開始小節，終了小節，パート名を表示する．
2.3 縦横 2 方向の圧縮表示
2.3.1 縦方向の圧縮表示
縦方向の圧縮表示では，第 1 段階にて装飾以外のブロックのみを表示することで，重要度の低いパートを表示から除外し，主旋律と伴奏だけを表示する．さらに第 2 段階として，与えられたパターンと特に類似度が高いブロックのみを表示する．結果として，和声的進行を有する旋律（いわゆるハモリ）などが除外され，重要な主旋律だけが表示される．この機能は例えば，少人数で演奏可能な楽譜の作成支援に活用できる．

図 4 (左)は 3.1 と同じ花のワルツの 314-328 小節の可視化結果である．これに縦方向の圧縮【第 2 段階】を適用した結果が図 4 (右)である．圧縮前に 16 段あったものが 9段に減り，ブロック数も 26 個から 9 個に減少している．
この場面では紫と緑の主旋律が同時に存在している．このような現象は楽曲の結尾部などではよくあるが，基本的にはどちらかが主体となっていて，他方は旋律を懐古するように少し変形して登場させている場合が多い．そこで，縦方向の圧縮を行い重要なメロディだけを残してみると，紫のブロックは消えて緑のブロックだけが残った．縦方向の圧縮を行うことで，パートを減らす編曲を行いたい時などにどのメロディを残せばよいかを示すことができた．

2.3.2 横方向の圧縮表示
横方向の圧縮表示では，より簡潔に音楽構造を可視化するために，各パートやその役割が前の小節から変化しているかに着目し，圧縮表示と強調表示の 2 種類を行う．圧縮表示では変化のなかった小節を圧縮して表示することで，全体の長さを短く見せる．強調表示では，さらに変化のあった小節を拡大して表示することで，変化を強調する．

3.3 横方向の圧縮表示結果

3. 実行結果
3.1 音楽構造の可視化
例題曲としてチャイコフスキーの「花のワルツ」を用いた可視化結果を図 3 に示す．パート数（楽譜の段数）は16 段で，スコアでのページ数は 33 である．一般に，本作品のような古典派のクラシック楽曲では第一主題，第二主題と呼ばれる 2 種類のメロディが登場し，少し変化しながら繰り返されることで音楽構造が形成されることが多い．
また，これらの他に展開部や結尾部(コーダ)にて，これらから派生した新たなメロディが複数登場することもある．
したがって，この可視化結果を得るにあたっては，主旋律のパターンを 5 種類ほど与えている．伴奏のパターンとしては，提案手法の説明で与えたものと同じリズムを与えた．

図 5：(左)圧縮前の可視化結果 (右)横方向の圧縮結果
図 5 (左)は 3.1 と同じ花のワルツの 211-250 小節の可視化結果である．これに横方向の圧縮（圧縮表示）を適用した結果が図 5 (右)である．横方向の長さを約 60%縮めることができたが，赤丸で囲まれているような，新しくパートが増えるところなどは損なわれていない．このような箇所は指揮者が新しく登場するパートに合図を行うなどの場面で注目すべき箇所となっている．

4. 関連研究
ScoreIlluminator[1]では，パート間のクラスタリング結果を反映して五線譜を色付けすることで音楽構造を可視化し，スコアの可読性を向上させる．ただし，主旋律であったり伴奏であったりといった音楽的意味は配色に反映されていない．また圧縮表示は適用していない．BRASS[2]では，リンク構造の可視化と，ユーザ指定による五線譜の圧縮・強調表示を実現している．これらに対して提案手法
では，音楽的な意味に基づいて，自動的に類似メロディの色分けや圧縮表示を実現できた．

5. まとめ図 3：「花のワルツ」の可視化結果
図 3 の可視化結果から，第一主題(紫色)と第二主題(ピンク色)がどのように繰り返され，どう展開するかを捉えることができる．さらに，大局的な音楽構造の示し方の代表である楽曲の形式に基づいた分析例として，この楽曲が序奏→提示部→展開部→再現部→結尾部という構造になっていることも分かる．
また，後半に向けてメロディを同時に担うパート数が増えていく様子や，類似した主旋律が演奏されていても，それを担うパートが変化していたり，対旋律が加わっていたりする様子も捉えることができる．

本報告では，クラシック楽曲の音楽構造可視化手法と，縦横 2 方向の圧縮表示手法を提案した．なお，本研究の題名「Colorscore」は，Color score(色つきのスコア)と Colorscore(音楽の中核部分に色をつける)を意味するものである．
今後は引き続き，より効果的な分析手法や可視化方法を考案するとともに、圧縮表示も編曲への利便性を高める方向で改良したい．また，本手法を活かした再生機能も充実させた
い．さらに，メロディの類似構造を可視化するだけでなく，類似したメロディ同士の細かい違いを，各メロディに対応するブロックに模様をつけることで可視化する機能も考案していきたい．
謝辞：研究全般にわたり貴重な御助言を賜りました，慶応義塾大学大学院松原正樹氏に感謝いたします．

3.2 縦方向の圧縮表示結果

参考文献[1] 松原正樹，岡本紘幸，佐野智久，鈴木宏哉，延澤志保，斎藤博昭，ScoreIlluminator：スコア色付けによるオーケス
トラスコアリーディング支援システム, 情報処理学会論文誌，vol. 50, no. 12, pp. 1-12, Dec. 2009.
[2] 渡邉ふみ子，藤代一成，平賀瑠美，デジタルスコアによる楽曲学習支援インタフェース，情報処理学会論文誌，vol. 45, no. 3, pp. 710-718, Mar. 2004.

図 4：(左)圧縮前の可視化結果 (右)縦方向の圧縮結果
90