WISS2011

Colorscore : クラシック音楽における音楽構造の俯瞰と縮約の可視化手法
Colorscore : Visualization of Structure of Classical Music Realizing Overview and Condensation

林 亜紀

伊藤 貴之

松原 正樹∗

Summary. クラシック音楽において，特にオーケストラなどの多数の楽器で構成されている楽曲の楽譜（スコア）は複雑である．そのため，初学者にとって，楽曲の音楽構造を理解することは容易ではない．しかしながら，このような楽曲を扱う音楽家の多くは，楽曲の全体像を短時間で捉えたいという要求と，効率的に他の編成にアレンジしたいという要求を持つ．そこで本報告ではこれらの要求の達成を直感的に支援することができるような，俯瞰表示と縮約表示を実現する可視化手法およびインタフェースを提案する．
提案手法では，あらかじめ専門家によって与えられた主旋律や伴奏のパターンとのマッチングを行う．この結果を利用して，各パートが担う旋律の類似性やその役割の変遷に着目した繰り返し構造という意味での音楽構造を可視化する．また，提案するインタフェースでは，音楽構造の俯瞰表示により，楽曲の全体像の把握を支援する．加えて，ユーザの操作に応じて縦横両方向の縮約表示を実現することで，楽曲の中でより重要な部分を強調し，楽曲のアレンジを支援する．縦方向の縮約結果については，MIDI 形式での出力が可能であり，そのまま楽譜として使用することもできるため，より直接的なアレンジの支援が可能になる．

はじめに

1

クラシック楽曲の中で，オーケストラ楽曲のような，たくさんのパート (楽器) が同時に異なるメロディを演奏する楽曲の楽譜は段数が多いため，特に初学者にとって，読み取るのは難しい．しかし，このような楽曲を扱う作曲者や編曲者，演奏者は曲の全体像を短時間で捉えたいという要求と，効率的に他の編成にアレンジしたいという要求を持つ．そこ
で，本報告では主に初学者を支援するために，楽曲の音楽構造の俯瞰表示と縮約表示を実現する．本手法ではクラシック楽曲の各パートが担うメロディの類似性とその役割 (主旋律，伴奏など) の変遷を分析することで，主に音楽の繰り返し構造を可視化する．さらに，ユーザの指定した段数に応じて，重要なメロディを残して縮約し，その結果を楽譜情報としても出力する縦方向の縮約と，比較的重要でない小節を縮めて描く横方向の縮約を適用する．これらにより，パート数の多い楽曲における音楽構造の把握と，異なる編成へのアレンジを，初学者でも直感的に行えるよう支援する．

提案手法

2
2.1

音楽構造の分析

本手法では楽譜データに MIDI を用いる．MIDI
では，楽譜上の各パートの各音符について，発音のタイミング，音程，強さなどが数値で記述されている．
∗Copyright is held by the author(s).
Aki Hayashi and Takayuki Itoh, お茶の水女子大学大学
院 人間文化創成科学研究科 理学専攻, Masaki Matsubara,
慶應義塾大学大学院 理工学研究科

まず，役割判定のためのパターンを付与する．パターンの例を図 1 に示す．本手法におけるパターンとは，1 パートで構成される数小節単位の短い楽譜のことであり，本手法では経験者によって MIDI 形式で付与されるものとする．また，ここでいう役割とは，主旋律，伴奏 (和音)，伴奏 (低音) などである．

図 1. 付与するパターンの例．

続いて大まかな初期ブロックを生成したのち、与えたパターンと各ブロックをマッチングさせることで，各ブロックの役割を再帰的に判定する．本手法におけるブロックという概念は，一般的にいうフレーズに該当し，同じパートの連続した音符で構成される．ブロックとパターンの類似度算出の際には，文献 [1] の RhythmicActivity と MelodicActivity を用いて，各ブロックと各パターンのメロディとの距離をコサイン類似度によって求めた．これらはそれぞれタイミング，音程遷移に関する特徴量である．2
つの特徴量の取り方や，分析アルゴリズムの処理手順は割愛する．詳細は文献 [2, 3] を参照されたい．

2.2

縮約のための前処理

縦方向の縮約表示では，スコアをユーザの指定した段数に縮約する．この際，元の楽曲で隣接していWISS 2011

図 3. 提案手法の可視化（俯瞰表示）結果例．

る数段の中から，主旋律，伴奏，その他の順で，よりパターンとの類似度が高いブロックを選び，それを縮約結果の各段に割り当てる．縮約結果は，MIDI形式で出力可能なため，効率的な編曲支援ができると期待される．
横方向の縮約表示では，より簡潔に音楽構造を可視化するために，各パートやその役割が前の小節から変化しているかに着目し，縮約表示を行う．変化のない小節を縮約して表示することで，全体の長さを短く見せることができる．

2.3

ユーザーインタフェースでの描画と操作する．ユーザはインタフェース上で，インタラクティブに分析結果の俯瞰表示と操作，縦横両方向の縮約表示を適用することができる．また，役割分析の際に求めた，パターンとの類似性が高かったものだけを表示する機能や，楽曲の再生機能も実現した．

3

実行結果

チャイコフスキーの「花のワルツ」を用いた曲全体の俯瞰表示結果を図 3 に示す．役割パターンは図1 を用いた．元の楽譜の段数は 16 段で，ページ数は33 である．この可視化結果から，クラシック楽曲において典型的な，2 つの主旋律が変奏を伴って繰り返され，音楽構造を構成する様子を把握することができる．また，後半に向けて登場するパート数が増えていく様子や，類似した主旋律が演奏されていても，それを担うパートが変化していたり，対旋律が加わっていたりする様子も観察することができる．
図 4 は花のワルツの全小節を 1 段，6 段に縮約した結果である．音楽構造を保持して縮約されている．

図 2. Colorscore の表示画面例．

図 2 はユーザインタフェースの表示画面例である．
本インタフェースでは，縦方向をパート，横方向を時間，役割を色として役割分析結果を描画する．また，各ブロックをクリックすると，詳細情報を表示

図 4. (上) 1 段の縮約結果 (下) 6 段の縮約結果．

図 5 は，花のワルツの一部の縮約結果 (4 段) をMIDI 形式で出力し，ピアノ独奏用の譜表にしたものである．直接的な編曲支援に役立つと考えられる．

Colorscore : Visualization of Structure of Classical Music Realizing Overview and Condensation

楽の中核部分に色をつける) を意味するものである．
今後は現在手動で与えている役割パターンの自動抽出や，小節単位だけでなく繰り返し構造に応じた横方向の縮約機能の提案を検討したい．

参考文献
図 5. 縦方向縮約を MIDI 形式で出力した結果．

図 6(左) は花のワルツの 211-250 小節の可視化結果である．これに横方向の縮約を適用した結果が図6 (右) である．横方向の長さを約 60%縮めることができたが，丸で囲まれているような，新しくパートが増えるところなどは損なわれていない．このような箇所は指揮者が新しく登場するパートに合図を行うなどの場面で注目すべき箇所となっている．

[1] 松原正樹, 岡本紘幸, 佐野智久, 鈴木宏哉, 延澤志保, 斎藤博昭, ScoreIlluminator：スコア色付けによるオーケストラスコアリーディング支援システム, 情報処理学会論文誌, Vol. 50, No. 12, pp. 1-12,
2009.
[2] 林亜紀, 伊藤貴之, 松原正樹，Colorscore : クラシッ
ク楽曲構造の可視化と圧縮表示, 情報処理学会第86 回音楽情報科学研究会, MUS-86-28, 2010.
[3] Aki Hayashi, Takayuki Itoh, Masaki Matsubara,
Colorscore - Visualization and Condensation ofStructure of Classical Music, Information Visualisation, pp. 420-425, 2011.

アピールチャート

図 6. (左) 縮約前 (右) 横方向の縮約結果．

4

まとめと今後の課題

本報告ではクラシック音楽における音楽構造の俯瞰と縮約を実現する手法を提案した．
「Colorscore」
は，Color Score(色つきのスコア) と Colors Core(音未来ビジョン
本研究には目標が 2 つある．1 つは，音楽の新しい楽しみ方の提案である．段数が多く複雑なオーケストラ楽曲の楽譜は，多くの人にとって，なじみのないものである．しかし，オーケ
ストラ向けの楽譜を読む機会がなくても，演奏を鑑賞する機会はあるという人は多い．著名なオーケストラ楽曲は，天才の名を欲しいままにした音楽家たちが，主旋律の変奏を伴った繰り返し方などに趣向を凝らした，すばらしい音楽構造を持つ．この音楽構造を理解せずに，ただメロディやハーモニーを楽しむだけではもったいないというのが，音楽理論を勉強した筆者の持論である．そこで，本インタフェースを，少しでも多くの音楽鑑賞好きの人に体験してもらい，音楽の縮図を見ながらの鑑賞を楽しんでもらいたい．加えて，オーケストラで演奏する機会はなくても，ピアノや合唱，バンドなどで演奏をする機会ならあるという人も多い．

本報告で縦方向縮約機能として提案したように，画面上の対話操作で簡単に楽譜上の編成を変えることができれば，1 億総アレンジャー時代が実現されて，誰でも様々な曲を演奏できる時代がやってくるといっても過言ではない．
本手法が，このような新たな音楽の楽しみ方を提供できることを願っている．
本研究の 2 つ目の目標は，操作性に富んだ詳細度制御手法の提案である．情報可視化の問
題点のひとつは，ユーザのスキルレベルによって提示すべき情報の詳細度が一定ではないことである．本手法には，描画するブロックを，パターンとの類似度に応じてスライダーで制限する機能や，横方向圧縮の度合いをスライダーで調節する機能がある．ユーザのレベルに応じた詳細度制御を，このようにスライダー 1個で解決できれば，どのようなスキルレベルの人でも，ビジュアルに情報を理解できる時代が訪れるのではないかと期待している．