コード進行に注目した J-POP 音楽の可視化
上原 美咲 （指導教員：伊藤 貴之）
1. 概要
近年，オンライン音楽配信サービスの普及により，数多くの楽曲を気軽に楽しむことができる時代になった．
一方で，一般的に未知の音楽は実際に聴いてみなければどんな曲かわからないため，内容把握に時間がかかり，たくさんの未知の楽曲の中から聴きたい曲を選ぶことが困難な場合もある．短時間で効率の良い選曲を支援する一手段として，楽曲群における曲同士の印象やアーティスト同士の個性についての関連性を表現する「可視化」は非常に有用であるといえる．これによって，曲同士がどれくらい似ているか，アーティスト同士がどれくらい似た作曲傾向にあるかを視覚的に知ることができ，曲の内容を推測することができるため，選曲の手がかりとなる．楽曲を分析する際には，デンポやサウンドなどの楽曲特徴量に加え，楽曲進行の基礎となり曲の印象に大きな影響を与えるコード進行も役立つ要素であると考えられる．
そこで我々はポップス楽曲群のコード進行・メタ情報・楽曲特徴量の統合可視化を提案する．本手法での可視化には，以下の 2 種類の可視化画面を同一ウィンドウ中で左右に並べたものを使用する．
楽曲可視化：楽曲特徴量に基づいて楽曲群を配置した可視化画面．
メタ情報可視化：コード進行やメタ情報の共起性を表現した可視化画面．
本手法が想定するユーザ操作は以下のとおりである．まず，メタ情報可視化で示されたアーティストとコード進行の関連性を見て，興味のあるものをユーザが選択すると，それに連動して，選択された属性に該当する楽曲が楽曲可視化によってハイライトされる．ここで楽曲可視化の座標軸に楽曲特徴量を割り当てることで，コード進行やメタ情報と同時に楽曲特徴量との関係も観察できる．
さらに，詳しく知りたい楽曲を選択すると，その楽曲を中心に，他の楽曲が類似度の高いものから順に同心円上に表示される機能を備えている．修士論文ではこの可視化手法の学部卒業研究からの拡張について論じる．
本研究が目指す用途として，ユーザの日常的な音楽鑑賞における選曲効率を向上する他に，次のような応用も考えられる．ユーザが好む楽曲における楽曲特徴量やコード進行の共通点を導き出し，それをもとにユーザの音楽嗜好に合わせた楽曲推薦ができる．また，時代や曲調などに関連したコード進行の流行について知識を得ることができる．作曲を学んでいる学生にとっては，各アーティストのコード進行の傾向分析に役立つ．以上のほかにも，可視化に適用している散布図の操作が自在であることから，さまざまな応用が期待できる．

2. 関連研究
音楽の可視化には，1 曲を詳しく可視化する研究[1]と，楽曲群全体を可視化する研究の 2 種類があり，本研究は後者にあたる．楽曲特徴量に基づいた楽曲群の可視化は，これまでに多く研究されている．Pampalk[2]は楽曲群の楽曲特徴量に基づく類似性を SOM で学習し，クラスタを島に見立てて可視化した．後藤ら[3]は，画面上を動いている楽曲の中から，ユーザが興味のあるものをインタラクティブに操作することができるシステムを構築した．
また，草間ら[4]は楽曲特徴量に基づいて各曲の印象画像を生成し，一覧表示した．これらの研究は，楽曲特徴量を用いて楽曲群を表現しているが，可視化結果から直接楽曲特徴量を読み取ることはできない．楽曲特徴量を具体 的 に 読 み 取 る こ と の で き る 例 と し て ， 齋 藤 ら [5] ，Zhu[6]の研究があげられるが，コード進行は考慮されていない．これまで 1 曲の構成を可視化する研究にはコード進行が用いられてきたが，本研究のように楽曲特徴量とコード進行の両方を考慮した楽曲群の可視化はなされていない．

3. 提案手法
本手法は大きく分けて，楽曲特徴量の抽出，コード進行の検出，2 種類の可視化画面の生成，楽曲類似度の表
示の 4 段階で構成される．詳細について以下に論述する．

3.1

楽曲特徴量抽出

まず各楽曲から楽曲特徴量を抽出する．楽曲特徴量の抽出には，数値解析ソフトウェア MATLAB の上に実装された楽曲特徴分析パッケージ MIRtoolbox[7]を用いる．
MIRtoolbox で抽出可能な特徴量のうち，現時点の我々の実装では RMSenergy（音量平均値），Tempo（テンポ平均値），Brightness（1500Hz 以上の音域のパワー比），Spectral irregularity （ 音 質 の 変 化 の 大 き さ ） ，Inharmonicity （ 根 音 に 従 っ て い な い 音 の 量 ） ， Mode（major と minor の音量の差）を使用する．

3.2

コード進行検出

次に各楽曲中における頻出コード進行の有無を検出する．ここで用いる頻出コード進行とは，J-POP によく使われる代表的なコード進行 9 種類のことを指す．まず，インターネット上にある J-POP コード進行公開サイト[8]から各曲のコード進行を公開する HTML ファイルを入手し，コード記載部分を抽出することで文字列データを生成する．後にコード進行を比較しやすいようにするため，全ての楽曲の調性を C メジャーに移調しておく．この文
字列データに対して文字列検索を実行し，頻出コード進行と一致する文字列があった場合にはそのコード進行が含まれている曲とする．

3.3

可視化画面の生成

可視化には，図 1 に示す 2 種類の可視化画面を用いる．
図 1(左)に示す楽曲可視化では散布図を採用しており，各プロットが楽曲を表している．横軸と縦軸には，3.1 節で示した楽曲特徴量のうち 2 値を割り当てている．ユーザは 2 軸に割り当てる特徴量を随時選択できる．
一方で図 1(右)に示すメタ情報可視化では，各プロットが「作曲者が A である」や「コード進行パターン C が含まれている」といった属性を表している．ここで楽曲の総数を n とし，3.2 節で検出した頻出コード進行の各々について，そのコード進行が含まれていた曲には真を，含まれていなければ偽を記録し，n 次元ベクトルを生成する．同様に，特定のリスナーが気に入ったか否か，特定のアーティストの曲であるか否かといったメタ情報についても，n 曲に対して真または偽の 2 値を列挙する．学部卒業研究時点での実装では多次元尺度法に基づく散布図を用いてメタ情報を可視化してきたが，現在の実装では メ タ 情 報 の 可 視 化 に Geodesic SOM (Spherical SelfOrganizing Map) を適用している．SOM の画面上で近くに配置された属性を観察することで，例えばどの作曲者がどんなコード進行パターンを多用し，どのリスナーの好みに近いかということが読み取れる．
また我々が実装する可視化手法では，メタ情報可視化
で興味のある属性をマウスで選択すると，楽曲可視化にて該当する曲が色付けられるという機能も備えている．
この機能を利用することで，楽曲特徴量の面からも各楽曲を詳しく観察することができる．

100 曲を選曲して可視化した．図 3 はメタ情報可視化にて
Chord1 と Chord2 を選択し，楽曲可視化の横軸に音量平均値，縦軸がテンポを割り当てた場合の可視化結果である．
2 色ともに色付けられた楽曲が(a)に集中していることから，Chord1 と Chord2 を含む楽曲は音量平均値が小さく，テンポが速い傾向であることが読み取れる．この他にもユーザは可視化画面を自由に操作し，さまざまな角度から楽曲群を観察することができる．

図 3. 可視化結果

5. まとめと今後の課題

楽曲可視化

メタ情報可視化

図 1. 2 種類の可視化画面による表示例

3.4

楽曲類似度の表示

本論文で提案する追加機能として，楽曲類似度の表示画面をあげる．ここで楽曲類似度の計算には，Geodesic
SOM 上での測地距離を用いる．まず，3.1 節で抽出した楽曲特徴量のデータをもとに，楽曲群を Geodesic SOM で学習する．次に，隣り合うニューロン同士のユークリッド距離に従って，全てのニューロン間の辺に重み付けをする．その上でプリム法（最小全域木問題）を用い，任意の楽曲からその他全ての楽曲までの測地距離を求めて，楽曲間の類似度とする．そしてユーザが楽曲可視化にて選択した楽曲を中心として，類似度の高い曲ほど小さい半径の同心円上に表示する．図 2 に表示例を示す．

図 2. 楽曲類似度の表示例

4. 実行結果と考察
我々は 20 組のアーティストについて各 5 曲ずつ，計

本論文では，楽曲特徴量とコード進行・メタ情報に基づいた 2 つの可視化画面を生成し，楽曲群における曲どうしの印象やアーティストどうしの個性についての関連性を表現する可視化手法を提案した．
今後の課題として，以下の点に取り組みたい．
コード進行検索の汎用化
メタ情報可視化にてユーザの嗜好の組み込み

参考文献[1] A. Hayashi, T. Itoh, M. Matsubara, Colorscore –Visualization and Condensation of Structure of ClassicalMusic, Knowledge Visualization Currents: from Text toArt to Culture, Springer Edit Volume, ISBN-978-1-44714302-4, 20112.
[2] E. Pampalk, Islands of Music: Analysis, Organization,
and Visualization of Music Archives, Master Thesis,
Vienna University of Technology, 2001.
[3] M. Goto, T. Goto, Musicream: New Music Playback
Interface for Streaming, Sticking, Sorting, and Recalling
Musical Pieces, 6th International Society for Music
Information Retrieval, pp. 404-411, 2005.
[4] K. Kusama, T. Itoh, Abstract Picture Generation andZooming User Interface for Intuitive Music Browsing,
Springer Multimedia Tools and Applications, Vol. 73, No.
2, pp. 995-1010, 2014.
[5] Y. Saito, T. Itoh, MusiCube: A Visual Music
Recommendation
Systemfeaturing
Interactive
Evolutionary
Computing,VisualInformation
Communication and Interaction Symposium (VINCI’11),
2011.
[6] J. Zhu, Perceptual Visualization of a Music Collection,
IEEE International Conference on Multimedia and Expo,
1058-1061, 2005.
[7] O. Lartillot, MIRtoolbox,
http://www.jyu.fi/hum/laitokset/musiikki/en/research/coe/materials/mirtoolbox[8] J-Total Music,
http://music.j-total.net/index.html