楽器音認識技術を用いた音楽の可視化
北原 鉄朗∗1 ∗2

後藤 真孝∗1 ∗3

奥乃 博∗1 ∗4

片寄 晴弘∗1 ∗2

Music Visualization Using Musical Instrument Recognition Technique
Tetsuro Kitahara,∗1∗2 Masataka Goto,∗1∗3 Hiroshi G. Okuno,∗1∗4 and Haruhiro Katayose∗1∗2
Abstract– Music visualization is expected to play an important role in enhancing
enjoyment of music. This paper surveys music visualization systems using musical audio
signal processing and introduces our prototype system of a music player with a functionof visualizing instrumentation.

1.

はじめに譜（五線譜）である．楽譜は，エンターテインメ
ントのための可視化というより，楽曲の記録や伝音楽は本来耳で楽しむメディアであるが，目で達のためのものである．楽譜を用いることで，楽も楽しむことができれば，楽しみ方の幅は広がって曲を「読む」ことができるようになり，音を聴かいくであろう．たとえば，楽曲の中身をグラフィカずに，時間の流れを越えて楽曲の中身を視覚的にルに表示しながら再生してくれるツールがあれば，把握できるようになった．そのため，音楽家同士自分が聴いている楽曲がどんな音の組み合わせでの情報伝達手段として，現在でも広く普及してい成り立っているのかを発見しながら聴くことがでる．しかし，読むには訓練が必要である，エンターきる．また，視覚の一覧性を利用して，楽曲の中テインメント向けとしては表現が繁雑である，と身を一目で把握した上で，どこをどう聴きたいかいった欠点がある．また，計算機技術で音響信号を指示しながら能動的に音楽を鑑賞するといったから楽譜を自動的に生成する問題は極めて難しく，こともできる [1]．検索の観点からは，ユーザが楽現状では数種類の楽器による多重奏に対しても十曲リストから望みの楽曲を探しだすという場面で，分な精度とは言い難い [2]．

楽曲を簡潔に視覚表現として表すこと（音楽サムデスクトップミュージックの分野で普及しているネイル）ができれば，楽曲リストの内容を一目でもう 1 つの可視化表現はピアノロールである．ピ確認することができ，楽曲の選択が容易になる．

アノロールは楽譜に比べてより直感的で，読むた

このように音楽（楽曲内部）の可視化は重要な課

めの訓練はあまり必要ない．しかし，それでもエン題であるため，これまで様々な研究者が様々な方法ターテインメント向けとしては表現が繁雑で，内で取り組んできた．本稿では，これまでの音楽可視容を一目で把握するのは困難である．また，楽譜化研究をサーベイし，我々が開発している楽器音同様，音響信号から自動生成するのは困難である．

認識技術を用いた音楽可視化システムを紹介する．

一方，音響信号から容易に生成が可能な可視化

2.

音楽の可視化表現としては，スペクトログラムがある．スペクトログラムは各時刻・各周波数における成分の強音楽の可視化表現において，最も古く，また現在さを色の濃淡で表したものである．これは信号のでもおそらく最も広く用いられているものは，楽周波数特性を知るには便利で，実際，多くの音楽*1：科学技術振興機構戦略的創造研究推進事業 CrestMuse プロジェクト*2：関西学院大学理工学研究科*3：産業技術総合研究所*4：京都大学情報学研究科*1：The CrestMuse Project, CREST, JST*2：Graduate School of Science and Technology, Kwansei
Gakuin University*3：National Institute of Advanced Industrial Science andTechnology (AIST)*4：Graduate School of Informatics, Kyoto University

プレイヤーには，楽曲再生に連動してスペクトルを時々刻々と棒グラフで表示する機能が搭載されている．しかし，そこから音楽的に意味のある情報を見出すのは容易ではない．
このような状況の下，計算機で自動的に生成可能で，かつ音楽的意味の明確な可視化表現を求め，以下のような研究がなされてきた．

Specmurt
Specmurt [3] は，ピアノロールとスペクトログラ
ムの中間ともいえる可視化表現である．楽曲の音

こでの音色とは，複数の楽器が同時に演奏した音の全体的な特徴を指し，各楽器の個別の音の特徴に着目したものではない．

響信号に対して典型的な調波構造パターンを逆畳MIDI データに対する可視化み込みすることで倍音成分を抑制して，スペクトその他，演奏データを 3 次元仮想空間にマッピ

ログラムと同様に可視化することで得られる．倍ングして可視化するシステム [6] なども提案されて音成分を抑制することでスペクトログラムからピいるが，MIDI データを対象としており，音響信号アノロールに近づくため，ピアノロール表現に慣に適用するのは困難である．

れたユーザが楽曲の中身を確認するには有用であ3.

る．ただし，楽器認識を行っていないため，本来のピアノロールのように楽器ごとに別ウィンドウに表示したり色を変えたりといったことはできない．

楽器構成の確率表現 Instrogram を用いた音楽可視化システム

本章では，我々が開発している楽器構成に着目

SmartMusicKIOSKした音楽可視化システムについて述べる．我々はサビ出し機能つき音楽試聴機 SmartMusicK-

楽器構成（その楽曲がどんな楽器で演奏されていIOSK では，楽曲の繰り返し構造を可視化した「音るか）を，楽曲を特徴づける重要な要素と位置付楽地図」というものが用意されている [4]．これはけている．同じ楽曲を異なる楽器で演奏すると，聴音響信号から自動的に生成することができ，インいたときの印象がまったく異なるものになる場合トロ，A メロ，B メロ，サビといった楽曲構造のがある．ここから示唆されるように，楽器構成はそ位置関係を一目で確認することができる．この音の楽曲の雰囲気と密接な関係にあると考えている．

楽地図を直接クリックすることで，望みの箇所に音響信号から楽器構成を推定する問題は，同時瞬時に移動することができる．

GenreGram モニター
GenreGram モニターは，楽曲のジャンル解析結果を可視化したものである [5]．解析対象ジャンルに 1 つの楽器しか演奏しないという条件での楽器識別なら様々な研究がある（e.g. [7]）が，多重奏に対する研究は多くない．多重奏に対する楽器識別の難しさの 1 つに，前処理としての発音時刻や基本ごとに円柱が用意され，ジャンル解析結果の信頼周波数（F0）の推定のエラーの悪影響があげられ度に合わせてリアルタイムに円柱が上がったり下る．いくつかの楽器識別手法 [8], [9] では発音時刻がったりする．各円柱には対応するジャンルを代や F0 の推定結果を利用して特徴抽出を行うので，表するような画像がテクスチャとして貼り付けらこれらの推定エラーが致命的になる場合も少なくれている．ジャンル解析結果として単一のジャンない．我々は，こういった推定処理を行った上で決ル名を出力するではなく，このように可視化する

定論的に楽器識別をするのではなく，楽器構成をことで，1 つのジャンルに決めがたいような楽曲やInstrogram と呼ばれる確率表現の形で表し，スペ曲調が楽曲内で変化するような楽曲に対しても有クトログラムのような視覚表現として可視化する．

効に働くようになっている．

TimbreGram モニター
TimbreGram モニターは，楽曲間の音色の類似度を色の近さで表現したものである [5]．各楽曲は横長の長方形で表され，横軸が時間を表す．長方形は，横軸の時刻に対応する音色特徴量が色のついた縦線で表されることで，縦縞模様のようになっている．色は音色の類似度を反映するように決定され，楽曲の類似度を長方形の色の類似度を見ることで知ることができる．この可視化表現は，楽器の音色に着目した点で後述の Instrogram と共通だが，TimbreGram は音色の類似度だけが表現されて楽器の種類を知ることはできない．また，こ3. 1 Instrogram とはInstrogram1[10] は，スペクトログラムに似た楽器存在確率の視覚表現である．解析対象となる楽器ごとに 1 つの画像が存在し，画像の色の強さによってその楽器が存在する確率を表す．各画像は横軸が時刻，縦軸が F0 を表し，対象楽器 Ω = {ω1 , · · · , ωm }に対して，i 番目の画像の各ピクセル (t, f ) の色の強さが，時刻 t において f を F0 とする楽器 ωi の音が存在する確率 p(ωi ; t, f ) を表す．図 1 に例を示す．これは，ピアノ，バイオリン，フルートによる「蛍の光」の三重奏を，ピアノ，バイオリン，クラリネット，フルートを対象に Instrogram を作成し
1：http://winnie.kuis.kyoto-u.ac.jp/˜kitahara/instrogram/

Note Number

Note Number

Note Number

Note Number

Piano
80
70
60
50010Violin

2030010Clarinet

2030010Flute2030010203080
70
60
5080
70605080
706050Time [sec]

図1

図 3 楽器構成可視化機能つき音楽プレイヤー

Instrogram の例（ピアノ，バイオリン，フルートによる「蛍の光」の三重奏）

なわち，∀ωi , ωj ∈ Ω: i =| j =⇒ p(ωi ∩ωj ; t, f ) = 0と仮定する．何らかの楽器の音が存在するという全対象楽器の和事象を X(= ω1 ∪ · · · ∪ ωm ) と書くPFこととすると ωi ∩ X = ωi であるので，p(ωi ; t, f )は次の 2 つの確率の積で表すことができる：

VN

p(ωi ; t, f ) = p(X; t, f ) p(ωi |X; t, f ).
CL

ここで，p(X; t, f ) は不特定楽器存在確率といい，
時刻 t において f を F0 とする何らかの楽器の音が存在する確率を表し，p(ωi |X; t, f ) は条件付き楽器

FL05

図2101520
Time [sec]2530

図 1 の簡略版（ 低周波数分解能版）存在確率といい，時刻 t において f を F0 とする何らかの楽器の音が存在するとすると，その楽器がωi である確率を表す．前者は PreFEst [11] を，後者は隠れマルコフモデルを用いることで計算するたものである．ここで，時間分解能は 10ms，周波ことができる．詳細は [10] を参照されたい．

数分解能は 100cent とした．
いくつかの区間に分割して区間内の値をマージする

3. 3 楽器構成可視化機能つき音楽プレイヤー
我々は，上記で述べた技術に基づき，楽器構成を可視化しながら楽曲を再生する音楽プレイヤー

ことで周波数分解能を粗くすることもできる．全周（図 3）を試作した．このプレイヤーは楽器構成を波数区間を N 個の区間 I1 , · · · , IN に分割したとき，k 番目の周波数区間 Ik の楽器存在確率 p(ωi ; t, Ik )
は p(ωi ; t, f ∈Ik f ) と定義する．簡略化された Instrogram を図 2 に示す．図 1 あるいは図 2 より，こ2 種類の方法で可視化する． 1 つは Instrogram をの楽曲は高音部はフルート，中音部はバイオリン，される．再生位置は赤い縦線で表される．もう 1高い周波数分解能が要らない場合は，周波数軸をそのまま表示するもの（図 3 の上のウィンドウ）である．ウィンドウ内には解析対象楽器ごとに時間・周波数平面が用意され，楽器存在確率は色で表現

低音部はピアノによる演奏であることがわかる．

つは楽器存在確率を棒グラフとして表示するもの

Instrogram は上述の TimbreGram と楽器の音色に着目した点で共通だが，各対象楽器の音が存在す（図 3 の下のウィンドウ）である．棒グラフの棒がるかどうかを確率として表現している点で異なる．

グラフの長さが，楽曲の再生に合わせて時々刻々

3. 2

Instrogram の作成方法

長いほど楽器存在確率が高いことを表し，この棒と変化していく．
このプレイヤーは，単に演奏を見ながら聴くだ

Instrogram 作成における中心的な課題は，楽器存在確率 p(ωi ; t, f ) の計算である．いま，同時刻にけでなく，たとえば「バイオリンが弾き始めるとこ

おいて F0 が同じ音が 2 つ以上鳴ることはない，すろから聴く」といった楽器構成の移り変わりに基づく頭出しを，Instrogram を見ながら該当する時のプロトタイプを紹介した．

刻の点をクリックすることで容易に行える．その商用音楽にはいわゆるプロモーションビデオが他，Instrogram の類似度（楽器構成の類似度）に製作され，カラオケに映像が付与されるなど，音基づいて楽曲検索を行う機能も実装している．

楽を目でも楽しむという形態は確実に普及しつつ

3. 4

考察と今後の展望あるように思われる．実際，PC 上で動作するいく

現状のプロトタイプシステムでは，楽器構成はつかのメディアプレイヤーに「視覚エフェクト」のInstrogram と棒グラフの 2 種類のみによる可視化であるが，たとえば楽器のイラストの大きさで楽名で音楽の可視化機能が実装されている．しかし，器存在確率を表したり，楽器存在確率に連動してとは言い難く，十分な視覚効果が得られていると変化するアニメーションなどで楽器構成を表現すは言えない．一方，本稿で紹介した研究事例では，ることも可能である．こうした多様な表現を導入

いずれも最新の音楽音響信号処理技術を用いて音することで，楽器構成の可視化は，主に次の 3 つ

響信号から音楽的に意味のある特徴を抽出して可の可能性があると考える．

視化に利用することで，より効果的な可視化を実視覚エフェクトが楽曲の内容を適切に表している

見て楽しい現している．音楽の可視化は音楽音響信号処理技

本システムを用いることで，どんな楽器が演奏術の応用先としても有望であり，さらなる発展をしているのかを発見しながら音楽を聴くことがで期待したい．

きる．これに，イラストやアニメーションによる参考文献

表現が加われば，楽器の発見をより直感的かつ楽[1] Goto, M.: Active Music Listening Interfaces
based on Signal Processing, Proc. ICASSP,
Vol. IV, pp. 1441–1444 (2007).
[2] Klapuri, A. and Davy, M.(eds.): Signal
Processing Methods for Music Transcription,
Springer (2006).
[3] 亀岡弘和，斎藤翔一郎，西本卓也，嵯峨山茂樹：Specmurt における準最適共通調波構造パターンの反復推定による多声音楽信号の可視化と MIDI 変換，情処研報，2003-MUS-56, pp. 41–48 (2004).
[4] 後藤真孝：SmartMusicKIOSK：サビ出し機能付
き音楽試聴機，情処学論， Vol. 44, No. 11, pp.
2737–2747 (2003).
[5] Tzanetakis, G.: Manipulation, Analysis andRetrieval Systems for Audio Signals, PhD Thesis, Princeton University (2002).
[6] 宮崎麗子，藤代一成，平賀瑠美：comp-i: MIDI
データの視覚探索システム，情処学論，Vol. 45,
No. 3, pp. 739–742 (2004).
[7] Martin, K. D.: Sound-Source Recognition: A
Theory and Computational Model, PhD Thesis, MIT (1999).
[8] 柏野邦夫，村瀬 洋：適応型混合テンプレートを用いた音源同定，信学論，Vol. J81-D-II, No. 7,
pp. 1510–1517 (1998).
[9] 北原鉄朗他：多重奏を対象とした音源同定：混合しみながら行うことができる．これは，子どもに対する音楽教育においても有用と考えられる．
楽器に基づく頭出し
上でも述べたように，本システムを使うと「バイオリンが弾き始めるところから聴く」といった聴き方を容易に実現できる．この機能は SmartMu-sicKIOSK [4] で実現したサビ出し機能とも関連するが，SmartMusicKIOSK で実現されていた音楽
地図は基本的に繰り返しの検出しか行っていないのに対し，本システムでは楽器構成を時々刻々と推定し，ユーザはそれに基づいて頭出しポイントを選ぶ，という点が異なる．この機能は，たとえば楽器練習者に対する支援として有用と思われる．
楽曲サムネイル
各楽曲に含まれる楽器のイラストをその楽曲のアイコンのように表示することで，楽器構成に着目した楽曲サムネイルとして活用できる．これを用いることで，効率的かつ楽しみながら自分が聴きたい楽曲を選択できるようになると期待される．

4.

おわりに

本稿では，音楽をより楽しみながら聴くための一手段として音楽の可視化に着目し，特に音楽音響信号処理技術を用いて音楽を可視化する手法やシステムを紹介した．その後，我々が考案した楽器存
在確率の視覚表現 Instrogram を述べ，Instrogramを用いた楽器構成可視化機能つき音楽プレイヤー

音テンプレートを用いた音の重なりに頑健な特徴
量の重みづけおよび音楽的文脈の利用，信学論，Vol. J89-D, No. 12, pp. 2721–2733 (2006).
[10] Kitahara, T. et al.: Instrogram: Probabilistic Representation of Instrument Existence forPolyphonic Music, IPSJ Journal, Vol. 48, No. 1(2007). (also published in IPSJ Digital Courier,Vol.3, p.1–13, 2007).
[11] Goto,M.:
A
Real-time
Musicscene-description System: Predominant-F0 Estimation for Detecting Melody and Bass Lines
in Real-world Audio Signals, Speech Comm.,
Vol. 43, No. 4, pp. 311–329 (2004).