2.

音楽音響信号処理技術の最先端
Recent Advances in Music Signal Processing Techniques

亀岡弘和

中村友彦

高宗典玄

インターネットと携帯音楽プレーヤの普及に伴い，音楽検索システムや音楽鑑賞インタフェースなど，音楽に関連した
新しいシステムやインタフェースの研究の重要性が高まっている．音楽音響信号処理技術は，計算機で音楽を扱うあらゆる応用システムの基礎となり得，今や世界中で研究が行われている．本稿では，多重音解析，調・和音認識，リズム解析，調波打楽器音分離，ビート解析，楽譜追跡，楽曲構造解析など，音楽音響信号処理分野における主要課題に対する最先端の技術を概説する．
キーワード：多重音解析，調・和音推定，リズム解析，ビート解析，調波打楽器音分離，楽曲構造解析

．ま

え

が き

れる．まず，音声においては音韻（音声における音色）が言語的な役割を担っているのに対し，音楽においては波形データである音楽音響信号から音楽的に意味のあ

旋律，リズム，和声がその役割を担っている．例えば音る情報を取り出す音楽信号処理技術が実現できれば音楽

声で音韻系列がそっくり変われば異なる言語メッセージを対象とした様々な情報処理が可能になってくる．音楽になるように，音楽で旋律，リズム，和声がそっくり変信号処理の究極の目標は，計算機に音楽を人間と同じよ

われば異なる曲になる．その意味で，音楽から音高，リ

うに聴き，理解し，演奏し，編曲し，創作する能力を備

ズム，和音を認識するのは音声における音声認識に相当

えさせることである．

している．第 2 に，音声とは異なり音楽ではほとんどの音楽は，人間が発し聴く音のメディアとして音声と双場合，複数の音が混在していることが前提になってい璧をなしており，音楽信号処理と音声信号処理の研究はる．通常，音声信号処理（音声認識など）では対象とな関連が深い．音楽信号処理の研究の重要性が認識され始る音声は一つであり，それ以外の音（雑音）の影響をいめた頃は音声の分野で長く培われた方法論や技術を導入

かに回避するかなどが課題となるが，音楽では対象そのしようという事例が多く見られたが，音楽には音声になものが複数の楽音から成る．後述する多重音解析は，多い様々な固有の特徴があることから，音楽ならではの独重音から各楽音の基本周波数（音高に相当する物理量）

自の信号処理技術が近年急速に発展してきている．

を推定するための技術である．第 3 に，音楽はリズムと音楽と音声との相違点には以下のようなものが挙げらいう強い時間的秩序を有している．もちろん音声にも広い意味でリズムがあり，コミュニケーションにおいて非言語的役割を担っているが，前述のとおり音楽において

亀岡弘和 正員 日本電信電話株式会社 NTT コミュニケーション科学基礎研究
所
E-mail kameoka.hirokazu@lab.ntt.co.jp
中村友彦 東京大学大学院情報理工学系研究科システム情報学専攻
E-mail Tomohiko_Nakamura@ipc.i.u-tokyo.ac.jp
高宗典玄 東京大学大学院情報理工学系研究科システム情報学専攻
E-mail norihiro_takamune@ipc.i.u-tokyo.ac.jp
Hirokazu KAMEOKA, Member (NTT Communication Science Laboratories,
NIPPON TELEGRAPH AND TELEPHONE CORPORATION, Atsugi-shi, 2430198 Japan), Tomohiko NAKAMURA, and Norihiro TAKAMUNE, Nonmembers(Graduate School of Information Science and Technology, The University ofTokyo, Tokyo, 113-8656 Japan).

電子情報通信学会誌

Vol.98 No.6 pp.467-474 2015 年 6 月

リズムは旋律と和声と並んで重要な言語的役割を担っている．リズム・ビート解析は文字どおり音楽音響信号からリズム・ビートを推定するための技術である．第 4に，音楽は大域的な繰返し構造や共通構造を有している．例えば，ポピュラー音楽では A メロやサビといったセクションが楽曲中に繰り返される．楽曲構造解析は
このような大域的構造を捉えるための技術である．
次章以降で，音楽信号処理の重要トピックを紹介し，©電子情報通信学会 2015

音楽情報処理技術──分析から合成・作曲・利活用まで──小特集

電通会誌6月_11_小特集2.mcd

Page 1

2.

音楽音響信号処理技術の最先端

467

15/05/13 16:56

v5.50

最新の研究の動向を解説する．

周波数をパラメータに持つパラメトリックモデルを用いて観測信号または観測スペクトルにフィッティングする．多重音解析・音源分離手法が有効である（例えば文献()〜()）．筆書らも，音源分離と基本周波数推定の問題をパラメトリックな調

ヴァイオリンなどのようにピッチのある楽音の信号は波構造モデル及び時間周波数構造モデルを用いた同時最局所的に周期的である．周期信号を構成する周波数成分

適化問題として定式化し，音源分離に相当するステップの中で最も低い周波数を基本周波数と言う．多重音解析と基本周波数パラメータを推定するステップを反復するとは，複数の楽音が重畳した混合信号から個々の楽音のアルゴリズムを提案している (6)〜(8)．このほかにも多重

基本周波数を推定する問題である．音楽音響信号の基本

音から基本周波数を推定する手法は膨大にあるので，よ

周波数は曲を特徴付ける最も重要な情報の一つでこれをり詳しい動向についてはほかの著書文献()，(10)を参

自動獲得できれば自動採譜，楽音分離，音楽検索など

照されたい．

様々な応用に有用である．音声信号処理の分野でも基本

これまで紹介した手法では各音源のスペクトル構造に

周波数推定の研究は長く行われてきたが，そのほとんど関する先験知識を利用することが前提となっていたが，は単一音が対象であった．

このような知識が事前に得られない場合もある．各音源

多重音が対象となる場合，各楽音に分離さえできればのスペクトル構造に関する詳細な仮定を置く代わりに，

単一音の基本周波数推定問題に帰着するため，多重音解

各音源のスペクトルが観測区間において繰返し生起する析の問題は音源分離の問題とも密接に関係している．このことを明快にするため，まず単一音のスペクトルから
基本周波数を推定する問題について考えよう．もし信号が純音の場合，スペクトルのピーク周波数が基本周波数に対応する（図 1(a)）が，一般の周期信号には調波成分に対応する複数のピークがある（図 1(b)）．そして複数あるピークのうち最大のピークの周波数が必ずしも基本周波数に対応するとは限らない（図 1(c)）．また，基本周波数成分はいつも大きいとは限らないため，複数あるピーク周波数のうち最も低い周波数を基本周波数とみなすのは頑健な方法ではない（図 1(d)）．以上から，基本周波数を推定するためには，スペクトルピークのような限られた情報だけでなく，対象とする音の信号波形やスペクトル構造の全体を手掛かりにした方法が必要になる．しかし，複数の信号が混合されて観測される音響信号には，各周波数でどの程度の成分がどの音に帰属するのかという情報が欠落しているため，基本周波数を推定するための重要な手掛かりが得られないのである．したがって，音源分離の問題が解かれない限り個々の基本周波数を推定するのは容易ではない，ということになる．
一方，個々の音の基本周波数が既知であれば音源分離の問題は解きやすくなるわけなので，音源分離の問題を解く手掛かりになり得る基本周波数の情報が，音源分離の問題が解かれない限り高精度に求められない，といういわゆる「鶏と卵」の状況に陥るのである．
このことから，多重音解析の問題は音源分離とセットで考えられることが多い．例えば従来，信号中で最も優勢な基本周波数を推定するステップと対応する基本周波数成分と調波成分を対象の信号から減算するステップを反復する逐次推定アプローチが提案されている (1)．これに対し，全音源の基本周波数を一挙に推定しようという同時推定アプローチも提案されている．各音源の波形やスペクトルに関する先験知識が得られる場合には，基本468

電通会誌6月_11_小特集2.mcd

図

基本周波数推定の問題

電子情報通信学会誌 Vol. 98, No. 6, 2015

Page 2

15/05/13 16:56

v5.50

という仮定に基づく音源分離手法が提案されており，近．調・和 音 推 定

年強力なアプローチとして注目されている (11)．例えば
図 2 の(a)のようなスペクトルの音が(b)のような音量

音楽音響信号から各時刻での調・和音を推定する問題

軌跡で鳴っていたとしよう．その音のスペクトログラム

をそれぞれ調推定・和音推定と呼ぶ．Musical Instru-

は，(a)を縦ベクトル，(b)を横ベクトルとして両者のment Digital Interface（MIDI）信号を入力とする場合

積により得られる行列で表せる．また，(c)のようなスもあるが，本章では音響信号入力にのみ言及する．西洋

ペクトルの音が(d)のような音量軌跡で鳴っていた場合

音楽やポピュラー音楽などにおいて調や和音は旋律やリも同様である．スペクトログラムが加法的であると仮定

ズムと並ぶ楽曲の重要な構成要素であり，これらの情報

すると，これら 2 種類の音の多重音のスペクトログラム

は楽曲の類似度計算，構造解析，ジャンル認識などの有は，(a)と(c)を横に並べた行列 H と(b)と(d)を縦に並用な手掛かりとなり得る．また，人手で調・和音のラベ

べた行列 U の積によって表される．逆に言えば，観測ルを付与するには労力が掛かることから (18)，調・和音された多重音のスペクトログラムを行列 Y とし，Y を推定技術の実現への期待は大きい．

二つの行列の積に分解することにより各音源のスペクト

人間の音高に関する知覚は tone height と chroma のル及び音量軌跡の情報が得られることを意味する．ここ2 要素に分離でき，音名（例えば，C4 の音高ならば C）

で，スペクトルは非負値なので，各行列の要素が非負とが 同 一 の 2 音 は 同 一 の chroma に 属 す る と 知 覚 さ れなるような制約を置かなければならない点に注意が必要

る (19)．そのため，音名の組合せが同一であれば異なるである．このことから，このアプローチは非負値行列因

音高であっても同一の和音とみなすことができる．この子分解（NMF : Non-negative Matrix Factorization）とような特徴量として，スペクトログラムを音名ごとにオ呼ばれる．また，楽音の調波構造において基本周波数とクターブ間で足し合わせたクロマグラム（Pitch Class

各倍音の間隔が対数周波数軸上でシフト不変となる性質

Profile, PCP とも呼ばれる) (20), (21) がしばしば用いられにより，対数周波数スペクトルのテンプレートと音高のる．図 3 を見ると，同一の和音の部分が非常に似ている

音量分布との畳込みにより多重音スペクトルを表現できことが確認できる．

る こ と に 着 目 し た 拡 張 手 法 (12), (13) も 提 案 さ れ て お り，

通常，調や和音が同一の区間においても各時刻では構MIREX と呼ぶ音楽検索に関連する要素技術の国際コン

成音の音高は多様に変化するため，各時刻周辺の観測信

テストにおいて 2013 年に本手法が最高性能を示してい号のみから調や和音を一意に決定することはできない．

(14)．なお，本手法は筆者らの Specmurt 法と呼ぶ多また通常，調や和音が変化するタイミングは未知であ

重音解析法 (15) に非負値制約を置いたものとみなせる．

る．したがって，調・和音推定では調・和音区間推定とNMF やその拡張版について詳しく知りたい読者は文献

各区間における調・和音同定の問題を解く必要がある．

(16)を参照されたい．

もし音楽音響信号中で調や和音が同一の区間が分かれる

以上の多重音解析・音源分離技術により，例えば各楽ば，当該区間において出現する音高の頻度などを手掛か音の音高や音量をユーザが自分好みに操作可能な音楽再生システムを実現することができる (17)．

図

NMF によるスペクトログラムの分解

音楽情報処理技術──分析から合成・作曲・利活用まで──小特集

電通会誌6月_11_小特集2.mcd

Page 3図  クロマグラムと対応する和音ラベルの例
楽曲として Let
It Be（The Beatles）を用いた．色の濃い部分が値が高く，淡い部
分が値が低い．
2.

音楽音響信号処理技術の最先端

469

15/05/13 16:56

v5.50

りに調や和音を推定することができる．一方，調や和音め，リズム解析は，様々な不確定性の下で入力演奏を最の出現順序が既知であれば調や和音が変化する時刻を推も良く説明するもっともらしいリズムとテンポの組合せ

定することが可能である．このように，調・和音区間推を見つける問題となる．

定と各区間における調・和音同定の問題は相互依存の関係にある．

以上のようにリズム解析の問題は不良設定の逆問題であるにもかかわらず，人間はテンポ変動やオンセット・以上の性質の問題のため，文献(22)の研究を筆頭にオフセットの揺らぎを含んだ演奏を聴いても，楽譜やテ

HMM やその拡張モデルを用い，同一和音（または調）

ンポを認識することができる．恐らくこれは，人間は楽の区間推定と各区間の和音（または調）推定の同時解決

譜やテンポに対して先験知識を持ち，その先験知識に沿を目指した手法が多く提案されている．また，和音間のうようにもっともらしい楽譜とテンポを推定できている

遷移のしやすさは調に強く依存するため，調の情報を取ためであろう．筆者らの研究室ではこの考え方をヒント(23)．更に，繰返し構造に，楽譜とテンポに関する先験知識を確率的生成モデル

や拍位置などの楽曲構造に関する情報も導入し，ダイナの形で立て，各楽音のオンセット情報から楽譜とテンポ

ミックベイズネットワークを用いて転調を扱いつつ和音を確率的逆問題として同時推定する手法を提案してい推定を行う手法も提案されている (24), (25)．筆者らの研究る (30)〜(32)．また最近は，多旋律の各声部やパートといっり入れる方法が提案されている室でも音声認識とのアナロジーに着目し，HMM に基づた同期構造をモデル化するために確率文脈自由文法を二く調推定 (26) や和音推定 (27) の手法を開発してきた．ほか

次元拡張したモデル（図 4）を用いた手法 (31), (32) を検討にも，機能和声理論に基づいたモデル，和音系列の構造している．

（カデンツなど）を用いた手法も提案している

(28)

．調・

和音推定に関する研究は膨大にあるのでより詳しい動向については文献(29)を参照されたい．

;．調波打楽器音分離
クラシック音楽やポピュラー音楽ではピッチのある楽音（以後，調波音）と打楽器音が混在することが多い．

8．リ ズ ム 解 析

前者には主に旋律や和声を表現する役割があるのに対多重音解析により推定された各楽音の音高や発音時刻し，後者には主にリズムを表現する役割がある．多重音（オンセット），消音時刻（オフセット）や MIDI 信号か

解析と和音認識では音楽音響信号の中の旋律や和声，リらテンポや各楽音の音価（2 分音符や 8 分音符といったズム解析やビート解析ではリズムに関する情報を抽出す

楽譜上の音の長さ）を推定する問題をリズム解析と呼ることが目的であるため，音楽音響信号をこれらの二つ

ぶ．各楽音の音高とリズムの情報が得られれば楽譜のクのタイプの音に分離する技術が有用となる場面は多い．

エリを用いて楽曲の分類や類似度計算ができるようにな

また，調波音と打楽器音を分離することができるようにるため，リズム解析技術は自動採譜だけでなく楽曲検

なれば，それぞれの音量や音色を自由に変更できる音楽

索・推薦に応用することができる．

再生システムを提供することもできる．これを実現する

観測上の時間における音の長さは，楽譜上の音の長さ技術を調波打楽器音分離と言う．

とテンポの積によって決まるため，所与の演奏に対し楽図 5 のとおり，調波音は周波数成分が時間方向に平行

譜とテンポの組合せは無数に存在する．更に人間の演奏に連なる傾向にある一方で，打楽器音は周波数成分が周にはテンポやオンセット，オフセットに揺らぎがあるた

波数方向に平行に連なる傾向にある．前者は，同一音高

図8

470

電通会誌6月_11_小特集2.mcd

二次元確率文脈自由文法による楽譜の生成モデル
電子情報通信学会誌 Vol. 98, No. 6, 2015

Page 415/05/13 16:56

v5.50

図;

調波打楽器音分離の問題

が一定時間持続することにより各調波音の調波構造中の検索技術において重要な役割を果たす．拍はほぼ等間隔ピークが時間方向に平行に連なることによる．一方後者

であること，拍位置において和音が変わりやすいこと，は，広帯域に及ぶスペクトルが打叩時に急しゅんに立ち打楽器音や各ノートが拍位置で発音されることが多いこ

上がりすぐに減衰するためである．筆者らは，調波音とと，などが本問題の解決の手掛かりとなる．

打楽器音においてスペクトログラムに現れるこれらの傾

実際の演奏において，拍は必ずしも正確に等間隔に打向に着目し，画像処理的なアイデアにより観測スペクト

たれるわけではなく，演奏の表情付けなどによりその間ログラムを調波音と打楽器音の成分に分解する方法を提隔は揺らぐことが多い．また，拍は音楽に内在するリズ

案し，Harmonic/Percussive Signal Separation（HPSS）

ムであるため，全ての拍位置でノートが発音されるわけ

法と呼んでいる (33)．この手法のアイデアと基本原理はではないし，拍位置以外でノートが発音されることもあ

筆者が大学院時代に考案したものであるが，その後当時るため，たとえ各ノートのオンセット（発音開始）時刻の研究室スタッフや後輩たちの手によってアルゴリズムが既知の MIDI 信号を対象とした場合でもビートやテンもプログラムも高度に洗練化され，現在フリーソフト

ポを推定するのは容易ではない．MIDI 信号の場合は各ウェアとして文献(34)で公開されている．このアプロー

ノートのオンセットは既知であるが，音響信号を対象とチは国内外で関心を集めており，多くの研究者たちによした場合，まず各時刻において発音された音があったらり改良・拡張手法が現在進行形で検討されている（例えしいかを表すオンセット特徴量を抽出する必要がある．

ば文献(35), (36)）．

詳細は文献(40)に譲るが，これまでオンセット特徴量となお，HPSS 以外のアプローチとしては，打楽器音のして，Spectral Flux (41)や Phase Deviation (42)，近年では，独立部分空深層学習により得られる特徴量 (43) などが用いられてい間解析（ISA : Independent Subspace Analysis）と呼ぶ

る．以上のオンセット特徴量の系列から，隠れた周期的信号分解法を用いた手法 (38)，前述の NMF に基づくアなピークを捉えるため，短時間フーリエ変換（STFT :スペクトルテンプレートを用いた手法

プローチ

(37)

(39)

などが提案されている．

Short-Time Fourier Transform）を 用 い た 手 法 (44) やエージェントベースの手法 (45)，マルコフモデルを用い

N．ビ ー ト 解 析た手法 (46)，動的計画法を用いた手法 (47) などが提案されている．

音楽にはほぼ等間隔に繰り返される基本的なリズムがあ る．こ れ を 拍（ビ ー ト）と い い，音 楽 音 響 信 号 や

P．楽 譜 追MIDI 信号から各拍の時刻や拍の間隔（テンポ）を推定跡する問題をそれぞれビート解析，テンポ解析と言う．前

楽譜追跡とは，所与の楽譜を参照しつつ，演奏音響信述のリズム解析が解かれればこれらの問題も解決するた

号から実時間で現在の楽譜上の位置（楽譜位置）を推定

め，ビート・テンポ解析はリズム解析の下位概念に相当する技術である．演奏音響信号だけでなく MIDI 信号をする．ただし，リズム解析ではその問題の難しさゆえに入力とすることも多い．この技術の目的は，人間の演奏

現状はピアノの独奏など比較的単純な演奏が対象となるに自動で伴奏を同期させ再生する自動伴奏や自動譜めくことが多いのに対し，ビート・テンポ解析ではオーケス

り (48), (49)などを実現することであり，文献(50)，(51)のトラやポピュラー音楽など音響的により複雑な演奏が対研究以来これまで活発に研究されてきた (52)．特に自動象となることが多い．拍の情報は楽曲のリズム構造の認

伴奏では，演奏が入力されない区間でも伴奏を演奏に合識や類似度を計算するためのアライメントやリズムによわせ再生するため，テンポ推定まで含めて楽譜追跡と呼る楽曲のジャンル分類などに有用であることから，音楽

ぶこともある．

音楽情報処理技術──分析から合成・作曲・利活用まで──小特集

電通会誌6月_11_小特集2.mcd

Page 52.

音楽音響信号処理技術の最先端

471

15/05/13 16:56

v5.50

人間の演奏には，テンポや強弱，誤り，弾き直し・弾

和音，楽器編成など）について，統合的に判断して構造

き飛ばしなど様々な不確定要素が存在し，同一の楽譜にを推定する必要があり，構造解析を自動化する上での課基づく演奏であっても毎回異なる．このような楽譜から題となっている．

一意に予測することが難しい不確定要素を含む演奏に対楽器編成に対応する音色の特徴量としてメル周波数ケ

していかに頑健に追従するかが，楽譜追跡の重要な課題

プストラム係数（MFCC : Mel-Frequency Cepstral Co-

である．楽譜追跡の重要な手掛かりである音高情報を演

efficient），旋律や和音を表す音高にはクロマベクトル

奏音響信号から捉えるために様々な音響特徴量が提案さがよく用いられる．テンポやリズムパターンを表現するれている．単純に，STFT によって得られたスペクト

ため，オンセット検出の結果などをベースとした特徴量

ルを用いる場合もあるが，半音単位で中心周波数が並べが提案されている (64)．楽曲中で類似した部分を得るた

られた定 Q 変換によるスペクトルやそれを加工した特めに，ある時刻と全時刻との特徴量の類似度を計算し，(53)．多くの従来研究では，これそれを並べた行ベクトルを縦に連結して得られる自己類

らの不確定要素を確率的に生成されたとみなし，演奏を似 度 行 列 が 多 く の 従 来 研 究 で 用 い ら れ て い る（図確率モデルにより記述するアプローチを採用している．

6) (64), (65)．単純なフレーム同士の類似度だけでなく，周このアプローチの利点は，不確定要素も含む演奏の統計

りのフレームの情報 (66) や高次の時間構造 (67) を用いた類的な性質を確率に反映でき，演奏サンプルがあればパラ似度の計算も提案されている．

徴量もよく使用される

メータ学習できる点である．確率モデルとして，HMM
やその拡張
確率場

(54), (55)

パーティクルフィルタ(56), (57)

，条件付

(58)

などが用いられている．

筆者らの研究室では，特に練習やリハーサルなどに多自己類似度行列上で，近辺の類似度が高いブロック状の箇所（図 6 の赤線で囲まれた部分）は同質性が高く，対角上にあるブロック同士の継ぎ目（青線同士の交点）
で新規性が高い．非対角成分上で対角に走る線が繰返しく含まれる誤りや弾き直し・弾き飛ばしが任意に起き得構造を表している．そのため，新規性に着目したアプる状況でも追跡可能な楽譜追跡アルゴリズムを提案してローチではブロック同士の継ぎ目を見つけ出す問題とし．
いる (59)（デモ動画像が文献(60)で視聴可能）て定式化され，変化点検知に基づく手法が提案されている (68)．ここでは，あくまでセグメントだけが得られる

S．楽 曲 構 造 解 析ことに注意されたい．ほかにも，同質性に着目し得られたセグメントをクラスタリングする方法 (69), (70)や，繰返

楽曲構造解析とは，音楽音響信号をセグメントと呼ぶ

し構造を表す非対角成分上の対角に走る線を動的計画

音楽的な構造単位に分割し，それぞれのセグメントを音法 (71) や画像処理の手法 (61) を用いて得る方法も提案され楽的に同一の機能を持つカテゴリーに分類する問題であている（詳細は文献(64)参照）．また，筆者らの研究室

る．ここで，セグメントは分割された音楽音響信号を指では，得られた繰返し構造や大域的な冗長性を利用しし，カテゴリーへの分類が行われていないものを指す．

た，新 た な 音 楽 音 響 信 号 の符 号化 方 式を 提 案 し て いカテゴリーの例として，ポピュラー音楽のさびや A メる (72)．

ロなど（セクション）やソナタ形式の楽曲の提示部や展開部などがある．各セグメントにセクション名を割り当て得る，さびの自動検出 (61) や楽曲のサムネイル（試聴用音源など）自動生成 (62) など様々なアプリケーションに役立つ．Songle (63)と呼ばれる音楽鑑賞 Web サービス
では，セクション単位で再生をスキップする機能の実現に構造解析技術が用いられている．
構造を基礎付ける音楽の構成要素の関係性は，様々な基準によって作られる．文献(64)では，基礎的な基準として「新規性」，「同質性」，「繰返し構造」が挙げられている．例えば，フィルインなど突然の変化が生じれば，異なるセクションが始まったことが分かる（新規性）．
調やテンポ，楽器編成などがほとんど変化せず一貫している区間は，同一のセクションが演奏されていることが分かる（同質性）．ポピュラー音楽の 1 番と 2 番のさびなどのように，旋律や和音系列，リズムパターンなどが繰返し用いられていれば同一のセクションとみなせる（繰返し構造）．様々な音楽の構成要素（旋律，リズム，472

電通会誌6月_11_小特集2.mcd

図N

SM Toolbox (N;)を用いて計算した類似度行列の例
電子情報通信学会誌 Vol. 98, No. 6, 2015

Page 615/05/13 16:56

v5.50

l．む

す

び

(20)

本稿では，多重音解析，調・和音認識，リズム解析，(21)

調波打楽器音分離，ビート検出，楽譜追跡，楽曲構造解(22)

析など，音楽音響信号処理における重要課題に対する最先端の技術を紹介した．音楽音響信号処理に関する動(23)

向，信号処理論や機械学習理論の基礎，ツール類についてより詳しく調べたい読 者は 文 献 (10)，(16)，(29)，(24)(40)，(73)，(74)などを参照されたい．
謝辞 本稿では，東京大学の客員連携講座・亀岡研究(25)

室及び同大学嵯峨山研究室における過去の発表資料から図の素材を一部使用した．関係各位に感謝する．

(26)

文
()

()

()

()
()

()

(

)

(

)

()

(10)
(11)
(12)

(13)

(14)
(15)

(16)
(17)

(18)

(19)

献

(27)

A. Klapuri, “Multiple fundamental frequency estimation based on
harmonicity and spectral smoothness,” IEEE Trans. ASLP, vol. 11, no.
6, pp. 804-816, 2003.
M.G. Christensen and A. Jakobsson, “Multi-pitch estimation,” in
Synthesis Lectures on Speech Audio Process., Morgan and Claypool,
San Rafael, CA, 2009.
R. Badeau, V. Emiya, and B. David, “Expectation-maximization
algorithm for multi-pitch estimation and separation of overlapping
harmonic spectra,” Proc. ICASSPʼ09, pp. 3073-3076, 2009.
C. Yeh, “Multiple fundamental frequency estimation of polyphonicrecordings,” Ph.D. Thesis, Univ. Pierre et Marie Curie, Paris 6, 2008.
M. Goto, “A real-time music-scene-description system : PredominantF0 estimation for detecting melody and bass lines in real-world audio
signals,” Speech Commun., vol. 43, no. 4, pp. 311-329, 2004.
H. Kameoka, T. Nishimoto, and S. Sagayama, “Separation of harmonic
structures based on tied Gaussian mixture model and information
criterion for concurrent sounds,” Proc. ICASSPʼ04, pp. 297-300, 2004.
H. Kameoka, “Statistical approach to multipitch analysis,” Ph.D.
Thesis, The University of Tokyo, 2007.
H. Kameoka, T. Nishimoto, and S. Sagayama, “A multipitch analyzer
based on harmonic temporal structured clustering,” IEEE Trans. ASLP,
vol. 15, no. 3, pp. 982-994, 2007.
A. de Cheveigné, “Multiple F0 estimation,” in Computational Auditory
Scene Analysis : Principles, Algorithms and Applications, D.-L. Wang
and G.J. Brown eds., IEEE Press/Wiley, 2006.
Signal Processing Methods for Music Transcription, A. Klapuri and M.
Davy, eds., Springer, New York, 2006.
P. Smaragdis and J.C. Brown, “Non-negative matrix factorization formusic transcription,” Proc. WASPAAʼ03, pp. 177-180, 2003.
P. Smaragdis, B. Raj, and M. Shashanka, “Sparse and shift-invariant
feature extraction from non-negative data,” Proc. ICASSPʼ08, pp.
2069-2072, 2008.
E. Benetos, S. Cherla, and T. Weyde, “An efficient shift-invariant
model for polyphonic music transcription,” Proc. MMLʼ13, pp. 1-4,2013.
http://www.music-ir.org/mirex/wiki/2013 : Main_Page
S. Saito, H. Kameoka, T. Nishimoto, and S. Sagayama, “Specmurt
analysis of multi-pitch music signals with adaptive estimation ofcommon harmonic structure,” Proc. ISMIRʼ05, pp. 84-91, 2005.
亀岡弘和，»非負値行列因子分解とその音響信号処理への応用，¼
日本統計学会誌，vol. 44, no. 2, pp. 383-407, 2015．
亀岡弘和，ルルー・ジョナトン，大石康智，柏野邦夫，»Music
factorizer：音 楽 音 響 信 号 を ノ ー ト 単 位 で 編 集 で き る イ ン タ
フェース，¼情処学音楽情報科学研報，2009-MUS-81, no. 9, pp.
1-6, 2009．
J.A. Burgoyne, J. Wild, and I. Fujinaga, “An expert ground truth set foraudio chord recognition and music analysis,” Proc. ISMIRʼ11, pp. 633638, 2011.
R.N. Shepard, “Circularity in judgments of relative pitch,” J. Acoust.

音楽情報処理技術──分析から合成・作曲・利活用まで──小特集

電通会誌6月_11_小特集2.mcd

Page 7

(28)

(29)

(30)

(31)

(32)

(33)

(34)
(35)
(36)
(37)

(38)

(39)

(40)

(41)
(42)

(43)
(44)

(45)

2.

Soc. Am., vol. 36, no. 12, pp. 2346-2353, 1964.
G.H. Wakefield, “Mathematical representation of joint time-chroma
distributions,” Proc. SPIEʼ99, ASPAAI, vol. 3807, pp. 637-645, 1999.
T. Fujishima, “Real-time chord recognition of musical sound : A
system using common lisp music,” Proc. ICMCʼ99, pp. 464-467, 1999.
A. Sheh and D.P. Ellis, “Chord segmentation and recognition using
EM-trained hidden Markov models,” Proc. ISMIRʼ03, pp. 185-191,
2003.
K. Lee and M. Slaney, “Acoustic chord transcription and key extraction
from audio using key-dependent HMMs trained on synthesized audio,”IEEE Trans. ASLP, vol. 16, no. 2, pp. 291-301, 2008.
M. Mauch, “Automatic chord transcription from audio using
computational models of musical context,” Ph.D. Thesis, Queen Mary
University of London, 2010.
M. Mauch and S. Dixon, “Simultaneous estimation of chords andmusical context from audio,” IEEE Trans. ASLP, vol. 18, no. 6, pp.
1280-1289, 2010.
齊藤翔一郎，西本卓也，嵯峨山茂樹，»Specmurt 分析と HMMを用いた音楽音響信号の調認識，¼音響論集，pp. 757-756, 2005．
Y. Ueda, Y. Uchiyama, T. Nishimoto, N. Ono, and S. Sagayama,“HMM-based approach for automatic chord detection using refined
acoustic features,” Proc. ICASSPʼ10, pp. 5518-5521, 2010.
上田 雄，小野順貴，嵯峨山茂樹，»機能和声モデルによる音楽
信号からの和声推定，¼情処学音楽情報科学研報，2010-MUS86, no. 13, pp. 1-6, 2010．
M. McVicar, R. S.-Rodriguez, Y. Ni, and T.D. Bie, “Automatic chord
estimation from audio : A review of the state of the art,” IEEE Trans.
ASLP, vol. 22, no. 2, pp. 556-575, 2014.
武田晴登，西本卓也，嵯峨山茂樹，»確率モデルによる多声音楽
演奏の MIDI 信号のリズム認識，¼情処学論，vol. 45, no. 3, pp.
670-679, 2004．
H. Kameoka, K. Ochiai, M. Nakano, M. Tsuchiya, and S. Sagayama,“Context-free 2D tree structure model of musical notes for bayesianmodeling of polyphonic spectrograms,” Proc. ISMIRʼ02, pp. 307-312,2012.
高宗典玄，亀岡弘和，嵯峨山茂樹，»2 次元 LR パーサによる音楽演奏 MIDI 信号からの自動採譜，¼音響論集，pp. 1039-1042,
2014．
宮本賢一，ルルー・ジョナトン，亀岡弘和，小野順貴，嵯峨山茂樹，»スペクトログラムの滑らかさの異方性に基づく調波音・打楽器音の分離，¼音響論集，pp. 903-904, 2008．
http://hil.t.u-tokyo.ac.jp/software/HPSS/D. FitzGerald, “Harmonic/percussive separation using median filtering,” Proc. DAFxʼ10, 2010.
J. Driedger, M. Müller, and S. Disch, “Extending harmonic-percussive
separation of audio signals,” Proc. ISMIRʼ14, pp. 611-616, 2014.
K. Yoshii, M. Goto, and H.G. Okuno, “Automatic drum sounddescription for real-world music using template adaptation andmatching methods,” Proc. ISMIRʼ04, pp. 184-191, 2004.
C. Uhle, C. Tiddmar, and T. Sporer, “Extraction of drum tracks frompolyphonic music using independent subspace analysis,” Proc. ICAʼ03,
pp. 843-847, 2003.
M. Helen and T. Virtanen, “Separation of drums from polyphonicmusic using non-negative matrix factorization and support vector
machine,” Proc. EUSIPCOʼ05, 2005.
J.P. Bello, L. Daudet, S. Abdallah, C. Duxbury, M. Davies, and M.B.
Sandler, “A tutorial on onset detection in music signals,” IEEE Trans.
Speech Audio Process., vol. 13, no. 5, pp. 1035-1047, 2005.
P. Masri, “Computer modelling of sound for transformation andsynthesis of musical signal,” Ph.D. Thesis, University of Bristol, 1996.
J.P. Bello, C. Duxbury, M. Davies, and M. Sandler, “On the use ofphase and energy for musical onset detection in the complex domain,”IEEE Signal Process. Left., vol. 11, no. 6, pp. 553-556, 2004.
S. Böck and M. Schedl, “Enhanced beat tracking with context-awareneural networks,” Proc. DAFxʼ11, pp. 1-5, 2011.
P. Grosche, M. Muller, and F. Kurth, “Cyclic tempogram─A mid-leveltempo representation for musicsignals,” Proc. ICASSPʼ10, pp. 55225525, 2010.
M. Goto, “An audio-based real-time beat tracking system for music

音楽音響信号処理技術の最先端

473

15/05/13 16:56

v5.50

(46)
(47)
(48)
(49)
(50)
(51)
(52)

(53)

(54)
(55)

(56)
(57)

(58)

(59)

(60)
(61)

(62)

(63)
(64)
(65)

(66)

with or without drum-sounds,” J. New Music Res., vol. 30, no. 2, pp.
159-171, 2001.
N. Whiteley, A.T. Cemgil, and S.J. Godsill, “Bayesian modelling of
temporal structure in musical audio,” Proc. ISMIR, pp. 29-34, 2006.
D.P. Ellis, “Beat tracking by dynamic programming,” J. New Music
Res., vol. 36, no. 1, pp. 51-60, 2007.
電子楽譜フェアリー，iPhone, iPad 向けアプリ，
http://www.fairy-score.com/
Tonara, Sheet Music Viewer That Listens To You,
http://tonara.com/
R.B. Dannenberg, “An on-line algorithm for real-time accompaniment,” Proc. ICMCʼ84, pp. 193-198, 1984.
B. Vercoe, “The synthetic performer in the context of live
performance,” ICMCʼ84, pp. 199-200, 1984.
N. Orio, S. Lemouton, D. Schwarz, and N. Schnell, “Score following :State of the art and new developments,” Proc. NIMEʼ03, pp. 36-41,
2003.
C. Joder, S. Essid, and G. Richard, “Learning optimal features forpolyphonic audio-to-score alignment,” IEEE Trans. ASLP, vol. 21, no.
10, pp. 2118-2128, 2013.
P. Cano, A. Loscos, and J. Bonada, “Score-performance matching
using HMMs,” Proc. ICMCʼ99, pp. 441-444, 1999.
C. Raphael, “Automatic segmentation of acoustic musical signals using
hidden Markov models,” IEEE Trans. Pattern Anal. Mach. Intell., vol.
21, no. 4, pp. 360-370, 1999.
Z. Duan and B. Pardo, “A state space model for online polyphonicaudio-score alignment,” Proc. ICASSPʼ11, pp. 197-200, 2011.
T. Otsuka, K. Nakadai, T. Takahashi, T. Ogata, and H.G. Okuno,“Real-time audio-to-score alignment using particle filter for coplayer
music robots,” EURASIP J. Appl. Signal Process., vol. 2011, pp. 1-13,
2011.
C. Joder, S. Essid, and G. Richard, “A conditional random field
framework for robust and scalable audio-to-score matching,” IEEE
Trans. ASLP, vol. 19, no. 8, pp. 2385-2397, 2011.
S. Sagayama, T. Nakamura, E. Nakamura, Y. Saito, H. Kameoka, and
N. Ono, “Automatic music accompaniment allowing errors andarbitrary repeats and jumps,” POMA, vol. 21, 035003, pp. 1-11, 2014.
https://www.youtube.com/watch?v=KgnR2BzrafU, https://www.
youtube.com/watch?v=fW6VKiC4k34
M. Goto, “A chorus section detection method for musical audio signals
and its application to a music listening station,” IEEE Trans. ASLP,
vol. 14, no. 5, pp. 1783-1794, 2006.
M.A. Bartsch and G.H. Wakefield, “Audio thumbnailing of popular
music using chroma-based representations,” IEEE Trans. MM, vol. 7,
no. 1, pp. 96-104, 2005.
Songle, http://songle.jp/
J. Paulus, M. Müller, and A. Klapuri, “State of the art report : Audiobased music structure analysis,” Proc. ISMIRʼ10, pp. 625-636, 2010.
M. Müller, N. Jiang, and H.G. Grohganz, “SM Toolbox : MATLAB
implementations for computing and enhancing similarity matrices,”
Proc. AESʼ14, London, UK, 2014.
M. Müller and F. Kurth, “Enhancing similarity matrices for music

audio analysis,” Proc. ICASSPʼ06, pp. 231-236, 2006.
T. Jehan, “Creating music by listening,” Ph.D. Thesis, Massachusetts
Institute of Technology, 2005.
(68) J. Foote, “Automatic audio segmentation using a measure of audio
novelty,” Proc. ICMEʼ00, pp. 452-455, 2000.
(69) M. Cooper and J. Foote, “Summarizing popular music via structuralsimilarity analysis,” Proc. WASPAAʼ03, pp. 127-130, 2003.
(70) J.J. Aucouturier, F. Pachet, and M. Sandler, ““The way it Sounds” :timbre models for analysis and retrieval of music signals,” IEEE Trans.
Multimed., vol. 7, no. 6, pp. 1028-1035, 2005.
(71) M. M Goodwin and J. Laroche, “A dynamic programming approach toaudio segmentation and speech/music discrimination,” Proc.
ICASSPʼ04, pp. 309-312, 2004.
(72) 藏 悠子，鎌本 優，小野順貴，嵯峨山茂樹，»動的計画法に基づく音楽構造解析とその音楽信号符号化への応用，¼音響論集，
pp. 1049-1050, 2012．
(73) 後藤真孝，緒方 淳，»音楽・音声の音響信号の認識・理解研究の動向，¼コンピュータソフトウェア，vol. 26, no. 1, pp. 4-24,
2009．
(74) M. Müller, D.P.W. Ellis, A. Klapuri, and G. Richard, “Signal
processing for music analysis,” IEEE J.-STSP, vol. 5, no. 6, pp. 10881110, 2011.
(67)（平成 27 年 2 月 6 日受付
かめおか

ひろかず

なかむら

ともひこ

たかむね

のりひろ

平成 27 年 3 月 9 日最終受付）

亀岡 弘和（正員）
平 14 東大・工・計数卒．平 19 同大学院博士課 程 了．同 年 日 本 電 信 電 話 株 式 会 社 入 社．
NTT コミュニケーション科学基礎研究所配属．平 23 東大大学院情報理工学系研究科客員准教授．音声・音楽を対象とした音響信号処
理・機械学習の研究に従事．日本音響学会，情報処理学会，IEEE 各会員．情報理工学博士．
IEEE Signal Processing Society 2008 SPS
Young Author Best Paper Award 等受賞多数．
中村 友彦
平 23 東大・工・計数卒．平 25 同大学院情報理工学系研究科修士課程了．同年から同大学院博士課程在籍．音楽情報処理・音響信号加工に関する研究に従事．SICE Annual Conference
2011 International Award 受賞．

高宗 典玄
平 24 東大・工・計数卒．同年から同大学院
博士前期課程に在籍．平 27-04 同大学院博士課
程．音楽情報処理，音響信号処理に関する研究に従事．

㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇㍇

474

電通会誌6月_11_小特集2.mcd

電子情報通信学会誌 Vol. 98, No. 6, 2015

Page 815/05/13 16:56

v5.50