機械学習に基づく音楽情報処理吉井 和佳
産業技術総合研究所 (AIST)

発表の内容| 音楽情報処理分野の概況
y

産業的・学術的にどうなのか| 機械学習の基本的利用法
y

機械学習がどのように取り入れられているか| 産総研における研究事例
yデモアプリケーションを４つ紹介| これからの音楽情報処理y

機械学習のプロのみなさまへ音楽情報処理分野の発展| 「音楽」は産業・文化面で主要なコンテンツ
y 音楽と触れ合う手段が増加

定額制聴き放題サービス| 情報通信・音楽圧縮技術| 携帯型音楽プレーヤーy 好きな曲を好きな時に好きな場所で好きなだけ聴ける|

近い将来、すべての音楽がデジタルアーカイブ化され配信・検索・共有・創作・発信されることが確実

音楽解析・検索・推薦技術に対する潜在的な需要は大きい

学術分野としての成長（国内）| 情報処理学会 音楽情報科学研究会 SIGMUS
y 登録者数・発表件数ともに急速に増加
y 年5回開催される研究会の規模が拡大

以前の平均：1日 x 3回 2日 x 2回
| 07,08年度：2日 x 4回 3日 x 1回
|

450名
400名
350名
研究会登録者数
300名
250名
200名
1992年 1996年 2000年 2004年 2008年

120件

音声言語処理研究会
SIGSLPに比肩！

30件

90件

3020件

60件

30

22141630件

10件

0件
1992年 1996年 2000年 2004年 2008年

0件
2004年 2005年 2006年 2007年 2008年

年間発表件数

夏シンポ発表件数

学術分野としての成長（国際）| 国際音楽情報検索学会 ISMIR

International Society
for Music Information Retrieval

y 第10回国際会議 ISMIR 2009|10/26-30＠神戸国際会議場| 280人をこえる参加者（不況なのに過去最大）| 当日参加もwelcome！
完全なシングルセッション
38件のオーラル発表
85件のポスター発表音楽情報処理とは？
| 計算機を使って音楽に関する情報を抽出したり、解析したり、利用したり、付与したりすること
y 何を扱うのか？

音楽そのもの：音響信号(オーディオ)、MIDI(シンボル) など| 関連するもの：アノテーション、タグ、レーティング など|

y 何を行うのか？
| 認識系

さまざまな音楽要素の自動認識
y ジャンル、ムード、楽器名、基本周波数、発音時刻、拍子、テンポ、調、コード進行、繰り返し構造 など| 生成系| 作曲や演奏の支援
アプリケーションy 歌唱音声合成・楽音合成
音楽検索・推薦
プレイリスト生成
y 自動作曲・演奏表情付け
楽曲類似度計算y 自動伴奏・ジャムセッション|

認識系の研究例| ジャンル識別：典型的なパターン認識問題
y 音響信号を入力としてジャンル名を出力したい

学習時| 音響信号とジャンル名のペアから識別器を学習| 認識時| 新たな音響信号のジャンル名を識別
|

ロック
ロック

…

識別器
ジャズ
ジャズ

…

GMMやSVMが一般的

ジャズ

楽器音識別やムード識別も同様の枠組み

認識系の研究例| コード進行認識：時系列パターン認識問題
y 音響信号を入力としてコード名系列を出力したい

学習時| 音響信号とコード名系列のペアから識別器を学習| 認識時| 新たな音響信号のコード名系列を出力|

CFCG

Am Em F Dm E7

識別器…

HMMが一般的C Dm G7 C

コード名（認識対象クラス）
maj, min, maj7, min7,+ dom7, aug, dim, …

認識系の研究例| テンポ推定y 基本的な思想：自己相関関数に基づく周期性検出| 発音時刻検出
y 基本的な思想：急激なパワー変化を検出| 基本周波数推定y 混合ガウスモデルをスペクトルにフィッティング

PreFEst [後藤1999]| HTC [亀岡2005]|

ブラインド音源分離＝ モデルパラメータの学習

PreFEstモデル

周波数方向
HTCモデル

時間方向
時間-周波数平面における分布機械学習に基づく音楽情報処理| テーマ「何の目的で何を学習するのか」
y HybridRecommender: 音楽を推薦する

ユーザの好みに合った楽曲を推薦したい| 音響信号と評価履歴からユーザの好みを学習|

y MusicThumbnailer: 音楽を可視化する

楽曲内容が一目でわかるサムネイル画像を生成したい| 音響信号から画像への写像パラメータを学習|

y MusicCommentator: 音楽を言語で表現する

楽曲内容に対して人間のようにコメントを行わせたい| 音響信号とコメントとの対応付けを学習|

y LyricSynchronizer: 音楽に歌詞を同期させる

歌詞テキストを楽曲再生に同期させて表示させたい| 音響信号と歌詞とのアラインメントを学習|

HYBIRDRECOMMENDER
音楽推薦システム
吉井 和佳 後藤 真孝
駒谷 和範 尾形 哲也

奥乃 博

研究アプローチ| 高精度かつバラエティ豊かな推薦がしたい
y 「音楽内容」と「ユーザの評価」を同時に考慮
曲1

特徴ベクトル

曲2

特徴ベクトル

曲3

特徴ベクトル

曲4

特徴ベクトル

曲5

特徴ベクトル

曲6

特徴ベクトル

音響的特徴量曲1 曲2 曲3 曲4 曲5 曲6
4
1
ユーザ1 5ユーザ2

2ユーザ3

1ユーザ4ユーザ5

3

5

4

1
5

2

54

1

5

5段階評価(行動履歴)

データ生成の不確定性を適切に扱いたい→ 確率的な枠組みでのデータ統合

デモンストレーション

ハイブリッド型推薦モデル| トピックモデルに基づく嗜好推定
y 文書-単語の共起モデルであるpLSIの拡張版を利用|

音楽内容と他人の評価を同時にモデル化
p (u )

あるユーザ u が嗜好に従ってトピック z を選択する確率u

選ばれた z は観測不可能（観測データは不完全）
ユーザ

隠れ変数p( z | u )トピック z が選ばれたときに楽曲 m にアクセスする確率p(m | z )z

トピックp (t | z )mt

楽曲

特徴p(m|u) が大きい楽曲 ｍ を推薦

トピック z が選ばれたときに特徴 t が発生する確率

MUSICTHUMBNAILER
音楽を可視化するシステム
吉井 和佳 後藤 真孝

研究の背景| 音楽は聴いてみるまで中身が分からない
y 逐一試聴していくには時間がかかる
y 気分に合わない曲も聴くことになる

あなたに薦めたい曲は…
Lost in My Dreams: J. Manning21st Century: D. Burke

どんな曲？

Guess Again: D. Burke
My Faith: 22 Project Band
Rocket in My Pocket: G. Irwin

研究アプローチ| 音楽の中身がすぐに把握できるようにしたい
y 音響信号からサムネイル画像を生成する
y 「耳で聴く」から「目で見る」へ

ユーザの経験

あなたに薦めたい曲は…

既知のヒップホップ曲

Lost in My Dreams: J. Manningはだったから…
21st Century: D. Burke

３･５曲目はヒップホップ？

Guess Again: D. Burke
My Faith: 22 Project Band
Rocket in My Pocket: G. Irwin

ポップス

バラード

ロック

へヴィメタル

ラップ・ヒップホップ

ハウス

テクノ

ファンク

ソウル・R&B

モダンジャズ

ビッグバンドポップス#01〜#06
ブラスバンドロック#07〜#12バロック

ダンス#13〜#27

ジャズ#28〜#36

サンバ

レゲエ

タンゴ

バロック古典派 ロマン派

近代古典派

ロマン派 近代ブルース

フォーク

カントリー

ゴスペル

アフリカン

インド

クラシック
（器楽・室内楽）#57〜#63ワールド#64〜#84

フラメンコフュージョン

ボサノヴァ

行進曲
#54〜#56

ラテン#37〜#48

クラシック
（管弦楽）
#49〜#53

シャンソン

カンツォーネ

演歌

民謡

雅楽

声楽
#85〜#90

邦楽#91〜#99 ア・カペラ#100
研究用データベース
RWC-MDB-G-2001

最適な写像の学習と運用
1.

写像モデルを設計

Y = Sigmoid(AX)y 未知パラメータＡを含む

2.

コスト関数を定式化

画像
Ａ

画素値

音
特徴量

y Ａの関数コスト関数を最小化
y 最急降下法による反復最適化

コスト

3.

傾き計算
| 減少する方向へ更新|

4.

サムネイル画像の生成
y 最適なＡを写像モデルに適用

Ａサムネイルコストの評価尺度| 記憶性コスト
y 各サムネイルの覚えにくさ|

隣接する画素値の差の合計＜| 表現力コスト
y 各サムネイルの情報不足度|

サムネイル内分散 ×-1＜| 区別性コスト
y サムネイル群の見分けにくさ|

サムネイル間分散 ×-1＜MUSICCOMMENTATOR音楽にコメントするシステム
吉井 和佳 後藤 真孝

研究の背景| 「音楽」を「言語」で表現する重要性
y 言語：音楽を介したコミュニケーションの手段
楽曲全体に対するタグ

ある時刻に対して付与されたコメント

多数のユーザが同じ楽曲にコメントしあいながら一緒に鑑賞している感覚

研究アプローチ| 音楽と言語を対応付ける数理モデルの構築
y 機械学習に基づく音楽音響信号へのコメント付与

コメント付きの多数の音楽音響信号から音楽と言語の対応付けモデルを学習| 新たに与えられた音楽音響信号に対して適切な時刻を選んで適切なコメントを付与|

未経験の音楽音響信号

学習に基づく言語表現（コメント付与）デモンストレーション

コメント生成モデルの学習| モデルが備えるべき要件
y 4つの特徴量を同時にモデル化できること
y 特徴量の時系列をモデル化できること
y 4つの特徴量の動的なふるまいは共通であること→ 隠れマルコフモデル(HMM)の利用
ある楽曲における状態遷移(n)t−1(n)
tz

(n)
t+1zz

混合ガウス分布 (GMM)

ガウス分布

メル周波数ケプストラム
係数(MFCC)とエネルギー(n)上記の動的変動成分t
音響的特徴量

ガウス分布

a

多項分布

コメント密度 dt(n)コメント長lt(n)(n)

Bag-of-Words素性 wt
コメント特徴量尤度最大化原理に基づく学習と生成| 学習フェーズ
y HMMパラメータを最尤推定|

EMアルゴリズムを利用| 生成フェーズ
y 与えられた音響信号に対して状態系列をデコード

最尤のBag-of-Words素性が得られる
y コメント文を生成| 上記Bag-of-Words確率と言語モデルとを統合| ビタビ探索
|

i −1

…

i −2…

…

1…

…

SilB

il

SilE
○: WordLYRICSYNCHRONIZER
音楽と歌詞の対応付けシステム
藤原 弘将 後藤 真孝
駒谷 和範 尾形 哲也

緒方 淳
奥乃 博

研究の背景| 歌詞は音楽の魅力にかかわる重要な要素
y 歌詞カードを眺めつつ音楽を鑑賞
y カラオケのような歌詞表示を行うプラグインを利用|

人手で音楽と歌詞の対応付けが必要だった

非常に手間ひまがかかる

研究アプローチ| 自動で音楽と歌詞を対応付けたい
y 音声認識技術との関連「発話区間」において「話声」と「テキスト」を対応付ける技術は存在
y 単独発話による単独音| 「歌声区間」において「歌声」と「テキスト」を対応付けるにはどうすれば？
y 複数音源による混合音y 本研究での処理の流れ
デモ
1.
混合音からメロディを分離||

PreFEst [後藤] でF0推定＋正弦波重畳合成

メロディ中の歌声区間を推定
歌声と歌詞テキストとをアラインメント

2.
3.
|

話声モデルを歌声モデルに適応歌声区間推定| 歌声状態と非歌声状態を行き来するHMM
y 出力パラメータはラベル付きデータから学習
y 遷移確率は実験的に設定

歌声状態

非歌声状態

1log pGMM(x | θV ) − η
2

1logpGMM(x | θN ) + η
2

η を調整することでバランスをコントロール
適合率重視 or 再現率重視

音楽情報処理のすすめ

困ったぞ| 音楽情報処理の研究はおもしろそうだが門外漢なところが多くて難しそう
y 音楽データを対象にして自分の得意技を試したいが、「データ準備」や「データ解析」が大変
データ準備

音楽音響信号

Ground truth

データ解析

特徴量ベクトル

これらを扱うのは得意なのに…
機械学習, パターン認識,多変量解析, 検証技術 etc

さあ、始めよう| 新規参入者に対する間口が広い分野
y お金も時間もかからない

音楽データの準備| 研究用データベースが無償で公開
y Ground truthつき| 共通データによるコンテストの開催| 音楽データの解析| 音楽特徴量が抽出できるフリーツールが公開
y 自分の得意技が必ずどこかで生きる| さまざまな研究テーマが存在|

まずは自分の得意な部分のみに専念できる！

音楽データの準備| 研究目的で自由に利用可能なものが存在
yRWC研究用音楽データベース

著作権問題なし

ポピュラー音楽データベース (100曲)| 著作権切れ音楽データベース (15曲)| クラシック音楽データベース (50曲)| ジャズ音楽データベース (50曲)| 音楽ジャンルデータベース (100曲)| 楽器音データベース (50楽器・約150個体)|y配布件数AIST Annotation for the RWC Music Database|

上記データベースに対する人手によるアノテーション情報| ビート構造| メロディライン
| サビ区間極めて貴重！
| 音響信号に同期したMIDIデータ

音楽データの解析| 特徴量を抽出できるツールが存在
y Marsyas [Tzanetakis 2002]

プラットフォーム非依存| 低次の音響的特徴量が抽出可能| スペクトル重心, ゼロ交差率など
y MIRtoolbox [Olivier 2007]| MATLAB用のツールボックス| 低次の音響的特徴量が抽出可能| 認識系のアルゴリズムも実装| 発音時刻検出| テンポ推定|

低次の音響的特徴量がよく利用される→ 楽曲内容をBag-of-Featuresで表現

腕試しがしてみたいなら| 認識精度コンテストMIREXy 共通データセット上で手法の性能を比較|

TRECの成功を受けて2005年から開始
TREC: テキスト検索手法コンテスト
・大規模なデータを利用して性能を測定
・6年間で検索システムの性能が2倍に向上

y さまざまなトラックが存在

ジャンル識別・ムード識別| 発音時刻検出| 基本周波数推定| カバーソング同定| コード認識| スコアアラインメントなど|

WEB上で結果公開(ムード識別結果)

基礎理論に強い研究者がたくさんアプリケーションとして音楽情報処理分野に食指を伸ばし始めた！
HDP-GMMによる楽曲類似度計算@ISMIR 2008

http://ibisforest.org/index.php?People強者ども、きたれ| 機械学習が活用できる場面は多い
y 最近の優れた機械学習法による大幅な精度改善の期待

Bag-of-Features + GMM の限界の打破| 時系列のモデル化・類似度計算|| 新たな研究テーマの開拓にも期待y 優れた機械学習法で初めて実現可能なものがあるはず

学習データが不十分で汎化能力のあるモデルが学習できなかった問題| 単純なクラス分類問題以外に適用できないか？
|

いまこそ機械学習という武器を手に音楽情報処理に殴りこむチャンス！

参考文献
|

吉井 和佳, 後藤 真孝, 駒谷 和範, 尾形 哲也, 奥乃 博: "ユーザの評価と音響的特徴との確率的統合に基づくハイブリッド型楽曲推薦システム", 情報処理学会 音楽情報科学研究会 研究報告 2006-MUS-066, Vol. 2006,
No. 90, pp. 45-52, August 2006.

|

吉井 和佳, 後藤 真孝, 駒谷 和範, 尾形 哲也, 奥乃 博: "楽曲推薦システムの効率性とスケーラビリティの改善のための確率的推薦モデルのインクリ
メンタル学習法", 情報処理学会 音楽情報科学研究会 研究報告 2007MUS-071, Vol. 2007, No. 81, pp. 19-26, August 2008.

|

吉井 和佳, 後藤 真孝: "MusicThumbnailer: 音響的特徴に基づく楽曲のサムネイル画像生成手法", 情報処理学会 音楽情報科学研究会 研究報告2008-MUS-076, Vol. 2008, No. 78, pp. 57-62, August 2008.

|

吉井 和佳, 後藤 真孝: "MusicCommentator: 音楽に同期したコメントを自動生成するシステム", 情報処理学会 音楽情報科学研究会 研究報告
Vol. 2009-MUS-81, No. 20, July 2009.

|藤原 弘将, 後藤 真孝, 緒方 淳, 駒谷 和範, 尾形 哲也, 奥乃 博: "音楽音響信
号と歌詞の時間的対応付け手法: 歌声の分離と母音のViterbiアラインメント", 情報処理学会 音楽情報科学研究会 研究報告 2006-MUS-066,
Vol. 2006, No. 90, pp. 37-44, August 2006.

連絡先| 吉井 和佳
yyyk.yoshii@aist.go.jp| ご質問・ご意見・ご感想等ありましたらメールしてくださるとうれしいです
産業技術総合研究所 情報技術研究部門
メディアインタラクション研究グループ 研究員