Vol.2009-MUS-81 No.20
2009/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

1. は じ め にMusicCommentator:
音楽に同期したコメントを自動生成するシステム

人と人とがコミュニケーションを行うためのメディアとして，音楽は重要な位置を占めている．例えば，ある楽曲のどこをどのように感じたかを友人どうしで語りあったり，両者が知っている楽曲をきっかけにほとんど接点がなかった人どうしでも会話がはずんだりする．

吉

井

和

佳†1

後

藤

真

孝†1

近年は情報通信技術の発達により，多くの楽曲がデジタルデータとしてオンライン化されたのに伴い，音楽を介したコミュニケーションもインターネット上で行われるようになった．
物理制約がなくなった結果，不特定多数の人による大規模なコミュニケーションが一般的に本稿では，楽曲のライムライン上の適切な時刻に適切なコメントを自動付与するシ
ステム MusicCommentator について述べる．近年，ユーザが動画全体に対してではなく，動画中のある時刻に対してコメントできるオンライン動画共有サービスが人気を博している．本研究では，音楽演奏の動画に含まれる音楽音響信号を対象とし，音響的特徴量とコメント特徴量との確率的同時生成モデルを提案する．システムはまず，多くの楽曲とそれに付与されたコメントから確率モデルを学習する．その後，別の楽曲が入力として与えられた場合に，どの時刻に対して，どのような単語を用いてどのくらいの長さのコメントを新たに付与できるかを確率モデルを用いて推定する．このとき，言語的制約として単語間の連接を考慮し，文の合成をおこなう．実験の結果，入力楽曲の音響的特徴量だけを用いてコメント生成した時に比べ，すでに付与されたコメントを参考にしてコメント生成を行うと精度が向上することがわかった．

なり，「音楽にコメントする」という行為がますます重要性を増している．例えば，多くのオンライン音楽配信サイトでは楽曲に関するコメント投稿機能が設けられ，多くのユーザが感想や批評を書き残している．さらに進んだ例として，オンライン動画共有サイトである「ニコニコ動画」1) では，動画中のある特定の時刻を指定して一言程度の短いコメントを付与できる．音楽演奏の動画であれば，局所的な音楽内容に対してコメントが可能である．
音楽を介して他者とコミュニケーションを行うために，人間は言語という手段を用いて自らが感じたことを語り合うことができる．それを可能にする知的な仕組みについては解明されていないが，いくつか手がかりはある．例えば，ジャズになじみがない人にとっては，
どのジャズの曲も同じように聴こえてコメントしにくいということがしばしばある．一方，MusicCommentator: A Computational Systemof Generating Music-Synchronized Comments

ジャズが好きな人は，この曲のここはこういう感じで，あちらは逆にこういう感じだなどと表現することができる．このときの表現は他の誰かが他の曲に対してコメントした内容に影Kazuyoshi Yoshii†1 and Masataka Goto†1

響を受けていると考えられる．つまり，音楽にコメントするという行為は，言語を用いたコThis paper presents a system called MusicCommentator that suggests suitable comments for appropriate temporal positions in a music clip. Recently, an
online video sharing service in which users can provide comments for temporal
events occurring in video clips not for entire clips has gained a lot of popularity.
We focus on musical audio signals included in video clips of music performancesand propose a probabilistic model that jointly generates acoustic features andcomment features. The model can be trained by using many music clips andtheir corresponding comments. Given a new clip as input, the system thendetermines appropriate temporal positions of comments and estimates theircontent and length. Finally, comment sentences are generated by taking word
concatenations into account as language constraints. Our experimental results
showed that comment accuracy was improved when the system used not only
acoustic features of an input clip but also users’ comments in the clip.

我々は，人間は音楽の内容とコメントとの対応付けを無意識的に学習しているという仮説

ミュニケーション経験に基づいていると推察される．
のもと，音楽に対するコメントを学習して生成するシステム MusicCommentator を提案する．システムはまず，多数の楽曲とそれに対してユーザが付与した多数のコメント例から，楽曲中のどの時刻に，どのくらいの密度で，どのような長さ・内容のコメントが付与され得るかを学習する．その後，学習時に現れなかった別の楽曲が与えられると，言語的制約のもとで適切な単語をつなぎ合わせ，適切な長さの一言程度のコメント文を生成する．このとき，コメントを付与すべき時刻や密度も推定する．このような過程を計算機上で実現しようとする試みは，音楽内容とその言語表現との関係を明らかにする上で学術的に興味深い．
†1 産業技術総合研究所 (AIST)

1

c 2009 Information Processing Society of JapanVol.2009-MUS-81 No.20
2009/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

本研究で扱う音楽音響信号は，「ニコニコ動画」の音楽演奏に関する動画に含まれるもの

3. コメント生成問題である（以降単に楽曲と呼ぶ）．すべてのコメントは楽曲中の時刻に対応付けられているが，楽曲の内容に無関係なコメントが非常に多く含まれる．このような実際的なデータからコ

本研究では，楽曲群およびそれらに付与されたコメントから抽出した特徴量を用いてコメメント生成モデルを学習できるかを検証することも本研究の課題の一つである．ニコニコ

ント生成モデルを学習したあと，新たな楽曲が入力として与えられた時に，適切なコメント

動画では，不特定多数のユーザによって付与されたコメントは，動画再生中に対応する時刻

を適切な時刻に付与することを考える．入力となる楽曲にすでにいくつかのコメントが付与がくると動画に重ねて表示される．そのため，現実世界においてコメントを付与した時間されている場合は，それらも考慮してコメントを追加する．いま，学習データとして N 個は異なるにもかかわらず，同じ動画を多数のユーザでコメントしあいながら一緒に鑑賞しての音楽音響信号があるとし，n (1 ≤ n ≤ N ) を楽曲のインデックスとする．

いるような感覚が演出される（「擬似同期型アーキテクチャ」2) と呼ばれる）．したがって，

3.1 音響的特徴量

MusicCommentator の応用として，新作などのコメントの少ない動画に対してコメントを音響的特徴量として，音楽音響信号中の各フレームから 13 次元のメル周波数ケプストラ

自動付与することで，ユーザ間コミュニケーションのきっかけを提供することも考えられる．

ム係数 (MFCC) とエネルギー，およびそれらの動的変動成分を抽出する． MFCC は音楽

本稿の構成は以下の通りである．まず，2 章で関連研究を紹介する．次に，3 章でコメン

音響信号を入力としたジャンル識別やムード判定に有効に利用されてきた特徴量である．楽(n)

曲 n のフレーム t から抽出した 28 次元の音響的特徴量を at

ト生成問題を定義し，4 章で MusicCommentator について説明する．5 章で評価実験につとする．

3.2 コメント特徴量

いて報告し，最後に 6 章でまとめを述べる．

ユーザによって付与されたコメント群を，その内容・密度・長さの観点で特徴量化する．

2. 関 連 研 究

3.2.1 Bag-of-Words 素性

音楽音響信号に対して単語を付与する研究はいくつか行われてきた．典型的には，機械学

コメントの内容表現として，Bag-of-Words 素性を利用する．まず，自由形式で記述され習手法を用いて，楽曲に対して事前に用意した各単語がどのくらい強く関連しているかを学た日本語のコメントから記号やアスキーアートを除去し，形態素解析器 Mecab8) を用いて単習・予測する．例えば，Whitman らは，カーネル手法を利用して，楽曲のレビュー文に現語に分かち書きする．次に，助詞・助動詞・接続詞・感動詞などの補助的な単語を除去する．

れる単語を予測した3)．Turnbull らは，単語ごとに音響的特徴量に対する混合ガウス分布をさらに，同じ品詞および語幹を持つ意味的に同一である単語の区別は行わないことにしたう

4)

学習して単語を予測する手法を提案した ．出力は音楽の内容を説明する文章であるが，事えで，全コメント中で一定回数以上使用されている自立語を抽出する．この結果，V 単語が前に用意されたテンプレート文のスロットを，推定した単語で埋めることで生成していた．

語彙として得られたとする．これを用いて，あるフレーム中で 1 つのコメント中に語彙中のBertin-Mahieux らはソーシャルタグと呼ばれる多数のユーザが付与したタグ（その多くは各単語が平均何回登場したかをカウントする．例えば，あるフレームに 3 つのコメント「愛5)

ジャンル名や印象語など）をアンサンブル学習法の一種 AdaBoost を用いて予測した ．

すべき曲」「愛してる」「愛の歌」が付与されていたとする．このとき，このフレームにおけ

本研究は，上記の従来研究と 2 点で異なる．第一に，我々は楽曲全体に対して与えられたる動詞「愛する」の平均使用回数は，3 つめのコメント中の名詞「愛」はカウントしないので
(n)
(n)
(n)
= {wt,1 , · · · , wt,V }(n)とすると，wt,v (1 ≤ v ≤ V ) は単語 v の 1 コメント当たりの平均使用回数である．

コメントではなく，楽曲中の時刻に対応付けられたコメントを扱う点である．したがって，

2/3 となる．楽曲 n のフレーム t における Bag-of-Words 素性を wt与えられた楽曲に対してコメントを生成するだけでなく，それらが付与され得る適切な時刻を決定する必要がある．第二に，テンプレートを用いずに自由形式の自然言語文を生成する

3.2.2 コメント密度点である．すなわち，適切な単語を適切な活用形・順序で接続しなければならない．

あるフレームにおけるコメントの密度（コメント数）は，そのフレームがどのくらいコメ

楽曲の各部に対してアノテーションを行うシステム（インタフェース）はいくつか提案さントされやすいのかを示す重要な指標である．例えば，ニコニコ動画で「弾幕」と呼ばれるれている6),7) ．例えば，梶らは楽曲中の区間を指定してユーザが感想や印象のアノテーショ

現象では，多数のユーザがほとんど同一の大量のコメントを特定の時刻に付与しており，コ(n)6)

メント密度が非常に高い．楽曲 n のフレーム t におけるコメント密度を dtンが可能なシステムを提案しているが ，システムによる自動生成は扱っていない．

2

とする．

c 2009 Information Processing Society of JapanVol.2009-MUS-81 No.20
2009/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

3.2.3 コメント長システムにコメントさせたい楽曲
音楽音響信号

学習用の楽曲群
音楽音響信号

1 つのコメントを構成する単語数は，どのくらいの長さのコメントを生成すべきかを決定する際の重要な指標である．自然言語文であるコメントは Bag-of-Words 素性を計算する過程でスクリーニングされた補助的な単語を含むため，Mecab で単語に分かち書きした段階(n)で単語数をカウントする．楽曲 n のフレーム t におけるコメント長を lt

楽曲 1

とする．

3.3 学習データの特徴量化(n)前述した 4 種類の特徴量をまとめて ot

楽曲 n が Tn フレームで構成されているとすると，観測できる特徴量 O(n)

時刻に対応付けられたユーザコメント

楽曲 N

(n)
(n)
(n) (n)= {at , wt , dt , lt } で表すことにする．
(n)

コメントを
形態素解析

および O は(n)O (n) = {o1 , · · · , oTn } および O = {O (1) , · · · , O(N) } で与えられる．

音響的特徴量とコメント特徴量の確率的同時生成モデル

ユニグラム

トライグラム図 1 に示す通り，MusicCommentator は音響的特徴量とコメント特徴量の発生過程を確

汎用言語モデル

学習フェーズ
図1

バイグラム

コメントの時刻と内容を決定“美しい” “これ”
“すごい” “感動する”
が生起する確率大 が生起する確率大②
アセンブル部

適応ユニグラム

率的にモデル化する学習フェーズと，得られたモデルを利用して楽曲にコメントを付与する
生成フェーズから構成される．以降，モデルの構成法および各フェーズについて述べる．

アウトライン部
①

特徴量抽出

③

4. MusicCommentator

すでに付与されたユーザコメント“これ すごく うまい” “美しい 演奏 に 感動し た”

楽曲 2

④

コメント文を生成“これ は 美し すぎる” “すごく 感動し た”

生成フェーズ

コメント学習・生成システム MusicCommentator の動作概要

4.1 モデル定義(·)

であり，πk ≡ p(z1,k = 1) で与えられる．A は遷移行列 {Ajk |1 ≤ j, k ≤ K} であり,

我々は有用な確率モデルを構成する上で，以下の 3 つの要件を考慮する．

(1)

(·)
(·)
Ajk ≡ p(zt,k = 1|zt−1,j = 1) で与えられる. φ は出力確率分布のパラメータである．

音響的特徴量とコメント特徴量を同時にモデル化できること：ユーザはある時刻にコメントを付与しようとする場合に，楽曲の内容だけでなく既存のコメントを参考にし(2)

本モデルはエルゴディック HMM であり，任意の状態から任意の状態への遷移を許容すている．そのため，両方の特徴量を同時に扱えることが望ましい．

る．音声認識などの教師あり学習タスクでは学習データ中の状態遷移系列が与えられるが，音響的特徴量とコメント特徴量の時系列をモデル化できること：扱うデータは時系列

本研究ではそれらが未知であるため教師なし学習となる．したがって，学習データ O をもっメディアであるので，動的に変化するコンテクストに着目することが重要である．すともよく説明できるような状態遷移系列 Z とパラメータ φ を同時推定する．

なわち，特徴量の時間的変化を表現できるモデルが必要である．

(3)

各フレームの音響的特徴量とコメント特徴量は同じ状態から発生すると考える． bk を状

各フレームにおいて，1 つの隠れた状態（トピックと解釈してもよい）が音響的特徴(n)(n)の尤度は bk (ot ) で与えられる．これは，4 種(n)(n)(n) (n)類の特徴量 {at , wt , dt , lt } がどれくらい同時に発生しやすいかを示す．各特徴量の量とコメント特徴量の間で共有されている必要がある．

状態に関する条件付き独立性を仮定すると，出力確率分布は以下の通り分解できる．

データの背後にあるコンテクストを通して双方の特徴量が関連付けられていること：態 k の出力確率分布とすると，特徴量 ot

これらの要件を満たすため，図 2 で示されるような，標準的な隠れマルコフモデル (HMM)

(n)

(n)

楽曲 n のフレーム t における隠れ状態を潜在変数 z t

(n)

(n)

(n)

= {zt,1 , · · · , zt,K } で表す．z t

(n)

(n)

(n)

(1)

ここで，ba,k は標準的な音声認識用 HMM と同様に音響的特徴量に対する混合ガウス分布

は(GMM) である．GMM の混合数を M とし，m 番目 (1 ≤ m ≤ M ) のガウス分布の混合比，一対 K 表現，すなわち，実現された状態に対応する次元のみが 1 で他は 0 となるベクトル
(n)

(n)

bk (ot ) = ba,k (at ) bw,k (wt ) bd,k (dt ) bl,k (lt )を拡張した確率的同時生成モデルを提案する．いま全部で K 種類の隠れ状態があるとし，(n)である．ここで，Z (n) = {z 1 , · · · , z Tn }，Z = {Z (1) , · · · , Z (N) } と定義しておく．

平均，分散を ga,k,m ，μa,k,m ，Σa,k,m とする．bw,k は bag-of-words 素性に対する多項分布で提案モデルはパラメータ θ = {π, A, φ} で定義する．π は初期状態確率 {π1 , · · · , πK }あり，そのパラメータを pk = {pk,1 , · · · , pk,V } とする．bd,k はコメント密度に対するガウス分

3c 2009 Information Processing Society of JapanVol.2009-MUS-81 No.20
2009/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

布であり，その平均と分散は μd,k ，Σd,k で与える．bl,k はコメント長に対するガウス分布であ

楽曲nにおける共有状態の遷移

り，その平均と分散は μl,k ，Σl,k で与える．ここで，状態 k における出力確率分布のパラメー

zt−(n1)

タを φk とすると, φk = {{ga,k,m , μa,k,m , Σa,k,m |1 ≤ m ≤ M }, pk , μd,k , Σd,k , μl,k , Σl,k }となる．したがって，全 K 個の隠れ状態のパラメータは φ = {φ1 , · · · , φK } となる．

混合ガウス分布 (GMM)

4.2 学習フェーズ

メル周波数ケプストラム
係数(MFCC)とエネルギー (n)at
上記の動的変動成分

学習フェーズでは，EM アルゴリズムを用いて，状態遷移系列 Z およびパラメータ θ をE ステップおよび M ステップで反復的に最適化する．まず，完全データの尤度はp(O, Z|θ) =

N


(n)

p(z 1 |π)

n=1

T
n

t=2

(n)
で与えられる．ここで，p(z 1 |π) =Q(θ|θ old ) =



T
n

(n)

(n)

p(z t |z t−1 )

K

z

k=1

πk

(n)
1,k

(n)

p(ot |z t )である．これを用いて Q 関数は，

(n)

(n)

(n)

(n)

(n)

(n)

(n)



(4)

(n)

(n)



(n)

(n)

(n)

(n)

(n)

和が 1 となる K 次元ベクトルで表現できる．同様に，ξ(z t−1 , z t ) は z t−1 から z t

μd,k =に遷(n)Backward アルゴリズムを用いて効率的に求めることができる．y t,k は音響的特徴量に対す(n)る GMM である ba,k 中のどの要素分布から at が発生したかを示す潜在変数である．こ
(n)
(n)
(n)
(n) (n)れは，z t と同様に一対 M 表現 {yt,k,1 , · · · , yt,k,M } で表せる．したがって，p(y t,k |z t )(n)(n)
は，zt,k = 1 である場合に yt,k,m = 1 となる確率であり，K × M 行列で表現できる．

μl,k =

Q(θ|θ old ) =n=1 k=1(n)

N Tn K
































































生成フェーズでは，確率モデルに基づいてコメントを合成・付与する．学習データと同様に，コメントを付与したい音響信号は a = {a1 , · · · , aT  } で，すでに付与されたユーザコ
メントの内容・密度・長さは w = {w1 , · · · , wT  }，d = {d1 , · · · , dT  }，l = {l1 , · · · , lT  }(n)(n)
ξ(zt−1,j , zt,k ) log Ajk

で与えられるとする．ここで，T  はフレーム数である．本フェーズは，各フレームに対し

n=1 t=2 j=1 k=1+(n)

4.3 生成フェーズ

M ステップでは Q 関数を展開し，これを最大化するパラメータを計算する．
N Tn K
K






移する事後確率であり，和が 1 となる K × K 行列で表現できる．これらの確率は Forward-(n)γ(z1,k ) log πk +Σa,k,m =(5)の事後確率である．γ(zt,k ) を zt,k = 1 となる事後確率とすると，γ(z t ) は

N
K



(n)

N
Tn
(n)
(n)
(n)
γ(z1,k )ξ(zt−1,j , zt,k )
n=1
n=1
t=2
,
A
,
=
jk
K
N
K
Tn
(n)
(n)
(n)
γ(z1,k )ξ(zt−1,j , zt,l )
n=1
k=1
n=1
l=1
t=2
N
Tn
N
Tn
(n)
(n)
(n)
γ(yt,k,m )γ(yt,k,m )at
n=1
n=1
t=1
t=1
,
μ
,
=
a,k,m
N
Tn
M
N
Tn
(n)
(n)
γ(yt,k,m )γ(yt,k,m )
n=1
m=1
n=1
t=1
t=1
N
Tn
N
Tn
(n)
(n)
(n)
(n)
γ(yt,k,m )(at − μa,k,m )2γ(zt,k )wt
n=1
n=1
t=1
t=1
,
p
,
=
k
N
Tn
N
Tn
(n)
(n)
γ(yt,k,m )γ(zt,k )
t=1
t=1
n=1
n=1
N
Tn
N
Tn
(n)
(n)
(n)
(n)
γ(zt,k )dtγ(zt,k )(dt − μd,k )2
n=1
n=1
t=1
t=1
,
Σ
,
=
d,k
N
Tn
N
Tn
(n)
(n)
γ(zt,k )γ(zt,k )
t=1
t=1
n=1
n=1
N
Tn
N
Tn
(n) (n)(n)(n)γ(zt,k )ltγ(zt,k )(lt − μl,k )2
n=1
n=1
t=1
t=1
,
Σ
(7)
=
l,k
N
Tn
N
Tn
(n)
(n)
γ(zt,k )γ(zt,k )
n=1
n=1
t=1
t=1



γ(y t,k ) ≡ p(y t,k |O, θ old ) = p(yt,k |z t )γ(z t )γ(z t ) は z t

HMM に基づく音響的特徴量とコメント特徴量の確率的同時生成モデル

πk =  N
ga,k,m = γ(z t ) ≡ p(z t |O, θold ), ξ(z t−1 , z t ) ≡ p(z t−1 , z t |O, θold )(n)

コメント特徴量

N

(3)

(n)

(n )

平均Bag-of-Words素性 w t(n)log bl,k (lt ) と分解できるので，各分布のパラメータは独立に更新可能である．

E ステップでは以下で定義される潜在変数の事後確率を計算する．
(n)

平均コメント長 lt(n )

多項分布

(n)

p(Z|O, θold ) log p(O, Z|θ)(n)

コメント密度 d t(n )ここで，最後の項が log p(ot |φk ) = log ba,k (at ) + log bw,k (wt ) + log bd,k (dt ) +

t=1

Z

(n)

ガウス分布
ガウス分布

(2)

で定義できる．ここで，θ old は現在のパラメータ推定値である．
(n)zt+(n1)

音響的特徴量
図2

(n)

zt(n)

て，どのようなコメントが生成され得るかを推定するアウトライン部と，その推定結果に基(n)(n)γ(zt,k ) log p(ot |φk )づき言語制約を考慮しながら単語を連結して文を生成するアセンブル部から構成される．

(6)

n=1 t=1 k=14

c 2009 Information Processing Society of JapanVol.2009-MUS-81 No.20
2009/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

4.3.1 アウトライン部

縮退ユニグラムで定義された単語とその活用形(活用単語の場合)
その他の単語最尤の状態系列 z  = {z 1 , · · · , z T  } はビタビアルゴリズムを用いて推定できる．ユーザ

汎用ユニグラムが付与したコメントを参考にしない場合は，出力確率を p(ot |φk ) = ba,k (at ) とする．あるフレーム t において状態 k をとる（z  = 1）とすると，最尤のコメント密度 dˆt はガウス

汎用ユニグラムの生起確率を縮退ユニグラムの生起確率で置換 なにもしないt,k

分布 bd,k のモード（最頻値）であり dˆt = μd,k となる．したがって，全フレームに対して最総和がαになるように正規化

尤密度を求めれば，合計が指定した総コメント数になるように各フレームに付与すべきコメα

適応ユニグラム

ント数を決定できる．同様に，最尤のコメント内容 ŵt は bw,k のモード pk で与えられる．

1−α

総和が1-αになるように正規化

図 3 適応ユニグラムの作成：汎用ユニグラム確率への縮退ユニグラム確率の取り込み

4.3.2 アセンブル部
最尤のコメント内容である ŵ t はスクリーニング後の V 単語の生起確率（縮退したユニ

ここで，p(l; θk ) は状態 k においてコメント長が l である確率であり，ガウス分布 bk,l で与グラム確率）であり，これだけでは以下の 3 つの理由で文を生成することはできない．

(1)

助詞や接続詞などの補助的な単語の生起確率が推定されていない．

(2)

活用語に対しては基本形以外の活用形の生起確率が推定されていない．

(3)

単語の連接確率が推定されていない．

えられる．p(c|l; θ k ) はコメント長が l であった場合に，単語列 c が生成される確率である．
最尤コメント ĉt を求めるには, 各 l に対して argmaxc p(c|l; θk ) を計算する必要がある.
本研究では，ビタビアルゴリズムを用いて単語トレリス上の最尤単語経路を推定する手法を提案する．通常，HMM を用いた最尤状態経路の推定ではトレリスの各ノードが状態に対

例えば，コメント内容として「これ」や「すごい」が生起しやすく，コメント長が 3 だと推応するが，単語トレリスでは各ノードが単語に対応する．SilB および SilE をコメントの始定されても，「これ+は+すごい」や「これ+すごく+好き」などの文は生成できない．

端と終端を表す特別な記号とすると，コメント c の尤度は次式で与えられる．

これらの問題を解決するため，スクリーニング前の全コメントから学習した汎用言語モデp(c|l) = p(w1 |SilB)ル（ユニ・バイ・トライグラム）を利用する．汎用モデルでは，品詞と語幹が同じでも活用 l

p(wi |wi−2 , wi−1 )p(SilE|wl−1 , wl )

(9)

i=2

形が違えば異なる単語とみなされ，単語の定義が縮退ユニグラムとは異なっている．汎用モデルを用いれば後述する方法で全楽曲に対するコメント文を生成できる．しかし，いまは縮wi はコメント中で i 番目の単語であり，w0 は SilB とする．p(wi |wi−2 , wi−1 ) は適応トライグ

退ユニグラム ŵt 中の単語生起確率を反映させて，ある楽曲のある時刻に対するコメント文

ラムであり，線形結合 p(wi |wi−2 , wi−1 ) ∝ βt pt (wi |wi−2 , wi−1 )+βb pb (wi |wi−1 )+βu pu (wi )を生成したい．したがって，汎用モデルを縮退ユニグラム ŵt に適応させる必要がある．まで得られる．ここで，βt ，βb および βu は汎用トライグラム，汎用バイグラム，適応ユニグラム

ず，図 3 に，汎用ユニグラムを縮退ユニグラム ŵt に適応させる方法を示す．最初に，ŵtの重みである．適応バイグラム p(w1 |SilB) も同様に p(w1 |SilB) ∝ βb pb (w1 |SilB)+βu pu (wi )中の各単語の生起確率で汎用ユニグラム中の対応する単語の生起確率を更新する．ここで，とできる．最後に，コメント長で正規化して p(c|l) ← p(c|l) l とする．

1ŵ t の単語が活用語であれば一対多の対応となる．こうすると，縮退ユニグラムの単語はす

5. 評 価 実 験

べて汎用ユニグラムに出現しているので，更新した汎用ユニグラム中の生起確率の和は 1を超えてしまう．そこで，確率を更新した単語の生起確率の和が α，もとのままの単語の生評価実験として，システムが人間のコメントと似たコメントを生成できるのかを検証した．

起確率の和は 1 − α になるよう正規化する．α を大きくすると，ŵt 中で生起しやすい単語

5.1 実 験 条 件（とその活用形）が出現しやすくなる．汎用バイ・トライグラムの適応方法はあとで述べる．

実験データとして，ニコニコ動画の音楽カテゴリからタイトルに「演奏してみた」を含む

次に，最尤のコメント（単語列）ĉt およびコメント長 l̂t の生成モデルを次式で与える．

{ĉt , l̂t } = argmax p(c, l; θk ) = argmax p(c|l; θk )p(l; θ k )c,lc,l

動画を，コメント数が多い順に 100 個収集した．次に，各動画から抽出可能な最大値である 1100 個のコメントを古い順に抽出した．得られた語彙数は V = 2082 であった．同様に，(8)

タイトルに「弾いてみた」を含む動画を 100 個収集し，各動画から 2400 個のコメントを抽

5c 2009 Information Processing Society of JapanVol.2009-MUS-81 No.20
2009/7/30

情報処理学会研究報告
IPSJ SIG Technical Report(a) コメント内容の評価
弾いてみた

8
6

演奏してみた4
2

な単語で構成されるべきであり，コメントの的確性と多様性を向上するための改良は今後の(b) コメント時刻の評価
(%)

F値

F値

(%)

10

80
75
70

課題である．ただし，現段階でも「この曲泣けてきたｗ」「タンバリンうめええぇｗ」
「ギ
弾いてみた

ターひどいｗ」「アレンジすごいと思うよｗ」「テンション上がったｗ」「この才能の無駄遣いｗ」などの興味深いコメントが生成された．

演奏してみた6. お わ り に

65
0%

25%

50%

75%

0% 25% 50% 75%
コメント対象となる楽曲中でシステムが参考にしたユーザのコメント

本稿では，与えられた楽曲に対して，コメント文を生成し，それらを適切な時刻に付与す

図 4 実験結果：生成したコメントとユーザコメントとの内容および付与時刻の一致率るシステム MusicCommentator について述べた．本システムは音響的特徴量とコメント特出した．このとき V = 2278 となった．動画から抜き出した音響信号は 16 [kHz]・モノラ

徴量との同時的生成 HMM を基礎としている．HMM における状態遷移は，音楽のムード

ルの PCM WAV 形式に変換し，フレームシフト長は 256 [ms] として特徴量抽出を行った．

の遷移としてだけでなく，コメントのトピックの遷移としても解釈できる．学習データであパラメータは K = 200，M = 8, α = 0.9 および βt = βb = βu = 1.0 とした．

る多数の楽曲とコメントのペアから HMM のパラメータを最尤推定にて求めたあと，新た実験は各タイトルごとに 4 クロスバリデーションで行った．すなわち，75 個の楽曲でモデに与えられた楽曲に対して単語間の連接を考慮してコメントを生成した．

ルを学習し，残り 25 個の楽曲をテストデータとした．テストデータの各楽曲にコメントを

実験の結果，人間のように音楽に対してコメントを行える計算機をつくるという究極の目

付与する際に，既存のユーザコメントの分量を 0%，25%，50%，75%と変化させて与えた．

標に到達するには，未だ多くの課題があることが明らかとなった．コメントするという行為

R生成されたコメント内容は，F 値 (= P2P+R) で評価した．適合率 P と再現率 R を計算す

は人間の高度な能力の一つであるだけでなく，文化的な影響もあり，機械学習の手法だけでるため，システムがあるフレームにコメントを付与したとすると，その中の各単語に対しは実現が難しいかもしれない．しかし，我々の試みは学術的に重要なチャレンジであったとて，付与された時刻の前後 5 秒以内にユーザが同じ単語を付与しているかをチェックした．

考えている．今後は音楽の特徴量として MFCC だけでなくリズムや歌唱に関する内容を取ここで，単語とは縮退したユニグラムにおける V 種類を意味し，活用形は考慮しなかった．

り入れたり，映像特徴量も考慮するなどしてシステムを改良していきたい．

P =#一致した単語#一致した単語, R=#システムが生成した単語#ユーザが付与した単語

謝辞: 本研究の一部は CrestMuse プロジェクト (JST CREST) の支援を受けた.

(10)

参

5.2 実 験 結 果

考

文

献

1) ニコニコ動画: http://www.nicovideo.jp/
2) 濱野智史: 「ニコニコ動画」をめぐる冒険—「擬似同期型アーキテクチャ≒複製技術 II」のアーキテクチャ分
析」. InterCommunication No.65 Summer 2008, Vol.17, No.3, NTT 出版, pp.90-95, 2008.
3) Whitman, B. and Rifkin, R.: Musical Query-by-Description as a Multiclass Learning Problem.
MMSP, pp.153–156, 2002.
4) D. Turnbull, et al.: Semantic Annotation and Retrieval of Music and Sound Eﬀects. IEEE
Trans. on ASLP, Vol.16, No.2, pp.467–476, 2008.
5) T. Bertin-Mahieux, et al.: Autotagger: A Model for Predicting Social Tags from Acoustic Features on Large Music Databases. JNMR, Vol.37, No.2, pp.115–135, 2008.
6) 梶 克彦, 長尾 確: 楽曲に対する多様な解釈を扱う音楽アノテーションシステム. 情報処理学会論文誌, Vol.48,
No.1, pp.258-273, 2007.
7) X. Amatriain, et al.: The CLAM Annotator: A Cross-platform Audio Descriptors Editing Tool.
ISMIR, pp.426–429, 2005.
8) T. Kudo, et al.: Applying Conditional Random Fields to Japanese Morphological Analysis.
EMNLP, 2004.

図 4 に示すように，25%のユーザコメントを利用すると，F 値が大きく向上した．依然

10%以下であるが，人間でも他人のコメントを単語レベルで正確に予測するのは難しいことを考えると，コメント生成の初の試みとして十分見込みがある成果であると考える．コメン
ト付与時刻のみを評価した場合， F 値は 70%程度であった．また，コメント生成に利用するユーザコメントを 25%から増加させても，F 値は向上しなかった．
この原因として，現状の決定的な手法では各状態につき最尤のコメントのみが生成される
ので，コメント種類数は高々状態数に制限されて多様性を表現しきれなかったことが考えられる．実際の生成結果を観察すると，ユーザが頻繁に使う表現が多く生成される傾向があり，「すごい」「うまい」「かっこいい」といった楽曲を肯定的に評価する頻出単語で 40%程度が占められていた．人間が見て有用なコメントとは，楽曲中のある内容をよく表す特徴的6

c 2009 Information Processing Society of Japan