音楽情報処理最前線 !

第１5回
未来の音楽の楽しみ方、作り方はどう変わるのか ?
コンピュータは音楽を理解できるようになるのか ?
コンピュータを使って音楽を研究する「音楽情報処理」という研究分野が、世界的に注目を集めています。
本連載では、そうした最先端の研究事例を紹介していきます。

ニコニコ動画のコメントは自動生成できるか？ 音楽にコメントするシステムMusicCommentator
人間は音楽を聞いて「このギターソロは神」
とか「哀愁を誘うメロディだね」などと言語を使って音楽を表現することができる。SF 映画のように、いつの日かコンピュータもこのような能力を獲得できるのだろうか？本稿では、そのような究極の目標への第一歩として開発したシステムMusicCommentatorを紹介する。のサビでは、お約束としてみんなで「おっくせんまん！」を同じ箇所で多数コメントして「弾幕」を作る。楽曲が思い出のゲームに使われていたら、悲しい曲調でもないのに「涙出てきた」とコメントする。このように、我々が音楽にコメントする内容は、音楽自体の内容だけにとどまらず、他のユーザのコメント、自らの人生経験、心理的・生理的反応、文化的背景などの様々な要因が複雑に絡み合っている。にもかかわらず、それらを意識することなく適切なコメントを生成できる人間の能力には驚くべきものがある。

コメント能力を科学するでは果たして、将来、コンピュータも人間と同等のコメント能力を獲得できるのであろうか。本研究ではその長い道のりの第一

動画共有サービスであるニコニコ動画では、投稿された動画に対して不特定多数のユーザがコメントを行い、コミュニケーショ歩として、音楽内容とコメントとの表層的な対応付けに基づいてコメントを行うシステムMusicCommentatorを開発した。

ンを楽しんでいる。このコメントするという行為は人間の極めて高度な能力であるのだが、我々が普段意識することは少ない。そこで、ニコニコ動画の人気コンテンツの一つである「演奏してみこんなコメントが生成された！

た」
カテゴリ（音楽演奏の様子を録画した作品群）
を例に、ユーザ

MusicCommentator は、「 空 気を読 んで 」音 楽 にコメントをがどのようにコメントを行っているか見てみよう。動画を見た直行うシステムである。人間は新たにコメントしようと思ったと感から、すぐさま「鳥肌立った」などとコメントする。音楽演奏をき、音楽内容だけでなく、他のユーザがどのようなコメントよく聴いて「いいアレンジだ」などと評価する。ブラスバンド動をしているかを参考にすることがある。すなわち、空気を読画を見て、あるユーザが「トランペットで参加したい」と言えば、むわけだ。その場の流れにふさわしくないコメントをしてユー「じゃ、俺はクラリネットで」と呼応する。楽曲「思い出は億千万」

ザ間のコミュニケーションを阻害してしまうことがないよう、MusicCommentatorも音楽内容とユーザコメントの両方を考慮し▲ながら新たなコメントを付与する。ユーザコメントがほとんどない場合でも、音楽内容だけからコメントすることもできる。

ント生成例：下線を引いたコメントがシステムによるニコ動画から取得した、タイトルに「弾いてみた」を含むある動画

図 1 ギター演 奏 動 画
sm1298190 に対するコメ自動生成。

それでは、実際のコメント生成例を見ていこう。図1は、ニコ(sm1298190)に対してコメントを付与した結果である。事前に、他の「弾いてみた」
動画75曲とそれに付与されたユーザコメントを多数集めて、システムに「空気の読み方」を覚えこませている（「学習」と呼ぶ）。覆面プレイヤーがギターで「となりのトトロ」を弾いているこの動画に対し、システムは「ギター教えてくれ w」
とか「なんという才能の無駄遣い w」などといったコメントを自動生成して付与した。このような表現は、他の類似した動画でユーザが用いていた表現から自動的に学習したものである。図２は、あるピア▲

図 2 ピアノ演 奏 動 画
sm1594970 に対するコメント生成例：下線を引いたコメントがシステムによる自動生成。

ノ演奏動画 (sm1594970) にコメントを付与した結果である。このプレイヤーは転調を繰り返しながらスーパーマリオのテーマ曲を弾いており、システムは「うますぎ w」と「ピアノ弾ける人はすげえw」とを同時にコメントした。

音楽と単語の対応付けを学習する
では、どうやってコメントを自動生成しているのであろうか？
図３をみながら、人間にはなぜコメントできるのかを考えてみよう。音楽も言語も知らない赤ん坊には無理である。しかし、成長するにつれ言語を覚え、他人と「この曲の○○は××だったね」
な088

2010.02

dtm magazine

吉井 和佳後藤 真孝（よしい かずよし）「音楽情報科学研究会」へ参加してみませんか ?

（ごとう まさたか）

情報処理学会 音楽情報科学研究会（SIGMUS）
は、コンピュータ

2008 年 京都大学大学院情報学研究科 博士

1998 年 早稲田大学大学院理工学研究科 博士後期課程後期課程修了。博士（情報学）。現在、産業技術総合研究所 情報技術研究部門 メディアイ修了。博士（工学）。現在、産業技術総合研究所 情報技術研究部門 メディアインタラクション研究グループ長。

ンタラクション研究グループ研究員。機械学

2007 年〜 2008 年度 音楽情報科学研究会主査。計算機習手法を用いて音楽推薦や可視化などの研究によって実世界の音楽・音声コンテンツを自在に扱える研究発表会の論文のダウンロードなどの特典があります。研究会を進めている。

技術の確立を目指し、音楽・音声の音響信号の自動理解と、それに基づくユーザインタフェースの研究を中心に、の登録方法や研究発表会の開催に関する最新情報などは http://様々な研究課題に取り組んでいる。と音楽とが関わり合うあらゆる場面を活動対象とする学際的研究会で、年 5 回の研究発表会を開催しています。研究会に会員登録
すると、研究発表会の参加費が無料になるだけでなく、過去の全www.sigmus.jp/ をご覧ください。

どとコミュニケーションを行う。これを繰り返すと、知らず知ら

今後は、コンピュータによるメロディ・リズム・ハーモニーなずのうちに他人が利用した表現を取り込んで自らの表現が豊かにどに関する多角的で高度な音楽理解を可能にするため、音楽解析なってくる。その結果、適切にコメントできるようになるのである。

技術を改善していきたい。同時に、機械学習の手法を洗練するこということは、システムにも「学習」と「運用」の機構を実装すればとで、人間の学習機構に近い処理が可能になることを期待していいいはずだ！

る。将来的には、我々が一生かけても視聴できないほどの動画を

機械学習（マシンラーニング）とは、そのような機構を実現するための汎用的で強力な枠組みである。例えば、スパムメール判別や機械翻訳などに広く利用されている。MusicCommentator の概略を図４に示す。本システムは、多数の楽曲の音楽音響信号とそコンピュータが代わりに視聴してくれて、言語で語り合いながら検索や推薦を行ってくれるような時代がやってきて欲しい。
注1：具体的には隠れマルコフモデルを用いる
注 2：具体的にはn-gram 言語モデルを用いる

れらに対する時刻付きユーザコメントを利用して、どのような音楽内容に対し、どのような単語が、どのくらい使われやすいかのモデル を構築する。モデルとは、人間がコメントを行うときの注1感覚に相当する。例えば、ポピュラー音楽中のギターソロの区間
では、当然「ギター」「ソロ」「弾く」といった単語が使われやすくな▼参考文献：
吉井 和佳 , 後藤 真孝 : "MusicCommentator: 音楽に同期したコメントを自動生成するシステム ", 情報処理学会 音楽情報科学研究会 研究報告 , Vol.
2009-MUS-81, No. 20, pp. 1-6, July 2009.

る。一方、
「うまい」
や「すごい」といった単語は、動画内の時刻にかかわらず普遍的に使われるだろう。ある音楽内容に対する各単語の使われやすさは確率値で表現できて、与えられた学習用データに最もよく合致するように自動的に調整を行う。すなわち、システムは学習を通じて音楽内容と単語とを対応付ける感覚を磨くのである。
ここで問題なのは、ある音楽内容を表現するのに適切な単語が分かっても、それらをうまくつなげて文章にしなければならないことだ。人間が助詞や助動詞などを適切に使用することができるのは、単語の並びに関する感覚を身につけているからである。ということは、単語の並びモデル を構築する必要がでてきて、これ
注2もやはり大量のユーザコメントから機械学習することになる。

▲図 3 言語表現の獲得：他人と言語を使ってコミュニケーションを行う中で、音楽の表現方法を学習し、自分なりにコメントできるようになる。

システムは結局、音楽内容と単語の対応付けモデルと単語の並びモデルとを併用してコメントを生成しているのである。人間だと、文法的に正しい文を生成しようとすると、本当は使いたい単語を使いにくい場合もある。システムも、文法と内容の整合性がとれるように調整を行い、最終的なコメントを生成する。

言語を操るコンピュータ
音楽に限らず、自らが体験したことの中身を言葉で表現することは、人間を人間たらしめている重要な能力である。言葉があったからこそ、人間は互いに自らの体験を伝達しあい、進化を果たすことができた。我々は音楽をテーマに取り上げ、音楽がどのような仕組みでどのように言語表現に「変換する」ことができるのかに関して計算モデルを構築した。現状では表層的な対応付け関係を学習しているにすぎないが、これが言語表現として音楽を「理解する」ことが可能な計算モデルを確立するための重要な一歩になれば、と考えている。

dtm magazine▲図 4 MusicCommentator の概要：学習フェーズでは、音楽内容と単語の対応付けモデルと単語の並びモデルを構築する。運用フェーズでは、得られたモデルを用いて適切な単語をつなぎ合わせて適切な時刻にコメントを付与する。

2010.02089