Lyricon: 複数アイコンの自動選択における楽曲構成の可視化
町田和嘉子(指導教員：伊藤貴之)

1. 概要

いる．この手法は，楽曲と画像に共通の感性語を用意

近年，ポータブル音楽プレイヤーや無料動画投稿サし，それぞれ適合度を数値で評価し，その値の多次元イトなどの発達により，容易に無料で好きな曲を楽し

空間上での距離が最も近い楽曲と画像を組み合わせる．

むことができ，またダウンロードして個人的に曲を所

しかし，この手法では歌詞は考慮されていない．

有できるようになっている．しかし現在，再生する曲また，文章解析結果からコンピュータ・アニメーシを選択するユーザインタフェースには，タイトルやアョンを自動生成する手法[2]も提案されている．この手ーティスト名だけが表示される場合が多い．そのため，

法では，人間の情感を表す単語を文章から抽出し，そどのような曲であったかを思い出すことができなかっの結果から物語の雰囲気を推定し，それに合った動画たり，歌詞の内容を把握することができなかったり等，の自動生成，音楽の自動付与を実現する．

ユーザが曲の選択に迷ってしまう場合がありえる．そこで大量の音楽から 1 つを選択したり，視覚的に音楽

3. 提案内容の特徴を把握したりする際に，音楽の印象を画像など3.1 準備段階で視覚化する技術が有用であると考える．

まず，ブロックごとに分割した歌詞を入手する．著

また最近のヒット曲の傾向として”歌詞への共感”が者らは Lyric Master[3]を用いて歌詞を入手している．

大きなカギとなっている．たとえば既に存在する歌の歌詞に対する返答として作られたアンサーソングや，続いて，キーワード群とアイコン画像群を設定する．

複数のアーティストの曲を”恋”や”夏”などの特定のテあらかじめ”恋”や”夏”，”雪”など，歌詞のテーマになりーマに沿って集めたコンピレーションアルバムが立てそうな単語をキーワードとして選び，そのキーワード続けにヒットしている．事前調査として研究室内で歌の類語，活用形なども同じキーワードを意味するよう詞に関するアンケートを実施したところ，”普段歌詞をに設定する．著者らは現在，23 個のキーワードを著者意識して音楽を聴くことはあるか”という質問に対しらの主観に基づいて設定しているが，将来的にはアン12 人中 9 人が，”その日聴く音楽を歌詞から選ぶ事はあケート調査によってキーワードを再選考したい．それるか”という質問に対しては 12 人中 7 人が Yes と答えと同時に，各キーワードに対して印象の異なるアイコる結果が得られた．以上のことから音楽は歌詞も重要

ン画像を複数用意する．複数用意する理由は，楽曲のな意味を持つと言える．

特徴（明るい，激しい，ゆっくり等）からその歌謡曲本研究では，楽曲の印象や歌詞の内容に合ったアイに最適な 1 個のアイコン画像を選択することで，画像コンを，A メロ，B メロ，サビなどのブロックごとに選に楽曲特徴を反映させるためである．この説明は 3.3 節択し，再生時刻順に並べて表示させることで，曲の印にて述べる．また，ブロック内にキーワードが全く抽象や内容の時間変化を視覚的に表現する手法”Lyricon”

出されなかった場合に選択する画像も用意しておく．

を提案する．Lyricon は歌詞内容と楽曲特徴の両面から音楽を分析し，その結果としてアイコンを選択する．

3.2 歌詞の処理

そのためアイコンの一覧表示結果を見れば，実際に曲ブロックごとに分割した歌詞に形態素解析を適用し，を聴かなくても，その曲の雰囲気や歌詞内容の展開をこれ以上分けられない最小単位に分割する．著者らは想像できると考えられる．またブロックごとにアイコ茶筌[4]を用いている．この分割結果に先ほど設定したンを表示するため，A メロ，B メロなどの切れ目を視覚キーワードまたは類語と一致するものがあった場合，的に認識しやすくなる．よって，楽曲編集や部分再生そのキーワードを表す複数の画像を当該ブロックのアなどの操作を支援できると考えられる．

イコン候補とする．

なお，”音楽”という言葉の意味が多岐にわたる為，これ以降リズム，メロディ，ハーモニー等，音の特徴

3.3 楽曲特徴の処理を表す言葉として”楽曲”を，歌詞まで含めた曲全体を歌詞と同様に，ブロックごとに分割した楽曲ファイ表す言葉として”歌謡曲”または”曲”を用いる．

ルからそれぞれの特徴を抽出する．著者らは数値解析
ソフトウェア MATLAB[5]の上に実装された楽曲特徴分

2. 関連研究析パッケージ MIRtoolbox[6]を用いている．ランダムに

音楽アイコンの自動選択手法の例として，楽曲と画抽出した 15 曲を解析したところ，テンポや調性などの像を印象に基づいて組み合わせる手法[1]が提案されて83

楽曲特徴よりも，高音や低音の割合や弱音の割合など

また，この一覧表示は縦方向，横方向ともに大きなの音響特徴の方がより lyricon に適する結果が得られた

画面空間を占有する．この問題を解消するために著者ので，現在では後者の特徴を採用している．

らは，マウス操作による縦横独立のズーム操作を実装している．これによって，表示する画像数を自由に，4. 実行結果かつ縦横独立に調節できる(図 4 参照)．

3.2，3.3 節の処理をブロックごとに適用し，全てのブ5. まとめと今後の課題

ロックのアイコンを選択し，一覧表示する(図 1 参照)．

本研究では歌詞と楽曲，両者の特徴を反映したアイコンをブロックごとに定め，一覧表示させる手法
Lyricon を提案した．
今後の課題として，以下 2 点を挙げる．
図 1:

アイコンの一覧表示結果１つ目として，3.3 節に論じた楽曲特徴によるアイコン選択手法について，さらに実装と検証を進めたい．
2 つ目として，画像，キーワードの設定について再検討したい．図 5 はキーワード抽出には成功しているにもかかわらず，あまり歌謡曲の雰囲気を的確に表せていない例である．この曲は「春」と「恋」がメインテーマであるが，あまり春らしい画像が目立っておらず，

図 2:

重要度の高い画像を大きく表示

この画像一覧だけを見て「春」がメインテーマであると認識するのは困難である．この原因として，以下が考えられる．1) 歌詞全体やタイトルなどから「春」がテーマであることを認識可能であるが，歌詞中に「春」を表すキーワードが少ない，つまり比喩表現が多いた

図 3:

同じ画像は 1 回のみ表示

めに，「春」を表す画像がなかなか選択されない．2) 使用している画像が適切ではない．3) 表示法に問題がある．これらの点を改善するため，キーワードや画像について再検討したい．

図 5:

図 4:

曲の印象を的確に表現できていない例

参考文献[1] 小田, 伊藤, “ MIST: 音楽アイコン自動選択の一手法, ” 第 15 回インタラクティブシステムとソフトウ ェア に 関する ワー ク ショッ プ(WISS), pp.
115-116, 2007.
[2] 中村, “自然言語処理と音楽情報処理の融合に向けて, ” 情報処理学会研究報告. 人文科学とコンピュータ研究会報告 IPSJ SIG Notes, pp. 31-36,January, 1997.
[3] Kenichi Maehashi, Lyric Master,
http://www.kenichimaehashi.com/lyricsmaster/[4] 奈良先端科学技術大学大学院松本研究室, 形態素解析システム「茶筅」.
http://chasen.naist.jp/hiki/Chasen/[5] The MathWorks,MATLAB
http://www.mathworks.com/[6] Olivier Lartillot, MIRtoolbox,
http://www.jyu.fi/hum/laitokset/musiikki/en/research/coe/materials/mirtoolbox縦横方向のズーム操作

図 1 の表示結果は，「夏」をテーマにした歌謡曲のアイコン選択結果を示している．アイコンの種類から，夏の恋を歌っていることを推測できる．なおアイコン
画像には，無料動画投稿サイトの画面の 10 分の 1 程度の画素数（32×26）のものを用いている．また著者らの現在の実装では，各々のキーワードに対して 1 つの画像しか設定されていない．よって 3.3 節に論じた楽曲特徴処理を用いることなく，歌詞のキーワードのみから画像を選択している．
一覧表示のバリエーションとして，重要度の高い画像を大きく表示させる(図 2 参照)，複数回選択された画像を 1 か所にのみ表示させる(図 3 参照)，なども可能である．なお，画像の重要度算出方法については，現在検討中である．
84