WISS2014

入力文書の印象や感情に基づく楽曲提供の一手法
菅野沙也* 伊藤貴之** 高村大也***

我々は文書に印象の合った音楽を生成・提供することで，文書の内容に直接言及することなくその印象を理解・伝達することが容易になり，文書を鑑賞・共有する楽しみを拡げられるのではと考えている．
そこで本報告では，文書の印象や感情に基づいた楽曲生成の一手法を提案する．本手法では前処理として，日本語を構成する各単語に対する感性極性値を記録した辞書を作成する．またコード進行とリズム進行をユーザーに聞かせてその印象を数値入力させることで，コード進行やリズム進行とその印象との関係を学習させる．続いてユーザーが文書を入力すると，まず文書の形態素解析結果に対して感性極性辞書を参照することで文書の印象値を求める．続いて文書の印象値に近い印象をユーザーが有するコー
ド進行とリズム進行を，文書の場面の前後関係も考慮しながら選出する．このようにして選出されたコード進行とリズム進行を合成することで楽曲を生成し，ユーザーごとに提供する．

1

はじめに

我々は小説などの文書の印象を様々な形で表現する．特にレビューを書くなどの形で別の文章を用いたり，イラスト化などの視覚的手法を用いたりすることが多いが，これらの手段には作品のネタバレをさせたり，作品に関する先入観を与えすぎたりする可能性がある．そこで，昔から我々の生活や感情表現に欠かせない要素である「音楽」で文書の印象を表現することを提案する．音楽にはイメージ・行動・感情誘導効果があり，これは音楽への興味の有無に関わらず，すべての人に効果があると行動心理学の観点[1]からも語られている．一方で，文学に合った楽曲を制作する行為には多くの知識や経験を要するため気軽に実現できるとは言いがたい．
そこで本研究では，入力した文書の印象や感情を解析し，それに近い印象や感情を有すると連想するような楽曲を自動生成する一手法を提案する．

2

関連研究

文書から楽曲を生成する研究として，物語の論旨や文法の解析結果に基づいて楽曲を生成する手法[2]がある．しかしこの手法は，読者が受けた印象や感情に基づいたものではない．また Ricardo らの研究[3]では，本研究と同様に文書の感情から楽曲を生成するといった試みがされている．しかしこちらの研究ではユーザーごとの感性に適応して楽曲を生成するといった処理はされていないため，本研究とは異なる点がある．
Copyright is held by the author(s).
author(s)*Graduate school Ocha Univ. お茶の水女子大学大学院**Ocha Univ. お茶の水女子大学*** Tokyo Tech. 東京工業大学

3

提案手法

本手法は大きく分けて以下の 3 つの処理段階で構成される．
・事前調査：感性語と音楽特徴量の選出
・学習：コードとリズムの印象の関係性算出
・対話処理：ユーザーの文書入力に対する楽曲生成各処理段階の詳細について以下に論述する．
3.1 事前調査
まず，文書解析の基準となる感性語対と，コードやリズムの選出基準となる音楽特徴量を選出する．
候補となる感性語対と音楽特徴量にあげ，これらの選出のためにユーザーアンケートを実施した．被験者にはコードとリズムの音源を聴いてもらい，それぞれ候補となる感性語対の度合いを 5 段階評価で回答してもらった．この回答をもとに，感性語対に関する音源 N の適合度と音源 N についての音楽的特徴量の相関性を相関係数により算出し，どの感性語対とも相関性が小さい音楽的特徴量，またはどの音楽的特徴量とも相関性が小さい感性語対を対象から除外した．
以上の結果として，コード進行およびリズム進行の感性語対と音楽的特徴量を表 1 のように選出した．
続いて，日本語を構成する各内容語（名詞，動詞，形容詞，副詞）が，選出した各感性語対のいずれの感性に近いかを数値化する．具体的には感性語対の一方を+1 に，もう一方を-1 に対応させ，[-1,+1]の範囲の実数値を各内容語に対し算出する．本研究では感情極性抽出手法[4]を適用し，表 2 に示した各感性語対を種単語として内容語の印象を数値化している．以上の処理によって決定された各内容語の数値（印象値と称する）を格納したデータベースを，本WISS 2014
表	 1	 決定したコード進行およびリズム進行の感性語と音楽特徴量	 
決定したコード進行の感性語
・
明るい－暗い・
楽しい－切ない・
軽快－しっとり・元気な－落ち着いた

決定したコード進行の音楽特徴量
・音程の平均的な高さ/広がり/厚み
・
不協和音度
・
メジャー/メジャーセブンス/マイナーセブンスの割合決定したリズム進行の感性語決定したリズム進行の音楽特徴量

・・・・

軽い－重い
派手－地味
速い－遅い・・・

タム/スネア/金物/バスドラ
ムの割合
すべての音符数
16 分音符の割合
3 連符の割合

報告では「感性極性辞書」と称する．
3.2 学習続いて，コードおよびリズムの音楽的特徴量とそれに対する各ユーザーの印象の関係を学習する．
現時点での我々の実装では，各ユーザーにサンプルコードおよびサンプルリズムを聴いてもらい，3.1
節で選出した感性語への適合度を回答してもらう．
以後，この適合度を印象値と称する．
また，印象値を推測するための式を音楽的特徴量の線形結合と仮定し，重回帰分析を用いてこの式の各係数を算出する．この式を用いてコード進行とリズム進行の印象値を算出し，あらかじめ格納する．
以上の学習により，ユーザーごとの印象の違いを考慮した楽曲生成が可能になる．
3.3 対話処理
最後に，ユーザーが文書を入力すると提案手法が楽曲を提供する対話処理について論じる．対話処理
はさらに文書解析，コードとリズムの選出，楽曲生成の 3 段階に分けられる．
3.3.1 文書解析
まずユーザーが入力した文書に関して文書解析を適用する．現時点の我々の実装では，文書中でコード・リズムを切り替える点をユーザー自身によってタグ等で指定したテキストファイルを前提とし，これを入力することで場面ごとに文書の印象値を算出する．我々の実装では，オープンソース形態素解析エンジン MeCab[5]を用いて入力文書を形態素解析し，抽出された各単語について，3.1 章に示した処理によって生成された感性極性辞書に記録された印象値を参照し，その平均と分散から各場面の印象を推定する．
3.3.2 コードとリズムの選出
次に楽曲の素材となるコードとリズムを選出する．
ここでは 3.3.1 項で算出した印象値を多次元ベクトルとして扱い，これと 3.2 節で算出したコードおよびリズムの印象値を比較して，ユークリッド空間上で距離の近いコードおよびリズムを，入力文書の印象に沿った楽曲の素材とする．この際，印象値の絶対値が最も大きくなる感性語対 X をその場面の特徴対とし，次の場面での感性語対 X の特徴対の値と大小を比較し合うことで，場面の前後の印象や感情の変化の流れを意識した素材決定を可能とした．
3.3.3 楽曲生成
本手法では，3.3.2 節に示した処理で選出したコードとリズムを合成することで楽曲を生成する．我々の実装ではコードとリズムの MIDI ファイルはそれぞれ単一のトラックで構成されることを前提とし，この各々のトラックを新しく生成する MIDI ファイ
ルの 1 番目，2 番目のトラックにコピーする．

4

まとめと今後の課題

本報告では，文書の印象値と音楽特徴量の比較により，入力文書の印象や感情に基づいた楽曲を提供する事で文書の印象表現を促す手法を提案した．
今後の課題は以下の通りである．
・ 感性語と音楽特徴量の対応付けを見直す．
・ ユーザーの感性の取得方法を見直す．
・ 特徴的な単語についてユーザーが印象値を定義できるようにする．
・ 楽曲にメロディーを付与する．
現段階ではユーザーの感性の違いは楽曲の素材にのみ対応させられているが，入力文書に登場する特徴的な単語についてユーザーがその印象値を定義し直すことでより入力文書の印象についてユーザーの感性をより考慮した楽曲生成が可能になると期待しており，こちらも実装を検討したい．

参考文献
[1]

斉藤寛，心を動かす音の心理学，ヤマハミュージッ
クメディア, 2011.

[2]

遠藤順，北舘拓真，小方孝，物語生成システムにおける音楽の生成・表現機構, 日本認知科学会第 29 回大会, pp. 3-29, 2012.

[3]

Ricardo Cruz, Anto nio Brisson, Ana Paiva, andEduardo Lopes, "I-Sounds - Emotion-Based Music
Generation for Virtual Environments", ACII 2007
Springer, LNCS 4738, pp. 769–770, 2007.

[4]

高村大也，乾孝司，奥村学，スピンモデルによる単語の感情極性抽出，情報処理学会論文誌，Vol. 47，No. 2, pp. 627-637, 2006.

[5]京都大学情報学研究科 日本電信電話株式会社コミュニケーション科学基礎研究所 共同研究ユニット
プ ロ ジ ェ ク ト ， MeCab ，（ 2014/10/22 確 認 ）http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html