論文
DBSJ Letters Vol.6, No.2――――――――――――――――――――――――――――――――――――

任意の言葉の音相の印象に合致した楽曲の自動構成方式
An Automatic Music Composition Method
Corresponding to the Impression of theSounds of Arbitrary Words

岡田 龍太郎♥
本間 秀典♥

芳村 亮♦
北川 高嗣♠

Ryotaro OKADA
Hidenori HOMMA

Ryo YOSHIMURA
Takashi KITAGAWA

本稿では，任意の日本語の音により人間が受ける印象を用いることにより，その印象に合致した楽曲の自動構成方式を提案する．我々はこれまで，音相理論と呼ばれる概念を用いて，入力された言葉の音が持つ印象をメタデータとして抽出する方式を提案している．また，Hevner の研究を用いて，楽曲の印象を表す 8 つの印象語群と 6 つの楽曲構造要素の相関を求めることにより，楽曲を自動構成する方式を実現している．本稿では，これらの 2 つの方式を意味の数学モデルを用いてメタレベルで連結することにより，任意の言葉の音相の印象に合致した楽曲自動構成方式を実現する．
This paper presents an automatic music composition
method corresponding to impressions extracted from thesound of arbitrary Japanese words. Founded on the“onso” theory, we have realized an automatic extraction
method which extracts impression words as metadata
corresponding to the impression by the sounds ofarbitrary words. And we have also realized a method of
an automatic composition of music, by measuring for therelation between 8 groups of words about musicalimpressions and 6 musical structural elements by using
the Hevner’s research. In this paper, we realize themethod of automatic composition of music corresponding
to the impression of the sounds of arbitrary words byconnecting these two methods on meta-level by using amathematical model of meanings.

1. はじめにコンピュータネットワークの広域化および高速化により，多種多様かつ多量なメディアデータ群がネットワーク上に蓄積されつつある．しかしながら，人間がコンピュータを介してこれらの情報群を利用する機会は増大する一方，膨大な情報群の中からその意図に合致した情報を獲得するための負担も大きくなっている．現在，これらの情報群を対象としたシステムはメディアデータの種類ごとに独立して存在している．
このような状況において，異種のメディアデータを自由に連♥

学生会員 筑波大学大学院システム情報工学研究科{ryotaro, homma}@mma.cs.tsukuba.ac.jp♦非会員 筑波大学大学院システム情報工学研究科
yoshimura@mma.cs.tsukuba.ac.jp♠非会員 筑波大学大学院システム情報工学研究科
takashi@cs.tsukuba.ac.jp

1

結し，個々のシステムの連携や統合を可能とする方式の実現が重要となると考えられる．
我々はこれまでに，言葉と言葉の関係の計量による検索機構として，意味の数学モデルによる意味的連想検索を提案している．これは，単語群を文脈として解釈する機構により，言葉と言葉，あるいは言葉とメディアデータ，ドキュメント間の相関を文脈に応じて動的に計算することを可能とするモデルである．また，メディアデータから人間の心理的要素が反映されたメタデータを抽出する方式として，「音相理論[6]」と呼ばれる理論を用いて，日本語の音の印象に合致したメタデータを抽出する方式[4],[5]を実現している．さらに，印象を表すメタデータからメディアデータを生成する方式として，音楽心理学者Hevnerによる研究[1]～[3]を用いて，任意の印象語から楽曲を自動生成する方式[10]を実現している．これ
らの方式を意味の数学モデルに代表される意味的連想検索機
構を用いてメタレベルで連結することにより，独立に実装されたメディア情報の相互運用性を実現し，既存のデータベース群の利用価値を高め，新たな価値の創造が可能になると考えられる．
本稿では，音相と楽曲メディアデータをメタレベルで連結することにより，言葉の音の持つ印象から音楽を構成する楽曲自動構成方式を提案する．本方式は，任意の日本語をコンテキストとした楽曲の自動構成を可能とする．これにより利用者の意図する印象をより直感的に反映させた楽曲の構成が実現され，音楽を通じた情報の新しい価値を生み出すことが可能になる．さらに，未知語や擬音語など，普段我々がその言葉が持つ印象を意識しない言葉でさえ，その印象を表した楽曲を構成することができるので，人間の感性に新たな発見を見出す手助けになると考えられる．

2. 意味の数学モデルの概要
本節では，言葉と言葉の関係の計量を実現する意味の数学モデルの概要を示す．詳細は文献[7], [8]に述べられている．
(1) メタデータ空間MDSの設定
メタデータ空間MDSと呼ばれる，検索対象となるメディアデータをベクトルで表現したデータにマッピングするための正規直交空間(以下，MDS)を設定する．
(2) メディアデータのメタデータをMDSへ写像設定されたMDSへ，メディアデータのメタデータをベクトル化し写像する．これにより，検索対象データのメタデータが同じメタデータ空間上に配置されることになり，検索対象データ間の意味的な関係を空間上での距離として計算することが可能となる．
(3) MDSの部分空間(意味空間)の選択
検索者は与える文脈を複数の単語を用いて表現する．検索者が与える単語の集合をコンテキストと呼ぶ．このコンテキス
トを用いてMDSに各コンテキストに対応するベクトルを写像する．これらのベクトルは，MDSにおいて合成され，意味重心を表すベクトルが生成される．意味重心から各軸への射影値を相関とし，閾値を超えた相関値(以下，重み)を持つ軸からなる部分空間(以下，意味空間)が選択される．
(4) MDSの部分空間(意味空間)における相関の定量化選択された意味空間において，メディアデータベクトルのノルムを検索語列との相関として計量する．これにより，与えられたコンテキストと各メディアデータとの相関の強さを定量化している．この意味空間における検索結果は，各メディアデータを相関の強さについてソートしたリストとして与え日本データベース学会 Letters Vol.6, No.2

論文
DBSJ Letters Vol.6, No.2――――――――――――――――――――――――――――――――――――
られる．
表1 音相を表す表情語と表情属性
表情語群
A
B
C
DE
F
G
H
IJK
L
M
NO
PQRST

表情属性
シンプルな,明白さ
躍動感,進歩的新鮮さ,新奇さ
動的,活性的派手さ,賑やかさ
軽やかさ,軽快感
若さ,溌剌さ現代的,都会的明るさ,開放的合理的,現実的個性的,特殊的強さ,鋭さ適応性,庶民的清らかさ,爽やかさ
健康的,清潔感
暖かさ,安らぎ
安定感,信頼感
高級感,充実感
高尚な,優雅さ
静的,非活性的訳語
plain, obviousvibrant, advance
fresh, unprecedenteddynamic, activeflorid, bustlelight, trippingly
young, effervescentmodern, urban
bright, open-mindedreasonable, realindividual, special
powerful, sharp
adaptable, popular
pure, brisk
healthy, clean
warm, comfortablestable, confidence
expensive, fulfil
profound, elegant
static, inactive

3. 任意の言葉の音相の印象に合致したメタデータ自動抽出方式の概要

変換行列Tを作成し，以下により40の印象語を表す40次元のベクトルwoに変換する.
wo = T vo.
ここでの 40 の印象語は，音相理論における表情属性を表す語である．これらは表 1 に示すように 2 語を 1 組として 20 の表情語群を表現している．この wo が，本方式により抽出される，言葉の音の印象を表す重み付き印象語群によるメタデータである.

4. 任意の印象語を対象とした楽曲自動生成方式
本節では，入力された言葉の印象に合致した楽曲を自動的に構成する，楽曲自動生成方式[10]について述べる．

4.1 Hevnerの研究
Hevnerの研究[1]～[3]では，楽曲構造要素として調性(key)・テンポ(tempo)・音高(pitch)・リズム(rhythm)・和声(harmony)・旋律(melody)の6つを挙げている．Hevnerは，この6つの楽曲構造要素と8つの印象語群(図1)によって表現される印象との相関関係を調べ，表にまとめた(図2)．8つの印象語群は，印象語間で類似性があるものをまとめて一つの印象語群を作り，さらに印象語群間で類似性があるものを隣接するよう，円形に配置している．

本節では，日本語の音として表現可能な任意の言葉を対象として，その音のみによって生じる印象を表す言葉をメタデータとして自動抽出する方式[4],[5]について述べる.この方式は，音相理論[6]と呼ばれる研究に基づいて，それぞれの音の音素やその発音の仕方などの組み合わせにより生じる印象を表す言葉を抽出する方式である.

3.1 音相理論
木通はそれぞれの言葉が持つ音の構造の違いによって生まれる表情を音相と呼んだ[6].音相理論では，音相を捉えるための単位として，それぞれの音の最小単位である音素と，それらの音素を発音するために使われる調音器官を表す調音点，および発音の方法にあたる調音法が挙げられている.さらに，各音相基がどのような印象を表すときに使われているかを調査することにより，その音素の勁性(強さ)と輝性(明るさ)を明らかにした．音相理論において，音相の単位として挙げられたこれらの要素は音相基と呼ばれており，40の音相基が定義されている．そして“表情”と呼ばれる，単独の音相基，または2つの音相基の組み合わせにより生じる印象の相関関係についてまとめられている.

図1 Hevnerによる8つの印象語群

3.2 音相の印象に合致したメタデータ自動抽出方式
本節では，音相理論に基づいて，言葉の音が持つ印象を表す言葉をメタデータとして自動抽出するための方式を示す.
(1) 音相基の抽出
この方式では，初期パラメータとして，入力語から40の音相基を表現するのに必要十分な29の要素からなる初期ベクトルviを抽出し，これらの要素と音相基の関係を用いて40の音相基を表す40次元のベクトルvbへと変換する.
(2) vbの拡張
それぞれの表情が有効であるかを判断する尺度として各音相基の標準使用率が示されているので，これを用いてvbを補正する.さらに2つの音相基の組み合わせにより生じる38の表情の判定を行い，vbを78次元のベクトルvoに拡張する.
(3) 印象語群とその重みの出力
それぞれの表情とそれらから抽出される印象語群の関係から

2

図2 各印象語群に対する楽曲構造要素の相対重要性

4.2 任意の印象語を対象とした楽曲自動生成方式全体の概要
本方式は次のような手順により実現される．
zStep1: 楽曲印象語群ベクトルの出力2.節に示した意味の数学モデルを用いて，入力に与えられた任意の言葉と，Hevnerによる8つの各印象語群との相関を求め

日本データベース学会 Letters Vol.6, No.2

論文
DBSJ Letters Vol.6, No.2――――――――――――――――――――――――――――――――――――
る．さらに，その各相関値を，1)相関値のうち最大のものを1に写像，2)相関値のうち最小のものを-1に写像することにより正規化し，楽曲印象語群ベクトルc = (vc1, vc2, ... , vc8)T,(vciは語群ciの重み) を生成する．
zStep2: 楽曲構造要素ベクトルの出力
図2で示した，Hevnerによる各印象語群に対する楽曲構造要素の相対重要性の表に正負の符号をつけ，値の無い箇所は“0”とし，行ごとに1ノルムで正規化することにより，6行8列の変換行列Tを生成する．楽曲印象語群ベクトルを入力として，以下の式により，6つの楽曲構造要素への重みを表す楽曲構造要素ベクトル f を生成する．
f = Tc= (key, tempo, pitch, rhythm, harmony, melody)T.
z
Step3: 楽曲の特徴値の出力出力された f の値をもとに，構成する楽曲の特徴値kn, tem,mnap, unac, ac, tc, oc, um, dm, lmを決定する．表2に楽曲の特徴値の意味を示す．
z
Step4: 楽曲の構成・出力
Step3で決定した特徴値をもとに，4.3節に示す楽曲の仕様にしたがって楽曲を構成する．特徴値のうち，和音による伴奏の構成にはkn, mnap, unac, ac, tc, oc を使用し，旋律の構成にはkn, mnap, um, dm, lmを使用する．
表2 楽曲の特徴値
kntem
mnap
unac
ac
tc
ocumdmlm

楽曲の調性
テンポ
旋律の音高の平均
四分音符の和音の総演奏時間
八分音符の和音の総演奏時間
三和音の総演奏時間
三和音以外の和音の総演奏時間
上昇する旋律音の総演奏時間
下降する旋律音の総演奏時間
水平な旋律音の総演奏時間

4.3 楽曲の仕様
本方式により構成される楽曲の仕様は以下の通りである．
楽曲の拍子・長さ 本方式では入力された言葉の持つ意味や感情を反映した短いフレーズの構成を目的としているので，構成する楽曲は4/4拍子，長さは4小節とする．
和音 一つの楽曲に使用しうる和音は非常に多いので制限を与える．使用する和音はI度からVII度までの7つで，和音の構成音として使用する音はその調の音階に沿ったものとする．
長調ではI, IIm, III, IV, V7, VIm, VIIm7(-5)，短調ではIm,IIm7(-5), III, IVm, V7, VI,VII である．また，和音の長さは四分音符と八分音符の2種類のみとする．
旋律 旋律に使用する音はその調の音階に沿ったものとする．
また，Hevnerの研究では旋律音の長さやリズムには言及していないので，ここでは旋律音の長さは四分音符と八分音符の2種類のみとする．

5. 任意の言葉の音相の印象に合致した楽曲の自動構成方式
本節では，任意の言葉の音からその印象に合致した楽曲を自動構成する方式について示す．本方式の概要は以下の通りである．
(1) 言葉の印象の抽出
3.2 節に示した，対象となる語の音相に合致した印象語の抽出方式を用いて，ユーザから入力された任意の言葉から，その音相を表す印象語ベクトル wo を抽出する．

3(2) 印象語ベクトル wo の重みの補正(1)により得られた印象語ベクトル wo を，より入力語毎の差が出やすいように補正する．
音相を表すとして wo に選ばれた語は，肯定的な意味を表す印象語のみで構成されているため，Hevner の指定する 8 つの印象語群との相関を計量した際に，特定の印象が強調されやすい傾向があり，出力される楽曲において入力語毎の印象の違いを正確に反映できていない可能性がある．そこで，重みの小さい語をマイナスの印象として見ることにより，印象語ベクトル wo を Hevner の指定する 8 つの印象語群に変換した
際に強調されにくい印象を反映することができると考えられる．ここでは，予備実験に基づき，音相から選ばれた印象語の重みを，最小を“-1”，最大を“1”になるよう写像する．
印象語ベクトル wo の要素を woi，写像後の要素を w’oi としたとき，上記の写像を以下の式に示す．ただし，max(wo)，min(wo)は，それぞれ wo の要素のうち最大，最小のものを表す．

(3) 印象語ベクトルと各楽曲印象語群との相関の計量
2.節に示した意味の数学モデルを用いて，(2)で得られた印象語ベクトル wo と Hevner の指定する 8 つの各楽曲印象語群との相関を計量し，楽曲印象語群ベクトル c を構成する．
(4) 楽曲の構成(3)で得られた楽曲印象語群ベクトル c から，4.節に示した任意の印象語を対象とした楽曲自動生成方式を用いて楽曲を構成する．

6. 実験例
提案方式の有効性を検証するため，本方式に基づく実験システムを構築した．

6.1 実験環境
本実験では，意味の数学モデルを用いて検索システムの構築を行った．意味の数学モデルの基本構成は 2.節に示す通りである．メタデータ空間 MDS の設定については，“LongmanDictionary of Contemporary English”[9]という英英辞典を利用した．同辞書は約 2,000 語の基本語を用いて約 56,000 語の見出し語を説明している．この基本語を特徴とみなし，見出し語の説明で肯定的に使われている語を“1”，否定的に使われている語を“-1”，説明に使われていない語を“0”として 2.節(1)におけるデータ行列 M を作成した．これにより，約2,000 次元の正規直交行列であるメタデータ空間 MDS が生成された．MDS では，約 22000 通りの意味の様相を表現可能である．

6.2 出力例
入力として，文献[6]において“暖かさ，和やかさ”及び“明白さ，単純さ”に関する語として分類されている“ニコニコ”という言葉と，“不快，苦痛，哀歓”に関する語として分類されている“ガッカリ”という言葉を用いて楽曲の構成を行った．さらに，特に意味を持たない“ヒンミパ”という言葉を用いて，楽曲の構成を行った．その結果，音相の印象を表す印象語ベクトルにおいては，“ニコニコ”を入力とした場合は“dynamic, active”等の語の，“ガッカリ”の場合は“plain,obvious ” 等 の 語 の ，“ ヒ ン ミ パ ” の 場 合 は “ bright,open-minded”等の語の重みが大きくなった．各入力についての，楽曲印象語群ベクトル，楽曲構造要素ベクトル，楽曲特徴値の各値の結果を表 3 に示す．また，実際に出力された楽曲の例を，Web ページ[11]に示す．

日本データベース学会 Letters Vol.6, No.2

論文
DBSJ Letters Vol.6, No.2――――――――――――――――――――――――――――――――――――
表 3 各入力についての楽曲印象語群ベクトル，楽曲構造要素ベクトル，楽曲特徴値の各値

楽曲印象語群ベクトル
楽曲構造要素ベクトル
楽曲特徴値

C1
C2C3C4C5C6C7C8Key
Tempo
Pitch
RhythmHarmony
Melody
kntem
mnap
unac
ac
tc
oc
um
dm
lm

ニコニコ
-1.000000-0.091849-0.968848-0.528090-0.148128
1.000000-0.507758-0.453857
0.426002
0.407745
0.181692-0.407078
0.187565
0.081811
E145
76.086006
0.296461
0.703539
0.593782
0.406218
0.415754
0.333943
0.250303

ガッカリ-0.565631
1.000000-1.000000
0.872121-0.517421
0.016428-0.990498-0.840017-0.025211-0.296871-0.008186-0.235652
0.160393
0.622389
Am
74
68.607066
0.382174
0.617826
0.580196
0.419804
0.657795
0.035406
0.306799

ヒンミパ-1.000000
0.471624-0.336413
1.000000-0.191180
0.526890
0.066480-0.324498
0.103564
0.022286
0.123486-0.410771
0.094953
0.068167
B♭
91
73.815956
0.294615
0.705385
0.547477
0.452523
0.383960
0.315794
0.300246

6.3 実験の考察
表 3 に示されている通り，“ニコニコ”においては，印象語群 c6，すなわち，“bright”，“happy”などを表す印象が強くなっており，“ガッカリ”においては，印象語群 c2，すなわち，“dark”，“sad”などの印象が強くなっている．これらは語の印象に一致していると考えられる．
“ヒンミパ”においては印象語群 c4 が強くなっている．楽曲特徴値においては，“ニコニコ”の調は“E”というメジャーキーであり，テンポも 145 と速く，旋律音の平均が高い楽曲が構成されている．
また，“ガッカリ”の調は“Am”というマイナーキーであり，テンポも比較的遅く，旋律音の平均も低い楽曲が構成されている．
“ヒンミパ”においては，調は“B♭”というメジャーキーであり，テンポも比較的速い楽曲が構成されている．
これらにより，任意の言葉の音相の印象に合致した楽曲自動構成方式が実現されていること，及び，印象語の重みの補正の有効性が確認できた．

7. おわりに
本稿では，音相と楽曲メディアデータに着目し，ユーザから与えられた任意の日本語の音の持つ印象に合致した楽曲を自動構成する方式を実現した．本方式により，音相と楽曲メディアデータという独立に実装されたメディア情報の相互運用性を実現し，既存のデータベース群の利用価値を高め，新たな価値の創造が可能になる．また，普段我々がその言葉が持つ印象を意識しない言葉の印象を表した楽曲を構成することは，人間の感性に新たな発見を見出す手助けになると考えられる．
また，本方式を利用して，商品名のイメージに合った CMの楽曲を自動生成するシステムや，詩のイメージに合った楽曲を自動生成するシステムなど，人間の感性を増幅するシステムの開発が可能になると考えられる．
今後の課題としては，本方式の定量的な評価方式，および他メディアを対象としたメディアデータ連携統合方式の実現

4が挙げられる．

[文献][1] Hevner, K., “Expression in music: A discussion ofexperimental studies and theories”, Psychological
Review, vol.42, pp.186-204, 1935.
[2] Hevner, K., “Experimental studies of the elements ofexpression in music”, American J.Psychology, vol.48,pp.246-268, 1936.
[3] Hevner, K., “The affective value of pitch and tempo inmusic”, American J. Psychology, vol.49, pp.621-630,
1937.
[4] Homma, H., Nakanishi, T. and Kitagawa, T.: “A Methodof Automatic Metadata Extraction Corresponding to theImpression by Sound of the Words”, Information
Modelling and Knowledge Bases, vol. XVIII, pp.206-222,
2007.
[5] 本間秀典，中西崇文，北川高嗣: “任意の言葉を対象とした音の印象によるメタデータ自動抽出方式”，電子情報通信学会技術研究報告，Vol.106, No.149, pp.7-12，電子情報通信学会，2006．
[6] 木通隆行: “日本語の音相. ことばのイメージを捉える技術，表現する技術.”, 小学館スクウェア, 2004．
[7] Kitagawa, T. and Kiyoki, Y.: “The mathematical modelof meaning and its application to multidatabasesystems”, Proceedings of 3rd IEEE International
Workshop on Research Issues on Data Engineering:Interoperability in Multidatabase Systems, pp. 130-135,
1993.
[8] Kiyoki, Y., Kitagawa, T. and Hayama, T.: “AMetadatabase System for Semantic Image Search by aMathematical Model of Meaning”, Multimedia DataManagement ― using metadata to integrate and apply
digital media ― , McGrawHill, A. Sheth and W.
Klas(editors), Chapter 7, 1998.
[9] Longman Dictionary of Contemporary English,
Longman, 1987.
[10] 芳村亮，中西崇文，北川高嗣: “任意の言葉を対象とした楽曲自動生成方式”, 第 17 回データ工学ワークショップ
論文集，電子情報通信学会，2006．
[11] http://www.nalab.is.tsukuba.ac.jp/~ryotaro/midi01/

岡田 龍太郎Ryotaro OKADA筑波大学大学院システム情報工学研究科博士前記課程在学中．
2007 筑波大学第三学群情報学類卒業．日本データベース学会
学生会員．

芳村 亮

Ryo YOSHIMURA

筑波大学大学院システム情報工学研究科博士前記課程在学中．
2006 筑波大学第三学群情報学類卒業．

本間 秀典

Hidenori HOMMA

筑波大学大学院システム情報工学研究科博士後期課程在学中．
2006 筑波大学大学院システム情報工学研究科博士前期課程修了．日本データベース学会学生会員．

北川 高嗣

Takashi KITAGAWA

筑波大学大学院システム情報工学研究科教授．1978 名古屋大学工学部卒業．1983 同大学院工学研究科博士課程修了・工学博士．スタンフォード大学計算機化学科客員研究員，愛媛大学理学部数学科講師，筑波大学電子・情報工学系助教授を経て現在に至る．数値解析，逆問題，マルチメディア情報シス
テムの研究に従事．日本応用数理学会会員．

日本データベース学会 Letters Vol.6, No.2