DEIM Forum 2019 P2-119

視覚的印象を表現する楽曲特徴量の抽出および楽曲生成手法
陳 昀劭†

清木 康†

†慶應義塾大学環境情報学部 〒252-0882 神奈川県藤沢市遠藤 5322
E-mail:†{t16577yc, kiyoki}@sfc.keio.ac.jp

あらまし 「見える音とは何か」の探求においては、人間が新たな情報を受け取る際に、自らの基準による感性評価が重要である。たとえ異なる形式を持つ情報であっても、それらに共通している印象に基づいた記憶想起は可能である。そうした異種メディアを対象とした複数の処理能力の連携性に着目し、本稿では動画における視覚的印象の時系列を分析し、相応した印象を有する音楽的要素の連想検索および抽出方式の提案を行う。さらに、その出力結果に基づいて楽曲を生成するクロスメディアシステムの実現方式を示す。
キーワード

感性情報処理、楽曲生成、マルチメディア

1. は じ め にに直結するメディアである点から、変換対象として動共感覚とは、一つの刺激に複数の感覚が引き起こさ画がふさわしいと考えられる。動画における感性の時

れ る 現 象 で あ る 。[1]共 感 覚 を 有 す る 人 は 共 感 覚 者 と 呼系列を基準に、その印象の変化を具現化できる楽曲をばれ、音や文字などに色が見える。共感覚者以外の人生成する。

も、ある情報を自分なりに評価・解釈する際に、相似したプロセスが行われる。例えば、ピッチの高い音を2. シ ス テ ム 構 成

聞かされた後、どれに近いかという質問に対し、人は本システムは、動画用感性分析ユニット、感性類似丸まった図形より尖った図形を選択する傾向があると度解析ユニット、楽曲生成ユニットによって構成されい う 実 験 結 果 が 発 表 さ れ て い る 。[2][3]心 理 学 分 野 で はる 。意 味 的 連 想 検 索 方 式 [10][11]と 時 系 列 デ ー タ 処 理 のこの現象を、複数の感覚間に共通したある心理的性質

技術を用い、動画から受け取る感性をもとに楽曲を生の存在による結果とし、「通様相性」と呼んでいる。

成する。

[4]共 感 覚 と の 相 違 と し て は 、通 様 相 性 は 普 段 の 意 識 にのぼらず、感覚間の関係性が知覚できる程度である。
[1]
共感覚なり通様相性なり、共通の心理的性質による、異なる形式で記憶した情報への関連付けは、人間の脳内における異種メディアを対象とした情報処理に連携性があることを示唆している。こうした連想のプロセスと同様に機能するシステムを利用すれば、ある情報

図 1

システム構成から受け取る感性を別のメディアで再現することが可能となる。感性に基づくメディア間の変換に関する研究 と し て 、画 像 や 単 語 な ど の 印 象 を も と に 音 楽 を 検 索 、もしくはアレンジするシステムが発表されている。

3. 視 覚 情 報 の 感 性 評 価 機 構
最初に、動画用感性分析ユニットで実行される感性時系列分析の方式を示す。

[5][6]そ の 中 に は 、事 前 に 準 備 し た プ レ ー リ ス ト の 中 から 曲 を 推 薦 す る 方 式 が 多 く 存 在 す る 。[7][8][9]し か し 、

3.1 動 画 に お け る 視 覚 情 報 の 分 析

音楽における感性は常に同一ではなく、曲の展開とと動画における視覚的印象の変化を計算可能にするもに次々と変化していくのである。そのため、1 曲単ため、視覚情報の感性評価を行う。本システムは、視位で検索・推薦を行うと感性の時間的変化を確実に反覚情報として色彩と画面に含まれている物体を感性評映することが困難である。そこで本稿では、楽曲その価の対象とする。

ものではなく、音楽を構成する要素のデータ、すなわ

色彩については、一定間隔で動画のフレームを取得

ち楽曲特徴量を検索対象とした方式および、個別に抽し 、フ レ ー ム ご と に k 平 均 法（ k-means）に て ク ラ ス タ

出された特徴量を利用して楽曲を生成する手法を提案リングすることで、画面から主な色の組み合わせを特する。また、音楽と同様に展開が作品のクオリティー

定 す る 。（ 以 下 、 配 色 デ ー タ ）物 体 は 、Google 社 が 開 発 し た 機 械 学 習 ラ イ ブ ラ リ で音程を感性の比較対象とする。

あ る TensorFlow[12]を 利 用 し て 検 出 す る 。
（ 以 下 、物 体

カラーイメージスケールは印象の距離を表す空間データ）なお、フレーム取得の時間間隔は、配色の分にて色を評価したモデルであり、この空間では色が与析と物体検出それぞれ設定可能である。

え る 印 象 は 数 値 化 さ れ る 。Charpentier の 調 性 格 に 関 する 論 述 [15][16] を も と に 各 調 性 を 同 じ 空 間 に 写 像 す る

3.2 感 性 成 分 の 生 成 手 法

ことで調の感性成分が得られる。

通様相性の特徴からわかるように、同じ印象語群で音 程 が も た ら す 印 象 に つ い て は Kirnberger が 用 い た

視覚情報と音声を評価すれば人間の記憶想起から発想印象語群を利用して感性成分を記述する。複数の印象を得た感性評価のメカニズムをシステム上で実現可能語を含んでいる音程が多く存在するため、二次元空間である。

ではなく各印象語の強度をもとに 4 段階評価を行い色がもたらす印象を計量するために、小林が発表した カ ラ ー イ メ ー ジ ス ケ ー ル [13]を 参 考 に し て soft-hard（以下、印象強度）、音程の感性成分を多次元空間にてベクトル化する。

軸 と warm-cool 軸 か ら な る 二 次 元 空 間 を 構 築 し た 。 配
表 1

色データをカラーイメージスケールの空間に写像し、印象強く持っている持っている
ややあるなし配色の印象ベクトルが得られる。

表 2

図 2

印象強度
評価
32
10

楽曲特徴量データベースの一部

カラーイメージスケールのベクトル空間

音楽を構成する各要素が与える印象を言語化した実
例 と し て 、 Kirnberger の 著 述 が あ げ ら れ る 。 [14][15]Kirnberger が 音 程 の 表 現 に 用 い た 印 象 語 群 に て あ ら かじめ各物体を評価することで、物体データから印象ベクトルを取得する。
上述の手法で配色および物体を評価対象とした感性時系列を生成する。

4.2 動 画 と 楽 曲 特 徴 量 の 感 性 類 似 度 計 量 系
同じ印象空間を基準にすることによって、動画と音楽それぞれ含む感性成分は比較可能になる。
動画における配色は色相、同時に映る色の数、そして個々の比率などによって緻密に画面全体の印象に影響を及ぼす。一方、音楽においては音階（スケール）

4. シ ス テ ム の 実 現 方 式
動画から抽出された感性時系列を基準とした、同じ感性を共有する音楽的要素の検索は、感性類似度解析や和音など、様々な手がかりから調性を推定できる。
このように、感性への影響が全面的である点が共通しているため、配色と調の感性を比較する。

ユニットによって実現する。本ユニットは楽曲特徴量

それに対して画面にある物体はすべて均一に感性をデータベースおよび感性類似度比較機能により構成さ誘発するのではなく、一部の物体に全体の印象が左右れる。

される。人間は静止の状態を続ける物体を背景の一部と認識し、背景が動体に付随した際のみ感性の経時変

4.1 楽 曲 特 徴 量 デ ー タ ベ ー ス の 構 築化が取得可能である。一つの動画に動体が多数存在す

前述のように、音楽における感性がダイナミックなる可能性が高く、印象語が頻繁に変動することが予想点に焦点を当て、本研究においては曲単位ではなく、されるため、メロディーラインや和声進行のような連音楽を要素別に細分して楽曲特徴量データベースを構続的に変化する要素がふさわしい。こうした要素には築した。楽曲特徴量データベースには音楽的要素と音の前後関係、すなわち音程の上下が決定的影響を与個々の感性成分が格納されている。曲中の時間的変化える。よって音程を物体がひき起こす感性の比較対象に重点を置いているため、音楽的要素として調およびとする。

画面の配色と各調性、両者の印象ベクトルのコサイン類似度を計算し、コサイン類似度のもっとも高いもき を 考 慮 し 、III 度 の 際 の み 自 然 短 音 階 を 用 い 、そ の 他
は和声的短音階を基準とする。のは色彩の印象を表現するに最適な調として出力される。コサイン類似度を用いる理由としては、カラーイ

表 3

楽曲生成に用いるダイアトニック・コード長調

メージスケールの空間において角度が印象語の関連性

短調

I△ 7

Im △ 7検出された物体と各音程との感性類似度比較機能

II m7II m7

では、多次元空間における印象ベクトルの計算を行う

III m7♭ III △ 7IV △ 7IV m7V7V7をより適切に表現できるためである。

ので、内積、コサイン類似度、ユークリッド距離、三つの相関量から選択可能である。評価基準となる印象語が 𝑛 個存在し、物体の印象ベクトルが 𝑥 , 各音程のVI m7

印 象 ベ ク ト ル が 𝑦! の 場 合 、以 下 の 関 係 が 満 た さ れ る 。

𝑥 = (𝑥! , 𝑥! , …, 𝑥! )𝑦! = (𝑦!! , 𝑦!! , …, 𝑦!" )!
内 積 < 𝑥, 𝑦! > =!!! 𝑥! 𝑦!"
コサイン類似度 =ユークリッド距離 =! !, !! !
!
!
!!! !!

!
!
!!! !!"!
!
!!!(𝑥! − 𝑦!" )VII m7( ♭ 5)

♭ VI △ 7( ♭ 5)

VII dim7

最初の和音は、再生位置 0 分 0 秒の調と同じ時刻の音 程 に よ っ て 決 定 さ れ る 。例 え ば 、調 が C メ ジ ャ ー（ ハ長 調 ）、音 程 が 完 全 5 度 上 行 の 場 合 、C メ ジ ャ ー の I 度と 完 全 5 度 で 隔 て ら れ る 上 方 の G7 が 最 初 の 和 音 と なる。それ以降は直前の根音を基準に、出力結果における音程の時系列に従って移動させることで和声進行を生成する。なお、調の時系列は根音以外の構成音に反映される。

図 3

物体と音程とのコサイン類似度（一部）

最大の感性類似度を有する音程は、検出された物体に相応した印象を与えうる要素として抽出される。

図 4

音程の抽出結果（一例）

4.3 感 性 時 系 列 に よ る 楽 曲 生 成
図 5

感性類似度解析ユニットによって調と音程の時系列和声進行の生成手法データが出力される。
（ 以 下 、出 力 結 果 ）こ の デ ー タ は
動画における色彩および物体と同じ感性成分を共有す出力された和声進行に基づいて低音部に根音を配置る。以下、出力結果を用いて楽曲を生成する手法を示し、高音部では分散和音を演奏させることでメロディす。

ーラインが形成される。なお、メロディーがなめらか

本システムは、出力結果における音程の時系列に沿に生成されるように、コード間の遷移に際して直前のった和声進行によって曲を紡ぎだす。具体的にはダイ

分散和音の末尾にある音により近い音を先頭に配置す

ア ト ニ ッ ク・コ ー ド を 利 用 す る 。[17]ダ イ ア ト ニ ッ ク ・る。

コードとは、全音階の音のみで構成され、主調の性格上記の手法で動画がもたらす視覚的印象を体現するを自然に表現できるコードである。短調の場合には響楽曲が生成可能となる。動画と同時に再生することが想定されるため、フレームの取得と同じ時間間隔で出性について検証したい。将来的には、ローカルの動画力結果を音声に変換する。楽曲生成ユニットは音響合に限らず、ライブ配信などのストリーミングサービス

成 用 プ ロ グ ラ ミ ン グ 言 語 で あ る SuperCollider に て 実 装にも適用可能なマルチメディアシステムを目標とする。

さ れ て い る 。 [18]参5. 考 察考文

献

今回の実験結果から、感性類似度の高い楽曲特徴量[1] 長 田 典 子 「 音 を 聴 く と 色 が 見 え る ： 共 感 覚 の ク ロを 抽 出 で き る こ と が わ か っ た 。実 用 性 を 再 考 し た 結 果 、ス モ ダ リ テ ィ 」 , 日 本 色 彩 学 会 誌 , Vol. 34, No.4, pp.

改善点として次の 2 点があげられる。

348-353, 2010

まず、感性類似度計量系における同等な相関量に対[2] W. Köhler, Gestalt Psychology , Liveright, New York,する処理である。本方式は、画面との感性類似度が最1929

大な楽曲特徴量が抽出されるように設計されているが、[3] V.S. Ramachandran and E.M. Hubbard,

実際には等値の相関量をもつ特徴量が存在し、複数個“Synaesthesia—A Window Into Perception, Thought and同時に抽出されることがある。この現象は特に、画面Language”, Journal of Consciousness Studies, Vol. 8, No.にある物体と各音程との感性類似度を比較する際に多12, pp. 3-34 , 2001発している。その原因は評価基準となる印象語の個数[4] 長 田 典 子 , 藤 澤 隆 史 「 共 感 覚 の 脳 機 能 イ メ ー ジ ンにあると考えられる。本方式において用いられるグ 」, シ ス テ ム ／ 制 御 ／ 情 報 , Vol. 53, No.4, pp. 149-154,

Kirnberger の 印 象 語 は 30 個 あ り 、こ の 高 次 元 の 印 象 空

シ ス テ ム 制 御 情 報 学 会 , 2009間に対して印象強度は 4 段階で評価されている。実際[5] 仲 村 哲 明 , 内 海 彰 , 坂 本 真 樹「 色 彩 想 起 と 歌 詞 の 関に感じられる強度の差分をより精確に表すには、評価係 に 基 づ く 楽 曲 検 索 」 , 人 工 知 能 学 会 論 文 誌 , Vol. 27,手法を改良する必要がある。また、相関量が等値の場No.3,合に行われる処理として、重み付けがあげられる。同[6] 大 山 喜 冴 , 伊 藤 貴 之 「 DIVA： 画 像 の 印 象 に 合 わ せ

等な相関量は、本計量系において感性類似度が等しいた音楽自動アレンジの一手法の提案」, 芸術科学会論ことを意味するのであるが、メロディーラインの生成

文 誌 , Vol. 6, No.3, pp. 126-135, 2007

がスムーズに実行されるように、複数の音程が同時に[7] 黒 瀬 崇 弘 ， 梶 川 嘉 延 ， 野 村 康 雄 「 感 性 情 報 を 用 い抽出される出力方式を回避すべきである。

た 楽 曲 推 薦 シ ス テ ム 」 , 第 14 回 デ ー タ 工 学 ワ ー ク シ

次に、楽曲生成に用いる音楽的要素である。抽出さ

pp. 163-175, 人 工 知 能 学 会 , 2012

ョ ッ プ （ DEWS2003） , 8-P-6, 2003

れた音程の時系列に沿ってダイアトニック・コードを[8] 北 川 高 嗣 ， 中 西 崇 文 ， 清 木 康 「 楽 曲 メ デ ィ ア デ ー演奏させるのが今回の手法であった。しかしながら、タを対象としたメタデータ自動抽出方式の実現とそのその音程が必ず全音階の音に導くことは保証されてい意 味 的 楽 曲 検 索 へ の 適 用 」, 電 子 情 報 通 信 学 会 論 文 誌 ,ない。その解決策として、経過音を介して全音階に含Vol. J85-D-I, No.6, pp.512-526, 2002

まれる音へ移行させる処理、または代理和音の導入な[9] 桐 本 篤 ， 佐 々 木 史 織 ， 清 木 康 「 音 楽 と 感 性 語 の 相

どの和声的な手法が有効だと予想される。

関量計量による環境状況コンテクスト対応型音楽推薦システムの実現」, 第 1 回データ工学と情報マネジメ

6. 結 論 ・ 今 後 の 展 望ン ト に 関 す る フ ォ ー ラ ム （ DEIM2009） , E5-2, 2009

本稿では、動画における視覚情報を対象とした感性[10] 清 木 康 , 金 子 昌 史 , 北 川 高 嗣 「 意 味 の 数 学 モ デ ル

分析および、動画の感性的特徴を音声の形式で再現可による画像データベース探索方式とその学習機構」,

能な音楽的要素の抽出方式、そして出力された時系列

電 子 情 報 通 信 学 会 論 文 誌 , Vol. J79-D-II, No. 4, pp.

データを用いて楽曲を生成する実験手法を示した。

509-519, 1996

今回は、印象語の選択に際して音楽家による著作を[11] 清 木 康「 感 性 や 意 味 を 計 量 す る デ ー タ ベ ー ス シ ス

参考にした。音楽における各要素の特性が的確に把握

テ ム 」 , KEIO SFC JOURNAL, Vol. 13, No.2, 2013

されている利点はあるが、一般人の感性とどれほど合[12] TensorFlow https://www.tensorflow.org/

致するかについて検討する余地がある。今後の課題と[13] 小 林 重 順 , 日 本 カ ラ ー デ ザ イ ン 研 究 所 , 『 カ ラ ー

して、既存のデータを用いた計量にとどまらず、ユー

イ メ ー ジ ス ケ ー ル 』 ,講 談 社 ,2001

ザーの感性をシステムに反映するパーソナライゼーシ[14] J. P. Kirnberger, Die Kunst des reinen Satzes, Berlin,

ョンがあげられる。

1776, pp. 103-104, reprint : Olms, 1988.

さらに、リズムを筆頭に、他の音楽的要素を導入することで、多階層構造で楽曲を生成できる手法の有効[15] P. A. Clerc, “Discours sur la Rhétorique musicale”,
Haute École de Musique de Genève, Genève, 2001

[16] M.A. Charpentier, “Règles de composition par M.
Charpentier“ in Marc-Antoine Charpentier by Catherine
Cessac, Fayard, Paris, 1988[17] ダ イ ア ト ニ ッ ク ・ コ ー ド , 洗 足 オ ン ラ イ ン ス ク ール, 洗足学園音楽大学
https://www.senzoku-online.jp/theory/chord/ch01_01.html[18] SuperCollider

https://supercollider.github.io/