芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

DIVA：画像の印象に合わせた音楽自動アレンジの一手法の提案
大山 喜冴

伊藤 貴之

お茶の水女子大学大学院
E-mail: {kisa, itot}@itolab.is.ocha.ac.jp

概要
映画やテレビ CM の製作，およびマルチメディア技術において，画像の印象に合った音楽を用いることは非常に重要である．そこで我々は，ユーザが任意の音楽と画像を入力した際に，画像の印象に合わせて音楽を自動アレンジする手法の研究を進めている．
本論文ではその初期成果として，画像の色分布および対象物からその印象を推測し，その印象に合ったリズ
ムパターンで音楽を自動アレンジする手法を提案する．本手法では前処理で，ユーザに多数のサンプル色，サ
ンプル画像，画像に写る対象物をキーワードとして提示し，この各々から連想されるリズムパターンを回答させる．この回答結果から各々のリズムパターンに対して，どのような画像から高い連想度を得られるかを推測する算出式を導出する．続いて本処理では，任意の入力画像に対して，各々のリズムパターンの連想度を算出
し，最も連想度の高いリズムパターンを用いて自動アレンジした音楽をユーザに提示する．

DIVA: An Automatic Music Arrangement Technique
Based on Impressions of Images
Kisa Ohyama

Takayuki Itoh

Graduate School of Humanities and Sciences, Ochanomizu University

Abstract
It is very important to match images and music according to their impression. Our research focuses on automaticarrangement of music according to impressions of images. As the first result of our research, this paper reports atechnique to automatically arrange music by inferring the impression of input images according to their color distribution
and objects, and selecting a rhythm pattern according to the impression of images. As a preprocessing, the technique firstprovides users sample colors, sample images, and keywords of objects, and then collects the answer of users which are
selection of rhythm patterns associated from the colors, images, and keywords. The technique then leads an equation toinfer the association of rhythm pattern to the colors, images, and keywords. Finally, the technique automaticallycalculation the association values of all prepared rhythm patterns from arbitrary input images, and provides users themusic arranged by the most associated rhythm pattern.

の合う音楽を選べない場合があり，画像と音楽の相1. はじめに関性のない一見不釣合いなホームページをつくる場

映画やテレビ CM の制作において，画像と音楽は合が多い．

密接な関係にある．また，個人でも「自分で制作し一方，音楽と映像は相補的な関係であり，印象のたホームページの印象の合った音楽を載せたい」と合う音楽と映像を組み合わせることで，お互いの印いう感想は，多くの人が一度は持つような感想だろ

象が向上されたり強調されたりすることが知られてう．しかし音楽に精通していない人は，画像に印象いる[1]．このような現象の有効活用に関する研究は，

126

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

感性情報処理という分野で活発に議論されている[2]．

験者にサンプル画像を見てもらい，そのサンプル画

音楽と映像を有効に組み合わせるための一手段と像から連想されるリズムパターンを選んでもらう．

して我々は，ユーザが任意の音楽と画像を入力した

さらに，サンプル画像における各サンプル色の重要際に，画像の印象に合わせて音楽を自動アレンジす

度を算出する．この算出結果と回答結果から，各々る手法「DIVA: Digital Image Varies Arrangement」ののサンプル色に対するリズムパターンの連想度を算研究を進めている[3,4]．DIVA は以下の 2 段階の処理

出する．

により，任意画像の印象に合わせた音楽自動アレン[前処理 4] [前処理 1]と同様に，風景画像に写る対象

ジ手法を特定するものである．

物の単語のみから連想されるリズムパターンを選んでもらい，これを対象物に対するリズムパターンの[前処理] サンプルとなる視覚情報と音楽情報を被験連想度とする．それに加え，[前処理 3]と同様にサン者に提示し，その印象をユーザに回答させることで，プル画像から連想されるリズムパターンを選んでもそのユーザにおける画像と音楽の印象の関連性を数

らい，サンプル画像における各サンプル色の重要度

式化する．

を算出する．この算出結果と回答結果から，各々の[本処理] 任意の画像と音楽を入力した際，その画像

サンプル色に対するリズムパターンの連想度を算出

に対してユーザがもつ印象を計算機が類推し，それする．

に合うように音楽を自動アレンジする．
本論文では，以上の処理によって実現された自動本手法では，サンプル画像や任意画像に実写画像

アレンジに対して，被験者の満足度を調査することを仮定し，その色分布から画像の印象を推定する．

で，本研究の有効性を検証する．

またあらかじめ，同じメロディに対して数種類のリズムパターンを用いてアレンジされた楽曲を用意す

2. 関連研究る．この前提のもとで本手法の[本処理]では，以下の本論文の関連研究として考えられるものに，ユー

ような手順によって，画像の印象に合わせた音楽ア
レンジ方法を特定する．

ザの嗜好や印象に基づいて音楽や提供する技術，音・ 画像に写る対象物(「海」「山」等)をキーワード

楽と画像を嗜好や印象に基づいて関連づける技術，として提示し，その対象物から各々のリズムパ

ユーザの嗜好や印象に基づいて音響情報を合成する

ターンの連想度を算出する．

技術，あるいは音楽を自動作曲する技術，などがあ・ 画像から色分布を算出し，その色分布から各々げられる．

のリズムパターンの連想度を算出する．

検索技術に基づいてユーザの求める音楽を提供す・ 上記 2 種類の連想度の合計値が最も高いリズムる手法は，旧来から多く発表されている．音楽に関パターンを用いて，音楽を自動アレンジする．

する感性を注釈語や特徴量として表現することの有

このような技術を確立するために本論文では，以下

益性は旧来から議論されており[5]，この注釈語や特の 4 種類の前処理を実装・実験している．

徴量を検索キーなどに用いたシステムの研究も活発に議論されている[6-11]．近年ではこれに加えて，入[前処理 1] 風景画像に写る対象物(「山」「木」「海」

力画像の印象に合うように音楽を検索する技術や，等)を表すキーワードを被験者に提示し，このキーワ

入力画像群と入力音楽群を感性に基づいてマッチン

ードから連想されるリズムパターンを選んでもらい，グする技術も，活発に議論されている[12-16]．しか

これを対象物に対するリズムパターンの連想度とす

しこれらの技術でシステムが提供する楽曲は，あらる．

かじめデータベースなどに登録されている楽曲に限[前処理 2] 所定のサンプル色及び，メロディは同じ定される．裏を返せば，ユーザが求めるような楽曲

だがリズムパターンが違う音楽を用意する．被験者がシステムに登録されていなければ，ユーザを満足にサンプル色を提示して，サンプル色から連想されさせる楽曲を提供することは難しい．

るリズムパターンを選んでもらう．この回答結果か

これとは別に，画像などの視覚情報に対応して音ら，各々のサンプル色に対するリズムパターンの連響情報を合成する技術[17,18]や，画像の内容に合わ想度を算出する．

せて音楽を自動作曲する手法[19,20]などの研究が進[前処理 3] 数枚のサンプル画像および，メロディはんでおり，さらには画像の内容に合わせた自動作曲

同じだがリズムパターンが違う音楽を用意する．被ソフトウェアも公開されている[21]．

127芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

以上の関連研究と違って我々は，ユーザの好みのらの構成要素が最も重要であると判断した理由につメロディをあらかじめ指定し，これを画像の印象にいて論じる．

基づいて自動アレンジする技術の研究を進めている．

文献[1]には，音楽の印象と色彩の印象に相関性が多くの音楽愛好者は，音楽の構成要素の中でもメロあることが論じられている．また文献[22]には，それディに思い入れを持つ．それに対して次章以降でもを実証する実験結果が示されている．例えば色相と論じるように，音楽の印象はメロディ以外の構成要

音楽の印象の相関性には，「赤には迫力のある音楽が素にも左右されるものである．よってメロディをユ似合う」「緑には明るい音楽が似合う」という回答がーザの指定したものに固定しつつ，メロディ以外の多いとの結果が出ている．また，明度や彩度と音楽

構成要素を差し替えることで，同一のメロディからの印象の相関性には，「明度が高くなるに連れて音楽

自動アレンジによってさまざまな印象を提供する，を明るく感じる傾向にある」「彩度の高低と音楽のという手法には一定の理があると考えられる．しか力強さの度合いが対応する傾向にある」という回答

し我々が調べた限り，画像の印象に合わせた音楽自が多いとの結果が出ている．また文献[23]においても，

動アレンジに関する関連研究は見つかっていない．

画像の持つ印象は主に配色が重要である，という実

なお我々のグループでは，音楽と画像を関連づけ

験結果が報告されている．

る別の研究事例として，音楽の印象に合わせてアイ

このことから画像の持つ「色」が音楽に与える影

コン画像を自動選出する研究[16]がある．この研究は響は大きいと考えられる．したがって現時点での実音楽から画像を選出するものであり，入力画像に基装では，画像の特徴のうち，主に色彩とその配色かづいて音楽を自動アレンジする本論文の提案手法とらその印象を類推することにした．しかし，それでは処理手順を逆にするものである．

も色単体のみから画像の印象を特定するのは不確実であると考えられる．例えば，赤い花と赤い夕日では，同じ色分布を有する画像であっても印象が大き3. 提案手法の概要

く変わることが多い．そこで本研究では，画像に描

3.1 基本構想かれている対象物を示すキーワードを与え，あらか本論文で提案する「画像の印象に合わせて音楽をじめ提示する手法を併用した．

自動アレンジする手法」は，1 章で論じた[前処理][本次に，楽曲の構成要素について論じる．文献[1]で処理]の 2 段階処理によって，音楽を自動アレンジすは，音楽のさまざまな構成要素が，その印象に複雑る手法であると定義づけられる．

に関与していることを示している．さらに文献[3]で一方，音楽や画像には以下のような多種の構成要

は，この構成要素の中でも「リズム」→「旋律」→

素がある．音楽や画像の印象は，これらの構成要素「和声」→「音高」の順で印象に残りやすく，楽曲と大きな関連性がある．

を特徴付ける大きな要素となっていると述べている．

[音楽の構成要素] 「調(長調/短調)」「テンポ」「旋律

このことから現時点での実装では，音楽の構成要素(上昇/下降)」「音高(高/低)」「和声(単純/複雑)」「リのうちリズムパターンを差し替えることで自動アレ

ズム(固定/流動)」「歌詞の内容」など．

ンジを行う．他の構成要素は，現時点ではアレンジ[画像の構成要素]「色彩」「構図」「対象物」「場面設には用いていない．

定」など．

以上の前提によって構築された，現時点での実装

音楽と画像の印象を計算機が類推するためには，の概要を，図 1 に示す．現時点での実装では，二種これらの構成要素すべてを計算機が分析することが類の前処理のいずれかを用いて，画像を構成する色

望ましいが，現実的にはそれは難しい．そこで現時と対象物からのリズムパターン連想度を算出する．

点での実装では，上記の多種の構成要素の中から，続いて本論文では，入力された任意の画像の色分布

人間がもつ印象を特に大きく左右する構成要素だけを算出し，次に画像に描かれている対象物(「海」を用いている．

「山」など)から連想されるリズムパターンを算出する．そして，色分布から連想されたリズムパターン

3.2 現時点の実装の概要と，画像に描かれている対象物から連想されるリズ

現時点での実装では，3.1 節で紹介した音楽の構成

ムパターンの二つを用いて，この画像からの連想度

要素のうち，「リズム」を用いている．また 3.1 節でが高いと思われるリズムパターンを自動選択する．

紹介した画像の構成要素のうち，「画像に描かれていそしてこのリズムパターンを用いて，音楽を自動アる対象物」と「色彩」を用いている．以下に，これレンジする．

128

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

なお色相の分割数を決定する際には，太陽光が分
前処理 1

前処理 2

光して見られる虹の色彩を，日本人は 7 色で認識す

サンプル画像に写る対象物

所定の66色のサンプル色のる文化がある[24]，という事実を参考にした．

のキーワードを提示し，そのリズムパターン連想度と回答

リズムパターン連想度を回答

させる．

前処理 3

前処理 4

した．その結果，66 色では画像の印象をほぼ損なわ

サンプル画像のリズムパター

サンプル画像に写る対象物

ないが，さらに減色すると画像の印象を損ないやす

ン連想度から，所定の66色のキーワードを提示し，そのくなる，と判断した．以上の判断結果により著者らのリズムパターン連想度を算

リズムパターン連想度を回答

は，ポスタライズの色数を 66 色と決定した．

66 色にポスタライズした画像の例を図 2 に示す．
著者らは，この 66 色によるポスタライズ結果と，さらに少ない色数でポスタライズした結果を主観比較

サンプル画像のリズムパター
ン連想度から，所定の66色のリズムパターン連想度を算

本処理
画像から色分布を算出

画像に写る対象物のリズムパターンの色分布から各色のリズムパ

連想度を算出ターンの連想度を算出

図 2：66 色の妥当性の検証例
本研究では 66 色のサンプル色それぞれに対して，

上記2種類の連想度の合計値が最も高い

リズムパターンの連想度を算出する．以下，その理

リズムパターンを自動算出

由を論じる．文献[25]では，色相が与える印象の平均的傾向が記されている．しかし一方で文献[3]では，楽曲のリズムとベースを自動選出されたリズ

色相が同じ色であっても，明度・彩度が異なる場合，

ム・ベースと差し替えることにより，楽曲を心理的にそれぞれ違う影響も与えることも報告してアレンジする．

いる．このことから本研究では，色相・彩度・明度の異なる 66 色のサンプル色それぞれに対して，リズ

図 1：本手法の概要

ムパターンの連想度を算出するべきだ，と考えた．

4.2 色彩対比を利用した色重要度の算出

4. 提案手法の実装

本手法では，画像の印象を類推するために「色重4.1 サンプル色の選定

要度」という概念を導入している．色重要度とは，我々の現時点での実装では，66 色のサンプル色を

その色が画像の印象を支配する度合いを推定する数

規定し，この 66 色の各々に対するリズムパターンの値である．本手法では色重要度を，

連想度を算出する．我々の実装における 66 色の内訳

・ 画像中に占める面積は以下の通りである．

・ 隣り合う色との差分

・ まず有彩色を HSV 色空間に配置する．

・ 色自体の持つ印象

・ 続いて，その色相を 7 段階に分割する．また，により算出する．

彩度および明度を「低」「中」「高」の 3 段階に

現時点の実装では，文献[12]に紹介される色彩対比

分割する．また無彩色の明度も同様に 3 段階にのうち，以下の二項目を実装することで，「隣り合う分割する．この結果として，HSV 空間を 66 個の色との差分」「色自体の持つ印象」を加味して色重要度を算出する．

部分空間に分割する．
・ 各々の部分空間内部に 1 個ずつサンプル色を選[明度対比] 暗い色に囲まれた色の方が明るく見えるぶ．

現象．この現象を色重要度に反映するために，現時129

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

点での実装では，面積が小さいにも関わらず，周囲

これらの印象の違いを反映するには，画像に写る対と比較して極端に明度が高い領域において，その色象物からのリズムパターンの連想度を算出し，この彩の重要度をあげる．本手法では，この条件に該当

連想度を反映してリズムパターンを選択するべきだ，するとき b>1，それ以外のとき b=1 となる変数 b をと考えた．今回使用した対象物のキーワードは，花・導入する．現段階では，画像中の明度の高い 22 色の夕日・もみじ・月・樹木・海・雲・夜・雪・空の 10

総面積に比べ，明度の低い 22 色の総面積が大きい場個を使用した．

合は b の値が大きくなり，画像中の明度の高い 22 色

4.4 前処理：サンプル色・対象物とリズムパ
ターンの連想度の算出式の導出の総面積に比べ，明度の低い 22 色の総面積が小さい場合は b の値が小さくなるような単調増加関数を b

本手法では前処理として，視覚情報を被験者に提に用いる．
[進出・後退] 暖色系が進出し手前に見え，寒色系の示し，その視覚情報から連想されるリズムパターン

色が後退して見える現象．この現象を色重要度に反を回答させる．この回答結果をもとに本手法では，映するために，現時点での実装では，暖色は寒色にサンプル色とリズムパターンの連想度の算出式をた比べ進出して見えるため重要度を上げている．本手てる．以下，本手法で実装している 4 種類の前処理法では，この条件に該当するとき p>1，それ以外のについて論じる．

とき p=1 となる変数 p を導入する．現段階では，66

前処理 1
前処理 1 では，画像に写る対象物をキーワードと色全てに変数 p の値をあらかじめ決定し，要素数 66

して提示し，これに対するリズムパターンの連想度の配列にこれを保存している．
以上の二項目を用いて本手法では，66 色に減色さも，被験者に回答させる．ここで本論文では，k番目れた画像に対して，i番目のサンプル色の色重要度Ciのキーワードに対するj番目のリズムパターンの連を，以下の式で算出する．

想度を，Q kjと記述する．
前処理 2

N

C i = ∑ bi pi f i(1)

前処理 2 では，所定の 66 色のサンプル色を提示し，

i =1

同時に複数のリズムパターンを被験者に提示する．

ここでNは画像の総画素数，biおよびpiはi番目の画続いて，各サンプル色に対するリズムパターンの連素におけるbおよびpの値，fi はi番目の画素の画素値

想度を，被験者に回答させる．ここで本論文では，iがi番目のサンプル色であればfi =1，そうでなければ番目のサンプル色に対するj番目のリズムパターン

fi =0 となる二値変数である．

の連想度(回答結果から得られる値)を，R ij と記述する．
前処理 3

4.3 画像に描かれている対象物の印象

前処理 3 では，複数のサンプル画像（我々の実験本手法では画像全体の色分布だけでなく，画像にでは 25 枚）を提示し，同時に複数のリズムパターン表現されている対象物を表すキーワードも，リズムを被験者に提示する．続いて，各サンプル画像に対パターンの選出のために用いる．

するリズムパターンの連想度を回答させる．続いて，
この回答結果から，66 色の各サンプル色に対する各
リズムパターンの連想度R ij を算出する．
ここで，1 枚の画像に対する各リズムパターンの連想度の算出式を考える．1 枚の画像に対するj番目のリズムパターンの連想度(回答結果から得られる値)をPj とする．また本手法では，画像を 66 色に減色し

図 3：赤い画像の比較たときの，画像中のi番目のサンプル色の重要度を，

以下，その理由を論じる．赤い対象物を含む 2 種

式(1)から算出した結果としてCi と記述する．このと類の画像を，図 3 に示す．この図を見てもわかるよきPj とRij には，以下の式(2)が成立する．

うに，赤い花の画像と，赤い夕焼けの空の画像では，

66

Pj = ∑ Ci Rij

同じ赤でも被験者が受ける印象は大きく変わる可能

(2)

i =1

性があると考えられる．そこには「花」または「夕焼け」という，個々の対象物が持つ印象が大きく関

ここでRij を求めるために，式(2)を以下のように変係していると考えられる．このことから本手法では，形する．合計m枚のサンプル画像のうち，k番目の画

130芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

像のi番目のサンプル色の重要度をCki とする．また，処理では，この値が最大であるリズムパターンを選

k番目の画像に対するj番目のリズムパターンの連想ぶことで，入力画像に印象が合うと思われるリズム

度（回答結果から得られる値）をPkj とする．このとパターンを特定する．

き4.5.2 音楽の自動アレン ジ
我 々 の 現 時 点 で の 実 装 で は ， 音 楽 情 報 に GM

⎡ P1 j ⎤⎡ R1 j ⎤⎡ C11 L C1i ⎤
⎢ ⎥
⎢ ⎥
⎢
⎥
M ⎥, R = ⎢ M ⎥P = ⎢ M ⎥, C = ⎢ M⎢ Pmj ⎥⎢ Rij ⎥⎢⎣C m1 L C mi ⎥⎦⎣ ⎦⎣ ⎦(General MIDI) を想定し，メロディ，和音，ベース，
リズムの 4 パートが所定のチャンネルに記録された
SMF (Standard MIDI File) 形式の楽曲ファイルを用いとすると，る．画像の印象に合うリズムパターンを特定すると，

P = CR (3)

我々の実装は，それにしたがってリズムとベースをが成立する．このとき 66 枚のサンプル画像に対する差し替えることにより，楽曲をアレンジする．

回答結果があれば，連立方程式を解くことでRij の

なお現時点では単純のために，アレンジ時にメロ各々の値を得ることができる．しかし 66 枚のサンプ

ディ・和音のパートを一切変更しない．メロディやル画像に対する回答を全て用意しなければならない

和音の発音のタイミングなどをリズムパターンに応としたら，前処理での被験者の負担が大きくなる．

じて操作する実装ができれば，より効果的な音楽ア

そこで本手法では，式(3)を以下のように変形する．

レンジが実現できると考えられる．

R = C −1P (4)5. 実行結果

これにm枚の画像におけるPおよびCの値を代入す

5.1 実験方法

ることで，サンプル画像が 66 枚未満である場合にも，j番目のリズムパターンに対するRij 値の近似値を得

我々は本手法の前処理および本処理を C 言語で実ることができる．このような近似解算出手法は，本装した．そして，Windows XP 上にて Cygwin をイン手法の目的以外にも実績のある解法である．例えば 3

ストールし，Cygwin 上の GNU gcc でコンパイルした次元CGの代表的なレンダリング手法であるラジオ

実行ファイルを実験に用いた．我々の実装では，画シティ法においても，漸近的かつ高速な照度算出の像には 24 ビット非圧縮型の BMP 形式ファイルを，ために，これと等価な解法が用いられている．

音楽情報には SMF 1.0 形式ファイルを採用した．

前処理 4

BMP ファイルおよび SMF ファイルの入出力に汎用

前処理 4 では，前処理 1 と同様に，画像に写る対のライブラリ等は用いず，我々独自のライブラリを象物のキーワードに対するリズムパターンの連想度

用いて入出力処理を実装した．

Qkjを用いる．それと同時に，同じく前処理 4 と同様

以下に記述する本実験では，8 人の被験者を依頼しにi番目のサンプル色に対するj番目のリズムパター

た．8 人の年齢は全員 20 代で，内訳は男性 3 人，女ンの連想度R ij を用いる．

性 5 人，社会人 3 人，学生 5 人，音楽演奏熟達者 5人，非熟達者 3 人であった．

4.5 本処理：任意の入力画像に対する音楽の自動アレンジ

対して異なる 7 種類のリズムパターンを適用した 7

4.5.1 任意の入力 画像に印象の合うリズムパター

種類の音楽上法を，被験者に鑑賞させた．本実験でンの自動選定は 4.5.2 節で説明した SMF 形式の音楽情報を用意し，

本実験ではまず準備段階として，同じ メロディに本処理では任 意の画像を入力すると，まずその画

ベース，リズム，の 2 パートだけを差し替えた 7 種像を 66 色に減色し，各サンプル色の色重要度Ciを算類のファイルを用意した．SMF ファイルは再生環境出する．またR ijおよびQkjは前処理で算出された値をにより音質などが変化してしまうので，本実験ではそのまま用いる．画像に写る対象物のキーワードをn

我々の環境（シーケンサーソフトウェア YAMAHA個であるとすると，本処理では以下の式

SOL 2.0 およびシンセサイザー Roland SC-8820）で再

66

i =1

生したものを MP3 形式で録音し，これを被験者に鑑nPj = a ∑ C i Rij + b∑ Qkj

(5)

賞させた．

k =1

続いて以下の 4 種類の実験を用い，式(5)によりリ

により，入力画像に対するj番目のリズムパターンのズムパターンの連想度Pjを求めた．なお，実験 1～4

連想度P jを導出する(ただしa，bは任意の正実数)．本で使用された楽曲は一貫して，著者の一人である伊131

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

藤によって作曲されたものである．

は 50%未満であり，十分な結果ではないといえる．

[実験 1] 4.4 節の前処理 1 で示したように，所定の画像に写る対象物のキーワードを被験者に提示し，実験 4 におけるキーワードおよび色分布の相関性
続いて[実験 4]を行い，その過程において被験者ご

各々のキーワードから連想されたリズムパターンをとに回答を観察した．その結果として我々は被験者回答させた．この回答結果からリズム連想度Qkj を得を，た．

[被験者グループ 1] 対象物とリズムパターン連想度[実験 2] 4.4 節の前処理 2 で示したように，所定の 66の相関性より，色とリズムパターン連想度の相関性

色を被験者に提示し，各々の色から連想されたリズの方が大きい被験者

ムパターンを被験者に回答させた．この回答結果か[被験者グループ 2] 色とリズムパターン連想度の相らリズム連想度Rijを得た．

関性より，対象物とリズムパターン連想度の相関性[実験 3] 4.4 節の前処理 3 で示したように，サンプルの方が大きい被験者

画像 25 枚を被験者に提示し，各々の画像から連想さの 2 グループに分類した（分類方法については付録

れたリズムパターンを被験者に選択させた．この回

参照）．そこで[実験 4]では，式(5)の係数 a，b につい答結果から式(4)を用い，リズム連想度R ij を得た．

て，[傾向 1]の被験者に対しては a が b の 2 倍， [傾[実験 4] 4.4 節の前処理 4 で示したように，[実験 1]

向 2]の被験者に対しては b が a の 2 倍となるように，と[実験 3]を同時に行い，この回答結果からリズム連

a，b の値を使い分けた．その結果，一致率は 71%に想度Qkj とリズム連想度Rij を得た．

上昇した．以上の結果により，リズムパターンの自[実験 1]～[実験 4]のいずれにおいても，本処理で動選出には，画像の色分布だけでなく，画像に写るは任意の画像を入力した際に，式(5)を用いてその画対象物の種類を表すキーワードも参照したほうが望像から各リズムパターンへの連想度P j を算出し，こましいこと，また色分布とキーワードの重み付けにの値が最大であるリズムパターンを用いて楽曲をア相当する係数 a,b の値を被験者ごとに使い分けたほ

レンジした．ただし[実験 1]では，式(5)においてa=0うが好ましいこと，がわかった．

とし，[実験 2][実験 3]では，式(5)においてb=0 とした．我々の実験では本処理において，様々な風景がリズムパターンの特徴と実験結果の関係
続いて，リズムパターンに対する被験者 間の回答

写った，サンプル画像とは異なる 25 枚の画像を用いの相関性について観察した．その結果，各リズムパ

た．

ターンの選択される回数に，被験者間の偏りの大き以上の実験結果の一部は，以下の URL に掲載されいものと小さいものが見られた．1 人の被験者を例にている．http://itolab.is.ocha.ac.jp/~kisa/diva1/

とると，9 枚の画像に対して選ばれたリズムパターン
もあれば，2 枚の画像に対してしか選ばれなかったリ

5.2 実験結果の分析

ズムパターンもあった．選ばれる回数の少ないリズ

本研究では，提案手法の本処理によるリズムパタ

ムパターンは，もともと入力されたメロディに対しーン選択結果の妥当性を検証するために，本処理でてアレンジしにくいリズムパターンである，という用いた画像を被験者にも提示し，被験者が自分で選ことも想定される．この点について統計的に有意性択したリズムパターンと比較し，両者の一致率を算のある結果を出すためには，さらに多くのリズムパ

出した．この結果を以下に記述する．

ターンを用意した上での再実験が必要であると考え

実験 1,2,3 の一致率
前処理に[実験 1][実験 2][実験 3]を採用した際に，られる．

本処理の結果と被験者の回答との一致率は以下の通画像の色分布と実験結果の関係
続いて，画像の色分布に対する被験者間の回答のりであった．

相関性について観察した．ここで 66 色のサンプル色•

実験 1 … 11%のうち有彩色から，以下の 2 つの色グループを抽出•

実験 2 … 28%

した．

•

実験 3 … 48%[色グループ 1] 彩度または明度の最低一方が「高」これらの結果から，リズムパターンの自動選出には，であり，他方が「中」または「高」である色

キーワードやサンプル色などを提示するよりも，サ[色グループ 2] 彩度または明度の最低一方が「低」ンプル画像を提示することが好ましい，ということであり，他方が「中」または「低」である色が示唆される．ただしいずれの実験結果も，一致率

続いて各画像に対して，132

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135•

色グループ 1 に属する色の重要度Ci の累算値•

色グループ 2 に属する色の重要度Ci の累算値

6. まとめの各々を算出した．そして実験に用いた画像群を，

本論文では，画像の色分布と，画像に写る対象物

色グループ 1 のほうが重要度累算値の高い画像と，の種類から連想されるリズムパターンを用いること

色グループ 2 のほうが重要度累算値の高い画像に分で，与えられた画像に印象が合うように音楽の自動類した．

アレンジ手法を特定する手法を提案した．また我々

その結果，[実験 2] [実験 3]において，色グループの実験においては，本手法の前処理では被験者に色2 の重要度累算値のほうが高い画像群では，本処理のを提示するより実写画像を提示するほうが良好な結結果と被験者の回答との一致率は 77%であった．反果が得られること，また画像の色分布だけでなく画

対に色グループ 1 の重要度累算値のほうが高い画像像に写る対象物の種類も考慮したほうが良好な結果

群では，一致率は 53%であった．

が得られること，がわかった．

このことより，明度，彩度の高い色は，色自体に今後の課題として，以下のようなことを検討中で強い印象があるため，[実験 2]に関しては，画像中のある．

物体や情景の持つ意味と被験者の色印象が整合しな•

4.2 節で示した色彩対比に関する式(1)，およびそい画像では失敗しやすい，ということがわかる．同の係数である b 値や p 値について再考したい．

様に，[実験 3]に関しては，画像中の物体や情景の持これらは，明度や彩度の高い画像において望まつ意味と，求められた色のリズム連想度Rij の色印象

しくない結果が出やすい一因として考えられる．
•

が整合しない画像では失敗しやすい，ということが統計的な有意性の高さを出す方向に，実験方法推察される．つまり言い換えれば，4.3 節の図 3 に例を改良したい．特に本実験ではリズムパターン

示したような問題点は，明度，彩度の高い色が重要を 7 種類しか用意できなかったことから，さらな存在をもつ画像において起こりやすく，このように多くのリズムパターンを用意して再実験を行

な画像にこそキーワードの存在が重要であると考えいたい．
•

られる．またこれらの問題点を改善する一方向としリズムパターンだけでなく，それ以外の音楽のて，4.2 節で示した各色の重要度算出方法の再検討が構成要素（メロディ，和音，音色）を変化させあげられる．

る音楽の自動アレンジについて検討したい．
•

画像のキーワードと実験結果の関係
続いて，画像の色分布に対する被験者間の回答の前処理におけるリズムパターン算出式の導出過程に，学習アルゴリズムを導入したい．これに相関性について観察した．我々は本実験に用いたキより，ユーザの満足度の向上，前処理の負担のーワードを，我々自身の主観に基づいて，軽減，などの効果が期待できる．

[キーワードグループ 1] 「海」「月」のように，特定謝辞の色が連想されやすいキーワード

本研究の被験者の方々に感謝の意を示します．

[キーワードグループ 2] 「花」のように，多種多様な色を連想される可能性のあるキーワード

参考文献の 2 種類に分類した．
この結果，[キーワードグループ 1]に属するキーワ[1] 岩宮，音楽と映像のマルチモーダル・コミュニケードを持った画像では，式(5)の係数 b を大きくするーション，九州大学出版会，ISBN4-87378-647-9, 2000.

と，一致率が 84%に向上した．反対に[キーワードグ[2] 井口編，長田他，感性情報処理，電子情報通信学

ループ 2]に属するキーワードのみをもつ画像では，会ヒューマンコミュニケーション工学シリーズ，オ

一致率は 63%にとどまっており，式(5)の係数 b を調ーム社, ISBN 4-274-07774-8, 1994.

節しても一致率は向上しなかった．

[3] 大山, 伊藤, DIVA: 画像の印象に合わせた音楽自動アレンジの一手法, 第 22 回 NICOGRAPH 論文コンテ

以上の結果により，特定の色が連想されやすいキーワードをもつ画像においては，式(5)の係数 a，b をスト, 2006.

a<b となるように設定することで，より好ましい結果[4] Ohyama K., Itoh T., DIVA: An Automatic Musicが得られることがわかった．

Arrangement Technique According to Impressions of
Images, 7th International Symposium on Smart Graphics,
2007 (accepted).
[5] 上田, 感性キーワードの発展とその限界, Library133

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

and Information Science, No.41, pp. 17-25, 1999.

Engineering, Vol. 1, No. 4, 48-58, 1999.

[6] Sato A.

Kitakami H., An Impression[19] Schwende H., Auditory Emotional Access to Visual

Based Retrieval System of Music Collection, Knowledge

Ogawa J.

Information, Lecture Notes in Computer Science, Vol.

Based Intelligent Engineering Systems and Allied

2398, p. 445, 2002.

Technologies, Vol. 2, pp. 856-859, 2000.

[20][7] 池添, 梶川, 野村, 音楽感性空間を用いた感性語にAssociations for Music Compositional Processes: a

よる音楽データベース検索システム, 情報処理学会

Survey, International Computer Music Conference, pp.

論文誌, Vol. 42, No. 12, pp.3201-3212, 2001.

12-15, 2000.

[8] 熊本，太田, 印象に基づく楽曲検索システムの設[21] 佐藤, 画像から音楽を自動演奏, ピクチャーメロ

計・構築・公開，人工知能学会論文誌，Vol.21，No.3，

ディー , vo1. 2,

pp.310-318, 2006.

http://www.forest.impress.co.jp/article/2003/04/2[9] Sugihara, T.

Morimoto, K.

Kurokawa, T., An

Giannakis

K.,

Smith

M.,

Auditory-Visual

1/okiniiri.html

Improved Kansei-based Music Retrieval System with a[22] 安達, 岩宮, 色彩と音楽が互いに及ぼす影響--シ

New Distance in a Kansei Space, 13th IEEE International

ョパンのエチュードを手がかりに, 第 5 回学生のため

Workshop

Robot

on

and

Human

Interactiveの研究発表会講演論文集(日本音響学会九州支部), pp.

Communication, pp. 141-146, 2004.

13-16, 2003.

[10] Feng Y., Zhejiang Y., Pan Y., Popular music[23] 北島, 土居, 画像の構成を手掛かりとした音楽のretrieval by detecting mood, 26th annual international検索, 平成 15 年度情報処理学会関西支部大会講演論

ACM SIGIR coference on Research and development in

文集, pp. 39-42, 2003.

information retrieval, pp. 375-376 , 2003.

[24] 大林, 銀河の道 虹の架け橋, 小学館, 1999.

[11] Vignoli F., Pauws S., A Music Retrieval System[25] 色について

Based on User Driven Similarity and Its Evaluation, 6 th

http://park11.wakwak.com/~d-o-b/color/

International Conference on Music Information Retrieval,

付録：実験 4 における被験者の分類

pp. 272-279, 2005.
[12] 古賀, 下塩, 画像に合った音楽の選定技術， ヒュ

画像a，画像bにおけるi番目の色の重要度をCai ，Cbi

ーマンコミュニケーション基礎研究会技報, 平 11-9,としたとき，色分布に基づく画像ab間のユークリッ

1999.

ド距離D c(a,b) を以下のように定義する．

[13] 北島, 土居, 相互検索のための画像と音楽の印象

Dc ( a , b ) =語を介した関連付け手法, 第 20 回ファジィシステム
シンポジウム後援論文概要集, 3E3-3, 2004.

66∑ (C − C ) (6)
i =1

ai

bi

[14] 北島, 土居, 画像と音楽の分類と相互検索, 第 47

また画像a，画像bにおけるj番目のキーワードの連想

回システム制御情報学会研究発表講演会講演論文集,

度をQ aj ，Qbjとし，実験に用いたキーワードの個数を

pp. 157-158, 2003.

nとしたとき，キーワードに基づく画像ab間のユーク[15] Nakanishi T., Kitagawa T., An Implementation

リッド距離Dw(a,b)を以下のように定義する．

Method of a Heterogeneous Associative Media Data

D w ( a ,b ) =Search for Music Data and Image Data, 24th IASTEDInternational Conference on Database and Applications,n∑ (C − C ) (7)
j =1

aj

bj

pp. 143-152, 2006.

このとき，実験に用いたN枚の画像から全ての組み合[16] Oda M., Itoh T., MIST2: An Automatic Image

わせで 2 枚を選んでユークリッド距離を算出した場

Selection Technique According to Impression of Music,

合に，D c(a,b) および Dw(a,b) の平均値は以下の通りであNICOGRAPH INTERNATIONAL 2007 (In Process).

る．

[17] Hermann T., Ritter H., Listen to your Data:
Model-Based

Sonification

for

Data

Analysis,

Dc =

N N
2
∑∑ Dc (i, j )N ( N − 1) j =i +1 i =1

(8)

Dw =

N N
2
∑∑ Dw(i, j )N ( N − 1) j =i +1 i =1

(9)International Institute for Advanced Studies in System
research and cybernetics, pp. 189-194, 1999[18] Kaper H. G., Tipei S, Wiebel E., Data Sonificationand Sound Visualization, Computing in Science and134

芸術科学会論文誌 Vol. 6 No. 3 pp. 126 - 135

一方，実験に用いたリズムパターンをM個とし，k番

女 子 大 学 理 学 部 情 報 科 学 科 助 教 授 ． ACM, IEEE

目のリズムパターンが選ばれている画像の個数をNk

Computer Society, 情報処理学会，芸術科学会，画像とする．また，k番目のリズムパターンが選ばれてい電子学会，他会員．

る画像どうしのユークリッド距離をDc(k,a,b) およびDw(k,a,b)とする．このとき，Dc(k,a,b)および Dw(k,a,b)の平均値は以下の通りである．
Nk Nk
2∑∑ Dc ( k ,i, j )k =1 N k ( N k − 1) j = i +1 i =1

(10)

Nk Nk
2
∑∑ Dw( k ,i , j )k =1 N k ( N k − 1) j =i +1 i =1

(11)

M

Dck = ∑
M

Dwk = ∑

ここで式(10)(11)の算出値が小さいほど，同一のリズ
ムパターンが選ばれる画像間のユークリッド距離が小さい，つまり被験者のリズムパターン選択との相関性が高い，と考えることができる．よって我々は，

Dck
DC

<

Dwk
Dw

(12)

が成立するような実験結果を導く被験者は，対象物とリズムパターン連想度の相関性より，色とリズム
パターン連想度の相関性の方が大きい被験者である，と判断した．さもなければ，色とリズムパターン連
想度の相関性より，対象物とリズムパターン連想度の相関性の方が大きい被験者である，と判断した．

著者紹介

大山 喜冴
2006 年お茶の水女子大学理学部情報科学科卒業．現
在お茶の水女子大学大学院人間文化研究科数理・情報科学専攻在学中．情報処理学会会員．

伊藤 貴之
1990 年早稲田大学理工学部電子通信学科卒業．1992
年早稲田大学大学院理工学研究科電気工学専攻修士課程修了．同年日本アイ・ビー・エム(株)入社．1997
年博士(工学)．2000 年米国カーネギーメロン大学客員研究員．2003 年から 2005 年まで京都大学大学院情報学研究科 COE 研究員(客員助教授相当)．2005 年日
本アイ・ビー・エム(株)退職，2005 年よりお茶の水

135