Ziplayer: 絵画，文章，音楽を組み合わせたメディアプレイヤーの提案
福本麻子*1*1

塚田浩二*2

蔡東生*3 安村通晃*4*

慶應義塾大学ＳＦＣ研究所， 2 独立行政法人 産業技術総合研究所*3*

筑波大学システム情報工学系， 4 應義塾大学環境情報学部

1. 背景
近年，文章や音楽，絵画から，さまざまな統計的な特徴量を抽出する研究がある．たとえば，文章においては，文章中の単語の出現頻度と出現順位が冪乗則に従うことが，Zipf により確認されている[1]．また，音楽においては，音符の出現頻度と順位を解析した結果， ドビュッシーやモーツァルトなど調和のとれた音楽は冪乗則に従っており，シェーンベルグなど無調和音楽は従っていないことが報告されている[2]．
我々はこれまで絵画の色彩情報に着目して統計的解析を行っており，印象派/後期印象派の画家がパレット上で使った色（パレットカラー）とその使用量が Zipf の法則に従っていることを確認した[3]．本研究では，文章，音楽，絵画など異なる表
現メディアにそれぞれ Zipf の法則が内在することに着目し，Zipf の法則を一つの指標として用いて，各メディアを相互に掛け合わせた新しい作品の表
現/鑑賞手法（メディアプレイヤー）の実現を目的とする(a) 文章2．Ziplayer
2.1. モチベーション
前述したように，我々は印象派絵画の色彩が Zipfの法則に従うことを確認した．さらに，音楽・絵画などの統計的特徴量の分布には，さまざまな共通点が存在することを発見した．たとえば，印象派絵画の色の出現頻度と出現順位の分布の傾きには，各流派，各アーティストごとの特徴がみられた．また，印象派の絵画の傾きと，同時代の音楽であるドビュッシーの音楽の分布は近似していた(図 1 参照)．このように，統計的特徴を利用することで，文章・音楽・絵画などのメディアを相互に掛け合わせた，新しい表現を実現できる可能性があると考えた．
2.2. 絵画と文章の融合
ここでは，絵画と文章の融合の一例として，絵画の特徴的な色彩(パレットカラー)を利用して文章に色をつけたり，人間に心地よいとされる Zipf 則に従った新しいテクスチャを製作する例を示す．

(b) 音楽(c) 絵画

Log N Frequency

単語の使われた頻度

2000
1500

1000

12510

単語の出現順位(a) Zipf が解析した文学作品,ユリシーズの出現頻度と出現順位の分布(b) Zanette が解析したドビュッシーの音符の出現頻度と出現順位の分布(c) 著者が解析したモネ“日傘を差す女”(1874)の各色の出現頻度と出現順位の分布
図 1. 文章，音楽，絵画における Zipf 分布*1: SFC Lab, Keio University*2: AIST*3: Tsukuba University*4: Faculty of Environmental Information, Keio University

2050100200

Log s rank文章の単語の出現頻度と絵画の色彩の出現頻度が共に Zipf の法則に従うことを利用し，文章の構造に絵画のパレットカラーを割り当てテクスチャ・パターンを作成する（図 2，手法の詳細は[4] 参照）．

(a) 音符にあわせた色彩表現の一例

Van Gogh 1890 “Starring Night”(a) 絵画よりパレットカラーを抽出
Episode 1 Telemachus STATELY, PLUMP BUCK MULLIGAN CAME FROM THE
STAIRHEAD, bearing a bowl of lather on which a mirror and a razor lay crossed. A yellow
dressing gown, ungirdled, was sustained gently-behind him by the mild morning air. He held
the bowl aloft and intoned: Introibo ad altare Dei. Halted, he peered down the dark winding
stairs and called up coarsely: Come up, Kinch. Come up, you fearful jesuit. Solemnly he cameforward and mounted the round gunrest. He faced about and blessed gravely thrice the tower,
the surrounding country and the awaking mountains. Then, catching sight of Stephen Dedalus,
he bent towards him and made rapid crosses in the air, gurgling in his throat and shaking his(b) 絵画を再構築する表現の一例

図 3 絵画と音楽を融合させたプレイヤーの概要

head. Stephen Dedalus, displeased and sleepy, leaned his arms on the top of the staircase andlooked coldly at the shaking gurgling face that blessed him, equine in its length, and at thelight untonsured hair, grained and hued like pale oak. Buck Mulligan peeped an instant(2-2)音楽の進行にあわせて，各音符に対応したパ(b)文章の単語の出現頻度順にパレットカラーで着色

レットカラーが画面上に表示され，最後に一枚の絵として完成される(図 3 b)．

3. まとめ本提案では文章，音楽，絵画など異なる表現メ
ディアに対し，Zipf の法則を一つの指標として用いて絵画・文章・音楽などのメディアを相互に融合したり，掛け合わせた新しい作品の表現/鑑賞手法「Ziplayer」を提案した．
(c)1 単語=■に変換し，テクスチャ・パターンを生成
図 2 絵画と文章を融合させたテクスチャの製作手順

2.3. 絵画と音楽の融合
絵画と文章の融合の一例として，絵画のパレットカラーを MIDI 形式の音楽の各音符に割り当てた表現手法を提案する．図 3 は，以下に同じ印象派のドビュッシーの音楽(月の光)とゴッホの絵画(Starring Night)を組み合わせた例を示す．
(1.)MIDI 形式の音楽の各音符の出現頻度を取得し，
図 2(a)のパレットカラーを割り当てる．
(2-1.)音楽の進行に合わせて，各音符に対応した色が絵画上に表示され，色彩がさまざまに切り替わる（図 3 a）．

参考文献
[1] Zipf, G. K.: Human Behavior and the Principle ofLeast Effort,Cambridge MA:Addison Wesley,1949[2] Zanette, D. H. and Montemurro, M. A.: Dynamics
of text generationwith realistic Zipf’s distribution,Journal of quantitative Linguistics, 2004.
[3] 福本麻子，蔡東生，安村通晃：統計的手法による印象派絵画の解析；ヒューマンインターフェース学会論文誌 vol7 No.2, pp.89-97 (May, 2005)[4] 福本麻子，塚田浩二, 蔡東生，安村通晃：統計的手法を用いたテクスチャパターン生成手法の提案，WISS2005 論文集 (Dec, 2005).