論文紹介: 絵画における独創性の客観的な数量化

# 紹介する論文
Ahmed Elgammal and Babak Saleh. Quantifying the Creativity in Art Networks. In the Proc. of the 6th Int'l Conf. on Computational Creativity (ICCC 2015), 2015.
http://computationalcreativity.net/iccc2015/proceedings/2_3Elgammal.pdf


# 概要

* [仮定] 独創性 (creativity) :=独自性 (originality) +影響力 (influential) 
* 絵画の独創性を示す**客観的な値**を、絵画の描かれた年と絵画どうしの類似度から求める方法の提案
* 独創性の値を求める問題を、ネットワーク中心性の問題に置換
* 実際の絵画データに基づく、それぞれの絵画の創造性の評価
* この論文での対象は（西洋）絵画だが、その対象は（類似度が求められるなら）音楽、浮世絵、水墨画、書道、詩歌、俳句、将棋の棋譜などさまざま可能

![概念図](https://qiita-image-store.s3.amazonaws.com/0/163603/cfd36567-7fd4-04fe-11de-8c9e1a55a8c6.png)


# この文章の前に

この論文には、次の2つの紹介記事がある。
* gigazine <a href="http://gigazine.net/news/20150815-computer-algorithm-most-creative-paintings/">コンピューターはアルゴリズムで「クリエイティブな芸術作品」を見分けて格付けできるのか?</a>, 
* tocana: <a href="http://tocana.jp/2015/06/post_6652.html">名画の価値を視覚化！ コンピュータが導き出した、「もっとも独創的な絵画」とは？（最新研究)</a>
これらの記事に、論文の実験結果などが紹介されているので、この文章を読む前に参照されたい。この文章は技術的な面を説明する。
論文中の表記のいくつかは、簡単のため変更している。

# 提案手法の目的

創造的な絵画は人を魅了する。しかし、絵画の評価は時代、文脈、評論家の考えなどに影響されて主観的になってしまう。例えば、ゴーギャン、ゴッホ、モジリアニの絵画は彼らが生きているときは評価されなかったが、今や彼らの絵画は名作として知られている。主観を排除して、客観的に絵画の独創性を評価できれば、主観で見逃した、素晴らしい絵画を見つけられるかも知れない。
そこで、客観的な絵画の評価を目指して、この論文の著者らは、芸術の知識を用いずに、絵画の独創性を数量化する方法を提案した。

# 計算の枠組み

それぞれの絵画の独創性の値を求めるために、次の2ステップを行う。

1. 任意の2つの絵画の間の類似度を使って、絵画を頂点とする重み付きグラフをつくる。
1. 重み付きグラフから独創性の値を計算する。

## 重み付きグラフの作成

入力: 絵画の種類数 $N$, 絵画 $x$, $y$ ($1\leq x, y\leq N$) の**類似度** $s(x, y)$ の値, それぞれの絵画が描かれた年. 

絵画が頂点となり、絵画同士を辺でつなぐ重み付き有向グラフ $G=(V,E)$ を考える。ただし、$V=\\{1,2,\ldots,N\\}$ は頂点の集合、$E\subseteq V^2$ は有向辺の集合を表す。説明のために、絵画 $x\in V$ は絵画 $y\in V$ より昔に描かれていて、$y$ は絵画 $z\in V$ より昔に描かれているとする。

* $m(y)$ は、$y$ において独自性と影響のバランスを取るために与えられた実数値を表す。
* $x$ と $y$ の**類似度** $s(x, y)$ は色、主題、ブラシ使いなどの視覚的要素の比較から求められた非負の値として事前に求められているとする。
* もし $y$ が $x$ とは十分に違っている ($s(x, y) < m(y)$) ならば、
 $y$ は（$x$の影響をあまり受けずに描かれた）**独自性**があると考え、 $y$ から $x$ を辺でつなぎ、その（独自性の）重みを $w_{yx} = m(y)-s(x,y)$ とする。
* もし $y$ が $z$ に似ている( $s(y, z) > m(y)$ ) ならば、 $y$ は （$z$ が描かれたとき） $z$ に**影響**を与えたと考え、
$y$ から $z$ を辺でつなぎ、その（影響の）重みを $w_{yz} = s(y, z) - m(y)$ とする。 

これらに従って計算した重みの例を図に示す。図において、水色の丸が頂点であり、頂点 $y$ の周囲だけの辺のつながりを図示している。上半分の矢印とそこに添えてある数字は、矢印がつなげる2つの頂点 $i, j$ の類似度の値 $s(i, j)$ を表す。頂点の下にある、下線付きの数字は、独自性と影響のバランスをとる定数 $m(i)$ を表す。$y$ より後の時代に描かれた絵画における定数は、この例で計算しないため、省略されている。

この重み $w_{ij}$ の全体を $N\times N$ 行列 $W=\{w_{ij}\}$ で表す。有向グラフをこのように構成することで、重みはすべて非負の値になる。

![重み有向グラフの重みにおける計算](https://qiita-image-store.s3.amazonaws.com/0/163603/73c50b2c-c312-cce8-62bd-7edb54821368.png)

## 独創性の値の計算

ある年に書かれた絵画 $y$ の独創性を示す値 $c_y$ の性質を次のように考える。

* $y$ より前に描かれた、絵画 $x$ と異なっている（独自性がある）ほど、$y$ の独創性 $c_y$ は値が大きくなる（模倣していない独自の独創的な絵画である）。
* $y$ より後に描かれた、画 $z$ と似ている（影響がある）ほど、$y$ の独創性 $c_y$ は値が大きくなる（後に影響を与えた独創的な絵画である）。

この性質と、PageRank [BP98]　の考えを用いて、 $c_y$ の関係式を次の2通り、別々に定義する。

a. 独自性と影響をひとまとめにした定義

すべての重みを計算した後、任意の頂点の対 $v, y$ に対して、$y$ から $v$ への辺の重み $w_{yv}$ を正規化し、

```math
p_{yv}=\frac{w_{yv}}{\sum_{v'\in V}w_{yv'}}
```
を定義する。この $p_{yx}$ では $\sum_{v\in V}p_{yv} = 1$ になる。そして、$N\times N$ 行列 $P$ を $P=(p_{ij})$ と置く。この $p_{yx}$ を、隣接する絵画 $x$ の独創性を参照するときに用いる。

```math
c_y = (1-a) \frac{1}{N} + a\sum_{v\in V}p_{yv}c_v.
```

ここで、$a$ は $0<a<1$ を満たすある定数とする。この定義では、$c_v$, $p_{yv}$ が大きい値になるにつれて、 $c_v$ が大きい値をとる。

列ベクトル ${\bf c}=(c_1,c_2,\ldots, c_N)^T$ と置くと、いま定義した独創性の関係式を

```math
{\bf c}=(1-a)\frac{1}{N}{\bf 1} + aP{\bf c}
```
のように、行列を使ってまとめられる。ただし、${\bf 1}$ は　$N$ 要素がすべて 1 となる列ベクトルとする。この式を次のように変形することで、絵画の独創性を表す ${\bf c}$ が求められる。

```math
\begin{eqnarray*}
{\bf c}&=&(1-a)\frac{1}{N}{\bf 1} + aP{\bf c}\\
(I-aP){\bf c}&=&(1-a)\frac{1}{N}{\bf 1}\\
{\bf c}&=&\frac{(1-a)}{N}(I-aP)^{-1}{\bf 1}\\
\end{eqnarray*}
```

b. 独自性と影響を別々に重みづけした定義

有向グラフ上で絵画（頂点） $y$ に隣接する絵画（頂点）の集合を2つに分ける。

* $V_o(y)$ を、$y$ から独自性（過去の絵画へ）の辺がある絵画（頂点）の集合とする。
* $V_i(y)$ を、$y$ から影響（その後に描かれた絵画へ）の辺がある絵画（頂点）の集合とする。

隣接する頂点を独自性と影響の2種類に分けて、重みをそれぞれ正規化する。

```math
q_{yx}=\frac{w_{yx}}{\sum_{x'\in V_o(y)} w_{yx'}},
r_{yz}=\frac{w_{yz}}{\sum_{z'\in V_i(y)} w_{yz'}}.
```
この $q_{yx}, r_{yz}$ について、$\sum_{x\in V_o(y)}q_{yx} = 1, \sum_{z\in V_i(y)}r_{yz} = 1$ が成り立つ。そして、$N\times N$ 行列 $Q, R$ をそれぞれ $Q=(q_{ij})$, $R=(r_{ij})$ と置く。この $q_{yx}, r_{xz}$ を、隣接する絵画 $x, z$ の独創性を参照するときに用いる。

```math
c_y = (1-a-b) \frac{1}{N} + a\sum_{x\in V_o(y)}q_{yx}c_x
+b\sum_{z\in V_i(y)}r_{yz}c_z.
```

ここで、$a, b$ は $0<a, b$, $a+b<1$ を満たすある定数とする。$a, b$ の一方を大きい値にすることで、独自性、または、影響のどちらを重視して独創性を求めるかを調整できる。

列ベクトル ${\bf c}=(c_1,c_2,\ldots, c_N)^T$ と置くと、独創性の関係式を

```math
{\bf c}=(1-a-b)\frac{1}{N}{\bf 1} + aQ{\bf c}+ bR{\bf c}
```
のようにまとめられる。この式を次のように変形することで、絵画の独創性を表す ${\bf c}$ が求められる。

```math
\begin{eqnarray*}
{\bf c}&=&(1-a-b)\frac{1}{N}{\bf 1} + aQ{\bf c} + bR{\bf c}\\
(I-aQ-bR){\bf c}&=&(1-a-b)\frac{1}{N}{\bf 1}\\
{\bf c}&=&\frac{(1-a-b)}{N}(I-aQ-bR)^{-1}{\bf 1}\\
\end{eqnarray*}
```

以上により、絵画 $y$ の独創性の値 $c_y$を求めることが出来た。

##グラフの簡略化

類似度の有向グラフを作成したとき、辺は常に、古い作品から新しい作品に向いている。このため、
古い作品ほど出次数が大きくなり、新しい作品ほど入次数が
大きくなる、という偏りができる。これを整えるため、入次数はたかだか $K$ とする。

##独自性と影響のバランスを取る値 $m(y)$ の決め方

### 大域的な決め方
重み付き有向グラフの $p$ パーセントが、辺の向きを逆にするように $m(y)$ の値を定める。

### 局所的な決め方
各頂点 $y$ に対して、$y$ と同時期の頂点との間の辺の向きが $p$ パーセント逆になるように $m(y)$ の値を定める。

##残っている主観性

1. 絵画どうしを比較する類似度関数の選び方
2. 絵画ごとに独自性と影響のバランスをとる定数 $m(y)$ の値の設定
3. 創造性 $c_y$ の定義式にある $a, b$ の値の設定（独自性、影響を全体でどの位考慮するか）
4. データに用いる絵画の選び方

#感想

絵画の集合が与えられたとき、類似性によって絵画のネットワークが構成でき、ネットワーク解析の手法が適用できることが示された。これにより、次のような（銅鉄主義ではあるが）発展形が考えられる。

* f に関する作品の集合 + f に関する作品の類似度計算法 + この論文の手法
* f に関する作品の集合 + f に関する作品の類似度計算法 + 他のネットワーク解析の手法

この論文では、f は（西洋）絵画だが、f は音楽、浮世絵、水墨画、書道、詩歌、俳句、将棋の棋譜などさまざま考えられる。f の作品の類似度が鍵になるので、作品の類似度を定義できる知識が不可欠である。また、作品の集合を重み付き有向グラフに変換する方法が示されたので、他のネットワーク解析手法をそのグラフに適することも可能であろう。

一方、提案手法の改善としては、絵画データとパラメータの値を決める客観的な方法を考える余地があると思われる。

また提案方法では、ごく最近に描かれた絵画が、独創性があるのか、ただの落書きなのか、区別が難しいと思われる。ただし、

* 斬新な絵画: 既存の絵画とは異なる独自性を持ち、創造性も高い絵画、
* 落書き: 絵画としての品質が低いので、既存の絵画とは異なる独自性を持ち、創造性は低い絵画

とする。斬新な絵画が発表された時点では、この方法による斬新な絵画の評価は（独自性のみに頼るので）低く抑えられ、創造性の評価では落書きと区別できない。
![発表直後の絵画に対する評価の問題](https://qiita-image-store.s3.amazonaws.com/0/163603/de0e1824-7702-77a6-05b1-3634042be8e1.png)
他の画家たちが、その斬新な絵画を創造性にあふれると判断して、類似した絵画を発表した後にならないと、その創造性の評価は高くならない。これでは、画家たちが創造的だと認めている絵画しか評価は高くならない。画家たちの評価をコンピュータの計算で後追いしているだけに感じる。

参考文献

* [BP 98] Sergey Brin and Lawrence Page. The anatomy of a large-scale hypertextual web search engine. Computer networks and ISDN systems, 30(1):107-117, 1998.