CNN をもちいたフェルメールの特徴量分析
小田稜子 (指導教員：伊藤貴之)

1はじめにtropyLoss()，最適化アルゴリズムを Adam としてとして，ラベル分類を試みた．

ディープラーニングによる画像の分析が近年活発に報告されている. しかしディープラーニングには大量の画像が必要であり，絵画のように制作物の数が限られる題材の 扱いは簡単ではない. また，学習した特徴の解釈は複雑であるため，一見して何を特徴として解釈したのかわかりにくいという問題もある. そこで本研究では機械学習結果の可視化により，特に作品数が少ないフェルメールの特徴量分析に挑戦する.

2

絵画画像の機械学習と可視化

2.1

データセット2.4

本研究では，CNN が読み取った特徴量として中間層の出力をもちいる．具体的には出力層の手前の出力を使用する．CNN は入力から遠い層であるほど抽象的な特徴を学習するため，出力層の手前の層からは構図やライティング，色構成などの概略的な特徴を反映した特徴量を抽出できることが想定される．2.3 節の実験で学習させたモデルに対し，学習データとテストデータを入力として再度分類させ，その過程で得られる中間層の特徴量を抽出した．これを一度フラット化した
のち，UMAP による次元削減を適用して 2 次元に変換した．この結果を Plotly で散布図にして観察した．
以上の実行結果を参照して，以下の直感的な仮説を検証する．
[仮説 A] フェルメールは当時の画家としては珍しく，青色 (いわゆるフェルメールブルー) を多用する画家である．よって色によってクラスタが形成されると考えられる．
[仮説 B] フェルメールは構図が正確であり，左側から光が差す構図をよくもちいる画家である．散布図には構図によるクラスタが見られると考えられる．

本研究ではパブリックドメインの油彩を中心とした作品を，人物画や風景画などの絵画のジャンルを問わずに収集した．対象の画家は，フェルメールおよびフェルメールと同じバロック画家の計 5 人である．各画家の収集した作品の数を表 1 に示す．これらの画像のうち，20%にあたる分をテストデータとして分け，後述の加工を行った．データセットのラベルは各画家の名前に対応させた 5 つとした．
表 1: データセット

2.2

ラベル

画家

絵画の数0

フェルメール3231

レンブラント1352

フランス・ハルス473

ヤン・ステーン

904

ルーベンス

221

データセットに対して転移学習した際，学習データの精度は 0.99 を超え，テストデータの精度も 0.8 を達成した．学習データの，出力層の手前の特徴量から作成した散布図は図 1 のようになった．この散布図を見ると，画家ごとに比較的綺麗なクラスタを形成していることがわかる．このうちルーベンスに対応する点群を非表示にすることで，図 2 を得た．フェルメールを表す点のうち，フェルメールのクラスタから離れている点に注目すると，同じ作品から切り取られた画像が別の場所に位置していることがわかる．

データセット加工

本研究では画像データ数を増やすために，絵画の縦横比を維持したままリサイズして切り出すという方法をとった．絵画においては正方形へリサイズしてしまうと絵画の持つ比率が崩れてしまう．そこで，絵画の短辺を入力画像のサイズに合わせてリサイズし，長辺側をずらして切り出すことで，絵画の比率を保ったままデータの数を増やすことにした．リサイズ処理によって，絵画の構図やライティング，コントラストといった全体の印象を学習することができる．

2.3

可視化

結果と考察

学習

本研究では，Python 向けの機械学習ライブラリである Pytorch を使いて，標準的に用意されているモデルと重みを利用して上記データセットの転移学習を実行した．Pytorch の公式サイトを参考に， RegNet Y 32GFをモデルに選んだ．RegNet[1] は 2020 年に Facebookの AI チームによって開発されたアーキテクチャで，それまで最高精度を誇った EﬃcientNet[2] よりも精度が高く，より高速に学習できると報告されている．このモデルの最終層 (全結合層) のみを用意したデータセッ
トで学習し，エポック数を 20，損失関数を CrossEn-

図 1: 出力層近くの特徴量の散布図
この結果に対して考察する．図 1 を眺めると，フェルメールに対応する点群は他の画家に比べ，やや外側にクラスタを形成している．また，ルーベンスに対応

1

空間がない画像はクラスタから離れた場所に位置している点では共通している．
また，絵画中の対象物の配置について大局的に注目してみると，クラスタから離れている上述の絵画 4 枚とも，画面上部から大きく三角形を描くような配置になっている．それに対して，フェルメールに対応する点群のクラスタに属する他の作品は，画面の少し下からの三角，あるいは四角の配置になっている．このことからも，今回採用した機械学習でのファクターは主に構図であり，フェルメールは特に上部の空間が特徴的であることが示唆される．

4

図 2: うちルーベンスを非表示にした散布図

まとめと今後の展望

本報告では機械学習をもちいて絵画を分類した後，その中間層を散布図によって可視化することで，画家分類の鍵となるようなファクターを示した．ImageNetを事前学習した CNN モデルでフェルメールおよび同じ時代のバロック絵画を分類する際に，主に構図がその分類タスクの大きなファクターであることが示唆された．特にフェルメールらしさについては，画面上部に大きく空間があることが特徴であることが示唆された．
今後の課題として，構図以外のファクターを重視するモデルの検証があげられる．この目標を達成するた
めには，事前学習なしに，最初から絵画のみを学習させたモデルの作成が理想である．しかし，ImageNet ほ
どの大規模な絵画データセットの構築には一定の手間がかかる．代替え手段として，既出の事前学習モデルから，色や明暗，ストロークなど別のファクターを重視するようチューニングしたモデルを模索したい．
また現時点では散布図から特徴を読み取る作業が煩雑であり，分析者個人の力量を要する．よって画像ごとに造形要素をわかりやすく示す可視化システムの開発について検討したい．
さらに，フェルメールに限らず西洋美術史全般の多様な画家についても同様な作業を実施して，既存の美術的な価値観を見出せるか，新たな価値観を発見できないか，検証したい．

する点群の配置については，枚数の多さとジャンルの多彩さから『その他大勢の画像』として認識されている可能性が高い．ここから，フェルメールの絵画は他の画家と比べて何かしらの突出した特徴を持っていることが示唆される．その特徴の可能性として構図が考えられる．フェルメールは構図にこだわりを持った画家であり，奥行きが強調された絵画が多い [3][4]．対してレンブラントらは，対角線構図や三角構図など，画面に対して平面的な構図をとることが多い．本研究では ImageNet-1K を用いた事前学習モデルを転移学習に採用しているが，この画像データセットは現実的な写真を収録していることから，現実世界の構図を忠実に再現したフェルメールの作品が他の画家とは異なるものとして学習できた可能性が示唆される．
また，本研究で作成したデータセットでは，全ての画家において肖像画や風俗画，風景画が明確に区別されずに混在していることから，分類の要因が絵画の主題 (何が描いてあるか) ではないと考えられる．さらに，クラスタの端に位置する『レースを編む女』に注目すると，フェルメールには珍しい右側から光の当たる作品である．この作品もクラスタ内に含まれることから，絵画のライティングも画家の分類にはさほど関係ないと言うことができる．
次に，2 章であげた仮説について検証する．[仮説 A]の色によるクラスタについては，同じ作品から切り取られた画像が別の場所に位置していることから，関連性が低いと考えられる．特に，フェルメールに対応する点群から離れた場所にも青色の目立つ作品が位置することから，少なくともバロック時代の画家分類において色はそれほど重要ではないと考えられる．
次に [仮説 B] の構図によるクラスタについて考える．
フェルメールに対応する点群のクラスタから孤立して離れている点は，そのいずれも作品全体が離れた場所に位置しているわけではなく，切り取った一部の画像のみが孤立している．したがって，切り取りにより位置がずれることが分類に影響していると考えられる．
言い換えれば，例えば構図や明暗の配置などが分類のファクターになっていることが示唆される．
『信仰の寓意』，『少女』，『音楽の稽古』の 3 作品においては，画像上部に大きな空間があるように切り取られた画像が，フェルメールに対応する点群のクラスタに属しており，逆に空間がないような画像はクラスタから離れて位置していることがわかる．
『青衣の女』においても，他の3 作品に比べるとその差がわかりづらいものの，画面上部に空間のある画像はクラスタに属し，そのような謝辞
本研究の遂行にあたり，有用なご助言を賜りました，
大阪大学大学院情報科学研究科 中島悠太准教授に深謝いたします．

参考文献[1] Radosavovic, Ilija, et al. ”Designing network design spaces.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.
[2] Tan, Mingxing, and Quoc Le. ”Eﬃcientnet: Rethinking model scaling for convolutional neuralnetworks.” International conference on machinelearning. PMLR, 2019.
[3] Wadum. J., Vermeer in Perspective, National
Gallery of art, Washington. 1995.
[4] 佐藤紀子. ”ヨハネス・フェルメールの絵画空間の考察―構図決定時におけるカメラ・オブスクラの役割―.” 図学研究 41.3 (2007): 17-26.
2