DEIM Forum 2019 A1-2

色彩と輪郭線ならびに DNN 特徴量を組合せた特徴量による画家推定
山内 良介†

青野 雅樹††† 豊橋技術科学大学 情報・知能工学課程 〒 441–8580 愛知県豊橋市天伯町字雲雀ヶ丘 1-1†† 豊橋技術科学大学 情報・知能工学系 〒 441–8580 愛知県豊橋市天伯町字雲雀ヶ丘 1-1
E-mail: †yamauchi@kde.cs.tut.ac.jp, ††aono@tut.jp
あらまし

近年，インターネット上に膨大な量のデジタル化絵画が存在している. ここでは，歴史的に有名な画家が描いた絵画に着目して画家の推定を行う. 画家を正確に推定するために，ImageNet で事前訓練された DNN 特徴量だ
けでなく，画風の特徴である「色彩」や「輪郭線」の特徴量を用いる. 従って，DNN 特徴量 (ベースライン) に加えて色彩と輪郭線の特徴量を複合したニューラルネットワークを提案する. また，提案したニューラルネットワークに新たに全結合層を追加した 2 つ目のモデルを作成することで次元の削減を行う. Kaggle のデータを用いて実験を行いその結果，ベースラインモデルの精度は約 73%，2 つ目の提案モデルの精度は約 78%となり，2 つ目の提案手法がベースラインモデルより優れた推定手法であることを示した.
キーワード 絵画，転移学習，深層学習，画像特徴量
どがある. 国外の研究は，Gatys らのニューラルスタイル変1 はじめに近年，インターネット上に膨大な量のデジタル化された絵画が存在している. Artsy [1] のようなオンライン上の画廊やWikiArt [2] のような絵画のデータベースがあるように，人々が絵画に触れる機会が多くなってきている.
たくさんの絵画が存在する中で，ある絵画のオマージュ作品のような偽物の絵画，画風の似ている画家そして年代で画風が違う画家が存在するため，画家推定は非常に困難なタスクである. また，国内外で絵画を用いた研究は，画風推定やスタイル変換などが主であり，画家の推定はあまり行われていないのが現状である.
画家推定は，画家やスタイルに精通している学芸員や鑑定士によって行われ，非常に複雑で難しい問題であるが，画家推定を自動化することができれば，歴史的な問題である偽物作品の特定，絵画の自動ラベル付けや絵画の検索システムなど様々な応用先に期待できる.
そこで本研究では，収集した画家の絵画を入力として Ima-geNet で事前訓練された ResNet-50 の転移学習から得られた
DNN 特徴量をシンプルな多層パーセプトロンを通して画家推

換 [5] や Cetinic らの Caﬀenet を用いた 27 人の画家分類 [6] やBadea らの ResNet-34 を用いた絵画のシーン分類 [7] や Florea
らの色ヒストグラムとトポグラフィカル特徴量を用いた絵画の画風分類 [8] などがある.
本研究の提案手法では画風を強調した絵画を用いるが，画像処理を加えた画像をを深層学習に用いる研究は多々ある．片岡らは GAN を用いた漫画画像の自動着色の研究にエッジ画像を用いている [9]. 藤田らはニューラルネットワークの入力の RGB
画像を HSV に変換し，彩度と明度の情報を用いている [10]. また，提案手法でカラーヒストグラム特徴量を用いるが，類似画像検索システムの研究などにカラーヒストグラムが用いられており [11]，古くからもこの特徴量は用いられている [12].
加藤らは，源氏絵に描かれている人物の顔に着目して流派を推定しているが，絵画には，肖像画や風俗画だけでなく風景画も含まれるため，全ての画像に対して顔を抽出する方法は使えない. そこで，我々は各画家の描く画風に着目して，すべてのジャンルの絵画に対して効果のある手法について提案する.

3 データセット

定するものをベースラインとして，ベースラインが画家推定

本研究で使用するデータセットは，Kaggle によって編集さに効果があるのかを検証する．また，ベースラインで得られたれた Painter by Numbers である [13]. このデータセットには

DNN 特徴量だけでは画家を正確に推定するには十分ではない

103,250 枚もの絵画が含まれており，それぞれの画像には，画ため，画風の特徴とも言える「色彩」や「輪郭線」の特徴量と家名・タイトル・画風・ジャンルなどがアノテーションされてDNN 特徴量を組合せた特徴量による画家推定手法を提案する.

いる. 本実験では DNN の訓練を安定させるために，300 枚以上の絵画の作品がある画家のみをデータセットとして使用する.

2 関連研究絵画や画家推定に関する研究は国内外で盛んに行われており，ほとんどの研究において深層学習が用いられている.
国内の研究は，加藤らの YOLO を用いた源氏絵の流派推定 [3] や小川らの SSD を用いた漫画の登場人物の顔抽出 [4] なそして，訓練の偏りをなくすために，実験で使用する各画家の絵画枚数を 300 枚と固定して，8:1:1 の比率で訓練・検証・テストデータにランダムに分割した. 最終的に得られたデータセッ
トは，訓練用データセットが 240 枚，検証用・テスト用データセットは 30 枚ずつで構成され，画家数は 57 人である. また，

ResNet-50 で転移学習するため，絵画のスケールが変化してもの予測を行う．中間層の次元数は 1024 次元であり，活性化関

情報が失われないと仮定して，各画像は 224 × 224 のリサイズ数は中間層に relu 関数，出力層に softmax 関数を用いる．

を行う. 表 1 に本実験で用いるデータセットの内訳を示す.

絵画(224,224,3)

表 1 実験用データセット

Training Validation

Test

一人あたりの作品数 (枚)

240

3030

ImageNet

合計 (枚)

13,680

1,710

1,710

ResNet-50

訓練済み
原画像
DNN特徴量(2048)

Dense(1024)
Activation(relu)

Dense(57)
Activation(Softmax)(a) クロード・モネ
図1

予測確率

(b) アルフレッド・シスレー(57)

データセットの類似画像例
図3

ベースラインのニューラルネットワーク

5 提案手法絵画には画家の描く色彩や輪郭線といった画風に特徴があると言える．ベースラインの原画像 DNN 特徴量だけでは画風という繊細な違いを捉えるのは不十分であるため，HSV 変換した絵画から得られる色彩の特徴量，エッジ抽出した画像から得られる輪郭線の特徴量ならびに，グローバルな特徴量が得られる 2 パターンのヒストグラムから得られる特徴量を混合するこ(a)1932 年の作品(b)1904 年の作品

図 2 パブロ・ピカソの画風の変化とで，より画風が捉えることができるのではないかと考えた．
そこで，原画像 DNN 特徴量に加えて色彩や輪郭線の特徴量とグローバルな特徴量を組合せたニューラルネットワークを構築

図 1，2 は，データセットの一部である. 図 1 は，同年代の印し，画家の予測確率の向上を図る.

象派を代表する画家の絵画であるが，色使いや建物の配置が類似しており，どちらも同じ画家の作品であると言われたら納得してしまうような絵画である. 図 2 は，パブロ・ピカソの絵画である. このように，同じ画家でも年代によって画風が異なる絵画が存在しているといことがわかる.

5. 1 提案特徴量
5. 1. 1 エッジ画像 DNN 特徴量
エッジ画像 DNN 特徴量とは各画家の描く輪郭線の特徴を示す特徴量であると考えられる. 以下に，エッジ画像 DNN 特徴

したがって，画風の似ている画家あるいは様々な画風の作品量の抽出方法を述べる．まず，各絵画を Canny 法でエッジ画を残した画家が多く存在しているため，画家の推定問題がいか像に変換する. エッジ画像に変換することで，輪郭線のみの絵に難しいものであることがわかる.

画になるため各画家の線の描き方の特徴が強調される．図 5 はエッジ画像の一例である. その後，変換したエッジ画像を入力

4 ベースライン
図 3 はベースラインのニューラルネットワークである．まず，入力を絵画として絵画の特徴量を抽出する．特徴量を抽出するために，ImageNet [14] で訓練済みの ResNet-50 [15] を使用する．抽出する特徴量は flatten 層 (最後から 2 番目) の出力を用いるため，特徴量の次元数は 2048 次元となる. 図 3 に示すように，入力が原画像である時に得られた 2048 次元の特徴量のことを原画像 DNN 特徴量と呼ぶことにする. その後，原画像

DNN 特徴量をシンプルな多層パーセプトロンに入力して画家として ResNet-50 の flatten 層を通すことで 2048 次元の特徴量を得る．この時に得られた 2048 次元の特徴量のことをエッジ画像 DNN 特徴量と呼ぶことにする．

5. 1. 2 HSV 画像 DNN 特徴量
HSV 画像 DNN 特徴量とは各画家の描く色彩の特徴を示す特徴量であると考えられる．以下に，HSV 画像 DNN 特徴量の抽出方法を述べる．まず，各絵画を HSV 画像に変換する．

HSV 変換することで，各画家の描く色彩の特徴が強調される．
その後，変換した HSV 画像を入力として ResNet-50 の flatten層を通すことで 2048 次元の特徴量を得る．この時に得られた

2048 次元の特徴量のことを HSV 画像 DNN 特徴量と呼ぶことにする．図 6 は HSV 画像の一例である.

5. 2 提案手法 1
5. 1 節で述べた画風の特徴量を組合せた画家推定手法を提案する．図 8 に提案手法 1 のニューラルネットワークを示す. まず，原画像とエッジ画像そして HSV 画像を特徴抽出器 (ResNet-50)の入力として原画像 DNN 特徴量，エッジ画像 DNN 特徴量そして HSV 画像 DNN 特徴量を抽出する. 次に，原画像のカラーヒストグラム特徴量およびグレースケールヒストグラム特徴量を抽出する. そして，各 DNN 特徴量と各ヒストグラム特徴量

図4 原 画 像

はそれぞれの全結合層を通して特徴量を得る. 各 DNN 特徴量に対する全結合層では次元数を半分にし，各ヒストグラム特徴量に対する全結合層では次元数はそのままにする. その後，得られた特徴を連結する. 連結した特徴量の次元数は 3200 次元となる．最後に，連結した特徴量から 57 次元の画家の予測確率ベクトルを算出する. 活性化関数はベースラインと同様に中間層に relu 関数，出力層に softmax 関数を用いる.

画像処理
図 5 エッジ画像画像絵画

エッジ画像HSV(224,224,3)

ImageNet
カラーグレースケール訓練済み
訓練済み
ヒストグラム ヒストグラム
ResNet-50
HSV画像
エッジ画像
原画像
カラー
グレースケール
DNN特徴量DNN特徴量DNN特徴量ヒストグラムヒストグラム(2048)(2048)(2048)
特徴量(64)
特徴量(64)

ImageNet

ImageNetResNet-50

ResNet-50

訓練済み

Dense(1024)

Dense(1024)

Dense(1024)

Dense(64)Dense(64)Activation(relu)

Activation(relu)

Activation(relu)

Activation(relu)

Activation(relu)

concatenate

連結特徴量(3200)

図 6 HSV 画像

Dense(57)
Activation(Softmax)

5. 1. 3 カラーヒストグラム特徴量

予測確率

カラーヒストグラムは，画像の赤成分 (R)，緑成分 (G)，青成分 (B) の各チャンネル毎の輝度および色合いの分布を示し，各色が画像中に現れる輝度を示す. 本研究では，フルカラーを(57)図 8 提案手法 1 のニューラルネットワーク

64 色まで減色しそのヒストグラムを 64 次元の色特徴として用いる. カラーヒストグラム特徴量は各画家の描く絵画の色の偏りを示すグローバルな特徴量であると考えられる.

5. 3 提案手法 2
提案手法 1 では，softmax 直前の連結した特徴量の次元数5. 1. 4 グレースケールヒストグラム特徴量が 3200 次元でありベースラインの次元数 (1024 次元) に比べカラーヒストグラム特徴量に加え，本研究ではグレースケーてはるかに大きくなってしまう. そこで，提案手法 2 では各ルヒストグラム特徴量も生成する. グレーヒストグラムは，画DNN 特徴量に対する全結合層の数を増やし次元数を削減する像の濃度の分布を示したものである. こちらも 64 次元の色特徴ことで，softmax 直前の特徴量の次元数をできるだけベースラとなる. グレースケールヒストグラム特徴量は各画家の描く絵インに近づける. 図 9 は，提案手法 2 のニューラルネットワー

画の濃度の偏りを示すグローバルな特徴量であると考えられる.

クである. 図 9 に示すように，原画像 DNN 特徴量，エッジ画像 DNN 特徴量そして HSV 画像 DNN 特徴量に対する全結合層の数を 1 つ増やすことでそれぞれの特徴量の次元数を更に半分にしている．したがって，連結した特徴量の次元数は 1664次元となる. また，提案手法 2 では中間層の活性化関数の前後に BatchNormalization と Dropout を適用した. Dropout 率は 0.5 である.

(a) カラーヒストグラム(b) グレースケールヒストグラム

図 7 図 4 のヒストグラム特徴量

画像処理
画像

絵画

エッジ画像

HSV

元数を削減しつつも精度を約 6%向上させることができた. こ(224,224,3)

れは，次元削減を行うことで冗長な特徴量が削減でき，効果的

カラー
グレースケール
訓練済み
訓練済み
ヒストグラム ヒストグラム
ResNet-50
HSV画像
エッジ画像
原画像カラー
グレースケール
DNN特徴量DNN特徴量DNN特徴量ヒストグラムヒストグラム(2048)(2048)(2048)
特徴量(64)
特徴量(64)

ImageNet

ImageNetResNet-50

ResNet-50

訓練済み

ImageNet

Dense(1024)

Dense(1024)

Dense(1024)

Dense(64)Dense(64)

BatchNormalization

BatchNormalization

BatchNormalization

BatchNormalization

BatchNormalization

な特徴量選択が行えたためであると考えられる．
表3 実験結果
手法

Accuracy 次元数

ベースライン

0.727

1,024

提案手法 1

0.751

3,200

提案手法 2

0.782

1,664

Activation(relu)

Activation(relu)

Activation(relu)

Activation(relu)

Activation(relu)

Dropout(0.5)

Dropout(0.5)

Dropout(0.5)

Dropout(0.5)

Dropout(0.5)

Dense(512)Dense(512)Dense(512)

BatchNormalization

BatchNormalization

BatchNormalization

Activation(relu)

Activation(relu)

Activation(relu)

図 10 は提案手法 2 の結果における混合行列のヒートマップ

Dropout(0.5)

Dropout(0.5)

Dropout(0.5)

である. 各行は正解の画家であり各列は予測された画家を示している. 画家の予測が対角線上に来て図の色が濃くなることがconcatenate

連結特徴量(1664)理想的である. 図 10 に示すように外れ値が目立たないためきちんと画風を学習できていると言える.

Dense(57)
Activation(Softmax)

proposed model2
Eyvind Earle 29
26

Konstantin Makovsky

17

Edgar Degas

29

Ivan Aivazovsky

22

Francisco Goya29

Erte22

Martiros Saryan

(57)

23

Theophile Steinlen

20

Felix Vallotton17Max Ernst

19

Konstantin Korovin

27

Rembrandt

図 9 提案手法 2 のニューラルネットワーク

25

Pierre-Auguste Renoir

21

Vincent van Gogh
Alfred Sisley23

3

Claude Monet

318
14

Ilya Repin

330

Giovanni Battista Piranesi

20

Paul Gauguin

22

Henri Matisse

27

M.C. Escher

24

Mary Cassatt験

25James Tissot

21

Albert Bierstadt

21

Paul Cezanne27
27

Raphael Kirchner
3

William Merritt Chase

15

3
23

Peter Paul Rubens

22

Camille Corot

26

Utagawa Kuniyoshi

21

David Burliuk

27

Eugene Boudin

27

Amedeo Modigliani
4

Theodor Severin Kittelsen

2024Henri de Toulouse-Lautrec

28Zinaida Serebriakova

23

Rene Magritte

24
14

Pablo Picasso

26

Marc Chagall

20

Pyotr Konchalovsky

ベースラインと提案手法に共通するパラメータを表 2 に示す.

24

Zdislav Beksinski
3Camille Pissarro

20
26

Sam Francis

25

Maurice Prendergast

24

Henri Martin

16

Salvador Dali

表2 実験設定

18

John Singer Sargent

22

Ernst Ludwig Kirchner

21

Albrecht Durer

15

Boris Kustodiev

目的関数

categorical crossentropy

エポック数

100

バッチサイズ128

また，実験の評価指標は Accuracy(全体正解率) を用いる.

Accuracy は予測に対して答えがどのくらいあっていたかを示すものであり，以下の式で求められる.
各クラスが正しく分類できた数 (対角線)
Accuracy =テストデータ全体

6. 2 実 験 結 果
表 3 に，実験結果を示す. 一般画像で事前学習された ResNet-Albrecht DurerJohn Singer Sargent

Ernst Ludwig Kirchner

Sam Francis

Henri Martin

Salvador Dali

Maurice Prendergast

Marc Chagall

Pablo Picasso

Camille Pissarro

Zdislav Beksinski

Rene MagritteChilde Hassam

Pyotr Konchalovsky

Zinaida Serebriakova

Henri de Toulouse-Lautrec

David Burliuk

Amedeo Modigliani

Camille Corot

Eugene Boudin

Theodor Severin Kittelsen

Predicted label

Utagawa Kuniyoshi

Paul Cezanne

Gustave DoreRaphael KirchnerPeter Paul Rubens

William Merritt Chase

M.C. Escher

James Tissot

Mary Cassatt

Albert Bierstadt

Ilya Repin

Paul Gauguin

Henri Matisse

Alfred SisleyOdilon Redon

Claude Monet

Giovanni Battista Piranesi

Vincent van Gogh

Max ErnstRembrandt

Konstantin Korovin

Pierre-Auguste Renoir

0.000001

Erte

学習率減衰

Felix Vallotton

0.9Francisco Goya

モーメンタム27
Martiros Saryan

0.01

26

Theophile Steinlen

学習率

22

Fernand Leger
Eyvind Earle

確率的勾配降下法 (SGD)

Nicholas Roerich

Edgar Degas

最適化

273

Isaac Levitan

Ivan Aivazovsky

名称・数値

Konstantin Makovsky

パラメータ

Ivan Shishkin

Isaac Levitan

6. 1 実験設定・評価指標

Childe Hassam

Ivan Shishkin

トを用いて評価実験を行った.

Boris Kustodiev

提案手法の有効性を示すために，第 3 章で述べたデータセッ

True label

Gustave Dore

Nicholas Roerich

6 実

322

Odilon Redon

Fernand Leger

予測確率3

図 10 提案手法 2 における混合行列

6. 3 考察

本実験の成功例と失敗例を以下に示す. 図 11〜14 は成功に至るまでの過程である.
図 11 はテスト画像であり，正解ラベルはクロード・モネである. ベースラインではこの絵画がイリヤ・レーピンの絵画と誤分類された. イリヤ・レーピンは移動派を代表する画家であり，イリヤレーピンの絵画は図 12 に示すように風景画ではなく肖像画などが多く，画風も大きく異なる. そのためベースラ
インでは画風の特徴を捉えることができず，学習がきちんと行われていないことがわかる.

50 の転移学習を用いたベースラインでは約 72%の精度であっ提案手法 1 では図 11 はアルフレッド・シスレーの絵画と誤た．提案手法 1 および提案手法 2 は，ベースラインに対して精分類された. 図 13 はアルフレッド・シスレーの訓練画像の一部度が向上したことが確認できた. 提案手法 1 は，5 つの提案特である. アルフレッド・シスレーとクロード・モネは同じ印象徴量を連結することで精度が約 3%向上した. これは，提案特派を代表する画家である．図 13，図 14 に示すように，アルフ徴量を用いることで画家の描く画風の特徴がより効果的に抽出

レッド・シスレーとクロード・モネの画風が似ているため誤分できたためであると考えられる. 提案手法 2 は，全結合層で次類されたと推測できる. ただ，提案特徴量を加えたニューラルネットワークを構築することで，画風の特徴を少しずつ捉えていることがわかる.
提案手法 2 ではクロード・モネの絵画と分類された. 図 14 はクロード・モネの訓練画像の一部である. 提案手法 2 では，次元削減により冗長な特徴量が削除され正しく特徴選択ができた
ため，クロード・モネの画風の特徴である淡い色使いをきちんと学習できたのではないかと推測される.
次に失敗例を図 15〜17 に示す. 図 15 はテスト画像であり，
図 15 テスト画像 (フェルナン・レジェ)

正解ラベルはフェルナン・レジェであるが，レンブラントと誤分類されてしまった. 図 16 より，フェルナン・レジェは太い輪郭線の絵画が多く図 15 のような細い輪郭線の絵画が少ない. 一方で，図 17 に示すように，レンブラントの訓練画像には図 15に類似した作品が多く存在した. したがって，太い輪郭線でない絵画が誤分類されたと推測される.

図 16 フェルナン・レジェの訓練画像の一部

図 11 テスト画像 (クロード・モネ)

図 17 レンブラントの訓練画像の一部

7 おわりに
図 12 イリヤ・レーピンの訓練画像の一部

本研究では，色彩と輪郭線ならびに DNN 特徴量を組み合わせた特徴量による画家推定手法を提案した. 絵画のエッジ抽出
および RGB 色空間から HSV 色空間に変換した画像の DNN
特徴量や絵画のカラーヒストグラムおよびグレースケールヒス
トグラム特徴量を学習し，様々なネットワーク構造を構築することでベースラインよりも精度が向上することが確認でき，提案手法が有効であることが示された.
今後の課題としては，ネットワーク構造の面に触れずに類似

図 13 アルフレッド・シスレーの訓練画像の一部

画像に対して精度が向上するような特徴量の提案や，データ増強による精度の向上があげられる. また，画家の推定問題だけでなく画風から画家の出身地の推定問題や絵画の年代の推定問題など幅広い推定問題が考えられる.

謝

辞本研究の一部は，科研費基盤（B）（課題番号 17H01746）の支援を受けて遂行した.
図 14 クロード・モネの訓練画像の一部

文

献[1] Artsy. https://www.artsy.net/[2] WikiArt. https://www.wikiart.org/[3] 加藤拓也，稲本万里子，小長谷明彦：深層学習法による源氏絵の流派推定，The 32nd Annual Conference of the JapaneseSociety for Artificial Intelligence, 2018
[4] 小川徹，山崎俊彦，相澤清晴：マンガ物体検出に向けた検出器の並列化，FIT2017，Vol.3，No.7，pp.33-40(2017)[5] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: A
Neural Algorithm of Artistic Style, CVPR2015[6] Eva Cetinic, Tomislav Lipic, Sonja Grgic: Fine-tuning Convolutional Neural Networks for fine art classification, Expert
Systems With Applications 114 (2018) 107-118[7] Mihai Badea, Corneliu Florea, Laura Florea, Constantin
Vertan: Can We tearch computers to understand art? Domain adaptation for enhancing deep networks capacity tode-abstract art, Image and Vision Computing 77 (2018) 2132
[8] Corneliu Florea, Fabian Gieseke: Artistic movement recognition by consensus of boosted SVM based experts, J. Vis.
Commun. Image R. 56 (2018) 220-233[9] Yusuke Kataoka, Takashi Matsubara, Kuniaki Uehara:
Deep Manga Colorization with Color Style Extraction by
Conditional Adversarially Learned Inference, Information
Engineering Express International Institue of Applied Informatics 2017, Vol.3, No.4, P.55-66[10] 藤田賢之，長名優子：畳み込みニューラルネットワークを用いたタッチの類似性を考慮したイラスト検索，情報処理学会第 80 回全国大会 (2018)[11] Datta, R. et al.: Image Retrieval: Ideas, Influences, andTrends of the New Age , ACM Computing Surveys, vol.40,2008[12] Swain, M. J. and Ballard, D. H.: Color Indexing , International Journal of Computer Vision, 7(1), pp.11-32, 1991
[13] Kaggle. https://www.kaggle.com/c/painter-by-numbers[14] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei.
ImageNet: A Large-Scale Hierarchical Image Database. In
CVPR09, 2009.
[15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun:
Deep Residual Learning for Image Recognition, CVPR2015