広島工業大学紀要研究編
第 54 巻（2020）91-99

論文

CNN による漫画作者の画像的特徴の抽出
上田智之＊・小池正記＊（令和元年10月30日受付）

Image feature extraction of comic artist by CNN
Tomoyuki UEDA and Masaki KOIKE（Received Oct. 30, 2019）

Abstract
This paper reports the extraction of image features of comic artist by convolutional neuralnetwork. In recent years, illegal uploading of comics has become a social issue. The comic artist
wants to find his own illegally uploaded comic. A convolutional neural network extract imagefeatures representing a class from an image. Comics has the artist's style. The artist's style canbe used as an image features that represents a class in the comic image classification problem.
Therefore, convolutional neural networks can solve the artist classification problem for comicimages. If the classification problem can be solved, it can be applied to image retrieval. Visualize thearea of interest when convolutional neural networks predict artists. There is an element that canpredict the artist in the attention area. The experimental results suggest that the comic charactersface is important for convolutional neural network to predict the artist from the comic images.
Key Words: convolutional neural network, deep learning, image recognition, comic computingが新たにアップロードされるため、削除が追いついていな

１ ．はじめにいのが現状である。もし、インターネット上という膨大な2018年、海賊版漫画ビューアーサイト「漫画村」が社会問題となった。漫画村は漫画などの書籍数万冊が登録不要

データの集合から、著作権者が自身の漫画作品のみを自動で探し出すことができれば、削除の手助けとなる。

且つ完全無料で読めるという漫画ビューアーサイトであそこで著作権者が自身の漫画作品を探し出す方法としてる。しかし、漫画村にアップロードされている書籍は著作畳み込みニューラルネットワーク（CNN）による画像検権者の許諾を得ずに無断で違法コピーされた海賊版であ索技術を利用することを考えた。CNN は視覚野の特徴抽り、漫画村の存在は出版社や作者に大きな被害を与えた。

出の仕組みをモデル化した画像認識を得意とするニューラ

これほど巨大な海賊版サイトですら、インターネット上にルネットワークで、特に画像を入力とした分類問題ではよ存在する違法にアップロードされた漫画作品全体からみれく利用されている。CNN では入力画像から人工知能アルばごく一部に過ぎない。出版社や作者など作品の著作権者ゴリズムを使って特徴量を抽出する。この特徴をもとに入たちが違法にアップロードされた自分たちの漫画作品をイ

力画像の分類を行うにはクラスを代表とする特徴を掴むこ

ンターネット上から探し出し、削除申請するなどの対応もとが重要になるため、学習データはクラスごとに異なる画活発になった。しかし、削除される以上に多くの漫画作品像的特長を持っている必要がある。絵には作者の特色や傾＊

広島工業大学大学院工学系研究科電気電子工学専攻― 91 ―

上田智之・小池正記

向があらわれており、これは画風と呼ばれる。漫画も絵の© 能田達規

集まりで構成された作品であるため、同一の作者が描いた漫画であるならば画風という作者ごとの画像的特徴が存在するであろう。作者というクラスごとに共通した画像的特徴が存在するのであれば、CNN による分類問題として解くことが可能である。これを応用すれば、未知の画像データ群の中から特定の漫画作者に関係した画像のみを見つけ出すことが可能になる。
CNN を利用するためには画像の何がクラスを代表する

図２特徴として利用できるのかを分析することが重要になる。
本研究では、漫画内のどういった部分が漫画作品におけるングを行った（図 ２ ）。

作者ごとの画像的特長として利用できるのかを検討する。

加工したデータをネットワークの学習に用いる訓練用データ、過学習を監視するための検証用データ、最終的な

２ ．判別実験
２-１

加工後の画像（1170×1170pixel）

モデルの性能を評価するための評価用データに分割する。

データセット

本研究ではクラスごとに評価用データ50枚、検証用データ

本研究の学習データには、学術利用可能な漫画データセットとして公開されている Manga109［ ５ ］［ ６ ］を用50枚を確保し、残りを訓練用データとした。
２-２

訓練に用いる画像データの枚数が少ない場合、別の学習いた。幅広いジャンルを網羅するため、異なる雑誌で連載データによる学習が済んでいるモデルを利用することが有していた10人の漫画作者の作品を対象とした。
表１

CNN モデルの構築効である。CNN では入力に近い浅い層から出力層へと深各作品のデータくなるにつれ、データセットに特化した複雑な形状に反応するフィルタが出来上がることが知られている［ ９ ］。このため、高い精度を持った分類モデルの前半の層を利用し、後半の層のみを目的に応じて再学習させることで、少ない枚数の画像データからでも目的に特化したモデルを作り出すことができる。本研究では、ImageNet［11］で事前学習した VGG16［10］を用いて、目的に特化したモデルの再学習を行った。VGG16は ５ つの畳み込みブロックと １ つの全結合ブロックで構成される16層の CNN である。VGG16の ４ 番目の畳み込みブロックまでを ImageNetで事前学習された重みで固定し、それ以降の重みを再学習

Manga109の画像データは見開き ２ ページ分を １ 枚の画する。VGG16は224×224の入力画像を畳み込むネットワー像としている（図 １ ）。クラスごとのデータ数を増やすため、クである。しかし1170×1170pixel の画像を224×224pixel

１ ページずつに分割した。また、入力のサイズを正方形とまで圧縮すると小さなコマや文字が潰れてしまうため、今するため、画素数を縦方向の1170pixel に合わせてパディ回は入力画像のサイズを585×585pixel として畳み込みブロックを １ つ追加した。

© 能田達規図１

図３

Manga109の元画像（1654×1170pixel）― 92 ―CNN の構成

CNN による漫画作者の画像的特徴の抽出

２-３

学習結果的特長を抽出している。
２-４

構築した CNN で訓練用データ計877枚、検証用データ評価結果計500枚を用いて学習回数300回の学習を行った結果が図

学習回数190回目のネットワークの重みを読み込んだ

４ 、 ５ である。図 ４ は学習回数ごとの訓練用データと検証

CNN モデルを用いて学習に使用していない評価用画像50用データに対するモデルの正解率、図 ５ は学習回数ごとの枚の作者予測を行った。モデル全体の評価結果が表 ２ 、ク

訓練用データと検証用データに対するモデルの損失を示し

ラスごとの評価結果が表 ３ である。ている。
表２

モデル全体の評価結果

再現率
精度
F値

0.95200.9541
0.9517モデル全体としては F 値が95% を超え、最も予測性能の低いクラスでも50枚中40枚以上の画像で作者の予測に成図４功している。評価用画像が同数の10クラス分類問題の場合、正解率の推移

ベースラインの正答率は10% となる。モデルの判別能力がベースラインの正答率を上回っていることから、CNNは判断基準を持たずに作者を予測しているのではなく、漫画からクラスごとの画像的特長を学習し、それを判断基準として作者を予測していることが推察できる。このことか
ら漫画には画像から作者を予測できるクラスごとの画像的特長が存在していることが示唆された。

図５３ ．可視化実験

損失の推移

３-１

CNN の問題学習回数とともに訓練データ、検証データに対する正解

漫画画像から作者を判別できたという実験結果から、率が上昇し（図 ４ ）、損失が減少している（図 ５ ）ことか

CNN は漫画画像の中にある作者ごとの画像的特徴を学習

ら学習は正常に行われている。ただし、学習回数300回のしていることが示唆された。しかし、それが漫画のどう中で検証データに対する損失の値が最も小さかったのは学いった要素に現れているのかは不明なままである。そこで習回数190回目である。それ以降は訓練データに対する損

Grad-CAM++［ ８ ］というヒートマップにより視覚的に失である loss のグラフは減少し続けているが、検証デー判断根拠を確認する方法を利用し、解析を行った。CNN

タに対する val_loss のグラフは減少していない。過学習のが漫画画像から作者を判別する際、どの個所に注目して判傾向が確認できたことからこのモデルの学習は設定した学別を行っているのかを可視化し傾向を見つけることができ習回数300回を終える前に収束している。この場合、学習れば、そこが画像を見て作者を予測できる要素であり、画回数300回の中で最も損失の値が小さかった学習回数190回

像から作者を予測できるクラスごとの画像的特長が強くあ目のネットワークの重みが最もデータセットの中から画像らわれている要素であると推察できる。

表３

混同行列
予測結果

うえだ美貴
記伊孝
桜野みねね
石岡ショウエイ
能田達規
霧賀ユキ
出口竜正
水上悟志
猪熊しのぶ
猪原大介
（爆烈！
（犯罪交渉人 （ひなぎく見参！
（ベルモンド Le（がらくた屋 （てんしのはねと（ドールガン） （サイコスタッフ）（サラダデイズ）（学園ノイズ）
アクマのシッポ）
かんふー娘） 峰岸英太郎） 一本桜花町編）
VisiteuR）
まん太）

入力

再現率
Recallうえだ美貴（爆烈！かんふー娘）

50

０００００００００1.0000

記伊孝（犯罪交渉人 峰岸英太郎）

０46０１００２０１０0.9200

桜野みねね（ひなぎく見参！一本桜花町編）

２０47００００００１0.9400

出口竜正（ドールガン）

０００

46

００２０２０0.9200

０42２

石岡ショウエイ（ベルモンド Le VisiteuR）

０００００49

１０００0.9800

猪熊しのぶ（サラダデイズ）

水上悟志（サイコスタッフ）

０００

１０１０００49

００

３

１００

１

0.98000.8400

猪原大介（学園ノイズ）

００００

０００49

１０0.9800

能田達規（がらくた屋まん太）

００

０

０

００

０

１49

０0.9800
0.9800霧賀ユキ（てんしのはねとアクマのシッポ）

１００

００

００００49精度 Precision

0.94340.97870.97920.97871.00000.96080.90740.92450.90740.9608

F値 F-Measures

0.97090.94850.9592

0.94850.91300.97030.94230.95150.94230.9703― 93 ―

上田智之・小池正記

３-２

漫画の構成要素

本研究では漫画を構成する要素を ４ つに分類した（図６）。 １ つ目が漫画の登場人物であるキャラクターという絵、 ２ つ目がキャラクターの台詞や地の文などを表現するための写植されたデジタル文字、 ３ つ目が擬音やキャラクターの心の声などを表現するために作者が直接漫画内に描活性化関数が ReLU であるならヒートマップへの出力
値 L は Grad-CAM と同様である。

き込む文字、 ４ つ目が背景や道具などキャラクター以外の© 桜野みねね

絵である。評価用画像について Grad-CAM++ による注目領域の可視化を行い、作者を予測するために重要な画像的特長が強く現れる要素がこの ４ つのどれであるか検討する。
© 能田達規図７３-４

注目領域の可視化例

評価用画像の可視化と考察

Grad-CAM++ を用いて、作成した CNN モデルの評価
図６３-３

用画像に対する注目領域を可視化した。作者の予測に成功

漫画の構成要素した評価用画像の注目領域を可視化したところ、キャラクターに強く注目していることが確認できた（図 ８ ）。

Grad-CAM++Class Activation Mapping（CAM）はネットワークがどこに着目したかを可視化する手法である。Grad-CAM
では、特徴マップのある位置に勾配の変化を加え、そのときに生じる出力の変化の大きさからクラス判定にとって重要な位置を特定できる。クラス c の k 番目のフィルタに関する重み係数 w は重み係数が大きいほど特徴マップ k がクラス c にとって重要である。重み係数 w から加重平均を計算し、ReLUの出力値を求めると画像中のピクセル位置（i , j）がその画像がクラス C であると判断されたときの重要度となる。

Grad-CAM++ では、Grad-CAM の平均を １ /Z をかけることで求めていたピクセル平均を ２ 階微分、 ３ 階微分で重みづけして求める。これにより、Grad-CAM では確認できなかった小さな特徴量まで細かく可視化できる。GradCAM++ の重み係数 w は― 94 ―© うえだ美貴CNN による漫画作者の画像的特徴の抽出© 記伊孝© 水上悟志© 桜野みねね© 石岡ショウエイ

© 出口竜正© 猪熊しのぶ― 95 ―

上田智之・小池正記

また、CNN がキャラクターに注目している際、キャラ© 猪原大介クターの顔部分に特に強く注目する傾向も確認できた。画像から作者を判別する際、特に強く顔に注目しているということはその部分に作者を予測できる画像的特長が強く現れていると CNN が判断したことが示唆された。
キャラクターの次に CNN が注目しているのが漫画内の文字であった。漫画内の文字には写植されたデジタル文字と作者が直接描き込む描き文字の ２ 種類ある。評価用画像の可視化結果よりデジタル文字と描き文字が混在している
場合、デジタル文字が優先して注目される傾向にあった。
このことから CNN は漫画画像から作者を判別するうえでデジタル文字が重要な要素で、描き文字は重要な要素ではないと判断したことが示唆された。しかし、デジタル文字はフォントによる違いがあるだけで、文字を書いた人間の癖があらわれるものではない（図10）。漫画内のデジタル© 能田達規

文字と漫画作者を結び付ける特徴が存在するかという疑問が残った。

© 霧賀ユキ図10

各漫画内のデジタル文字の一部

注目領域はキャラクターと台詞などのデジタル文字に偏っており、CNN は画像から作者を予測する際に背景などキャラクター以外の絵を重視していない。画像内に自動車や建物などキャラクター以外の絵という要素が多く存在している場合もそれを避けるようにキャラクターや台詞に注目していた（図11）。

図８

注目領域の可視化（右：元画像

左：注目領域）― 96 ―

CNN による漫画作者の画像的特徴の抽出© 出口竜正４ ．漫画作者の画像的特徴とデジタル文字
４-１

デジタル文字による作者判別

作者の判別に成功した評価用画像の注目領域を可視化した結果、幾つかの評価用画像において CNN はデジタル文字に注目していることが確認できた。この結果から、デジタル文字にも作者を予測できる画像的特長が存在することが推測された。しかしデジタル文字はフォントごとに定まった形状をしており、そこに作者固有の画像的特長があることは考えにくい。そこで各漫画からデジタル文字のみを抜き出し、各作者の使用したデジタル文字について学習を行った判別モデルを作成し、漫画内のデジタル文字から作者を予測することが可能か実験を行った。
４-２

判別実験

表 １ の10人の漫画作者の作品から台詞などの写植されたデジタル文字のみを抜き出す（図12）。

© 能田達規© 能田達規© 桜野みねね

図12

デジタル文字の抽出

作品ごとにデジタル文字を200個程度集め、検証用画像50枚、評価用画像50枚、残りを訓練用画像として使用し、10作品をデジタル文字から判別する CNN モデルを作成す
図11

注目領域の可視化（右：元画像

左：注目領域）るための学習を行った。図13は学習回数ごとの訓練用デー
タと検証用データに対するモデルの正解率、図14は学習回

作者の画像的特徴を学習した CNN が背景や道具など数ごとの訓練用データと検証用データに対するモデルの損キャラクター以外の絵に注目しないということは、そこに失を示している。検証データに対する正解率は40% 程度

作者を予測できる画像的特徴が存在しないと判断したことで収束した（図13）。学習に使用しなかった CNN にとっが示唆された。て未知のデータである500枚のデジタル文字画像から作者注目領域の可視化結果より、作者を予測できる画像的特予測を行なったモデル全体の評価結果を表 ４ に示し、クラ徴が最も強い要素はキャラクターであり、その中でもキャスごとのデジタル文字に対する作者予測結果の混同行列をラクターの顔部分は特に強く作者を予測できる画像的特徴

表 ５ に示す。漫画画像から作者予測を行っていたときと比があらわれていること、キャラクターの次に作者を予測で較すると予測精度は大きく低下した。CNN がデジタル文きる画像的特徴が強くあらわれている要素はデジタル文字

字を見て作者を予測できないということは、デジタル文字であることが推察された。描き文字と背景や道具などキャには作者を予測できる特徴がないと推察された。

ラクター以外の絵については CNN が注目しなかったことから作者を予測できる画像的特徴があらわれにくい要素であると推察された。
― 97 ―

上田智之・小池正記

漫画画像から作者を予測する学習を行ううえで不要な情報である。

文献［ １ ］上田智之、小池正記、“深層学習による漫画作品の判別”電子情報通信学会総合大会、D-12- ６ （2019）．
［ ２ ］上田智之、小池正記、“CNN による漫画作品の特徴図13抽出”第 ９ 回電子デバイス・回路・照明・システム

正解率の推移関連教育・研究ワークショップ（2019）．
［ ３ ］寺前裕司、Interface44巻12号、CQ 出版社（2018）．
［ ４ ］山下隆義、イラストで学ぶディープラーニング改訂
第 ２ 版、講談社（2018）．
［ ５ ］Toru Ogawa, Atsushi Otsubo, Rei Narita, Yusuke
Matsui, Toshihiko Yamasaki, Kiyoharu Aizawa,
Object Detection for Comics using Manga109
Annotations, arXiv, (2018).
［ ６ ］Y.Matsui, K.Ito, Y.Aramaki, A.Fujimoto, T.Ogawa,

図14
表４T.Yamasaki, K.Aizawa, Sketch-based Manga

損失の推移

Retrieval using Manga109 Dataset, Multimedia
Tools and Applications, Springer (2016)．

モデル全体の評価結果

再現率
精度F値

［ ７ ］R amprasath R.Selvaraju, Michael Cogswell,0.37600.39010.3738Abhishek Das, Ramakrishna Vedantam, Devi
Parikh, Dhruv Batra, “Grad-CAM: VisualExplanations from Deep Networks via GradientbasedLocalization.” IEEE International Conference

５ ．まとめon Computer Vision (ICCV) (2017)．

本研究では、漫画の構成要素を ４ つに分類し、どの要素［ ８ ］Aditya Chattopadhyay, Anirban Sarkar, Prantik

が漫画作品における作者ごとの画像的特長として利用できHowlader, Vineeth N Balasubramanian, “Grad-るのかを検討した。実験結果より以下の結論が推察された。

CAM++: Improved Visual Explanations for Deep⑴

漫 画画像から作者を予測するうえで最も重要なのはConvolutional Networks” IEEE Winter Conference

キャラクターの顔である。

on Applications of Computer Vision (WACV) IEEE

背景などキャラクター以外の絵と描き文字はキャラク(2018)．

⑵［ ９ ］M . D. Zeiler and R. Fergus. “Visualizing andターと比較すると画像から作者を予測する際に重要な⑶要素ではない。

Understanding Convolutional Networks.” Europeanデジタル文字には作者を予測できる画像的特長は存在

Conference on Computer Vision (ECCV) (2014)．
［10］K . Simonyan and A. Zisserman. “Very Deep

せず、CNN が誤った注目を起こす原因となるため、
表５

混同行列
予測結果

うえだ美貴
記伊孝
桜野みねね
石岡ショウエイ
能田達規
霧賀ユキ
出口竜正
水上悟志
猪熊しのぶ
猪原大介
（爆烈！
（犯罪交渉人 （ひなぎく見参！
（ベルモンド（がらくた屋 （てんしのはねと（ドールガン） （サイコスタッフ）（サラダデイズ）（学園ノイズ）
アクマのシッポ）
かんふー娘） 峰岸英太郎） 一本桜花町編）
Le VisiteuR）
まん太）

入力

再現率Recall

うえだ美貴（爆烈！かんふー娘）

15００９４11４１２４0.3000

記伊孝（犯罪交渉人 峰岸英太郎）

１34０４

４０１１

１４0.6800

桜野みねね（ひなぎく見参！一本桜花町編）

７

１６７

２

７１２

10

７0.1200

出口竜正（ドールガン）

１２２

23

４

４

６２

４

２0.4600

６19２

石岡ショウエイ（ベルモンド Le VisiteuR）

３０

２

８

４

20

２

０

３

８0.4000

猪熊しのぶ（サラダデイズ）

水上悟志（サイコスタッフ）

４

４

１

１０４

５

２

１

24

３

４

１８８

１

２0.4800

0.3800

猪原大介（学園ノイズ）

３

３

３

６

９

３

２

15

３

３0.3000

能田達規（がらくた屋まん太）

６０

１

16０

３

９

１

11

３0.2200
0.4200霧賀ユキ（てんしのはねとアクマのシッポ）

３

０２

２

６６２５３21

精度 Precision

0.31910.80950.30000.26740.35190.35090.4444

0.46880.20750.3818

F値 F-Measures

0.30930.73910.1714

0.33820.36540.37380.46150.36590.21360.4000― 98 ―

CNN による漫画作者の画像的特徴の抽出

Convolutional Networks for Large-Scale Image
Recoginition.” International Conference on

Learning Representations (ICLR) (2015).
［11］http://www.image-net.org/― 99 ―