多次元特徴量によるキャラクターイラスト群の類似度の可視化
建岡 愛(指導教員：伊藤 貴之)

はじめに

1

表 1: 抽出する特徴量

デジタル環境でイラストを描く制作者の増加に伴い，現在インターネット上では多くのキャラクターイラストを見ることができる．キャラクターイラストの特徴を比較することができれば，キャラクターイラストを描く制作者が，自分のイラストが他のどのイラストの画風に似ているか知ることができたり，好みのイラストと自分の描いたイラストの特徴の違いを比較し，自分の画風を好みの画風に似せる助けになると考えられる．そこで本研究では，キャラクターイラスト画像群の類似度を特徴量ベクトルの多次元データとして表し，それを可視化する.
本研究では, キャラクターの顔イラストから画像特徴量（現時点では Gabor Filter, DoG Filter, 濃度ヒストグラム）を抽出し，それを t-SNE を用いて可視化した結果を検討する．また, 自分の描いたイラストと他のイラスト群の特徴量を可視化し，それがどのように画風の比較に使えるかを検討する．このような可視化により，イラストの特徴となる多様な要素を視覚的に比べられるようになり，イラスト群の類似度を簡単に比較できるようになることが期待される．

実験

4

本章では実験内容とその結果について示す．

4.1

実験に使用するイラスト

本実験では比較用のイラストとして Nico-illust デー
タセット2 [3] のキャラクターの顔画像 39 枚を用いた.
また，自分の描いたイラストとして図 1 の 5 枚を使用した. 左から, 髪と肌に影をつけたもの, 髪と肌を一色でべた塗りしたもの, 輪郭が曖昧に見えるような塗り方をしたもの, 色のつけ方を変えたもの, 色のつけ方を変えたもの 2 枚である. また右の２枚は図 2 のように,他の絵に意識して似せたものでもある.

関連研究

2

栗山はイラストの作画スタイルを特徴づける画像特徴量について議論している [1]．この研究では，抽出したイラスト画像の特徴量を 2 次元空間に次元削減し，その各位置にイラスト画像を表示することで，スタイルの非類似度を表現するマップを表示している．また，
画像特徴量とメタデータを応用した画像閲覧の研究として，金子らは絵画を画風から探索するための可視化手法とユーザインターフェースを提案している [2]．

図 1: 自分の描いたイラスト

処理手順

3

本章では処理手順について述べる.3.1 章で抽出する特徴量について,3.2 節で可視化方法について説明する.

3.1

図 2: 他の絵に似せたイラスト抽出する特徴量

キャラクターイラストの特徴として我々は, 輪郭線や顔のパーツ配置などの大まかな特徴, 髪の細かい艶, 目の細かい光などの細かな特徴, 塗られた色や影などによるグラデーションなどに特徴があるのではないかと考えた. さらに, 1 画素単位の細かい処理の特徴は Gabor
Filter 特徴量に, 明確に書いた輪郭線の密度や形状の特徴は DoG Filter 特徴量に, 濃淡分布の特徴は濃度ヒス
トグラム特徴量に現れるのではないかと仮定した. これらの特徴量は金子らの研究 [2] で用いられたもので,抽出する 3 つの特徴量の詳細は表 1 の通りである.

3.2

4.2

実験内容

画像特徴量が 3.1 節で述べたイラストの特徴を実際に表現しているのか確認するために，予備実験として,Nico-illust データセットのイラスト 39 枚から抽出される各特徴量について可視化した. 次に本実験として，自分のイラストを他のイラストと一緒に可視化し,類似したイラストの近くに予想通りに配置されているか確認した.

4.3

予備実験結果図 3 に可視化結果を示す．特徴量は左から Gabor
Filter, DoG Filter, 濃度ヒストグラムである.Gabor
Filter では, 髪や肌の細かい塗り方が似ているものが近くに配置された部分が見られたが, 同じ作者で, 髪や肌の塗り方などが似ていても近くに配置されない部分も可視化方法

本研究では特徴量を t-SNE 1 で次元削減した結果を可視化に用いた. 次元削減結果として得られる 2 次元空間の各位置にイラスト画像を表示した. 自分で描いたイラストは長方形の枠で囲って表示した.
1 https://cs.stanford.edu/people/karpathy/tsnejs/csvdemo.html

79

2 https://nico-opendata.jp/ja/index.html

あった.DoG Filter では, 輪郭やパーツの配置などが似ているものが近くに配置された部分が見られた. 濃度ヒストグラムでは色や塗り方が似ているものが近くに配置された部分が見られた.

図 5: 本実験実行結果 (DoG Filter)

図 3: 予備実験実行結果 (左上)Gabor Filter (右上) 濃度ヒストグラム (下)DoG Filter

4.4

本実験結果

Gabor Filter を用いた可視化結果を図 4 に示す.Gabor Filter では, 自分の絵と細かな髪の艶が似ていたり,髪の描き方や目の塗り方が似ていたものが近くに配置された部分あった. また, 似ている自分の絵同士が近くに配置された. また, 意識した絵とはそこまで近くはならなかった.

図 6: 本実験実行結果 (濃度ヒストグラム)

5

まとめと今後の課題

本研究では，キャラクターイラストの類似度の可視化について実験結果を示し, イラスト群の類似度が適切に表現されているかを議論した．
今度の課題として，よりキャラクターイラストに適切な特徴量と, 可視化手法を検討することがあげられる．特に，本研究は特徴量に何を採用するかによって可視化結果から得られる知見が大きく変わってくることから，特徴量の検討が重要である．キャラクターイ
ラストに適した特徴量を調べるために，キャラクターの顔のパーツの形状特徴量などを採用したり，CNN(Convolutional Neural Network) などの機械学習手法によって得られる潜在特徴空間を採用するなどを検討したい．また, 画像数を増やして大規模なデータセットを構築し, その可視化結果をユーザテストなどによって評価したい.

図 4: 本実験実行結果 (Gabor Filter)

DoG Filter を用いた可視化結果を図 5 に示す.DoG
Filter では, 輪郭が曖昧なもの同士のように, 輪郭の描き方が似ているものが近くに配置された部分や, 塗り方が似ているものが近くに配置された部分があった. また意識した絵とも近くに配置された.
濃度ヒストグラムを用いた可視化結果を図 6 に示す.
濃度ヒストグラムでは, 色や影のつけ方が似ている絵が近くに配置された部分が見られた. 意識した絵とそ
こまで近くはならなかった.
総じて，特徴量ごとに自分が意識した絵に似ているか, どの絵に似ているかを見ることができた. しかし，似た特徴の絵が近くに配置された部分とされない部分があるように感じられた．

参考文献[1] 栗山, イラスト画像のスタイル識別子生成, 情報処
理学会論文誌, 56(8), 1657-1666, 2015.
[2] 金子, 伊藤, Wang, 画像特徴量の相関ルールにもとづく絵画画像探索インタフェース, NICOGRAPH
2017, S-7, 2017.
[3] Ikuta, Ogaki, Odagiri, Blending Texture Featuresfrom Multiple Reference Images for Style Transfer, SIGGRAPH Asia Technical Briefs, 2016.

80