情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D092022/2/21

陰を利用した人物イラストと背景画像の自動調和システム
小瀬 将史1

片山 泰輔1

豊田 麻友1

牧野 貴斗2

濱川 礼1

概要：本論文では, 陰を利用した人物イラストと背景の自動調和システムについて述べる. 近年, 趣味でイラストを描く人が増えている. その中でも人物イラストは多くの人に描かれている作品の一つである. 人物
イラストは背景を追加することでより魅力的に見せることができるが, 背景制作には手間がかかる. また背景を描いたとしても, 人物イラストと背景が調和していなければ, 人物イラストを引き立たせることはできない. そこで我々は, 背景を描く代わりに一枚の写真を用いる技法を採用し,「陰を利用した人物イラストと背景の自動調和システム」を提案する. 入力された人物イラストに対しては陰の追加・色の調整を行い, 背景画像に対してはぼかしを入れることで調和させていく. 陰の追加には光源特定が必須であるため, 輝度と色から光源を特定して処理を行う.

Masasi Kose1

Taisuke Katayama1

Mayu Toyoda1

1. 研究背景

Takato Makino2

Rei Hamakawa1

立たせられるわけではなく, 人物イラストと背景の調和が重要となってくる. 調和させる方法として様々な文献 [7][8]

近年, 趣味で絵を描く人が増えている. 日本で一番利用で挙げられているものが光学的整合性である. 光学的整合者数の多いイラスト投稿系サイトである pixiv では, 登録

性とは現実環境の光と陰が仮想環境で現実と同様に表現さ者数が 7100 万人を突破している. またイラスト投稿総数れているかということであり, 光の表現と陰影表現は調和は 5000 万を超え, 海外からのイラスト投稿も月間 24 万をには欠かせない要素となっている. 陰影表現は現実環境と超えるなど, 国内外問わずイラストへの関心が高まってい仮想環境の光学的整合性のために用いられるが, 表現するる [1].

際に現実環境に既知物体がない場合は陰影表現を付けるのその中でも, pixiv の総合マンスリーランキング上位 100は難しい.

作品のうち約 9 割の作品が人物イラストである [2] ことか

そこで我々は, 背景を描く代わりに一枚の写真を用いる

ら, 人物イラストが多くの人に描かれている作品の一つで技法を採用し,「陰表現を利用した人物イラストと背景の自あることが分かる. 人物イラストは背景が描かれることに動調和システム」を提案する. 陰表現とは, 光学的整合性のよってより魅力的に見せる [3] ことができるが, pixiv での解決のために用いられる陰影表現を人物イラストにできる

ヒット件数は, 人物イラストの括りの一つである「女の子」陰として表現したものを指す. 陰は光源の位置によって決が 2,263,945 件なのに対し, 「背景」は 190,998 件となってまるものであるため, 背景画像の光源の位置に対して陰表

おり (2021 年 12 月 22 日時点)[2], 背景まで描く人は少ない

現が正しく行われれば, 人物イラストと背景画像が調和すと考えられる. その理由として, 時間面と技術面の二つのると考えた. 陰表現を行う際に必要な光源の位置は, 輝度原因がある. 時間面では背景を描くには 5 日かかる [4] 作と色に着目して特定する.

品もある. 技術面では人物イラストを描くときとは違う技術が必要である. 例えば, 奥行きの表現である. そのため描くのが面倒だと思う人が多い. 実際に様々なサイト [5][6] で

2. 関連研究
光源の特定や陰生成に関する関連研究について述べる.

「時間がかからない」や「面倒ではない」という文言で背景を簡単に描こうという試みがされている. また仮に背景を描いたとしても, 背景画像があれば人物イラストを引き
12

中京大学工学部情報工学科
中京大学大学院工学研究科情報工学専攻© 2022 Information Processing Society of Japan

2.1 現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感
神原らは, 計算機によって管理されコンピュータグラフィ
クス (CG) に実時間での陰影表現を可能にし, 現実環境と425情報処理学会 インタラクション 2022
IPSJ Interaction 2022

仮想環境の光学的整合性を解決する研究を行っている [7].

3D092022/2/21

2.4 関連研究と本システムの研究内容の関連性

陰影表現を可能にするために, 現実環境内に既知の正方形光源特定に関して, 神原 [7] らは 既知の正方形やマーカマーカーと鏡面の球体が組み合わさった物体を利用していを用いて特定していたが, 我々が用いるのは入力画像一枚る. まず, 正方形マーカーの 4 点を検出し, 既知であるマーのみであるため, 輝度と 洪 [9] らと同様 RGB の色情報をカーの形状と位置を照らし合わせモデルビュー行列を生成用いることで, 光源を特定していく.

する. モデルビュー行列を利用し鏡面体を認識して, 鏡面体陰生成に関して, Qingyuan Zheng[10] らは線画から陰をから光源位置を特定する. さらに, 鏡面体から色を抽出する推定するため, 我々はカラーの人物イラストを一度線画にことで, 仮想物体上に陰と色を表現することが可能である.

直すことでこのシステムを利用し陰を追加した.

実際の生成例を図 1 に示す.

3. 提案手法
本研究で述べる調和とは, 人物イラストと背景画像の光学的整合性の程度が高い状態のことであり, 現実世界に近づけることを目標とする.
現実世界に近づけるために, 光源特定・輝度調整・陰生

図 1

光源の色別生成結果

成・光色彩色, また, イラストとして人物イラストを引き立たせるために逆光・ぼかしの処理が必要であると考える.
各処理の関係を図 3 に示す.

2.2 分光情報に基づいたシーン照明推定と 3DCG の色再現法
洪らは, 文化財や美術品のデジタルアーカイブを目的とした物体の 3 次元コンピュータグラフィックスによる色再現精度を向上させるための手段として, RGB カラーカメラで光源を画像として計測し, 分光分布と空間分布を推定することで, 分光的な Image Based Lighting を実現する手法を提案している [9].

図 3処理の関係図

2.3 Learning to Shadow Hand-drawn Sketches
Qingyuan Zheng らは, 線画のスケッチと照明方向のペア

3.1 光源特定から, 詳細で正確な芸術的な影を完全自動で生成する方法

福江によると, 太陽円盤中央の RGB 値は (240,230,229)を提案した. 提案した深層学習ネットワークは, 手書きのスとされており, 白色に近いことが分かる [12]. そのため光ケッチを受け取り, 潜在的な空間で 3D モデルを構築し, 結源特定では, 光源である太陽は白色であることに着目する.

果としての影をレンダリングすることを実証している. 生

また, 光源自体の色と光源が反射した部分の色は同じであ成された陰は, 手描きの線と基礎となる 3D 空間を尊重しることにも着目し, 背景画像を RGB 空間に変換して色抽ており, セルフシャドウイング効果など, 洗練された正確な出を行う. 最後に画像を 3 × 3 の 9 分割にし, 画像のどの位ディテールを含んでいる. さらに, リムライトやバックライ置に光源があるのかを算出する.

トによるハローなど, 従来の 3D レンダリング手法では実現できない芸術的な効果も含まれている. 実際の生成例を
図 2 に示す [10]. GitHub で ShadeSketch として公開され

3.2 輝度調整
暗い背景に明るい人物がいたり, 明るい背景に暗い人物がいると人物が不自然に目立ってしまう. そのため背景画ている [11].

像の明るさに人物イラスト画像の明るさを合わせる処理を行う. グレースケールは画像の明るさの度合い (輝度) を表現し, その全体の平均はその画像の全体の輝度を表現する.
背景の輝度平均に人物イラストの輝度平均を合わせることで輝度を調整する.

3.3 陰生成図 2

生成結果

関連研究 2.1 で述べられている通り, 背景と物体の光学的整合性には陰影表現が重要である. そのため背景にあっ© 2022 Information Processing Society of Japan426

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D092022/2/21

た陰を人物につけることで背景画像と人物イラストの調和を図った. 光源特定部で特定された光源の位置と人物イラスト画像を元に陰を生成した.

3.4 光色彩色
図 5

夕日が差している場所にいる人物に, 夕日の光の色がかかっていないのは不自然であり, 陰は光が妨げられたところにできるため, 陰にならない部分は光源の光が当たっている部分となる. そのため光の色をその部分に彩色した. 光の色の決定には,9 分割された光源のある背景画像の色の平均をとった. 光源の色をとった場合に夕日の色を抽出できないためである.

輝度判定の流れ図

4.1.2 白色抽出
光源である太陽は白色であることに着目し, 画像を RGB空間に変換した後, 白色の部分を抽出していく. 抽出したい色は白であるので, 抽出するべきデータは RGB 各チャンネルの値が全て 255 の場合であるが, 時間によって太陽の色が変化して見えることを考慮して, 画像に対して RGB各チャンネルの上位 5 ％以上の部分を抽出できるように幅3.5 逆光
逆光は光色彩色では表現できない強い光を表現するためである. 逆光を表現するに当たって逆光について書かれているサイト [13] を元に調整した. 逆光は光源特定部で特定された光源画像の位置と, 陰生成部で生成した陰画像を使用し人物イラストに光源方向から当たる光を表現している.
逆光の位置は人物イラストの輪郭に限定されている.

を持たせた.

今回の入力画像に対して抽出する RGB の値は R ≥ 250, G ≥ 252, B ≥ 144 であった.

4.1.3 最多色抽出
白色を抽出した画像から, さらに一番使用されている色の RGB の値に対して ±5 の幅を持たせた色を抽出する. この処理を行うことで光源の中心部分の色を抽出することができ、ハレーション部分を除去することができる. また, 光源自体の色と光源が反射した部分の色は同じであるため,3.6 ぼかし
ぼかしは写真のようなリアルさを出す技法として追加している.GUI アプリケーション部で合成された画像を用いて人物イラストの顔部分を検出し, 顔の大きさと合成された画像の大きさを比較することで段階的にぼかしを入れカ

ハレーションを除去することでハレーションによる反射も除去することができる. 今回の入力画像に対する最多色は

RGB = (255, 255, 255) であったため, 抽出する RGB の値は R ≥ 205, G ≥ 205, B ≥ 205 であった.

メラで撮ったような遠近感を表現している.

4. システム構成
上記の手法をもとに, 陰表現を利用した人物イラストと背景の自動調和システムを開発した. 開発言語は Python

図 6

出力結果を使用し, ライブラリは OpenCV などを使用した. 本シス
テムは光源特定部, 陰生成部, 調和部の 3 つで構成されており, システムの処理の流れを図 4 で示す.

4.1.4 収縮処理
出力された画像に対して, 畳み込みのサイズを 5 × 5 として収縮処理を行う. この処理を行うことで, 光源ではないが抽出されてしまったまばらな部分を除去する. 色抽出から収縮処理までの流れを図 6 に示す. 最後に, 陰生成部で陰を生成するときに光源の位置を 9 方向の中から指定す

図 4システムの処理の流れるため, 画像を 9 分割にし 光源が含まれている部分の画像を陰生成部に送る (図 7).

4.1 光源特定部
4.1.1 輝度判定
本システムでは, k-means 法を用いて自動で閾値を設定し, 輝度による二値化処理を行う. 二値化処理を行った後,閾値より値が大きかった部分をカラー画像に戻しておく

図 7

陰生成部に送るまでの流れ図(図 5). 図 5 に示す入力画像の閾値は 108 であった.

© 2022 Information Processing Society of Japan427

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D092022/2/21

4.2 陰生成部
4.2.1 輝度調整カラーの人物イラスト画像の全画素値を a とする. 背景画像と人物イラスト画像をそれぞれグレースケール化し, それぞれの全輝度値の平均 b̄, p̄ を求める. a をカラーの背景画像の明るさに合わせる輝度調整割合 b̄/p̄ を求める. 最後に,a にその割合 b̄/p̄ で乗算 a × b̄/p̄ する. 調整結果の例は図 8, 図 9に示し, それぞれの値は b̄ = 112.01, p̄ = 177.90, b̄/p̄ = 0.62である.

図 12

光源あり背景と取得色

図 13

彩色後

4.3 調和部
調和部では光学的整合性をとるための逆光表現部分と写真のような表現にするためのぼかし表現を採用している.
以下に逆光表現とぼかし表現について述べる.

4.3.1 逆光表現
逆光表現ではまず人物イラストの透過部分の境界線を輪郭として線を生成する. その輪郭を平滑化することで線をぼかし, 元画像に加算合成することで逆光の表現をしている. 輪郭の太さに関しては, 人物イラストのサイズにより線
図 8調整前

図 9調整後が過度に太い画像や細い画像が生成される場合がある. 線のサイズが適切でないと逆光とする範囲が大きくなりすぎるため, 人物イラストの高さと幅から計算して太さを変更

4.2.2 陰生成
光源特定部から送られてきた光源の位置と人物の配置かしている. 逆光の色については, 光色彩色部分から光源の色ら決定した光の方向と, 図 10 のように人物イラスト画像をを取得しそれを用いて表現している. そして陰生成部で生線画に直した画像から ShadeSketch[11] を用いて陰画像を成した陰画像を拡大しマスク画像として合成することで,生成する. 線画にするには, まず 8 近傍で膨張処理し, その陰部分の輪郭は消され光の当たっている部分のみに逆光表

後その画像と背景画像の差分をとり, 最後に色を反転する.

現を行える. 逆光表現の画像を図 14 に示す.

光の方向は人物イラストに対して左上, 上, 右上, 左, 後ろ,4.3.2 ぼかし表現

右, 左下, 下, 右下の 9 通りに分けている. 図 11 は左から光

ぼかし表現は合成画像から人物イラストの顔のサイズを取得しそのサイズによってぼかし具合を変化させていが差した際の陰を生成している.

る. サイズ取得にはアニメ画像用の検出器である lbpcas-

cade animeface[14] を使用している. この検出器はアニメキャラクターの顔を検出するために正・負例画像共に 20000枚学習させている. ぼかしの強さは顔のサイズにより段階ごとに OpenCV の GaussianBlur の値を変化させることで表現をしている. 図 15 に実際にぼかした画像を示す.

図 10

線画化画像

図 11

陰画像

4.2.3 光色彩色
光源特定部で決定された光源のある 9 分割された背景画
像の RGB 全画素の平均を求め, その値を光の色とする (図12). その色を陰画像の陰ではない部分に彩色する. 実際の結果を図 13 に示し, 光の色の値は RGB = (149, 92, 21) で

図 14

逆光表現の輪郭部分

図 15

ぼかし表現ある.

© 2022 Information Processing Society of Japan428

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D092022/2/21

4.4 GUI アプリケーション部
本システムの GUI アプリケーションは python の標準イ

番号

表 1 生成画像評価結果
1 2345 平均ンターフェースである tkinter を用いて製作した．本シス

Q1029123

3.62

Q20

191423.65

Q30711623.12

テムの GUI アプリケーションを図 16 に示しそれを元に説明をする. 本システムでは人物イラストと背景画像を合成

Q43510622.96

する位置入力画面 (赤枠部分) と逆光表現 (黄枠部分)・ぼかQ5178823.12

し表現 (橙枠部分) を追加するボタン, 現状を保存するボタ

Q6076121

3.27

ン (緑枠部分) とそれを表示する結果画面 (桃枠部分) からなる. 位置入力画面では, 人物イラストをポインタで動かす

Q4 の評価の平均が 3.00 を下回り, 評価 1 をつけた人が 3ことができホイール等で拡大・縮小が可能である. サイズ

人という結果になった. Q1,Q2 から人物の明るさや色みはは人物イラストの初期サイズの 0.1 ∼ 3.0 倍まで変更でき比較的合っている結果になった. 被験者からは,「逆光が不る.tkinter ではキャンバスのスクロール機能がないため背自然だ」「人物イラストが暗すぎて目立たなくなっている」

景画像の幅を 700 ピクセルに統一しそれに応じた高さになという意見を得られた.

るように変更し表示している. 人物イラストも同様に幅を400 ピクセルに固定しそれに応じた比率になるよう高さの5.2 システム評価

ピクセルを変更している. 人物イラストの幅は 400 ピクセ

絵を描く経験のある大学生 8 人に対して実際にシステムル固定なためポインタで押した位置から x 軸に 200 ピクセを利用してもらい, 背景と人物イラストの調和とシステムルずらすことで人物イラストの中心が取れる. 逆光表現・ぼの使いやすさに関する評価実験を行った. 質問内容は生成かし表現ボタンについては選択式であり, 逆光表現のみぼ

画像評価の Q1∼Q6 に以下を追加した (2).

かし表現のみの選択が可能である. 保存ボタンを押してかQ7. このシステムは使い易いか

ら結果表示画面に表示されるまでの時間 (異なる 5 対の画Q8. 自分で描くよりも早いと思うか像) の平均は 10.8 秒である. 時間計測は Intel(R) Core(TM)Q9. このアプリをもう一度使いたいと思うか

i7-8565U の CPU が搭載されたパソコンで行った.
番号

図 16

GUI アプリケーション画面

5. 評価
5.1 生成画像評価

表 2 システム評価結果
1 2 3 4 5 平均Q1000534.38

Q2000354.63

Q3112223.38

Q4011603.63

Q5023213.25

Q6002424.00

Q7002334.13

Q8000354.63

Q9102413.50

Q8 の評価は 4.5 を上回り, 背景を描く時間が短縮できるという結果になった. 被験者からは,「システムはお手軽で使いやすい」という意見が多く得られた. しかし, 精度面で大学生 26 人に対して元画像とシステムを通した画像をは「逆光が不自然であり, 自分で描くものより見劣りする」見てもらい, 背景と人物イラストの調和に関する評価実験という意見が見受けられた. 絵を描く人独自の意見として,を行った. 質問内容は「絵を描く際の雰囲気を掴むことに利用できる」という意Q1. 人物イラストは背景の明るさと合っているか見を得られた.

Q2. 人物イラストは背景の色みと合っているかQ3. 人物イラストは目立っているかQ4. ぼかしの程度は適切か

5.3 イラストレーターの評価
実際に「〇×でわかる風景作画」 [15] の著者であるイラQ5. 自然な光・陰になっているか

ストレーターのさけハラス氏に添削して頂いた. その結果,

Q6. 人物イラストと背景は調和していると思うか

図 17 を元に添削した画像 (図 18) の作製時間は 5 分程度でとし, 質問に対する回答を 1(悪い)∼5(良い) で評価してもあった. 生成画像の改善案として, 背景全体の色みに合わせらった. 結果を表 1 に示す.て人物イラストにその色みを乗せるようにし, 逆光表現は© 2022 Information Processing Society of Japan429

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D09
2022/2/21

人物イラストがぼんやりとした印象にならないように細かく強いハイライトを入れてメリハリをつける案を頂いた.

図 17システムでの出力

図 18

添削後
図 21

調和のとれた生成例

も, 背景画像外のどの位置に光源があるのかを推定し, 質の6. 考察高い調和ができる方法を考えていく. 逆光については光が人物イラストが目立たなくなる原因として, 背景画像が強くなってしまうことがあり, 白に近い光源色であれば加暗いと輝度調整により人物イラストが暗くなってしまうこ

算合成以外の合成方法にするなど, 画像にあった合成を用とが考えられる.

いるようにする. ぼかしではより写真に近づけるためによぼかしに関しては，背景画像が暗い状況でぼかしを行う

り細かいぼかしの強さ変更ができるようにしていく. 人物と暗い人物イラストだけが目立ってしまう (図 19) ため, 違イラストと背景画像の調和させる方法として他に「構図」和感があり評価が低くなったと考えられる.

がある. 構図が正確でないと見る人が違和感を感じるため,自然な陰になっていない原因としては, 一番見る人に注より良い場所に人物イラストを配置する機能を追加してい目される部分である人物イラストの顔に陰の境界線がくっく. また, さけハラス氏から頂いた案を元に陰生成や調和きりとし過ぎていることが考えられる.

部分を細かく調整していく.

逆光についての評価が低い理由は逆光が強すぎるという点が挙げられる. 逆光が強くなってしまうのは光源画像の平均色を取得している為, 光源が画像に対して大きい場合白色が大半となってしまう. そのため加算を用いた合成で参考文献[1]

は逆光が強くなってしまい, 違和感のある光 (図 20) になってしまったことが考えられる. 背景が暗すぎず光源の大きさが適切の場合図 21 のような調和のとれた画像生成が可

[2]
[3]
[4]

能である.
システムの評価に関してはクリックとボタンを押すだけのため使い易く, 生成速度は平均 10.8 秒のため評価が高く[5]なったと考えられる. さけハラス氏の作製時間が 5 分であるのでシステムの画像生成速度は速いと言える.Q9 に関し[6]ては, 逆光やぼかしの精度が悪いためである.
[7]
[8]
[9]
[10]

図 19

不自然なぼかしの生成例

図 20

逆光が強い生成例

7. 展望
本システムは主に背景画像に光源が写っているものを利

[11]
[12]
[13]
[14]
[15]

pixiv14 周 年!ア ク テ ィ ブ ユ ー ザ ー の 半 数 が 海 外 から に!14 周 年 記 念 イ ン フ ォ グ ラ フ ィ ッ ク を 公 開 〜(https://www.pixiv.co.jp/2021/09/10/110000)[pixiv],(https://www.pixiv.net/ranking.php)【背景講座】キャラクターを魅力的に見せる背景の演出(https://www.clipstudio.net/oekaki/archives/152863)
ず ば り ！ ！ ！ 背 景 作 家 に 聞 い て み た 、あ ん
な こ と や こ ん な こ と ま で 。,WHOMOR INC.
(https://whomor.com/blog/410)
面 倒 じ ゃ な い 背 景 の 描 き 方, ぶ る ず あい,(http://blog.livedoor.jp/doubleblue/archives/40737761.html)
背 景 を 描 く 労 力 を 削 減 ！ ト ゥ ギ ャ ッ チ,
(https://ch.togetter.com/2017/06/13/47523)
神原他: 現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感 (MIRU2004)
池内 克史, 佐藤 洋一, 西野 恒, 佐藤 いまり: 複合現実感におけ光学 的整合性の実現 TVRSJ VoL4 No4
洪他: 分光情報に基づいたシーン照明推定と 3DCG の色再現法, IPSJ 全国大会,2018
QingyuanZheng,
ZhuoruLi,
AdamW.
Bargteil:Learning to Shadow Hand-drawn Sketches,The IEEE/CVF(CVPR),2020
GitHub:qyzdao/ShadeSketch
福江 純: 太陽の色・星々の色, 天文教育 2012 年 3 月号
【 逆 光 加 工 】イ ラ ス ト の 雰 囲 気 を ガ ラ ッ と 変 え た い(https://www.clipstudio.net/oekaki/archives/153338)
GitHub:nagadomi/lbpcascade animeface「〇×でわかる風景作画」 , さけハラス,KADOKAWA, 初版 2020 年 9 月 2 日用した. しかし, 背景画像には光源が写っていないものが多く存在する. そのため, 背景画像に光源が写ってない場合で© 2022 Information Processing Society of Japan430