NAIST-IS-MR1151043

課題研究

Non-Photorealistic Rendering 技法に関する調査北口智英

2013 年 3 月 15 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本報告書は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した課題研究の報告書である。
北口

智英

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）河合 紀彦 助教

（副指導教員）Non-Photorealistic Rendering 技法に関する調査∗
北口

智英

内容梗概
コンピュータによる絵画・映画制作の補助を目的として，油絵や鉛筆画など芸
術的な表現を持つ画像を生成する非写実的画像生成（NPR: Non-Photorealistic

Rendering）に関する研究が盛んに行われている．NPR の研究は，目的に応じて３手法に分類される．１つ目は仮想のキャンバスに対して絵や文字を描くペイン
ティング手法，２つ目は３次元モデルのレンダリング手法，３つ目は実写の静止画像や動画像の非写実的な画像への変換手法である．2 つ目の手法はさらに，三次元モデルのみから特定の画風の画像をレンダリングするフィルターベース型アプ
ローチと，参照画像に基づくテクスチャを違和感なくマッピングしてレンダリン
グを行う事例参照型アプローチに細分される．３つ目の手法も同様に，入力画像のみを用いて入力画像に対して特定の画風のフィルタを適用するフィルターベー
ス型アプローチと，参照画像を用いて入力画像を参照画像の特徴を模倣した表現に変換する事例参照型アプローチに細分される．本報告書では NPR 研究全般を概観するとともに，各研究分野の代表的な手法を紹介し，現在の問題点及び今後の展望について分析する．

キーワード

Non-Photorealistic Rendering, ペインティング, テクスチャマッピング, 画像変換，フィルターベース型，事例参照型∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 課題研究, NAIST-IS-MR1151043,
2013 年 3 月 15 日.

iA Survey of Non-Photorealistic Rendering
Techniques∗
Tomoe Kitaguchi

Abstract
Non-Photorealistic Rendering (NPR), which creates an image with artisticstyles of painting such as oil paintings and pencil paintings, has been investigated for generating paintings and movies with computers．The techniques of
NPR are classiﬁed into three categories; the ﬁrst one is a painting method whichassists users to draw pictuires and letters on a virtual canvas or to paint 3D models, the second is a rendering method for 3D models, and the third is a method
which transforms input images or videos into a non-photorealistic style. The
second method can further be devided into two approaches; one is a ﬁlter-based
approach, which renders a 3D model with a speciﬁc non-photorealistic style andthe other is an example-based approach, which maps example textures on a 3Dmodel. The third method also can further be devided into two approaches; oneis a ﬁlter-based approach that applies a ﬁlter to an input image according to a
speciﬁc painting style, and the other is an example-based approach that changes
an input image so that the painting style of the input image can be similar tothat of an example image. This report throughly surveys the ﬁeld and describes
the representative methods in each ﬁeld of NPR, and analyzes current problems
and discuss future directions.

∗

Master’s Report, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MR1151043, March 15, 2013.

ii

Keywords:
Non-Photorealistic Rendering, Painting, Texture Mapping, Image Transform,
Filter-Based, Example-based

iii

目次
1. はじめに1

2. NPR の歴史と分類

3

2.1

NPR の歴史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

NPR の分類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

3. ペインティング手法

10

3.1

墨絵風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.2

アクリル画風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

3.3

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

4. ３次元モデルの非写実的レンダリング手法
4.1

4.2

フィルターベース型アプローチ . . . . . . . . . . . . . . . . . . .

21

4.1.1

墨絵風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

4.1.2

水彩画風 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

事例参照型アプローチ . . . . . . . . . . . . . . . . . . . . . . . .

25

油絵風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4.2.1
4.3

5. 静止画像や動画像の画風変換手法
5.1

5.2

33

フィルターベース型アプローチ . . . . . . . . . . . . . . . . . . .

34

5.1.1

墨絵風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

5.1.2

鉛筆画風 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

5.1.3

水彩画風 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

5.1.4

油絵風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

事例参照型アプローチ . . . . . . . . . . . . . . . . . . . . . . . .

57

油絵風 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

5.2.1
5.3

21

6. まとめ

66
iv

謝辞

67

参考文献

68

v

図目次
1

Photorealistic Rendering（左図）と Non-Photorealistic Rendering（右図）の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3 次元モデルのフィルターベース型アプローチの例 [13] . . . . . .

7

3

3 次元モデルの事例参照型レンダリングアプローチの例 [15] . . . .

7

4

画風変換のためのフィルターベース型アプローチの例 [18] . . . . .

85

画風変換のための事例参照型アプローチの例 [10] . . . . . . . . . .

86

ペン型入力デバイスの例 [2][3] . . . . . . . . . . . . . . . . . . . .

117ストロークの例 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

8Strassmann の手法による生成結果 [1] . . . . . . . . . . . . . . . .

139

Lee の手法のインターフェース [19] . . . . . . . . . . . . . . . . .

13

10

Lee の手法による生成結果 [19] . . . . . . . . . . . . . . . . . . . .

14

11

Baxter らの手法のインターフェース [2] . . . . . . . . . . . . . . .

14

12

仮想ブラシの表現 [2] . . . . . . . . . . . . . . . . . . . . . . . . .

15

13

Baxter らの手法による生成結果 [2] . . . . . . . . . . . . . . . . .

16

14Adams らの手法のインターフェース [3] . . . . . . . . . . . . . . .

17

15

仮想ブラシの構成 [3] . . . . . . . . . . . . . . . . . . . . . . . . .

18

16

Adams らの手法による生成結果 [3] . . . . . . . . . . . . . . . . .

1917

Way らの手法による変換処理例 [7] . . . . . . . . . . . . . . . . .

22

18

Luft らの手法の処理の流れ [13] . . . . . . . . . . . . . . . . . . .

23

19

Luft らの手法による変換処理例 [13] . . . . . . . . . . . . . . . . .

24

20

テクスチャ抽出処理方法 [15] . . . . . . . . . . . . . . . . . . . . .

26

21

最大主曲率の計算 [15]. . . . . . . . . . . . . . . . . . . . . . . .

27

22

Yan らの手法による生成結果 [15] . . . . . . . . . . . . . . . . . .

28

23

image strip の例 [12]. . . . . . . . . . . . . . . . . . . . . . . . .

29

24

image strip の生成方法 [12] . . . . . . . . . . . . . . . . . . . . . .

29

25

Kulla らの手法による生成結果 [12] . . . . . . . . . . . . . . . . .

3026ストロークのテクスチャ[17] . . . . . . . . . . . . . . . . . . . . .

35

27

輪郭の指定と生成結果 [17] . . . . . . . . . . . . . . . . . . . . . .

36

vi

28

鉛筆画の例 [29] . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

29

Mao らの手法のアルゴリズム [29] . . . . . . . . . . . . . . . . . .

38

30

Mao らの手法による画像の変換処理例 [29] . . . . . . . . . . . . .

39

31

Yamamoto らの手法による画像の変換処理例 [30] . . . . . . . . . .

39

32

Papari らの手法による画像の変換処理例 [18] . . . . . . . . . . . .

41

33

Bousseau らの手法で表現できる効果 [14] . . . . . . . . . . . . . .

41

34

Bousseau らの手法による画像の変換処理例 [14] . . . . . . . . . .

42

35

Hertzmann らの手法による画像の変換処理例 [27] . . . . . . . . .

44

36

Hertzmann らの手法による画像の変換処理例 [31] . . . . . . . . .

45

37

Santella と DeCalro の手法による画像の変換処理例 [28] . . . . . .

46

38

Zeng らの手法の処理の流れ [5] . . . . . . . . . . . . . . . . . . . .

47

39

Zhao と Zhu の手法による入力画像と抽象度の異なる変換処理例 [6] 50

40

物体の中心軸の例 [32]. . . . . . . . . . . . . . . . . . . . . . . .

51

41

Gooch の手法による画像の変換処理例 [32] . . . . . . . . . . . . .

52

42

Haeberli の手法による画像の変換処理例 [4] . . . . . . . . . . . . .

52

43Park と Yoon の手法による映像の変換処理例 [8] . . . . . . . . . .

54

44

Lin らの手法による映像の変換処理例 [9] . . . . . . . . . . . . . .

54

45

Lee らの手法による映像の変換処理例 [16] . . . . . . . . . . . . . .

56

46

Lee らの手法のアルゴリズム [10] . . . . . . . . . . . . . . . . . . .

58

47

Lee らの手法による画像の変換処理例 [10] . . . . . . . . . . . . . .

59

48

Hertzmann らの手法による画像の変換処理例 (1/2)[11] . . . . . .

60

49

Hertzmann らの手法による画像の変換処理例 (2/2)[11] . . . . . .

61

vii

表目次
1

NPR の歴史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2

NPR の分類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

ペインティング手法のまとめ. . . . . . . . . . . . . . . . . . . .

20

4

３次元モデルの非写実的レンダリング手法のまとめ . . . . . . . .

32

5物体の区分け [5] . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

6

画像の種類分け [6] . . . . . . . . . . . . . . . . . . . . . . . . . .

49

7

物体の区分け [6] . . . . . . . . . . . . . . . . . . . . . . . . . . . .

498

静止画像や動画像の画風変換手法のまとめ . . . . . . . . . . . . .

63

viii

1. はじめに長年，コンピュータグラフィックス（CG）の分野では，現実世界の表現に近い
写実性の高いグラフィックスを生成する Photorealistic Rendering（PR）に重点をおいて研究が進められてきた（図 1：左）．結果，CG 技術は目覚ましい発達を遂げ，今では映画やビデオゲームの特殊効果・視覚的演出などに多く利用されており，映像や画像を製作する際には CG 技術はなくてはならないものになっている．しかし，誰でも一定レベル以上の写実的な CG 表現が作成可能となり，表現の差別化が難しくなったという側面がある．
このため PR に対する形で，Non-Photorealistic Rendering（NPR）と呼ばれる，
油彩画や水彩画等の絵画風表現や，イラスト，漫画，墨絵等の人間の手による創作美術の表現を CG によって実現する技術が研究されるようになった（図 1：右）．
これにより，同じ題材を描いても画風や描き手によって大きく差が出るなど表現のバリエーションが豊富になり，表現の差別化が容易になる．また，形のディフォ
ルメ，彩色も自由で実際通りに描く必要がなく，写実的な表現では難しい画像を簡単に生成することもできる．
非写実的な画像や映像等の美術作品は，長年人の手のみによって製作されてきたが，アナログ的な手法のみで美術作品を創作するのには多くの経済的・時間的コストがかかるという問題がある．例えば，油絵用の画材を揃えるためには多くの費用がかかる．日本画用の画材は画材を自分で準備しなければいけない場合もある．日本画や水彩画は色塗りや線画で失敗すると修正が効かないので，一からやり直さなければいけない．作品の大きさや使用する画材によっては，アトリエを用意しないと描けない場合もある．
そこで，美術作品制作にかかるコストを削減するために，コンピュータを用いた様々な NPR 技術が開発されてきた．必要な画材や道具は全てソフトウェア化されており，長期的にみるとアナログよりも安価な場合が多い．色調変換やぼかしなどの加工，彩色も簡単に行うことができ，失敗しても簡単な操作ですぐに取り消すことが可能である．このような理由から，現在ではプロ・アマチュア問わず，NPR 技術を用いてイラスト制作をすることが一般的になっている．
本報告書では，このような美術作品の制作補助を目的とする NPR 研究分野全1

図 1 Photorealistic Rendering（左図）と Non-Photorealistic Rendering（右図）の例
般を概観するとともに，NPR を目的に応じた研究分野に分類したうえで，各分
野の代表的な手法を紹介し，現在の問題点，及び今後の展望について分析する．
本報告書の構成は以下の通りである．2 章では，NPR の歴史と目的に応じた 3
手法への分類について述べる．3 章でペインティング手法に関する従来研究について，4 章で 3 次元モデルのレンダリング手法について，5 章で静止画像や動画
像をフィルターや参照事例を用いて美術的な表現を持つ画像に変換する手法について述べる．最後に，6 章で全体のまとめとして，この分野での研究の現状と今後の展望について述べる．

2

2. NPR の歴史と分類
2.1 NPR の歴史
Non-Photorealistic Rendering はここ 30 年で生まれ，発達してきた分野である．
以下，NPR の歴史の概略を表 1 に示す．最初は，3 章で概観するようなモノクロの画像を生成できるペインティングシステムが開発された [1]．以降，カラー画
像を生成できる手法が開発され，またディスプレイ上で視覚化されたブラシやパレットやペン型入力デバイスを用いてアナログ画法と近い感覚でペイントできる手法が開発されるようになった [2][3]．
ペインティングシステムの改良と並行して，90 年代には，半自動でストロークを生成し入力画像を特定の画風に変換する手法も開発されるようになった [4]．この変換手法は開発当初，1 つ 1 つのストロークの場所や大きさなどの要素をユー
ザが指定しなければならないなど手間も多かった．しかし開発が進むにつれ，ス
トロークの場所や形状，方向などを自動で計算し出力結果を生成できる手法も多くなった [5]．パラメータを変更してストロークの各要素を調節することで，印象の異なる出力結果を複数生成できる手法も多い [6]．また，同じく 90 年代には，3次元モデルや映像を半自動で変換する手法も生まれた [7][8]．3 次元モデルに関しては，2 次元画像を変換する手法に比べると研究事例が少ないが，曲率や陰影などの情報を使って見た目に自然なストロークが生成できる研究が多い [7]．映像
に関しては，物体の動きに合わせてストロークを動かすことで映像を画風変換する [8]．初期の手法では，エッジやストロークの形状・大きさが時間的一貫性を保てていない手法が多かったが，最近の研究ではフレーム間でのエッジの保存，ス
トローク形状や大きさの一定化などの工夫を取り入れ時間的一貫性を保ったスト
ロークをもつ出力映像を生成できている手法が多い [9]．

2000 年代になると，参照画像を入力するとその参照画像風に対象画像を変換する手法を開発されるようになった [10][11]．研究によってストロークの形状や大きさ，方向など，参照画像のどの要素を模倣した出力結果を生成するかが異なる．
また，手法によって変換できる画風はある程度限定されている．入力画像を特定の画風に変換する手法に比べると研究事例が少ないが，出力結果をより多様に変3換できるという利点から研究は増加傾向にある．

4

1983

表 1 NPR の歴史
・ペインティング手法の研究開始

1986

・ペインティング手法：Strassmann の研究発表 [1]1990

・静止画像や動画像の画風変換手法の研究開始 [4]・3 次元モデルの非写実的レンダリング手法の研究開始

2001

・ペインティング手法：Baxter らの研究発表 [2]・静止画像や動画像の画風変換手法：Hertzmann ら [11] の研究発表

2002

・3 次元モデルの非写実的レンダリング手法：Way ら [7] の研究発表

2003

・3 次元モデルの非写実的レンダリング手法：Kulla らの研究発表 [12]2004

・ペインティング手法：Adams らの研究発表 [3]2006

・3 次元モデルの非写実的レンダリング手法：Luft ら [13] の研究発表
・静止画像や動画像の画風変換手法：Bousseau ら [14] の研究発表

2007

・3 次元モデルの非写実的レンダリング手法：Yan ら [15] の研究発表

2008 ・静止画像や動画像の画風変換手法：Lee ら [16]，Park ら [8] の研究発表
2009 ・静止画像の画風変換手法（フィルターベース型アプローチ）：Zeng ら[5] の研究発表
2010 ・静止画像や動画像の画風変換手法：Lin ら [9]，Lee ら [10]，Xie ら [17]，Zhao ら [6] の研究発表

2.2 NPR の分類
前節で述べたように，NPR の研究分野では，時代を追って様々な手法が提案されてきた．このような NPR の研究は目的に応じて以下の 3 手法に分類される．

1．仮想のキャンバス上にユーザが絵や文字を描くペインティング手法
2．3 次元モデルのレンダリング手法
3．静止画像や動画像の画風変換手法
この 3 手法の概要，長所，短所は表 2 に示す通りである．
ペインティング手法
ペインティング手法を開発する研究では，人手によるキャンバスやブラシを用いたアナログ画制作をコンピュータ上で再現することを目的とする．具体的には，

5アナログ画に近い絵画を制作することと，アナログ画を描くような感覚で制作ができるようにすることの 2 つを目的とする．キャンバスとしては，紙などを想定した 2 次元平面と，3 次元モデルがある．このような研究により，様々な非写実的な絵画表現をユーザが容易に生成することができるが，アナログ画同様にユー
ザに絵画制作の経験と技術が要求される．

3 次元モデルのレンダリング手法
この手法は，3 次元モデルを人が描いたかのような非写実的な表現でレンダリン
グすることを目的とする．これらの手法のアプローチとしては，3 次元モデルのみから特定の画風の画像をレンダリングするフィルターベース型アプローチ（図2）と，任意の参照画像に基づくテクスチャを違和感なくマッピングしてレンダリングを行う事例参照型アプローチ（図 3）に大別される．この手法により，3 次
元モデルから容易に非写実的な絵画を生成できる．
静止画像や動画像の画風変換手法
画風変換手法に関する研究では，写真などの入力画像を人が描いたかのような非写実的な表現に変換することを目的とする．これらの手法のアプローチとしては，
入力画像のみを用いて入力画像に対して特定の画風のフィルタを適用するフィル
ターベース型アプローチ（図 4）と，参照画像を用いて入力画像を参照画像の特徴を模倣した表現に変換し結果画像を出力する事例参照型アプローチ（図 5）に大別される．この手法により，絵画制作の経験や技術を持たないユーザであっても，容易に非写実的な絵画を生成できる．

6

(a) 入力モデル(b) 出力結果

図 2 3 次元モデルのフィルターベース型アプローチの例 [13](a) 入力モデル(b) 参照画像(c) 出力結果

図 3 3 次元モデルの事例参照型レンダリングアプローチの例 [15]7(a) 入力画像(b) 出力結果

図 4 画風変換のためのフィルターベース型アプローチの例 [18](a) 入力画像(b) 参照画像(c) 結果画像

図 5 画風変換のための事例参照型アプローチの例 [10]8

表 2 NPR の分類
長所

手法

概要

短所

ペインティング手

コンピュータによ

自由度が高い，ア

絵画制作の経験・知法

る絵画制作の補助

ナログ画に比べ経識が必要

済的・時間的コス
トが少ない

3 次元モデルのレ

3 次元モデルを半

簡単な入力でレン

結果の微調整が困

ンダリング手法

自動でレンダリン

ダリングが可能難出力結果の調整がグ
静止画像や動画像

実写画像を半自動

簡単な入力でレンの画風変換手法

で写実的な画像に

ダ リ ン グ が 可 能 ， 繰り返し必要な場

変換

結果の微調整が容
易

9

合もあり

3. ペインティング手法
本章では，２次元や３次元のキャンバスに対して絵や文字を描くペインティン
グ手法の開発を目的とした研究を紹介する．これらの研究は，マウスとキーボー
ドを入力デバイスとして用いることを想定したペイントシステムを提案する研究[1][19] と，図 6 に示すようなペン型の特殊な入力デバイスを用いることを想定したペイントシステムを提案する研究 [2][3] に分類できる．いずれの研究も，仮想のキャンバス上でブラシやパレットなどペイントに必要な画材をモデル化し，また実際のブラシで制作する際に起こる筆圧によるブラシ先の広がりなどの画材の形状の変化をシミュレーションし筆跡に反映させるシステムを提案している．また，アナログ的な手法による絵画と同じタッチを実現させるために，紙についたインクのにじみや色の混色などの効果やストロークの幅をユーザの好みに変換できる手法が多い．レンダリングはストロークを基本単位として行う．ストロークとは，ブラシや鉛筆を移動した軌跡のことである（図 7）．ストロークを仮想キャンバス上に複数描くことで絵画を制作する．以下，各研究を制作対象とする画風ごとに分け，研究ごとにストロークの入力方法，画材の形状の変化のシミュレーションに基づく効果の表現の方法などを概観する．

3.1 墨絵風Strassmann[1] は Flat-brush-based approach[20][21] を用いた墨絵のペインティ
ングシステムを提案した．入力にはマウスとキーボードを用いる．Flat-brush-

based approach は，ストロークを点の集合として定義し，点ごとに場所と筆圧を指定してキャンバス上にストロークを描く方法である．Strassmann の手法では，キャンバス上でストロークの開始点，終止点及びストローク方向の変わる点をマ
ウスで指定すると，点の間が自動で補間されストロークが生成される．また，点の筆圧の数値を入力すると，その点でのストロークの幅が決定される．ブラシは 1
列の毛の集合として定義し，各毛に対してインクの残量が計算される．ストロー
クの終止点に行くほどインクの残量が少なくなる様に計算されるため，筆のかす
れなど，Strassmann の研究以前にはなかった墨絵の細やかな表現が可能である．

10

図 6 ペン型入力デバイスの例 [2][3]

図 7 ストロークの例

11

図 8 は Strassmann の手法による生成結果である．ストロークの境界が不自然にはっきりしている，ストロークの重なりが表現できないなど，実際の墨絵とは隔たりが存在する．また，点でストロークを指定するという方法は，ユーザにとって直感的ではなくアナログ画の制作とは異なる技術が必要となる．

Lee[19] も Flat-brush-based approach を用いた，図 9 に示すようなブラシを 3 次
元モデル化してキャンバス上で目視できるペイントシステムを提案した．入力にはマウスとキーボードを用いる．Lee の手法も Strassmann の手法と同じく，キャンバス上でストロークの開始点，終止点及びストローク方向の変わる点をマウスで指定する方法を取っている．点の間は Catmull-Rom spline curve[22] を用いて補間されストロークが生成される．ブラシの先は数値入力に基づく筆圧により変形し，描かれるストロークの幅に違いをもたらす．ブラシのモデル化においては，
実際のブラシの形状を模して，ブラシは円状のベースに中心の毛と円の輪郭に沿って毛を配置した形でモデル化されている．そうすることで，円状のベース全てに毛の集合を配置するよりも計算コストが低く抑えられる．また，墨絵独特の紙の質感を出すために，ユーザの好みに合わせ選べる 2 種類の和紙のモデルをキャン
バスとして用意している．和紙のモデルは，和紙の繊維の分布をメッシュで表現した Guo[23] らの手法を参考に生成する．図 10 は Lee の手法による生成結果である．本手法においても，ストロークの境界がはっきりと出て不自然である．また，ストロークの重ね塗りが表現できず，既に描かれたストロークの上にストロークを描いた場合は重なる部分が上書きされてしまい，見た目が不自然になる．

3.2 アクリル画風
Baxter ら [2] は，アクリル画でよく用いられるブラシ数種類を 3 次元モデル化
し，それらのブラシをペン型の入出力デバイスで操作する手法を提案した．ディ
スプレイ上には図 11 のようにキャンバス，ブラシ，パレットが表示され，ペン型入出力デバイスで直感的な操作を行うことができる．モデル化された仮想ブラ
シは，実際のブラシの形状や描画時の変形を考慮し，図 12 に示すように軸とそれを覆うメッシュで構成されている．軸は軸の特定のポイントで曲がるばね構造になっており，キャンバスに置かれると特定のポイントで折れ曲がり，離すと直12図 8 Strassmann の手法による生成結果 [1]

図 9 Lee の手法のインターフェース [19]13

図 10 Lee の手法による生成結果 [19]図 11 Baxter らの手法のインターフェース [2]14(a) 仮想ブラシ(b) 仮想ブラシの軸(c) 仮想ブラシの表面のメッシュモデル

図 12 仮想ブラシの表現 [2]線に戻る．入力デバイスの傾きに合わせブラシの先が変形し，描かれるストロー
クの幅も変化する．また，仮想キャンバス上でストロークを描く際，キャンバスにタッチした反力がペン型デバイスにかかるようになっており，アナログ的な手法で絵を描く感覚を再現している．図 13 は Baxter らの手法による生成結果である．混色や重ね塗りなどアクリル画でよく使われる技法と，Baxter ら以前の研究では少なかった多数のカラー表現を可能にした．しかし，ブラシを特定の 6 つの角度でしか傾けることができず，ユーザが思ったようなストロークが描けない場
合もある．

Adams ら [3] は，Baxter ら [2] の手法を 3 次元モデルのペインティングに応用した．Baxter らと同じペン型入出力デバイスを用いて，ポイントベースの 3 次
元モデルを対象としたペインティングシステムを開発した．ディスプレイ上にはBaxter らと同様，図 14 のように対象のモデル，ブラシ，パレットが表示され，ペン型入出力デバイスで直感的に操作が可能である．ブラシのモデル化においては実際のブラシの形状や描画時の変形を考慮し，図 15 に示すようにブラシの先は軸とポイントで構成されている．軸は Baxter らの手法と同様に特定のポイントで曲がる構造になっており，キャンバスに置かれると特定のポイントで折れ曲がり，
離すと直線に戻る．この手法も，仮想キャンバス上でストロークを描く際，キャンバスにタッチした反力がそのデバイスにかかるようになっている．また，入力15

図 13 Baxter らの手法による生成結果 [2]デバイスの傾きに合わせブラシの先が変形し，描かれるストロークの幅も変化す
る．2 次元のキャンバスを対象とした Baxter らの手法と異なる点として，ブラシがモデルの曲率の高い部分に置かれた時は，ブラシの先が 2 つに割れるという変形も再現している．図 16 は Adams らの手法による生成結果である．混色や重ね塗りなど，アクリル画でよく使われる技法による結果が 3 次元モデル上で表現されている．

3.3 考察
本章で紹介した手法の概要，入力デバイス，長所，短所を表 3 に示す．初期に提案されたペインティングシステムはストロークを点で指定して生成するポイン
ト指定型が多いが，ストローク生成に時間がかかる・直感的ではないという理由から，使いやすいシステムとは言い難い．その後，ペン型入力デバイスを用いる

16

図 14 Adams らの手法のインターフェース [3]システムが開発され，アナログの方法でブラシを動かすのと同じような感覚でペイントができるようになった．また，にじみや色の混色などの効果も表現でき，アナログ画に近い表現が可能となっている．加工や彩色，やり直しの簡便さの点においても，コンピュータを使わないアナログ的な手法によるペイントよりも経済的・時間的コストの少ないペイントが可能な手法が増えている．

17

(a) 仮想ブラシの軸(b) 仮想ブラシの表面のポイントモデル

図 15 仮想ブラシの構成 [3]18図 16 Adams らの手法による生成結果 [3]

19

手法

表 3 ペインティング手法のまとめ
概要
入力デバイス 長所

短所

Strassmann[1]

墨絵を生成

Lee[19]

墨絵を生成

マウスとキー

半自動でスト生成結果が不ボード

ロークが生成自然，非直感可能

的な生成方法

マウスとキー

半自動でスト生成結果が不ボード

ロークが生成自然，非直感可能，ツール

的な生成方法

を目視可能

Baxter ら [2]Adams ら [3]アクリル画を

ペン型デバイ

直感的なイン

デバイスの動生成ス

ターフェースきに限定あり3 次元モデル

ペン型デバイ

直感的なイン

デバイスの動をアクリル画ス

ターフェースきに限定あり風にレンダリング

20

4. ３次元モデルの非写実的レンダリング手法
この手法は，3 次元モデルを人が描いたような非写実的な表現でレンダリング
することを目的とする．これらの手法のアプローチとしては，3 次元モデルのみ
から特定の画風の画像をレンダリングするフィルターベース型アプローチ（図 2）と，参照画像に基づくテクスチャを違和感なくマッピングしてレンダリングを行う事例参照型アプローチ（図 3）に大別される．前者は，3 次元モデルを入力し，視点位置を設定するとある特定の画風を持つ 2 次元画像に変換して出力する．後者は，参照画像から代表的なテクスチャを抽出し，3 次元モデル上にマッピング
しレンダリングを行う．以下，アプローチ別かつ対象とする画風別に各研究を概観する．

4.1 フィルターベース型アプローチ
4.1.1 墨絵風
Way ら [7] は，木の 3 次元モデルを入力し視点位置を設定すると，墨絵風の木の画像を生成する手法を提案した．入力したモデルの特定視点画像において，輪郭を抽出し，また各頂点の奥行き値から最大主曲率方向の算出を行う．その後，最大主曲率方向にテクスチャのストローク方向を揃えてテクスチャマッピングを行う．輪郭を強調するため，輪郭近くのテクスチャは輝度を低めに調節する．また，陰影を表現するため，影の当たる部分の輝度も低めに調節する．図 17 は Way らの手法によるマッピングの例である．図より，曲率方向に合わせてストロークが生成されており，また小さな枝まで輪郭が潰れることなく自然にレンダリングできている．

4.1.2 水彩画風
Luft ら [13] は，木の 3 次元モデルと光源情報から水彩画風の画像を出力する手法を提案した．この手法の特徴は，出力画像の色をユーザが選べる点と，パーティ
クルを用いることで葉の細かいテクスチャを表現できる点である．図 18 に Luft21

(a) 入力モデル(b) 出力結果

図 17 Way らの手法による変換処理例 [7]らの手法の処理の流れを示す．最初に，木のモデルと光源情報を入力する．入力
したモデルから implicit surface と葉の 3 次元パーティクルモデルを生成する．次に implicit surface とパーティクルモデルのそれぞれに対し，出力画像上での輪郭をトレースした intensity map を生成する．また，光源情報からは，shadow mapと lighting map を生成する．shadow map は，モデルの陰影情報を表すために生成される．lighting map は出力結果の色を調節し，陰影のコントラストを強調するために生成される．最後に各 map の情報を統合することで出力画像が生成される．この手法を用いて生成された画像の例を図 19 に示す．レンダリングする
モデルを植物に限定しアルゴリズムを特化することで，自然な水彩画風の出力画像を生成することができている．

22

図 18 Luft らの手法の処理の流れ [13]23(a) 入力モデル(b) 出力結果

図 19 Luft らの手法による変換処理例 [13]24

4.2 事例参照型アプローチ
4.2.1 油絵風
Yan ら [15] は，参照画像のストロークと 3 次元モデルの形状の関係に着目し，3次元モデルに参照事例から抽出したテクスチャをマッピングする手法を提案した．
図 20 に参照画像からのテクスチャ抽出処理方法を示す．まず画像を Deng ら [24]の手法を用いて領域分割し，どの領域を事例として利用するかユーザが選択する．
選択した領域を用いて輝度勾配の計算や画像の拡大・縮小を行うことで，一定のストローク方向と幅をもつテクスチャ（キーマップ）を生成する．次に，ユーザが選択した領域のみではテクスチャの色が限られるため，複数のキーマップを利用して中間色のテクスチャを生成する．次に図 21 に示すように，メッシュモデル
を Lee ら [25] の手法でポイントセットに変換し，局所的な形状から各頂点の最大主曲率の方向を求める．最後に，頂点の最大主曲率方向とテクスチャのストロー
クの方向が一致するようテクスチャをマッピングする．ここでは，テクスチャを張り合わせる際にテクスチャの端同士を重ね合わせてブレンディングを行うこと
で，テクスチャの継ぎ目が目立たないようにしている．図 22 は Yan らの手法によるテクスチャ生成例とマッピング後のモデル例である．図より３次元モデルの各頂点の最大主曲率方向にストロークがレンダリングされていることがわかる．
また，参照画像に応じて色・形状の異なるストロークが生成できている．

Kulla ら [12] は，参照画像から複数の image strip というテクスチャを生成してマッピングする手法を提案した．image strip とは，図 23 のような左から右にかけ陰影の変化のある横長の 2 次元画像をさす．image strip は，以下の手順で生成される（図 24）．

(a) 参照画像中のユーザの選択領域の各列の平均色を算出し，明度順にソートし色画像を生成(b) 参照画像中のユーザの選択領域（(a) と異なる領域でもよい）をグレースケー
ル化しストロークの形状のみをもつテクスチャ画像を生成(c)(a)(b) の画像を任意に組み合わせ image strip を生成
このように，色とストロークのテクスチャを分離してそれらを組み合わせて image

strip を生成することで，様々なストロークや色をもつモデルを生成できる．モデ25

図 20 テクスチャ抽出処理方法 [15]26(a) メッシュモデル(b) ポイントセット

図 21 最大主曲率の計算 [15]27(c) 最大主曲率方向の特定

図 22 Yan らの手法による生成結果 [15]28

図 23 image strip の例 [12](a) 選択領域の色を明度順にソートした色画像(b) 選択領域のストロークの形状のみを持つテクスチ
ャ画像(c) 色画像とテクスチャ画
像を組み合わせた image
strip

図 24 image strip の生成方法 [12]ルへのテクスチャマッピングは，Efros ら [26] の 2 次元画像に対するテクスチャ
合成方法を改良した方法を用いている．このアルゴリズムはテクスチャ合成法の一種で，小さな要素テクスチャを貼り合わせて大きな 1 枚のテクスチャを生成す
る．Kulla らは，テクスチャを貼り合わせる際にテクスチャの端同士をブレンディ
ングを行うことでテクスチャの継ぎ目が目立たないようにマッピングする．図 25
は Kulla らの手法によるテクスチャ生成例とマッピング後のモデルである．image

strip に応じて色とストロークの形状の異なるテクスチャが 3 次元モデル上に生成できている．この手法では，ストロークの方向に関しては考慮しておらず，レンダリングされたストロークの方向が一定ではない．

4.3 考察
本章で紹介した手法のアプローチ，入力データ，レンダリング可能な画風，長所，短所を表 4 に示す．フィルターベース型アプローチに関して，本章では特定の物体に絞ってレンダリングを行う研究を紹介した．いずれの出力結果においても細かいテクスチャまで表現できており，自然なレンダリング結果が得られてい29

(a) image strip(b) image strip を用いたマッピング結果

図 25 Kulla らの手法による生成結果 [12]30

る．事例参照型アプローチに関しては参照画像からマッピングするテクスチャを抽出するため，参照画像を変更することで様々なストロークを持つテクスチャのマッピングが可能である．また，テクスチャの継ぎ目も目立たず自然なマッピン
グができている．ただし，どちらのアプローチも，ストロークの幅や長さ，形状などの要素がモデル全体で統一されているため，レンダリング結果の細かい調整をすることは難しい．

31

手法

表 4 ３次元モデルの非写実的レンダリング手法のまとめアプローチ 入力データ レンダリング 長所
短所
可能な画風

Way

フィルター

3 次元モデ

ら [7]

ベース型

ル

墨絵

曲率に沿っ 木以外のモ
たストロー

デルは生成

ク配置が可

不可能

能

Luft らフィルター

3 次元モデ

[13]

ベース型

ル

水彩画

水彩画独特

木以外のモ

の細やかな

デルは生成

効果が表現

不可能

可能

Yan ら

事例参照型

[15]

3 次元モデ油絵

曲率に沿っ 参照できる

ル，参照画

たストロー

テクスチャ

像

ク配置が可

に限定あり

能

Kulla
ら [12]

事例参照型

3 次元モデ

油絵

多様なテク

ストローク

ル，参照画

スチャを生

方向の調整

像

成可能

が不可能

32

5. 静止画像や動画像の画風変換手法
画風変換手法は，実写の入力画像を非写実的な表現に変換することを目的とす
る．これは，入力画像に対して特定の画風のフィルターを適用するフィルターベー
ス型アプローチ（図 4）と，参照画像を用いて入力画像を参照画像の特徴を模倣した表現に変換する事例参照型アプローチ（図 5）に大別される．これらの手法は，
レンダリングする箇所に合わせて形状，方向，色などの要素が異なるストロークを生成する工夫をしている．ストローク生成の際に重要となるストロークの要素は以下の通りである．
・場所
・形状
・方向
・色
・時間的一貫性 (動画像を変換する手法に限る)「場所」に関しては，出力画像上にストロークを適切な場所に配置する必要がある．この要素を決める上で重要なのは，出力画像上にストロークの配置されない欠損領域を出さないようにすることである．多くの手法ではストロークを重ねて配置することでこの問題を回避している [5][6][27][28]．
「形状」に関しては，画風変換手法で考慮されるストロークの形状はストロークの大きさ，幅・長さ，輪郭の 4 つに細分される．ストロークの大きさに関しては，領域の重要度に合わせてストロークの大きさを変える手法がある [28]．これは，手前の人物など注目度の高い物体には細やかなストロークを用い，背景など注目度の低い部分には大きなストロークを用いるという，絵画を描く際の手法を踏襲している．幅や長さも出力画像の印象の影響する要素である．この要素をユーザが調節できる手法もある [29][30]．また，画像中の物体に合わせてストロークの輪郭を変更する手法もある [5][6]．これも，実際に絵画を描く際，物体に合わせて丸みのあるストロークや四角張ったストロークを生成する手法を踏襲している．
「方向」に関しては，画像のテクスチャに合わせて特定の方向にストロークの向きを揃えることに着目する手法もある [5][6][10][27][28][29][30][31][32]．また，一般的な絵画では描かれた物体のエッジや陰影に合わせてストロークの向きを揃え33

ているため，その考えに基づきストロークの方向を決定するアルゴリズムを提案している手法もある [27][28][31]．
「色」に関しては，出力画像の領域にあった色のストロークを生成する必要がある．
かつてはユーザが生成するストロークや領域ごとに色を指定する手法が多かったが[4][14][17]，最近では自動で色を決定する手法も増えてきている [5][6][10][11][27][30][31][32]．
「時間的一貫性」に関しては，フレーム間で物体の動きに合わせストロークがレンダリングされ，フレーム間のテクスチャの一貫性を保つことが考えられている[8][9][16]．
これらの要素を考慮したストロークを生成し絵画風画像を出力する様々な手法が開発されてきたが，手法によって重視する要素や，考慮しない要素もある．本章
では，代表的な画風変換手法を，各アプローチで対象とする画風ごとに分けた上で，これらストロークの要素に関するアルゴリズムに着目して概観する．

5.1 フィルターベース型アプローチ
5.1.1 墨絵風
Xie ら [17] は，ユーザが画像中の物体の輪郭をなぞると，その輪郭に沿って筆跡の形をしたテクスチャを貼り付けストロークを生成することで墨絵風の画像に変換する手法を提案した．この手法では，テクスチャとして Okabe ら [33] が提案したものを使用している．Okabe らのテクスチャは複数の種類があり，また種類ごとに墨の濃さが異なるテクスチャがある．それらを利用し，Xie らはストロー
クの開始点では墨の濃いテクスチャを貼り，先に行くにつれ墨の薄いテクスチャを貼ることで，墨絵の独特な濃淡のあるストロークを再現している．テクスチャ
は一定間隔で貼り，テクスチャ間では B-spline 補間 [34][35] を行う．Xie らの手法で生成した 6 種類のストロークを図 26 に示す．また，輪郭をなぞる際にユーザが色を指定することで，色の着いたストロークを生成することもできる．指定された輪郭とその生成結果の例を図 27 に示す．図より，ユーザの指定した輪郭通りに，筆のかすれや幅の違いなどを用いて自然な墨絵を生成できていることが分34

図 26 ストロークのテクスチャ[17]かる．

35

図 27 輪郭の指定と生成結果 [17]5.1.2 鉛筆画風
Mao ら [29] は，LIC（Line Integral Convolution）法 [36] を使って鉛筆画風に変換する手法を提案した．LIC 法とは，ベクトル場を視覚化する線積分畳み込み法である．鉛筆画は，図 28 に示すように複数の線を特定の方向に重ねてひくことで対象を描画する．したがって，線をストロークと定義し，鉛筆風のストロー
クを入力画像中のテクスチャの方向に沿って平行に生成することで，鉛筆画のよ
うな表現をもつ画像を生成できる．Mao らの手法のアルゴリズムの図解を図 29に示す．入力画像がカラー画像の場合は，あらかじめグレースケール画像に変換しておく．入力画像 (a) から，ホワイトノイズ画像 (b) と領域分割画像 (c) を生成する．領域分割画像から領域の境界を抽出した画像 (d) を生成する．領域分割画像に対し，Saito ら [37] のフーリエテクスチャ解析法を用いて領域ごとにテクス
チャの方向を検出し，それをもとにストロークの向きを示すベクトル場を生成す
る (e)．次に LIC 法を用いて，ベクトル場とホワイトノイズ画像を畳み込んで鉛筆画を生成する (f)．必要に応じて境界を抽出した画像を結果画像に畳み込み，輪郭を強調した画像を生成する (g)．結果画像に画用紙のサンプルを合成し (h)，最終出力画像を得る (i)．LIC 計算に用いられるパラメータ値を調整することで，ストロークの要素を簡単に調整できる．例えば，ストロークの幅は，粒度のノイズの荒さを変えることで調整できる．また，ストロークの長さは，畳み込みカーネルの長さを変えることで調整できる．図 30 は Mao らの手法による入力画像と処36

図 28 鉛筆画の例 [29]
理後の出力画像の例である．鉛筆画風のテクスチャを持ったストロークを生成できているが，エッジ周辺に周囲のストローク方向とは異なる方向をもつ領域が生成されており，不自然な生成結果となっている．

Yamamoto ら [30] は Mao らの手法をベースに，カラーの鉛筆画風画像を生成する手法を提案した．領域分割画像を生成した後，画像中の最頻出の 2 色を抽出し，その色を残してベクトル場を生成し，ホワイトノイズ画像を畳み込むことで，鉛筆画風画像を生成する．また，色はユーザが自由に選択することも可能である．
この手法でも，Mao らの手法と同様にストロークの幅と長さを調節できる．図 31
は入力画像 (a)，画像から抽出した色を用いた出力結果 (b)，およびユーザが選択
した色で生成した出力結果 (c) の例である．おおよそ自然な画像に変換できているが，一般的に鉛筆画ではエッジをはっきりと描くことを考慮にいれると，エッジをより鮮明に残した方が望ましい．

37

図 29 Mao らの手法のアルゴリズム [29]38(a) 入力画像(b) 出力結果

図 30 Mao らの手法による画像の変換処理例 [29](a) 入力画像(b) 自動で抽出された色による
生成結果(c) ユーザが選択した色による生成結果

図 31 Yamamoto らの手法による画像の変換処理例 [30]39

5.1.3 水彩画風
水彩画の制作では，物体の輪郭を残し，細かい部分は描きこまない描き方が一般的である．その考えに基づき，Papari ら [18] は入力画像を水彩画風に変換する

abstraction ﬁlter を提案した．このフィルターは，医療画像を対象として提案されたエッジ保存平滑化フィルターである kuwahara ﬁlter[38] を改良し，ノイズに強く，またテクスチャの細かい部分も保持しつつ変換を行うフィルターである．
この手法を用いて生成された画像の例を図 32 に示す．図より，エッジを保ったま
ま変換ができているが，出力結果はアクリル画のようなマットな印象を受ける．
水彩画は一般的に色づきの薄い透明感のある絵が多く，それを考慮すると水彩画風に変換できているとは言い難い．

Papari の手法に対し，Bousseau ら [14] は，領域ごとに領域全体の基本色をペイントした後に細かいテクスチャの描き込みを行う絵画の技法を踏襲した手法を提案した．この手法ではまず，対象画像に対して領域分割を行い，領域ごとにベースとなる色をペイントする．この色はユーザが領域内の色から選択する．次に，ベースの色をペイントした画像に対し図 33 に示すような水彩画で見られる効果を対象画像に加える．具体的には，同図 (a) のような顔料の広がりを表すフロー
効果は，炎や煙，雲を表現する際に使用されるパーリンノイズを用いて表現する．
同図 (b) のようなまだら模様は，ガウシアンノイズを使用して表現する．同図 (c)のようなストロークの端の色が濃くなる edge darkening 効果は，領域の輝度勾配を使って表現する．これらの効果の程度はユーザが調節することができる．また，
出力結果の生成には実際の紙をスキャンしてテクスチャ化したものを使用する．
この手法を用いて生成された画像の例を図 34 に示す．紙のテクスチャの質感やまだら模様，edge darkening 効果が表現されており，アナログ画の見た目に近い
水彩画風変換ができている．また，水彩画独特の透明感のある色づきの出力結果を生成できている．

40

(a) 入力画像(b) 出力結果

図 32 Papari らの手法による画像の変換処理例 [18](a) フロー効果(b) まだら模様(c) edge darkening 効果

図 33 Bousseau らの手法で表現できる効果 [14]41(a) 入力画像(b) 出力結果

図 34 Bousseau らの手法による画像の変換処理例 [14]5.1.4 油絵風
油絵風画像への変換は，静止画像を入力とする手法と動画像を入力とする手法が存在する．以下では静止画像を入力とする研究，動画像を入力とする研究を順に概観する．
静止画像を入力とする研究
一般的な油絵の制作では，初めはテクスチャの荒い部分から大きなストロークを使って描き，次に細かい部分を小さなストロークで描く．その考えに基づき，Hertzmann[27] は，入力画像のテクスチャの細やかさに応じてストロークの要素が異なる油絵風の画像に変換する手法を提案した．具体的には，まず入力画像に対して平滑化の度合いが異なる複数のガウシアンフィルターをかけることで画像レイヤーを生成する．次に，最も平滑化の程度の大きいレイヤーを大きなストロークで塗りつぶす．塗りつぶしたレイヤーと入力画像で一定以上の差のある部分に対し，次のレイヤー上に小さなストロークを塗る．この処理を繰り返すこと
で入力画像のテクスチャの細かさに対応した大きさのストロークを配置する．ス
トロークの方向はソーベルフィルタにより算出される輝度勾配に対して垂直に設定する．また，入力画像のエッジを保存するため，レイヤーにストロークを生成する際，エッジ上にコントロールポイントを配置する．コントロールポイント上

42

の色とストロークの色の差が一定の値以上になると，ストロークはコントロール
ポイントでカットされる．ストロークの色は，入力画像の対応する位置上の画素値の平均をとる．また，ユーザは画像全体のストローク大きさを変更することが可能である．この手法を用いて生成された画像の例を図 35 に示す．同図 (b) に示
すように，全体のストロークを大きくし過ぎると，エッジが保存されず出力画像
全体がぼやけてしまう．一方，同図 (c) に示すように，適切なストロークの大きさを用いた場合はエッジが保存された出力画像が得られる．この手法のストロー
ク方向の決定は，テクスチャの周波数が高い領域では有効である．一方，テクス
チャの周波数が低い領域では，ノイズの影響を受けやすく勾配ベクトルが様々な方向を向き，不自然な出力画像が生成される場合がある．

Hertzmann[31] は後に上記の手法を改良し，エネルギー関数を用いてストロー
クの最適な場所を決める画風変換手法を提案した．エネルギー関数は未処理の画
素数に基づく項と画像中のストロークの数に基づく項から成り，最小化することで，最低限のストロークの数で欠損領域の無い出力結果を生成できる．ストロー
クの数を抑えることで，処理にかかる計算コストを抑えることができる．この手法を用いて生成された画像の例を図 36 に示す．エッジが保てておらず，手前の人
物の上着の裾のように，画像中の物体内に隣接する物体の色を持つストロークが生成されてしまっている．

Santella ら [28] は，アイトラッキングを用いて入力画像内の各領域に重要度を設定し，重要度の高い部分ほど小さなストロークを用いて細かく描き，かつスト
ロークの彩度を上げる事で重要な領域を強調して描く手法を提案した．具体的には，入力画像に対するユーザの目線を計測し，目線が集中する領域ほど重要度を高く設定する．また，ストロークの方向は Hertzmann[27] と同様，輝度勾配を用いて決定する．Hertzmann と同じく，この手法においても，方向の決定方法はテ
クスチャの周波数が高い領域では有効であるが，そうでない領域では勾配ベクト
ルはノイズに敏感になり，不自然な出力画像が生成されることが多い．このアイ
トラッキングを用いる手法は，ユーザの注目したい領域に合わせて画像が生成できる一方，手間がかかり，経済的コストも高くつく．この手法を用いて，2 人のユーザの視線計測に基づき生成された画像の例を図 37 に示す．ユーザの注目度

43

(a) 入力画像(b) 出力結果（ストロークの大きさ：大）(c) 出力結果（ストロークの大きさ：小）図 35 Hertzmann らの手法による画像の変換処理例 [27]44(a) 入力画像(b) 変換後の入力画像

図 36 Hertzmann らの手法による画像の変換処理例 [31]に合わせてストロークの要素を変えた画像が生成できている．しかし，注目度の低い領域は物体の判別が困難なほどストロークが粗く生成されてしまっている．

Zeng ら [5] は，入力画像中の物体ごとにストロークの要素を決定し生成する手法を開発した．まず Tu[39][40] や Guo[41] の手法を用いて入力画像中の物体を抽出する．次に抽出された物体にユーザがラベル付けを行う．ラベル付けは表 5 に沿って行う．この物体の区分け基準は，Lin ら [9] の手法を参考にした．区分け後，物体ごとにストロークの場所と方向を決定する．ストロークの場所を決定する際は，ストロークの生成されない欠損領域が出ないような工夫がなされている．
具体的には，領域内の未処理の画素にストロークを生成し，近傍のストロークの被った画素と共に処理済みの画素としてチェックする．この処理を未処理の画素がなくなるまで繰り返す．こうすることで，全ての画素にストロークが生成される．ストロークの方向は，anisotropic diﬀusion[42] を用いて物体ごとに流れ場を生成し，流れ場の方向にストロークの方向を合わせる．ストロークの場所・方向の決定後，物体ごとにレンダリングを行う．レンダリングには，印象派の絵画のストロークを物体別にサンプリングした brush dictionary を使用する．ストロー
クの色は Reinhard ら [43] の色変換アルゴリズムを用いて決定する．具体的には，

45

(a) ユーザ 1 の視線計測データ(b) (a) に基づき生成された出力結果(c) ユーザ 2 の視線計測データ(d) (c) に基づき生成された出力結果

図 37 Santella と DeCalro の手法による画像の変換処理例 [28]注目するストロークに対応する位置にある参照画像の画素をランダムにサンプリ
ングし，色の平均をとる．その色を使って色変換を行い，ストロークの色を得る．
入力画像を変換し出力画像を生成する処理の流れは図 38 の通りである．図より，物体に合わせたストロークを生成でき，またエッジを保ったまま画像を変換する
ことができていることが分かる．

Zhao ら [6] も，Zeng ら [5] と同様，画像から物体を抽出して物体ごとにストロークの要素を決定する手法を開発した．入力画像はシスレー風に変換され出力される．まず，Lin ら [9] の texton boost algorithm またはユーザの手動により画像内

46

(a) 入力画像(b) エッジ抽出(c) 流れ場の生成(d) 出力画像

図 38 Zeng らの手法の処理の流れ [5]47表 5 物体の区分け [5]
顔・肌

髪

服

空・雲

水面

波しぶき

山

道・建物

岩

地面

木・プラスチック

金属

花・果物

草

葉

木の幹・枝

背景

その他

の物体ごとに領域分割を行う．次に抽出された物体にユーザがラベル付けを行う．
画像の種類とラベル付けは表 6，7 に沿って行う．区分け後，物体ごとにストロー
クの場所と方向，重要度を決定する．ストロークの場所の決定には Deussen ら [44]と Bridson[45] の inhomogeneous Poisson disk sampling を用いる．この方法では，
ストロークの重なりを最小限に抑えつつ，ストロークの生成されない欠損領域が生じないようレンダリングを行うため，計算コストを低く抑えることができる．
ストロークの方向は，anisotropic diﬀusion[42] を用いて物体ごとに流れ場を生成
し，流れ場の方向にストロークの方向を合わせる．また，画像内の物体に重要度を付け，重要な物体は抽象度を弱く，重要でない物体は抽象度を高くしてレンダリングする．重要度に基づく抽象度の違いは，シスレーの技法に基づいている．
物体の重要度は画像の種類によって異なり，Yao ら [46] と Yedidia ら [47] の手法
または，ユーザの手動により決定する．ストロークの場所・方向・重要度の決定
後，物体ごとにレンダリングを行う．レンダリングには，シスレーの絵画のスト
ロークを物体別にサンプリングした brush dictionary を用いる．ストロークの色は Reinhard ら [43] の色変換アルゴリズムを用いて決定する．この手法を用いて，抽象度を変えて生成された画像の例を図 39 に示す．エッジを保ったまま油絵風の画像に変換できている．ストロークの方向も物体のエッジに沿っており，ストローク同士が滑らかな連なりを保っている．

Gooch ら [32] は，medial axis を用いてストロークを生成する手法を提案した．
medial axis とは物体形状の表現方法の一つで，物体の中心軸を表す（図 40）．まず perceptual metric[48] を用いて，入力画像を領域分割し領域ごとに medial axisを求める．次に領域ごとにストロークのレンダリングを行う．ストロークの方向48

表 6 画像の種類分け [6]クローズアップ
室内
風景画
人物画
海景画
街路風景

表 7 物体の区分け [6]
背景

動物

自転車

鳥

橋

ビル

自動車・電車

蝶

煙突

服・繊維

ドア・窓

顔・肌

魚

旗

花

果物

家具

ガラス・磁器

草・藁・葦

地面

髪

家

人

凧・風船

ランプ・光

葉

山

柱

道・路地

岩・石

砂・沖

船・ボート

空・雲

哺乳類

雪・霜

像

太陽・月・星

塔・灯台

木・幹・枝

傘

壁・屋根

水・水しぶき49

(a) 入力画像(b) 出力結果（抽象度：小）(c) 出力結果（抽象度：中）(d) 出力結果（抽象度：大）図 39 Zhao と Zhu の手法による入力画像と抽象度の異なる変換処理例 [6]50図 40 物体の中心軸の例 [32]は medial axies に合わせる．色は，ストロークを生成する場所と対応する入力画
像中の画素値を用いる．ストロークの形は予め長方形状に固定されている．この手法を用いて生成された画像の例を図 41 に示す．図より，ストローク間の継ぎ目がはっきりと表れており，油絵で見られるストローク間の滑らかな連なりが表現できていない．

Haeberli[4] は, キャンバス上でユーザが逐一ストロークを指示して画像を変換する手法を提案した．キャンバス上でユーザがストロークを生成したい場所を指定すると，その場所に予め設定された長方形状のストロークが生成される．ここでは，ストロークの大きさ・色もユーザが指定する．色は，ストロークを生成する場所と対応する入力画像中の画素値を指定する．この手法を用いた入力画像とその生成結果を図 42 に示す．一定の形状のストロークのみでレンダリングする
ので，エッジを保つのが難しい．また，逐一ストロークの要素を指定しないといけないため，変換処理が煩雑である．

51

(a) 入力画像(b) 出力結果

図 41 Gooch の手法による画像の変換処理例 [32](a) 入力画像(b) 出力結果

図 42 Haeberli の手法による画像の変換処理例 [4]52動画像を入力とする研究

Park ら [8] は，エッジを保ちつつ動きに強い映像を生成するため，エッジ抽出とオプティカルフローを組み合わせて物体の動きを表現した．入力はカメラの位
置・姿勢を固定した映像である．この方法では，フレーム間での画素の動きを 2
つのモーションマップに保存する．１つはストロングモーションマップと呼び，エッジ上の画素のオプティカルフローを保存する．もう 1 つはウィークモーション
マップと呼び，エッジ周辺の画素のオプティカルフローを保存する．残りのピク
セルのオプティカルフローは，上記 2 つのオプティカルフローから Hay ら [49] のRBF (radial basis function) global interpolation を用いて補間し，ウィークモー
ションマップに保存する．なお，エッジの抽出には Canny Edge Detection を用いる．この 2 つのマップのオプティカルフローに沿ってストロークを生成する．前のフレームと変換のある部分のみをレンダリングすることで計算コストを低減した．この手法を用いて生成された映像の例を図 43 に示す．図より，動きの少ない
物体はフレーム間で時間的一貫性を保って変換できているが，遠景など細かいテ
クスチャは判別が困難な物体ほどエッジが崩れている部分がある．

Lin ら [9] は，物体ごとにストロークをレンダリングする手法を提案した．入力
はカメラの位置・姿勢を固定して撮影された映像である．アルゴリズムは大きく 2つに分かれる．まず，キーフレームに対して手動で物体ごとに領域分割し，ラベ
ル付けをする．Bai ら [50] の手法を用いてフレーム間でオブジェクトを対応付ける．次に，画像全体にベースの色を塗り次に物体ごとに色を塗る画家の手法を模倣し，物体ごとに 2 度のストロークのレンダリングを行う．1 度目は全ての物体に同じ形状のストロークのテクスチャを使ってレンダリングし，2 度目は個々の物体ごとに異なるテクスチャを用いてレンダリングを行う．各物体のテクスチャ
は，各領域で計算された勾配空間の方向に沿ってストロークを配置することで生成する．キーフレームがレンダリングされると，キーフレームを参照にその間のフレームはレンダリングされる．この手法を用いて生成された映像の 1 フレームを図 44 に示す．この手法では物体に合ったテクスチャを持つストロークを生成でき，またフレーム間でもエッジを保ったままストロークを動かすことができている．

53

図 43 Park と Yoon の手法による映像の変換処理例 [8]図 44 Lin らの手法による映像の変換処理例 [9]54Lee ら [16] は，雲や水といった流動体の動きをストロークで表現した静止画像を生成するため，入力動画像からオプティカルフローを計算しその動きの方向に従いストロークを生成し静止画像を出力する方法を提案した．入力はカメラの位
置・姿勢を固定して撮影された映像である．まず，映像のオプティカルフローを計算し，動きの大きい動的な領域と動きの少ない静的な領域に領域分割を行う．
この領域別にレンダリングを行う．動的な領域では，オプティカルフローから動きの方向を決定する．静的な領域では，エッジと輝度勾配からストロークの方向を決定する．ストロークの形状は，長方形状で一定である．ストロークの色は，
ストロークを生成する位置と対応する最後のフレームの位置の画素の色を使う．
画像全体でのストロークの大きさは，ユーザが任意に変えることができる．この手法を用いて生成された画像の例を図 45 に示す．この図では雲がレンダリングされているが，フレーム間でも雲の形状が崩れることなく，ストロークも一定の方向に沿っており雲の流れる動きをストロークで表現できている．

55

図 45 Lee らの手法による映像の変換処理例 [16]56

5.2 事例参照型アプローチ
5.2.1 油絵風
Lee ら [10] は，対象画像の流れの方向とエネルギー関数を用いて参照画像風の画像を生成する手法を提案した．アルゴリズムの流れは図 46 の通りである．まず，対象画像のテクスチャの流れの方向を示すフロー画像を Kang ら [51] の手法を用いて生成する．次に，入力画像，生成したフロー画像，参照画像から，結果画像の画素値をエネルギー関数を用いて決定する．結果画像中の各画素について,エネルギー関数が最小となるような参照画像の画素を描画する．エネルギー関数
は 3 項の重み付き総和で定義される．第一項は，明るさが類似した画素を選択する項，第二項は，結果画像のテクスチャの空間的コヒーレンスを保つため，ノイズの少ない領域の画素を選択する項，第三項は，注目画素を含むテクスチャのフ
ロー方向と似たストロークの方向を含む，参照画像のテクスチャ内の画素を選択する項である．第 3 項の重みを変更することで，出力結果の方向の強さを変えることができる．重みは 0 から 1 の間で設定し，小さいほど方向を考慮した結果が生成される．この重みを変更することで，水彩画など油絵以外の画風をもつ画像を生成することもできる．この手法を用いて生成された画像の例を図 47 に示す．
同図 (b) を参照画像として (a) を変換した出力結果が (c) である．また，同図 (d)を参照画像として (a) を変換した出力結果が (e) である．参照画像の方向や形状などのストロークの要素を反映した変換ができている．

57

図 46 Lee らの手法のアルゴリズム [10]Hertzmann ら [11] は，参照画像と参照画像を任意の画像処理等により変換した
画像のペアから学習したデータを用いて，任意の対象画像を変換する手法を提案した．ユーザは好みの参照画像とその処理後のペアを用意する必要がある．参照
画像のペアからストロークの形状の変化を学習し，学習したストロークの形状が表現されるように対象画像を変換する．この手法を用いて生成された画像の例を
図 48，49 に示す．この手法では油絵以外にも，入力する参照画像を変えて水彩画風の画風変換等も行うことができる．図より，フィルタのストロークの特徴を反映した変換ができていることがわかる．

5.3 考察
本章で紹介した手法のアプローチ，入力データ，出力画像，長所，短所を表 8に示す．フィルタベース型，事例参照型アプローチの両方とも，ユーザの入力を介して半自動で入力画像を変換する手法がほとんどである．また，ストロークの要素を調節して出力結果の印象を変更できることが多い．しかし，調節をすることで出力結果のエッジが保持されなかったり，画像全体がぼやけた印象になってしまうこともあり，繰り返し調節することで最適な結果を出力することが必要で

58

(a) 対象画像(b) 参照画像(c) 出力結果(d) 参照画像(e) 出力結果

図 47 Lee らの手法による画像の変換処理例 [10]59(a) 参照画像(b) 参照画像を変換した画像(c) 対象画像(d) 出力結果

図 48 Hertzmann らの手法による画像の変換処理例 (1/2)[11]60(a) 参照画像(b) 参照画像を変換した画像(c) 対象画像(d) 出力結果

図 49 Hertzmann らの手法による画像の変換処理例 (2/2)[11]61

ある．フィルタベース型アプローチに関しては，初期に提案された手法はエッジを保てていない手法が多かったが，後に領域分割やエッジ抽出を取り入れエッジを保存したまま画像を変換できる手法が提案された．映像を変換する手法に関しては，初期の手法では，エッジやストロークの形状・大きさが時間的一貫性を保てていない手法が多かったが，最近の研究ではエッジのフレーム間での保存，ス
トローク形状や大きさの一定化などの工夫を取り入れ時間的一貫性を保ったスト
ロークをもつ出力映像を生成できている手法が多い．事例参照型アプローチに関しては，エッジを保ったまま出力結果を生成できており，またストロークの形状など参照画像の特徴をよく反映できている．

62

手法

Xie ら [17]表 8 静止画像や動画像の画風変換手法のまとめアプローチ 入力データ 出力画像
長所
フィルター

静止画像

ベース型

墨絵風静止

墨絵独特の

画像

細やかな表

短所
入力が煩雑

現・カラー
表現が可能

Mao ら [29]

フィルター

静止画像

ベース型

鉛筆画風静

鉛筆画独特

エッジ周辺

止画像

の細やかな

に不自然な

表現が可能

ストローク
が生成され
る場合あり

Yamamoto ら

フィルター

[30]

ベース型

Papari ら [18]

フィルター

静止画像
静止画像

ベース型

Bousseau ら

フィルター

[14]

ベース型

静止画像

鉛筆画風静

カラー表現

エッジが不

止画像

が可能

鮮明

水彩画風静

鮮明なエッ 水彩画独特

止画像

ジの保存が

の効果の表

可能

現が困難

水彩画風静

フロー効果

フロー効果

止画像

以外の水彩

の表現が困

画独特の細

難

やかな表現
が可能

Hertzmann[27] フィルター

静止画像

ベース型

Hertzmann[31] フィルター

静止画像

ベース型

油絵風静止

ストローク

エッジの保

画像

の大きさの

存が困難な

調整が容易

場合あり

油絵風静止

画像変換の

エッジの保

画像

速さ

存が困難な
場合あり

63

手法

Santella

ら

[28]

アプローチ

入力データ

出力画像

長所

短所

フィルター

静

油絵風静止

注目度によ

経済的・時

ベース型

画像，アイ

画像

るストロー

間的コスト

トラッキン

クの細かさ

の高さ，注

グのデータ

の調整

目部分以外

止

のストロー
クの粗さ

Zeng ら [5]

フィルター

静止画像

ベース型

油絵風静止

物体に合わ

画像

せた形状

入力が煩雑

を持つスト
ロークが生
成可能

Zhao ら [6]

フィルター

静止画像

ベース型

油絵風静止

物体に合わ

画像

せた形状

入力が煩雑

を持つスト
ロークが生
成可能，画
像の抽象度
の調整が容
易

Gooch ら [32]

フィルター

静止画像

ベース型

油絵風静止

物体の形状

ストローク

画像

に沿ったス

間の継ぎ目

トローク生

が鮮明

成が可能

Haeberli

ら

フィルター

静止画像

油絵風静止

自由度が高

画像

い

入力が煩雑

[32]

ベース型

Park ら [8]

フィルター

カメラ位

油絵風動画

画像変換の

エッジの保

ベース型

置・姿勢を

像

速さ

存が困難な

固定した動
画像

64

場合あり

手法

アプローチ

入力データ

出力画像

長所

Lin ら [9]

フィルター

カメラ位

油絵風動画

鮮明なエッ 流動体の動

ベース型

置・姿勢を

像

ジの保存が

きの表現が

可能

困難

固定した動

短所

画像

Lee ら [16]

フィルター

カメラ位

油絵風静止

流動体の動

エッジの保

ベース型

置・姿勢を

画像

きの表現が

存が困難な

容易

場合あり

流れの方向

エッジが平

像，参照画

に沿ったス

滑化される

像

トローク配

場合あり

固定した動
画像

Lee ら [10]

事例参照型

対

象

画

油絵

置が可能

Hertzmann ら
[11]

事例参照型

対 象 画 像 ， 油絵

油絵以外の

結果の微調

参照画像と

画風変換も

整が困難，

参照画像の

可能

参照画像の

変換後の画

ペアの用意

像

が困難な場
合あり

65

6. まとめ
本報告書では，絵画風の画像を生成するための代表的な手法について概観した．

3 章では人手によるキャンバスとブラシを用いたアナログ画制作をコンピュータ
上で再現するペインティング手法を，4 章では 3 次元モデルを人が描いたかのよ
うな非写実的な表現でレンダリングする手法を，５章では入力画像を人が描いたかのような非写実的な表現に変換する手法について紹介した．各章では，初期の基本的な機能のみを実装した手法から，ごく最近のほぼ自動で出力結果を生成できたり，出力結果をユーザが細かく調節できる手法を概観した．紹介した手法を用いることで，コンピュータを使わない絵画制作では高価であったり，技術や経験がないと描けない画像を生成することができる．また，多くの手法が提案されているが，手法の優劣を決めることは NPR では難しい．映像の時間的一貫性は評価が比較的簡単だが，ストロークの幅や色といった要素は，個人によって好みが分かれるため，評価が難しい．ユーザの手を加えることなく全て自動で出力画像を生成できるのが理想だが，それが可能な手法はまだ提案されていない．また，絵画風の画像を生成する手法ではそれが長所ともなりうる．ユーザがストロークの要素等を調整することで，ユーザの好みにあった画像や，１枚の画像から複数の異なる画像を生成することができる．
多くの手法では，ストロークの形状や大きさ，方向などの要素を調節するとエッジがくずれ画像全体がぼやけた印象になってしまうことが多い．これに対し，エッジを保ったまま要素を調節できる工夫が期待される．また，多くの手法はユーザ
がストロークの要素を調節し，エッジの保持やストロークの形状の調節を繰り返して最適な出力結果を生成する必要がある．これに対し，ユーザが重視したい要素や考慮しない要素を入力すると，自動でユーザにとって最適と思われる出力結果を生成できるようにすると，出力結果を生成するのが簡便になると思われる．
現在では，いかに入力画像のエッジを崩さず変換できるかに重点をおいた研究が盛んであるが，故意に形状を崩してピカソ等のキュビズム風やディフォルメ風などの出力結果を生成できる研究も期待される．

66

謝辞
本報告書を作成するにあたり，研究の方針をはじめ数多くの的確なご助言とご指導を賜りました視覚情報メディア研究室横矢直和教授に心より御礼申し上げます．そして，本報告書の推敲にあたり，有益なご助言，ご鞭撻を頂いたインタラ
クティブメディア設計学研究室加藤博一教授に厚く御礼申し上げます．さらに，有益なご助言，ご指導を頂いた視覚情報メディア研究室佐藤智和准教授に心より感謝申し上げます．さらに，終始暖かいご指導と多大なるご助言，ご鞭撻を賜った視覚情報メディア研究室河合紀彦助教に心より感謝いたします．特に，河合紀彦助教には本報告書の執筆や研究室での生活に至るまで暖かく細やかなご指導を頂きました．また，様々なサポートを頂きました視覚情報メディア研究室の石谷由美秘書に心よりお礼申し上げます．そして，研究室での日々の生活を支えて頂いた同研究室の諸氏に，深く感謝いたします．さらに，このような機会を与えて下さったすべての皆様に，深く感謝いたします．最後に，課題研究報告書の審査を引き受けてくださいました横矢直和教授，加藤博一教授，佐藤智和准教授，河合紀彦助教に改めてお礼を申し上げます．

67

参考文献
[1] S. Strassmann. Hairy brushes. In Proceedings of the 13th Annual Conference
on Computer Graphics and Interactive Techniques, Vol. 20, pp. 225–232,
1986.
[2] W.V. Baxter, V. Scheib, M.C. Lin, and D. Manocha. Dab: interactive haptic
painting with 3d virtual brushes. In Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, pp. 461–468, 2001.
[3] B. Adams, M. Wicke, P. Dutre, M. Gross, M. Pauly, and M. Teschner.
Interactive 3d painting on point-sampled objects. In Proceedings of the Eurographics Symposium on Point-Based Graphics, pp. 57–66, 2004.
[4] P. Haeberli. Paint by numbers: abstract image representations. In Proceedings of the 17th Annual Conference on Computer Graphics and Interactive
Techniques, Vol. 24, pp. 207–214, 1990.
[5] K. Zeng, M. Zhao, and C. Xiong S.C. Zhu. From image parsing to painterly
rendering. ACM Transactions on Graphics (TOG), Vol. 29, No. 1, pp. 1–11,
2009.
[6] M. Zhao and S.C. Zhu. Sisley the abstract painter. In Proceedings of the 8thInternational Symposium on Non-Photorealistic Animation and Rendering,pp. 99–107, 2010.
[7] D.L. Way, Y.R. Lin, and Z.C. Shih. The synthesis of trees chinese landscapepainting using silhouette and texture strokes. Journal of WSCG, Vol. 10,
pp. 499–506, 2002.
[8] Y. Park and K. Yoon. Painterly animation using motion maps. Journal ofGraphical Models, Vol. 70, pp. 1–15, 2008.

68

[9] L. Lin, K.Zeng, H. Lv, Y. Wang, Y. Xu, and S. Zhu. Painterly animation
using video semantics and feature correspondence. In Proceedings of the 8thInternational Symposium on Non-Photorealistic Animation and Rendering,pp. 73–80, 2010.
[10] H. Lee, S. Seo, S. Ryoo, and K. Yoon. Directional texture transfer. In
Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, pp. 43–48, 2010.
[11] A. Hertzmann, C.E. Jacobs, N. Oliver, B. Curless, and D.H. Salesin. Image analogies. In Proceedings of the 28th Annual Conference on Computer
Graphics and Interactive Techniques, pp. 327–340, 2001.
[12] C.D. Kulla, J.D. Tucek, and R.J. Bailey nad C.M. Grimm. Using texture
synthesis for non-photorealistic shading from paint samples. In Proceedingsof 11th Pacific Conference on Computer Graphics and Applications, pp. 477–
481, 2003.
[13] T. Luft and O. Deussen. Real-time watercolor illustrations of plants using
a blurred depth test. In Proceedings of the 4th International Symposium on
Non-Photorealistic Animation and Rendering, pp. 11–20, 2006.
[14] A. Bousseau, M. Kaplan, J. Thollot, and F.X. Sillion. Interactive watercolor
rendering with temporal coherence and abstraction. In Proceedings of the 4thInternational Symposium on Non-Photorealistic Animation and Rendering,pp. 141–149, 2006.
[15] C. Yan, M. Chi, and T. Lee. Stylized rendering using samples of a painted
image. IEEE Transactions on Visualization and Computer Graphics, Vol. 14,
pp. 468–480, 2007.
[16] H. Lee, C.H. Lee, and K. Yoon. Motion based painterly rendering. Journalof Computer Graphics Forum, Vol. 28, pp. 1207–1215, 2008.
69

[17] N. Xie, H. Laga, S. Saito, and M. Nakajima. ir2s: interactive real phototo sumi-e.

In Proceedings of the 8th International Symposium on Non-

Photorealistic Animation and Rendering, pp. 63–71, 2010.
[18] G. Papari, N. Petkov, and P. Campisi. Artistic edge and corner enhancing
smoothing. IEEE Transactions on Image Processing, Vol. 16, No. 10, pp.
2449–2462, 2007.
[19] J. Lee. Simulating oriental black-ink painting computer graphics and applications. In Proceedings of IEEE Computer Graphics and Applications,Vol. 19, pp. 74–81, 2002.
[20] A.D. Greenberg and S. Greenberg A. Droblas. The Ultimate Guide to Fractal
Design Painter. Sybex Inc., Alameda, Calif., USA, 1995.
[21] S. Hsu and I. Lee. Drawing and animation using skeletal strokes. In Proceedings of the 21st Annual Conference on Computer Graphics and Interactive
Techniques, pp. 109–118, 1994.
[22] J.D. Dam, A. Feiner, S.K. Hughes, and J.F. Foley. Computer Graphics:
Principles and Practice. Addison-Wesley, Reading, Mass., USA, 1990.
[23] Q. Guo and T.L. Kunii. Modeling the diﬀuse painting of sumie . Modelingin Computer Graphics, pp. 329–338, 1991.
[24] Y. Deng, B.S. Manjunath, and H. Shin. Color image segmentation. In
Proceedings of IEEE Conf. Computer Vision and Pattern Recognition, pp.
2446–2451, 1999.
[25] H. Lee, S. Seo, S. Ryoo, and K. Yoon. Directional texture transfer. In
Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, pp. 43–48, 2010.

70

[26] A.A. Efros and W.T. Freeman. Image quilting for texture synthesis andtransfer. In Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, pp. 341–346, 2001.
[27] A. Hertzmann. Painterly rendering with curved brush strokes of multiple
sizes. In Proceedings of the 25th Annual Conference on Computer Graphics
and Interactive Techniques, pp. 453–460, 1998.
[28] A. Santella and D. DeCarlo. Abstracted painterly renderings using eyetracking data. In Proceedings of the 2nd International Symposium on NonPhotorealistic Animation and Rendering, pp. 75–82, 2002.
[29] X. Mao, Y. Nagasaka, and A. Imamiya. Automatic generation of pencil
drawing from 2d images using line integral convolution. In Proceedings of
CAD/Graphics, Vol. 9, pp. 240–248, 2001.
[30] S. Yamamoto, X. Mao, and A. Imamiya. Colored pencil ﬁlter with custom
colors. In Proceedings of the 12th Pacific Conference on Computer Graphics
and Applications, 2004.
[31] A. Hertzmann. Paint by relaxation. In Proceedings of Computer Graphics
International, pp. 47–54, 2001.
[32] B. Gooch, G. Coombe, and P. Shirley. Artistic vision: painterly rendering using computer vision techniques,. In Proceedings of the 2nd International Symposium on Non-Photorealistic Animation and Rendering, pp.
83–90, 2002.
[33] Y. Okabe, S. Saito, and M. Nakajima. Paintbrush rendering of lines usinghmms. In Proceedings of the 3rd International Conference on Computer
Graphics and Interactive Techniques in Australasia and South East Asia,
pp. 91–98, 2005.

71

[34] S.L. Su, Y. Xu, H. Shum, and F. Chen. Simulating artistic brushstrokes using
interval splines. In Proceedings of the 5th IASTED International Conference
on Computer Graphics and Imaging, pp. 85–90, 2002.
[35] H.S. Seah, W. Zhongke, F. Tian, X. Xiao, and B. Xie. Artistic brushstroke
representation and animation with disk bspline curve. In Proceedings ofthe 2005 ACM SIGCHI International Conference on Advances in computer
entertainment technology, pp. 88–93, 2005.
[36] B. Cabral and C. Leedom. Imaging vector ﬁeld using line integral convolution. In Proceedings of the 20th Annual Conference on Computer Graphics
and Interactive Techniques, pp. 263–270, 1993.
[37] 齋藤豪, 中嶋正之. 計算機による手描き風画像の自動生成に関する研究. テ
レビジョン学会誌, Vol. 50, No. 10, pp. 1528–1535, 1996.

[38] M. Kuwahara, K. Hachimura, S. Ehiu, and M. Kinoshita. Processing of riangiocardiographic images. In Digital Processing of Biomedical Images, pp.
187–202. Plenum Press, New York, NW., USA, 1976.
[39] Z. Tu, X. Chen, A.L. Yuille, and S.C. Zhu. Image parsing: Unifying segmentation, detection, and recognition. In Proceedings of IEEE Conference
on Computer Vision and Pattern Recognition, Vol. 1, pp. 18–25, 2005.
[40] Z.Tu and S.C. Zhu. Parsing images into regions, curves, and curve groups.
In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 69, pp. 223–249, 2006.
[41] C.Guo and S.C. Zhu Y.N. Wu. Primal sketch: integrating structure andtexture. Computer Vision and Image Understanding, Vol. 106, No. 1, pp.
5–19, 2007.
[42] A. Hertzmann and K. Perlin. Painterly rendering for video and interaction.
In Proceedings of the 1st International Symposium on Non-Photorealistic
72

Animation and Rendering, pp. 7–12, 2000.
[43] E. Reinhard, M. Ashikhmin, B. Gooch, and P. Shirley.

Color transfer

between images. Journal of IEEE Computer Graphics and Applications,Vol. 21, No. 5, pp. 34–41, 2001.
[44] O. Deussen, S. Hiller, C.V. Overveld, and T. Strothotte. Floating points: A
method for computing. Comput. Graph. Forum, Vol. 19, No. 3, pp. 40–51,
2000.
[45] R. Bridson. Fast poisson disk sampling in arbitrary dimensions. ACM SIGGRAPH 2007 sketches, No. 22, 2007.
[46] B. Yao, X. Yang, and S.C. Zhu. Introduction to a large-scale general purpose
ground truth database: Methodology, annotation tool and benchmarks. In
Proceedings of the International Conferences on Energy Minimization Methods in Computer Vision and Pattern Recognition, pp. 169–183, 2007.
[47] J.S. Yedidia, W. T. Freeman, and Y. Weiss. Understanding belief propagationand its generalizations, pp. 239–269. Morgan Kaufmann Publishers Inc., San
Francisco, Carif, USA, 2003.
[48] D. Hearn and M.P. Baker. Computer Graphics. Prentice-Hall, Upper Saddle
River, NW., USA, 1986.
[49] J. Hays and I. Essa. Image and video based painterly animation. In Proceedings of the 3rd International Symposium on Non-Photorealistic Animation
and Rendering, pp. 113–120, 2004.
[50] X. Bai, J. Wang, D. Simons, and G. Sapiro. Video snapcut: Robust video
object cutout using localized classiﬁers. ACM Transactions on Graphics,
Vol. 28, No. 70, pp. 1–11, 2009.

73

[51] H. Kang, S. Lee, and C. Chui. Coherent line drawing. In Proceedings of the
2nd International Symposium on Non-Photorealistic Animation and Rendering, pp. 43–50, 2007.

74