論 文
Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法
畠 康高†

豊浦 正広††

茅 暁陽††

Accentuated Pencil Drawing Generation Using Saliency Map and LIC
Michitaka HATA†,

Masahiro TOYOURA††,Xiaoyang MAO††

あらまし 絵画には表現したいことに人々の注意を向けるための工夫がなされている．我々は中でも，鉛筆画の描画技法に注目した．鉛筆画の描画技法の一つに，画面全体を一様的に描かずに焦点部分の強調とその周囲を省略するものがある．この技法により，描く対象にアクセントが付き，人の注目を集めることができる．
我々は，アクセントのある鉛筆画の描画技術を手軽に使用できるようにし，人々が効果的にコミュニケーショ
ンできる為の画像生成技術を提供したい．本提案では，入力された写真を自動でアクセントのある鉛筆画に変換する新しい方法を提案する．自動的に絵画の焦点を決定するためには，誘目度を表す Saliency Map を用いる．
LIC 法を用いた鉛筆画生成法に基づき，誘目度に合わせてアクセントを加えた鉛筆画を生成する．
キーワード 鉛筆画，Saliency Map，LIC 法にアクセントをつけ，注目を喚起する鉛筆画の手軽な

1．はじめに生成を試みる．手軽な生成を可能にするため，写真を

油絵や水彩画等，様々な絵画調画像の生成法が提案されている．絵画は写真と比べ，強調・省略によって人の注意を向けさせて，効果的に情報を伝える特徴がある．効果的なコミュニケーション特性を持つ絵画調
画像はプロモーションビデオやコマーシャルをはじめ，様々な映像制作現場で応用されている．一方，近年のコンテンツプロシューマ化の進展に伴い，情報技術者
や芸術家以外の人も簡単に利用できるコンテンツ制作
環境の提供がますます重要となりつつある．

自動的に鉛筆画へと変換する LIC 法を用いた鉛筆画
生成法[1]を基にした．
焦点にアクセントがあり注目を喚起できるような鉛筆画を自動生成するためには，
1:焦点の自動的な決定
2:焦点まわりの強調的な描画の二つの課題を解決する必要がある．
“強調的に描く”ことは，作者が意図をもって情報の取捨選択をする主観的な行為であるが，オブジェク

本論文では，入力画像を鉛筆画風画像に自動変換すト中心とビュー中心の二つのアプローチがあると言わる新しい絵画調画像生成法を提案する．鉛筆画の描画れている．ピカソに代表されるオブジェクト中心アプ技法の一つに，画面全体を一様的に描かずに焦点部分

ローチでは，対象を認識した上でシーンを再構成する．

の強調とその周囲の省略を行うものがある．この技法

一方，印象派の先駆者の一人である J. M. W. Turner ににより，描く対象にアクセントが付き，鑑賞者に作者代表されるビュー中心アプローチでは網膜上に捉えたのモチーフをより効果的に伝えることができる．我々シーンを描く．Turner は「My job is to draw what I see,は，このような省略や暗示等の描画技法を用いて焦点

not what I know」という名言を残した．彼の作品の多†

山梨大学大学院 医学工学総合教育部，山梨県
Department of Education, Interdisciplinary Graduate School of Medicine
and Engineering, University of Yamanashi,
4-3-11, Takeda, Kofu, Yamanashi, 400-8511 Japan††
山梨大学大学院 医学工学総合研究部，山梨県
Interdisciplinary Graduate School of Medicine and Engineering,
University of Yamanashi,
4-3-11, Takeda, Kofu, Yamanashi, 400-8511 Japan

電子情報通信学会論文誌 A Vol. JXXX-A

くは，ある瞬間の風景を捉えたものであり，一瞬にして目を引いたものがしばしば主題として強調的に描かれている(図 1)．情報の取捨選択に関して，オブジェ
クト中心の描き方では作者個人の認識，知識，意図が大きく関わるのに対して，ビュー中心の描き方では画像そのものに大きく依存すると言える．一方，画像内

No. X pp. XXX-XXX

C○(社) 電子情報通信学会 XXXX

1

電子情報通信学会論文誌

図 1：ビュー中心の J.M.W. Turner の絵
Figure 1：J.M.W. Turner’s painting of the view center.
“Rain Steam and Speed the Great Western Railway”の輝度や色，方向性の局所的な変化から人間の視覚注
意を推定する方法として Itti らが提案した Saliency

XXXX/XX

Vol. JXX-A No. X

図 2：焦点と描き方
Figure 2：A focus and its rendering.

焦点に近いほど詳細にくっきりと描き．焦点から遠いほど大胆に,淡く,省略し,強調している．
つまり，点線の内側は，点線と破線の間に比べくっきり描かれている．そして，破線の外側は省略されている．出典[3]Map が近年注目を浴びている[2]．本研究では Saliency

Photorealisitc-Rendering)技術が注目を浴びている．過Map において高い値を示した領域，すなわち誘目度

去十数年間，油彩，水彩，ペンとインク，鉛筆など，の高い領域がビュー中心で描く際の焦点との間に高い

様々なスタイルの絵画風画像の生成技法が開発された

相関があることを仮定し，鉛筆画生成における焦点の[4,5,6]．数多くの芸術メディアの中で鉛筆画は，ラフ

自動決定を Saliency Map を用いて試みる．

スケッチとしても完成した絵としても優れている．モ

2 番目の課題である焦点まわりの強調的な描画を実

ノクロの階調と鉛筆画の荒削りの風合いは，好奇心と現するためには，焦点周辺とその他の領域とで描画の想像力をかき立て，芸術として，あるいはパース図やタッチを変える必要がある．図 2 に実際の鉛筆画の例

科学的な挿絵などに使われる．そのため，鉛筆画もを示す．焦点に近いほど詳細に明瞭に描かれ，焦点かNPR の重要な対象としていくつかの研究が報告されら離れるほど大胆に描かれ，あるいは省略されている．

ている．既存の生成法は，入力の方法により下記の 3

このような表現を実現するために，本研究ではピラつに分類できる．

ミッド画像を用いてストロークの濃度と幅を制御する．

(1) 3 次元モデルを入力とする自動生成法

Saliency Map が示す誘目度に適応してピラミッド画像(2) 仮想キャンバスによる対話的生成法の適切な層を選択することにより，焦点にアクセント(3) 画像フィルタリング法のある鉛筆画の生成に成功した．

3 次元モデルを入力とする自動生成法では，オブ

次節以降の論文の構成は以下のようになっている．

ジェクトの形状情報や位置情報が存在するため，それ第 2 節は関連研究を鉛筆画生成と絵画調画像生成におぞれのオブジェクトに対して，効果的な表現を設定でける視覚的注意モデルの利用の二つの観点から概観す

き，高品質な画像を作ることができる．一方，3 次元

る．第 3 節では提案手法のベースとなる LIC 法を用

モデルを入力とするため，誰もが手軽に利用できるのいた鉛筆画生成法と Saliency Map について紹介したではないことが欠点である．3 次元モデルを入力とす

後，第 4 節で提案手法の詳細を示す．第 5 節は実装とる代表的な絵画調画像生成法に Deussen らの研究があ結果について述べる．第 6 節で今後の研究方向を示す．

る[7]．視線ベクトルとポリゴンの法線ベクトルから

2．関連研究

ストロークの最適方向を算出し，ポリゴンのハッチン
グを自動生成している．Soura らは鉛筆及び鉛筆と紙

2.1 コンピュータによる鉛筆画生成との相互作用を顕微鏡で観察し，画材と描き方に関す写実的な画像生成技術が成熟しつつある CG 分野でる様々なパラメータのルックアップテーブルを作成しは ， 絵 画 風 画 像 の 生 成 を 初 め と す る NPR (Non-

それを参照して高速にストロークの描画を行う方法を

2

論文／Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法

開発し，3 次元モデルの鉛筆画風レンダリングに応用

Itti らが実際の画像で使用できるようにした視覚的注

した[8,9]．

意の強さ(誘目度)を表す画像である[13]．輝度，色，

仮想キャンバスによる対話的生成法では，ユーザが方向といった人間の意思が介在しない見たままの情報

仮想のキャンパスに絵を描くので，自分の意図やスタを用いるボトムアップ的な方法である[2]．本提案でイルを反映して画像を生成することができる．しかし，は，ビュー中心の描き方も見たままのシーンを描き，現実と同じように描くため，絵の完成度はユーザの知そして一瞬にして目を引く箇処がしばしば焦点として識や熟練度次第となる．また，時間が掛り労力も必要

描かれるというボトムアップ的な方法であることに着で あ る ． 代 表 的 な も の に Vermeulen と Tanner の目し，Saliency Map を用いて焦点を自動的に決定する

PencilSketch システムが挙げられる[10]．仮想 5D タブ方法を開発した．

レットと呼ばれるインタフェースが提供されて，ユー

Saliency Map は近年 CG 及び可視化分野においてそザは鉛筆の芯の硬さ，鉛筆の傾き，筆圧を設定し，仮の利用が注目されている．Collomoss らは，油絵風画

想キャンバスにマウスを使って直接ストロークを描画

像の生成に Saliency Map を利用した[14]．まず，エッする．また，高木らは 3 次元ボリュームデータとしてジ部分の視覚的注意を検出し，注意の高い部分を後か紙のミクロ構造と顔料の分布を表した色鉛筆画の物理ら描くことによって，周りのストロークによって輪郭モデルを提案し，それを鉛筆画の対話的生成に応用しが侵食されるのを防止し，しっかりとしたオブジェク

た[11]．

トの境界を描くことに成功した．他に動画を入力とし画像フィルタリング法は各種レタッチングソフトでて絵画調の映像に変換する研究がある．Winnemöller

広く利用され，写真などの入力画像をフィルタに通しらは高周波成分を強調して出力する方法を提案したて絵画調効果を得る方法である．利点としては，入力[15]. これに対して Zhao らは，注意を引くのは高周波画像を用意する他にユーザが作業する必要は無く，動成分そのものよりも，周囲との周波数の違いである点

画制作など，大量の画像を処理する場合も利用できるに着目し，Saliency Map を利用して Winnemöller らのことが上げられる．ただし，一般的に，3 次元情報も方法を改善した[16].

無く，また，ユーザによる細かな設定ができないため，高品質な絵画風画像を作るのは難しい．茅らは流れ場

3．本提案で用いる要素技術の可視化法として知られている LIC 法により可視化

前述の通り，提案手法において，LIC 法を用いた鉛された流れの軌跡が鉛筆画のストロークに酷似してい

筆画生成法と Saliency Map はそれぞれ鉛筆画の自動ることを利用し，フィルタリング処理のみを用いなが生成と焦点の自動決定を実現するための重要な要素技

らもよりリアルな鉛筆画の生成に成功した[2]．

術である．

本提案では，この LIC 法を用いた鉛筆画生成法を基に，手軽に利用できるアクセントのある鉛筆画の自動生成法を開発する．

3.1

LIC 法を用いた鉛筆画生成法

LIC (Line Integral Convolution) 法とはテクスチャ
ベースの流れ場の可視化手法である．ホワイトノイズ

2.2 視覚的注意モデルを利用した絵画調画像生成

画像をベクトル場に沿ってぼかすことにより流れの軌

強調・省略が施された，人間が描いた絵により近い跡を可視化した画像を得る．茅らはこの軌跡が鉛筆の絵画風画像を生成するためには，情報の取捨選択を行ストロークに似ることを利用して LIC 法を鉛筆画のう必要がある．DeCarlor らは視線追跡装置を用いて画生成に利用した[2]．LIC 法を用いた鉛筆画生成法で像を見るユーザの注視情報に基づいて強調・省略すべは，入力画像の濃淡に合わせて生成したノイズ画像を，き領域を決定する方法を提案した[12]．この方法は人ストロークの方向を表すベクトル場に沿ってぼかすこ

間の意識的な情報を使用できる利点があるが，視線装とで入力画像を鉛筆画風画像に変換する．本提案では，

置を用いる為に自動化ができず，手軽な絵画調画像生

入力画像のトーンをより正確に反映するために，ノイ成環境を提供することができない．私たちは入力画像

ズ画像の生成にディザ法を導入し，物体のテクスチャの情報のみから注目箇所を検出する方法としてや形状に沿ったストローク方向を自動生成できるためSaliency Map の利用を試みる．

に入力画像の輝度勾配に垂直な方向をベクトル場としSaliency Map は実験結果に基づく視覚探索のモデル“特徴統合モデル(Feature Integration Theory)”を基に，て使用する．
以上に述べる拡張を加えた LIC 鉛筆画生成法は次3電子情報通信学会論文誌

XXXX/XX

Vol. JXX-A No. X

図 3：LIC 法を用いた鉛筆画風画像の生成法
Figure 3：Pencil drawing generation using LIC.

の 7 ステップで構成される(図 3):

ベクトル場を生成する．

1. 入力画像からグレースケール画像を生成する．

5. ノイズ画像とベクトル場から LIC 画像を生成する．

2. グレースケール画像からエッジ画像を生成する．

6. エッジ画像と LIC 画像を合成しストローク画像を

3. グレースケール画像からランダムディザ法で2 値化しノイズ画像を生成する．
4. グレースケール画像から輝度勾配を利用して生成する．
7. ストローク画像と紙画像を合成し出力画像(鉛筆画)を生成する．
3.2

Saliency Map の生成法

Saliency Map は人間がボトムアップで映像を処理する過程をモデル化したものである．まずは入力画像の輝度，色，方向性を多解像度で抽出する．各要素について中心-周辺型受容野を模した方法で Feature Map を生成する．さらに Feature Map の特徴をより強調し，輝度，色，方向性それぞれの Conspicuity Map を作成する．最後にそれらの Conspicuity Map を統合し，入力画像の誘目度を示す Saliency Map を作成する (図 4)．

4．提案手法
4.1 概要鉛筆画は図 2 のように，焦点を中心に描く．焦点から近い部分(図 2 の点線の楕円領域内)はしっかりと描
き，一番外側(図 2 の破線の楕円より外の領域)は描かない．このようなアクセントのある鉛筆画を作成する
ため，焦点からの距離に合わせ，ストロークの太さや長さ，密度をコントロールする必要がある．
提案手法では高い誘目度の部分を焦点とする．焦点に近い(誘目度が高い)ほど詳細なタッチで描き，遠い図 4：Saliency Map の生成法
Figure 4：The method for generating Saliency Map.

4

ほど荒いタッチで描き，あるいは省略する．このようにストロークの詳細度を制御する為にガウシアンピラ

論文／Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法

図 5：提案手法の生成手順
Figure 5：Accentuated pencil drawing generation using Saliency Map and LIC.

ミッドを用いる．ガウシアンピラミッドは低解像度層になるほど平滑化された画像となる為，大まかなエッ

生成する．
9. ストローク画像と紙画像を合成し出力画像(鉛筆画)

ジやベクトル場が得られる．誘目度の高い部分は高解を生成する．

像度層，誘目度の低い部分は低解像度層のように，誘次節にて各ステップの実現方法を述べる．

目度に合わせてピラミッド画像から適切な層を選択することにより，詳細度が焦点からの距離に対応したス
トロークを得ることができる．

4.3 実現方法
Draw Map
Saliency Map では，隣接している同様の特徴を抑制

4.2 アルゴリズム

する側方抑制機構を模して誘目度を非線形に強調して入力として任意のカラー画像を与えると，提案手法いる．このため Saliency Map をそのまま強調・省略では以下の 9 つのステップでアクセントのある鉛筆画

して描くべき領域を示すマスクとして使用すると，最風画像を自動生成する(図 5)．

も誘目度が高い個所は極小さい領域であるため，焦点1. 入力画像から Saliency Map を生成する．

から尐しでも離れるとほとんど詳細が描かれなくなる．

誘目度を平滑化した Draw Map を作成する．
2. 入力画像をグレースケール画像に変換し，実際の鉛筆画は焦点の周辺も含めて描き，周辺部分と焦点部分のタッチを変えることによってアクセントを

高解像度の層ほどコントラストを高めたマルチコン付けている(図 2)．また，注意を向けていない対象にトラスト・ガウシアンピラミッドを生成する．

よっても注意している対象に対する解釈や印象が変わ

3. Draw Map に基づき，マルチコントラスト・ガウシ

る為[17,18]，焦点以外の部分もある程度描けるように

アンピラミッドから多解像度画像を生成する．

する必要がある．つまり，一定の範囲を描けるような

4. 多解像度画像からエッジを生成する．
5.多解像度画像の輝度勾配からベクトル場を生成する．
6. 層毎にガウシアンピラミッドの輝度に基づき，
ランダムディザ法にてノイズピラミッドを生成する．
7. ベクトル場とノイズのピラミッド画像から層毎にマスクが必要になる．
この問題を解決するために，提案手法では Saliency
Map をローパスフィルタに通し焦点から周辺に向けての誘目度の変化をより滑らかにした．更に平方根をとり非線形強調ファクターを部分的に排除した．このLIC 画像を生成する．Draw Map に基づき，ような処理を施した後の Saliency Map を Draw Map と

LIC ピラミッドから 1 枚の LIC 画像を生成する．

呼ぶ．これを用いて描画の詳細度を制御する．

8. エッジ画像と LIC 画像を合成しストローク画像をマルチコントラスト・ガウシアンピラミッド5電子情報通信学会論文誌

XXXX/XX

Vol. JXX-A No. X

焦点に近付くにつれてストロークがより鮮明となるように描く為には，誘目度が高い部分においてコント
ラストの強い画像を基にする必要がある．そこで高解像度の層ほどコントラストが強いガウシアンピラミッ
ドを作成する．提案手法では入力画像から作成したガウシアンピラミッドと，入力画像のコントラストを高めてから作成したガウシアンピラミッドを層によって割合を変えながら混合する．低解像度の層ほど入力画
図 8：鉛筆画におけるエッジ
Figure 8：Edges in real pencil drawing.
(左)均一なエッジ. (右)変化のあるエッジ.
線の太さや階調に変化をつけている．出典[3]

像のガウシアンピラミッドの割合を多くし，高解像度の層ほどコントラストを高めたピラミッドの割合を多くすることにより，高解像度の層ほどコントラストが高いマルチコントラスト・ガウシアンピラミッドを得る(図 6)．

図 6: マルチコントラスト・ガウシアンピラミッドの生成
Figure 6：Multi-contrast Gaussian pyramid image.
(左) 入力画像のガウシアンピラミッド(中)コントラスト強調したガウシアンピラミッド（右) (左)と(中)を層毎に割合を変化させて混合した
マルチコントラスト・ガウシアンピラミッド

図 9：エッジ検出結果
Figure 9：Result of edge detection.
(左)Draw Map を用いない結果. (右)Draw Map を用いた結果

エッジの太さの変化や省略が再現されている．

Draw Map の誘目度である．しかし，式（1）により求めた r は通常整数値でないため，r を挟む上下の層

多解像度画像 (Draw Map に基づくピラミッド層の統の画素値を線形補間することにより多解像度画像の画合)素値を決定する．ピラミッドの第𝑛 (𝑛 ∈ ,0, 𝑁-)層にお誘目度に応じてピラミッドの適切な層から画素を選ける画素(𝑥, 𝑦)の画素値が𝑃𝐼(𝑛, 𝑥, 𝑦)とした場合，多解択し，解像度が局所的に変化する一枚の多解像度画像

像度画像の画素値𝑀𝐼(𝑥, 𝑦)は以下のように計算される．

を生成する(図 7)．ピラミッドの層の番号は解像度が𝑀𝐼(𝑥, 𝑦) = (1 − 𝑎) ∙ 𝑃𝐼(𝑓𝑙𝑜𝑜𝑟(𝑟), 𝑥, 𝑦)+𝑎 ∙ 𝑃𝐼(𝑓𝑙𝑜𝑜𝑟(𝑟) + 1, 𝑥, 𝑦)

高くなるにつれて大きく，もっとも解像度の高い層の

𝑎 = 𝑟 − 𝑓𝑙𝑜𝑜𝑟(𝑟)番号は N であるとする場合，多解像度画像内の画素(𝑥, 𝑦)が対応するピラミッドの層の番号は次式により計算される．
𝑟 = (𝐷𝑀(𝑥, 𝑦)⁄255) ∙ 𝑁 …(1)
ここで，𝐷𝑀(𝑥, 𝑦)( 𝐷𝑀(𝑥, 𝑦) ∈ ,0,255-)は同位置でのエッジ
エッジについても，誘目度によって変化が必要である(図 8)．誘目度が下がるにつれエッジを尐なくし省略する．エッジは誘目度によって統合した多解像度画像から検出する．多解像度画像は誘目度が低いほど平滑化されておりエッジが検出し難いため，エッジの省略が自然に実現される．エッジ検出には局所近傍の平均輝度を閾値として 2 値化する動的閾値法を用いた．
この結果は 2 値画像であるため，ベクトル場方向に平滑化しエイリアスを抑えた(図 9)．

図 7: 多解像度画像
Figure 7：Multi-resolution image.
Draw Map(左)の誘目度の強さで，Pyramid(中)の解像度の層を選択し，Multi-resolution image (右)に統合する．

6

ベクトル場
ベクトル場生成法は山口らの 2 次モーメントを利用する方法[19]を基にした．多解像度画像の全画素に対論文／Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法

して，注目画素を中心とした局所領域を取り出す．
L*a*b*色空間での注目画素と局所領域内の各画素の色差を計算し，色差が近いほど値が高くなるように正規化する．この色差の値に置き換えた局所領域の 2 次モーメントを計算し，方向を求める(式(2))．
𝜃 = (1⁄2) 𝑡𝑎𝑛−1 (𝑏⁄(𝑎 − 𝑐))…(2)𝑎 = (𝑚20⁄𝑚00 ) − (𝐺𝑥 𝐺𝑥 )𝑏 = (𝑚11 ⁄𝑚00 ) − (𝐺𝑥 𝐺𝑦 )𝑐 = (𝑚02⁄𝑚00 ) − (𝐺𝑦 𝐺𝑦 )𝑋

𝑚𝑝𝑞 = ∑

𝑥=0

𝑌

∑

𝑦=0

*(𝑥 𝑝 )(𝑦 𝑞 )𝑓(𝑥, 𝑦)+(𝐺𝑥 , 𝐺𝑦 ) = (𝑚10 ⁄𝑚00 , 𝑚01⁄𝑚00 )図 10：LIC 画像
Figure 10：LIC image.

焦点部分は詳細に描かれ，周りは荒く描かれている．

また，以下のように短辺(式(3))と長辺(式(4))の長さを求める．
𝐿𝑠ℎ𝑜𝑟𝑡 = √6 {𝑎 + 𝑏 − √𝑏 2 + (𝑎 − 𝑐)2 } …(3)𝐿𝑙𝑜𝑛𝑔 = √6 {𝑎 + 𝑏 + √𝑏 2 + (𝑎 − 𝑐)2 } …(4)短辺と長辺の差が小さい時，方向は検出できないと

Vision C++ Toolkit VirtualBox (http://ilab.usc.edu/toolkit/
downloads-virtualbox.shtml)を利用した．ピラミッドの深さは 4 階層(N=3)とした．ストローク長は PI(4)において 6 画素分とした(各層のストローク長は
6 ∙ 2(4 − 𝑛)となる)．入力画像はカリフォルニア州立
大 学

Berkeley

校 の 画 像 デ ー タ ベ ー ス

し，水平方向を割り当てる．多解像度画像から生成す（http://www.eecs.berkeley.edu/Research/Projects/CS/visio

ることにより，詳細度が誘目度に適応したベクトル場

n/bsds/ ）から取得した．

が得られる．
ノイズ画像

5.2 提案手法生成結果
図 11(a,b,c)に提案手法で生成した結果を示す．従来

ストロークの省略を実現するために，ガウシアンピの LIC 法を利用した鉛筆画生成法の結果では汽車やラミッドからノイズを生成するとき低解像度の層ほど建物が周囲と同じタッチで表現されている為に同化し黒画素の発生率を下げる．これにより誘目度が低いほてしまっている．一方，本提案結果では，誘目度が高

どストロークが生成されにくくなる．最も低い解像度

い汽車や建物の付近が細かいストロークで詳細に描かの層では黒画素が生成されないので，結果の鉛筆画にれている．また，その周辺部の誘目度が低い森や水面

おいてストロークが省略される部分となる．

は長く太いストロークがラフなタッチで描画されておLIC 画像(LIC ピラミッドを統合した多解像度画像)

り，ストロークの密度も輪郭線も尐なくなっている．

ノイズピラミッドとベクトル場から LIC ピラミッ

この誘目度の違いに対応したタッチの変化がアクセンドを作成する．LIC ピラミッドから LIC 多解像度画像

トになり，汽車や建物に注意が向く結果に仕上がってを生成する．その際，アップサンプリングによりピラいる．人が描いたような絵画の情報の取捨選択がうま

ミッドの各層を入力画像と同じサイズにするため，ス

く機能していると言える．

トロークの太さや長さも同時に拡大される．また低解Saliency Map 作 成 以 外 の 実 行 速 度 は Core2Duo

像度の層を用いた箇所は黒画素の密度が低いためスト

2.26Hz，入力画像サイズ 962*642 で 51 秒(ベクトル場，

ロークの密度も低い．つまり，統合された LIC 画像

LIC 法共に 22 秒)となった．LIC 法の高速化手法[20]において，誘目度が低い箇所ほどラフなストロークがの利用や，ベクトル場及び Saliency Map の並列化[16]使われ，そして，次第に描かれなくなる(図 10)．

によりリアルタイム処理が可能である．

5．結果

5.3 考察
焦点の検出には Saliency Map を使用した．しかし，

5.1 実装Saliency map は人間の視覚の初期段階をモデリングす

実装は C#で行い OpenCV のラッパーEmgu CV を用る有効なアプローチの一つではあるが視覚的注意に影いた。 Saliency Map の生成には iLab Neuromorphic

響する要因はほかにもある．例えば，人間は顔のパ
7電子情報通信学会論文誌(左) 入力画像

図 11：結果の比較
Figure 11：Comparison of results(左中) Draw Map(右中) 本提案結果

XXXX/XX

Vol. JXX-A No. X(右) 茅らの結果

ターンにより注目しやすい．図 12 のように，本提案
では馬の上半身を省略して描いてしまう．自動化の手軽さを保ちつつ，より正確な知覚モデルに基づいた焦点決定方法が必要である．人間は画面中央や顔に注意を向けやすいことが知られているので，最新のコンピュータビジョン技術を利用することにより，図 12のような問題を一部解決できると思われる．Tilke ら
は視線追跡の結果を機械学習した Saliency モデルを作成した[21]．この方法はトップダウンの要素を導入している為，それを利用することでより人間が描いたよ
うな鉛筆画が生成できると思われる．

6．おわりに

図 12：失敗例
Figure 12：Examples of failure

エッジの詳細度を適応的に変化させることで強調と省

Saliency Map と LIC 法を利用したアクセントのある略を表現した．他の絵画に比べ，鉛筆画にはモノクロ

鉛筆画の自動生成法を提案し実装した．本提案では，という制限があるゆえに工夫された描画技法が多く存

誘目度に合わせて，ストロークの太さ，長さ，密度，在する．今後は，より注目箇所を引き立たせるスポッ

8論文／Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法

トの構図(図 13)の実装や，周りの色との差を際立たせる分離のアイデア(図 14)，コントラスト等の描画パラ
メータの制御も実装する予定である．スポットの構図
は焦点付近の図と地の間にコントラスト付ける描画技法である．焦点付近の地にラフなストロークを使い，輝度も暗く，あるいは明るくすることにより，図がより一層際立つように描画する方法である．分離のアイ
デアは図 14 の柵のように，周りの木や空と同化しないように，周りの明るさに合わせて輝度を変える技法である．柵の輝度が周りの明るさによって変わっても，

図 13：白いスポットの構図と黒いスポットの構図
Figure 13：White spot composition and black spot composition

出典[3]

急な変化ではなければ同じ柵と認識できることを利用したコントラスト変換である．また，提案手法の自動処理という特徴を活かし，動画への拡張も試みたい．
文
[1]

献

茅暁陽，長坂好恭，山本茂文，今宮淳美，“LIC 法を利用した鉛筆画の自動生成法，” 芸術科学学会論文誌 vol.1
no.3, pp147-159, 2001.

[2]

Itti, Laurent, Christof Koch, and Ernst Niebur. “A Model ofSaliency-Based Visual Attention for Rapid Scene Analysis,”IEEE Transactions on Pattern Analysis and Machine Intelligence

図 14：分離のアイデア
Figure 14：The idea of separation and detachment

vol.20, no. 11, 1998.
[3]

A.L.グプティル，鉛筆で描く，マール社，1998.

[4]

A. Hertzmann, “Painterly Rendering with Curved Brush
Strokes of Multiple Sizes,” SIGGRAPH 98 conference

出典[3]
[13]

[5]

C. J. Curtis, S. E. Anderson, J. E. Seims, Kurt W. Fleischer, andDavid H. Salesin, “Computer-Generated Watercolor,”

社，東京，2009[14]

M. P. Salisbury, M. T. Wong, J. F. Hughes, and D. H. Salesin“Orientable Textures for Image-Based Pen-and-Ink Illustration,”

pp122-128, Leicester, June. 2002.
[15]

Deussen, J.Hamel, A.Raab, S. Schlechtweg, T.Strothotte, “An
illustration technique using hardware-based intersections andno. 3, p. 12-26,2006.
[16]

M.C.Sousa, J.W.Buchanan, “Observational Model of Blenders
and Erasers in Computer-Generated Pencil Rendering,”

no. 7, pp. 727-734, 2008.
[17]

M.C.Sousa, J.W.Buchanan, “Computer-Generated Graphite
Pencil Rendering of 3D Polygonal Models,”

ComputerGraphics Forum, 18(3), pp195-208, 1999.
[10]

Allan H. Vermeulen, Pter P. Tanner, “PenchilSketch―A

東京，2009[18][11]

S. Takagi, I. Fujishiro and M. Nakajima, “Volumetric modelingof colored pencil drawing,”[12]

D. DeCarlo, and A. Santella, "Stylization and Abstraction of
Photographs". In ACM Transactions on Graphics, 21(3)(SIGGRAPH 2002 Proceedings), pp 769-776, 2002

白石路雄，山口泰，"画像モーメントを用いた絵画風画像の生成手法，"情報処理学会論文誌， vol.40, no.9, pp.34933500, September. 1999.

[20]

Detlev Stalling, Hans-Christian Hege, “Fast and Resolution
Independent Line Integral Convolution,” In Proceedings ofPacific Graphics '99 conference

proceedings, pp.250-258, 1999.

三浦佳世，“感性印象の知覚的・認知的基盤，” VISION
vol.15， no.3,pp.143-149,2003[19]

Pencil-Based Paint System,” GraphicsInterface '89, pp138-143,
1989.

内川惠二，
“絵画の理解，” 視覚心理入門―基礎から応用
視覚まで，映像情報メディア学会（編），5.6，オーム社，GraphicsInterface'99, pp157-166, 1999.
[9]

H. Zhao, X. Jin, J. Shen, X. Mao, and J. Feng,“ Real-timefeature-aware video abstraction", The Visual Computer, vol. 24,

skeletons,” Graphics Interface '99, pp175-182, 1999.
[8]

H. Winnemöller, S. Olsen, and B. Gooch,“ Real-time video
abstrac-tion, ” ACM Transactions on Graphics (TOG), vol. 25,

SIGGRAPH 97 Conference Proceedings, pp.401-406, 1997.
[7]

J.P. Collomosse, P. M. Hall, “Painterly Rendering using Image
Salience,” In Proceedings 20th Eurographics UK Conference ,SIGGRAPH 97 conference proceedings, pp.421-430, 1997.
[6]

内川惠二，
“注意と視覚探索，” 視覚心理入門―基礎から
応用視覚まで，映像情報メディア学会（編），5.3，オーム

proceedings, pp.453-460, 1998.

SIGGRAPH'1995. pp.249-256, 1995.
[21]

Tilke Judd, Krista Ehinger, Fredo Durand, and Antonio Torralba,“Learning to Predict Where Humans Look,” IEEE International
Conference on Computer Vision (ICCV), 2009.

9電子情報通信学会論文誌

畠康高（非会員）2005 年 山梨大学工学部 卒業．2007 年 山梨大学修士課程 修了．2010 年 同大大学院博士課程入学．現在，コンピュータグラフィッ
クス，可視化の研究に従事．

豊浦

正広（正員）

2003 年 京都大学工学部情報学科 卒業．
2007 年 日本学術振興会特別研究員 DC2．
2008 年 京都大学大学院情報学研究科博士後期課程 修了．2008 年 日本学術振興会特別研究員 PD．カリフォルニア大学サンタバーバ
ラ校訪問研究員．2009 年山梨大学大学院医学工学総合研究部 助教．拡張現実感，コン
ピュータビジョンの研究に従事．電子情報通信学会，情報処理学会，IEEE 各会員．博士(情報学)．

茅暁陽（非会員）1990 年東京大学大学院理学系研究科修了．
理学博士．米国ニューヨーク州立大学 Stony
Brook 校客員研究員，山梨大学工学部コンピュータメディア工学科准教授を経て，現在山梨大学大学院医学工学総合研究部教授．コンピュータグラフィクス，画像処理，および情報可視化に関する研究に従事．

10

XXXX/XX

Vol. JXX-A No. X

論文／Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法

Abstract
An artist usually does not draw all the areas in a picture
homogeneously, but tries to make the work more
expressive by emphasizing the focusing part whileeliminating other irrelevant details. This paper presents a
new technique for automatically converting an input image
into a pencil drawing with the effect of emphasis andelimination. The proposed technique utilizes saliency map,a computational model for visual attention, to automaticallydefine the focusing point in the input image. The expressive
pencil drawing image is generated by locally adapting therendering parameters of pencil drawing to the salience
degree defined by saliency map.
key words
Pencil Drawing, Saliency Map, LIC

11