Saliency MapとLIC法を利用したアクセントのある鉛筆画生成法- Accentuated Pencil Drawing Generation Using Saliency Map and LIC畠 康高†
Michitaka HATA††茅 暁陽‡ 豊浦 正広‡

Xiaoyang MAO‡

山梨大学大学院 医学工総合教育部

andMasahiro TOYOURA‡‡

山梨大学大学院 医学工総合研究部†

Department of Education, Interdisciplinary Graduate School of Medicine and Engineering, University of Yamanashi‡

Interdisciplinary Graduate School of Medicine and Engineering, University of Yamanashi
E-mail: †G10DHLA1@yamanashi.ac.jp ‡{ mao, mtoyoura}@yamanashi.ac.jp

一方，対象を認識し再構成するピカソに代表されるオブ

1. はじめに油絵や水彩画等，様々な絵画調画像の生成法が提案さ

ジェクト中心の描き方に対し，ビュー中心と呼ばれる見れている．絵画は写真と比べ，強調・省略によって効果たままを描く方法がある．印象派の先駆者の一人である的に情報を伝えられる特徴があるため，絵画調画像生成

J. M. W. Turner は「my job is to draw what I see, not what I

技術はプロモーションビデオやコマーシャルをはじめ，know」という名言を残した．彼の作品の多くはある瞬間様々な映像制作現場で応用されている．動画制作の場合の風景を捉えたものであり，一瞬にして目を引いたものは大量のフレームを処理する必要があるため，自動生成がしばしば主題として強調的に描かれている (図 2)．本が特に重要になる．本研究では入力画像を人間が描いた研究では画像内の一瞬にして目を引くものは Saliency

鉛筆画により近い画像に自動変換する新しい絵画調画像

Map[1]で表現できることに着目する．Saliency

生成法を提案する．

示される顕著な箇所をビュー中心の焦点として用い，人間が描く鉛筆画では，画面全体を一様に描かず，Map で「強調的描画」効果のある鉛筆画の生成を試みる．

図 1 のように省略，暗示等の手法でアクセントをつけ，本研究では写真を鉛筆画へ自動変換する LIC 鉛筆画生焦点に注目が向かうようになっている．しかし，「強調成法[2]と Saliency Map を組み合わせることでアクセント的に描く」とは作者が情報の取捨選択を行うという主観のある鉛筆画の自動生成を実現する．

的行為であるため，自動で実現することは困難である．

図 1：焦点と描き方

焦点に近いほど詳細にくっきりと描き．一方，焦点から

図 2：ビュー中心の J.M.W. Turner の絵

遠いほど大胆に,淡く,省略し,強調している．つまり，点線“Rain Steam and Speed the Great Western Railway”の内側は，点線と破線の間に比べくっきり描かれている．
そして，破線の外側は省略されている．出典[3]2. 関連研究

2.2 Saliency Map
Saliency Map とは Itti らが提案した視覚的注意の強さ

2.1 鉛筆画
既存の絵画風画像生成法には次の 3 つの方法がある：(1) 3 次元モデルを入力とする自動生成法；(2)仮想キャン(顕著度) を表す画像である．近年，CG 及び可視化分野においてその利用がたいへん注目されている．
Ouerhani らは視覚的注意の高い部分を素に領域分割をバスによる対話的生成法；(3) 画像フィルタリング法
3 次元モデルを入力とする自動生成法では，オブジェ行った．これによって，注目する部分から領域が作られクトの形状情報や位置情報が存在するため，それぞれのるため，通常の方法より人間にとって違和感のない領域オブジェクトに対して，効果的な表現を設定でき，高品分割ができる [8]．また，Collomoss らは，油絵風画像質な画像を作ることができる．一方，3 次元モデルを入の生成に利用した．まず，エッジ部分の視覚的注意を検力とするため，誰もが手軽に利用できるのではないこと出し，注意の高い部分を後から描くことによって，周りが欠点である．3 次元モデルを入力とする代表的な絵画のストロークによって輪郭が侵食されるのを防止し，し調画像生成法に Deussen らの研究がある．視線ベクトル

っかりとしたオブジェクトの境界を描くことに成功してとポリゴンの法線ベクトルからストロークの最適方向をいる[9]．さらに，Lee らの研究では，曲面の曲率の中心算出し，ポリゴンのハッチングを自動生成することがで周辺差分の Saliency Map を作成し，顕著度にあわせて各きる．また，Soura らは鉛筆及び鉛筆と紙との相互作用を解像度の層を適用的に制御するメッシュ生成法を手案し顕微鏡で観察し，画材と描き方に関する様々なパラメーた．これにより，注目し易い部分のメッシュが細かく滑タのルックアップテーブルを作成して鉛筆画風画像の対らかになるため違和感が無くなり，また，注目し難い部

話的生成 [5] と３次元モデルの鉛筆画風レンダリングに分のメッシュを粗くすることによりメッシュ全体のサイ応用した [6]．

ズを抑えることができる [10]．

仮想キャンバスによる対話的生成法では，ユーザが仮

3．前提手法

想のキャンパスに絵を描くので，自分の意図やスタイル

3.1 LIC 法を用いた鉛筆画生成法を反映して画像を生成することができる．しかし，現実と同じように描くため，絵の完成度はユーザの知識や実LIC (Line Integral Convolution) 法とは流れの軌跡を可力次第となる．また，時間が掛り労力も必要である．代視化する手法である．ホワイトノイズをベクトル場に沿表的なものに Vermeulen と Tanner の PencilSketch システってぼかすことで実現される．LIC 鉛筆画生成法[2]ではムが挙げられる[7]．仮想 5D タブレットと呼ばれるイン

LIC 画像により可視化された流れの軌跡が鉛筆のストロタフェースが提供されて，ユーザは鉛筆の芯の硬さ，鉛ークに似ることを利用している．LIC 鉛筆画生成法では筆の傾き，筆圧を設定し，仮想キャンバスにマウスを使入力画像の濃淡に基づいて生成されたノイズをストローって直接ストロークを描画する．

クの方向を定義するベクトル場に沿ってぼかすことで鉛画像フィルタリング法は各種レタッチングソフトで広く利用され，写真などの入力画像をフィルタに通して絵筆画風画像を自動生成する．下記に生成手順を示す(図3)．

画調効果を得る方法である．利点としては，入力画像を用意する他にユーザがする作業は無く，動画制作など，

1.

入力画像からグレースケール画像を生成する．

る．ただし，一般的に，3 次元情報も無く，また，ユー2.

グレースケール画像からエッジ画像を生成する．

ザによる細かな設定や作成時の情報が無いため，高品質

3.

グレースケール画像からランダムディザ法で2 値化しノイズ画像を生成する．

4.

グレースケール画像から輝度勾配を利用してベクトル場を生成する．

5.

ノイズ画像とベクトル場からLIC画像を生成する．

6.

エッジ画像とLIC画像を合成しストローク画像を生成する．

7.

ストローク画像と紙画像を合成し出力画像(鉛筆画)を生成する．

大量の画像を処理する場合も利用できることが上げられな絵画画像を作るのは難しい．この方法には，茅らのLIC 鉛筆画生成法がある[2]. また LIC 鉛筆画生成法の拡張でもある提案手法も画像フィルタリング法に分類できる．

図 3：LIC 法を用いた鉛筆画生成法

3.2 Saliency Map の生成法

4. 提案手法

Saliency Map の生成法は人間がボトムアップで映像を処

4.1 概要理する過程をモデル化したものである．まず，入力画像

鉛筆画は図 1 のように，焦点を中心に描く．焦点からの輝度，色，方向性を多解像度で抽出する．そして，各一定距離以内(図 1 の点線の楕円領域内)はしっかりと描要素でガウシアンピラミッドを生成し，中心-周辺型受容き，一番外側(図 1 の破線の楕円より外の領域)は描かな野を模した方法で Feature Map を生成する．さらにい．このようなアクセントのある鉛筆画を作成すため，Feature Map の特徴をより強調し，輝度，色，方向性で組焦点からの距離に合わせ，ストロークの太さや長さ，精み合わせ Conspicuity Map を作成する．最後に輝度，色，密さをコントロールする必要がある．そこで，Saliency

方向性の Conspicuity Map を統合し，入力画像の顕著度をMap において顕著度の高い部分を焦点として，焦点に近示す Saliency Map を作成する (図 4)．

いほど詳細に描き，遠いほど荒く大胆に描き，あるいは省略する
ストロークの詳細度を制御する為にガウシアンピラミッドを用いる．ガウシアンピラミッドは低解像度になるほど平滑化された画像となる為，大まかなエッジやベクトル場が得られる．そこで，顕著度に合わせてピラミッド画像の解像度の層を選択し．焦点に近い部分は高解像度層，逆に遠い部分は低解像度層を用いることで，焦点に近い部分はより詳細に，遠い部分はより大まかに，あるいは描かないことが実現できる．

4.2 アルゴリズム
ビュー中心で，Saliency Map を用いて焦点を検出し，アクセントを付けた鉛筆画生成アルゴリズムを以下に示す(図 5)．

図 4：Saliency Map の生成手順

1.

入力画像からSaliency Mapを生成する．
顕著度を平滑化したDraw Mapを作成する．

2.

入力画像からグレースケール画像を生成する．
グレースケール画像からガウシアンピラミッドを生成する．

3.

Draw Mapに基づき，ガウシアンピラミッドから多解像度画像を生成する．

4.

多解像度画像からエッジを生成する．

5.

多解像度画像から輝度勾配を利用してベクトル場を生成する．

6.

解像度の層によりガウシアンピラミッドの輝度を変え，解像度層毎にランダムディザ法で 2 値化しノイズピラミッドを生成する．

7.

ベクトル場とノイズピラミッドを用いて解像度層毎にLIC画像を生成する．
8.

Draw Mapに基づき，LICピラミッドから 1 枚のLIC画像を生成する．
エッジ画像とLIC画像を合成しストローク画像を生成する．

9.

ストローク画像と紙画像を合成し出力画像(鉛筆画)を生成する．

図 5：Saliency Map と LIC 法を利用したアクセントのある鉛筆画生成法
Draw Map

多解像度画像 (Draw Map に基づく画像統合)

実際の絵画においては焦点の周辺状況も含めて描く

多解像度画像内の各画素(x, y)での値 composit(x, y)は(図 1)．周辺部分と焦点部分のタッチを変えることによっ

Draw Map の顕著度 DM(x, y)∈[0,255]に応じて，ピラミッてアクセントを付けているのである．よって，一定の範ド PI の対応する解像度層 PI(n, x, y)の画素値となる．n (0囲を描けるようなマスクが必要になる．

≦n≦N)はピラミッド PI の解像度の層を表す数値であり，Saliency Map では，隣接している同様の特徴を抑制する側方抑制機構を模して顕著度を非線形に強調している．

n=N のとき，PI(n, x, y)は入力画像となる n は次式により求めることができる

最も顕著なところは極小さい領域となる．Saliency Map

n =(DM(x, y)/255)*Nをそのまま描く部分のマスクとして使用すると，焦点か顕著度マップの値からピラミッドの解像度の層へのマら少しでも離れるとほとんど詳細が描かれなくなる．
この問題を解決するために，本研究の実装では Saliency
Map をローパスフィルタに通し焦点から周辺に向けての顕著度変化をより滑らかにした．更に平方根をとり，Saliency

Map を求める際の非線形強調ファクターを部…(1)

ッピングは次式により計算できる．
h =floor (n+0.5)
l =floor (n)a =n-l

分的に排除した．このような処理を施した後の Saliency

しかし，
（1）
により求めた n は通常整数値でないため，Map を Draw Map と呼び，これを用いて描画の詳細度を制

n を挟む上下の層の画素値を線形補間することにより多御する．

解像度画像の画素値を決定する．
Composite(x, y) =PI (l, x, y) +a*(PI (h, x, y) -PI (l, x, y))ベクトル場生成

LIC 画像(LIC ピラミッドを統合した多解像度画像)

ベクトル場は山口らの 2 次モーメントを利用する方法

ノイズピラミッドとベクトル場から LIC ピラミッドを[11]を基にした．短辺と長辺の差が小さい時，方向の検出作成する．顕著度の低い場所ほど低い解像度で合成する．

が不可として，水平方向を割り当てた．多解像度画像か統合の際，ピラミッドの各解像度の層は入力画像の大きら生成することにより，詳細度が顕著度に適応したベクさに戻すため，ストロークの太さや長さが大きくなる．

トル場が得られる．

また．低い解像度の層での画像はノイズの黒画素の発生ノイズ生成が抑えられている．つまり，統合された LIC 画像は，顕ガウシアンピラミッドからノイズを生成するとき，低解像度の層ほど黒画素の発生率を下げる．あるいは，低著度が低いほど大胆なストロークになり，そして，次第に描かれなくなる．

解像度の層ほど明度を上げてからノイズを生成する．これにより顕著度が低いほどストロークを生成され難くな

5. 結果

る．最も低解像度の層ではストロークが生成されず，最終結果においてストロークが省略される部分となる．

5.1 実装実装は C#を用い，OpenCV の.Net のラッパーであるEmgu を用いた．ピラミッド生成は cvPyrDown メソッド，エッジエッジについても，顕著度によって変化が必要である．

動的閾値法は cvAdaptiveThreshold メソッドを使用した．

顕著度が下がるにつれエッジは薄く，そして省略されな

Saliency Map の生成には iLab Neuromorphic Vision C++ければならない(図 6)．顕著度によって統合した多解像度

Toolkit VirtualBox (http://ilab.usc.edu/toolkit/

画像は顕著度が低いほど平滑化されているため，エッジdownloads-virtualbox.shtml) を利用した．ピラミッドの深が検出しにくくなり，エッジの省略が自然に実現される．

さは 4 階層 (N=3) とした．ストローク長は PI(4)の時 6

エッジにアクセントを持たせるために細線化しない方法を選択する．2 値化手法である動的閾値法を用いる．動的閾値法は注目画素の周辺輝度の平均を閾値として 2 値化する．この結果は 2 値画像なのでベクトル場方向へ平画素分とした．(各層のストローク長は 6*2(4-n)となる)．
入力画像はカリフォルニア州立大学 Berkeley校の画像データベース（http://www.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/）から取得した．

滑化しエイリアスを抑えた．

5.2 提案手法生成結果
図 7a,b,c,dに提案手法により生成した結果を示す．従
来のLIC鉛筆画生成法の結果に比べて，提案手法により生成した画像では，ストロークや輪郭線に疎密があり，焦点にアクセントがある結果が得られていることが分かる．
図 6：エッジ(左)均一なエッジ. (右)変化のあるエッジ.

線の太さや階調に変化をつけている．出典[3]図 7a：結果の比較(左)入力画像 (中)本提案 (右) 茅らの手法[2]図 7b：結果の比較(左)入力画像 (中)本提案 (右) 茅らの手法[2]図 7c：結果の比較(左)入力画像 (中)本提案 (右) 茅らの手法[2]図 7d：結果の比較(左)入力画像 (中)本提案 (右) 茅らの手法[2]参考文献

5.3 考察
ビュー中心の描き方でアクセントをつけた鉛筆画を生成することができた．顕著度の大きさによってストロークを変化させ，焦点を引き立たせることができた．

[1] Laurent Itti, Christof Koch, Ernst Niebur: "A Model ofSaliency-Based Visual Attention for Rapid Scene
Analysis," IEEE Transactions on Pattern Analysis andMachine Intelligence. VOL.20, NO.11, 1998.

saliency mapは人間の視覚知覚の初期段階をモデリングす[2] 茅暁陽, 長坂好恭, 山本茂文,今宮淳美, "LIC 法を利用した鉛筆画の自動生成法," 芸術科学学会論文誌
Vol.1 No.3, pp147-159, 2001.

る有効なアプローチの一つであるが，注目度に影響する[3] A.L.グプティル, 鉛筆で描く, マール社, 1998.

焦点の検出にはSaliency Mapを使用した．しかし，要因はほかにもある．例えば，人間は顔のパターンにより注目しやすい．しかし，図 8 のように，提案手法
では馬の上半身を省略して描いてしまう．自動化の手軽さを保ちつつ，より正確な知覚モデルに基づいた焦点決定方法が必要である．人間の知覚特性の多くについてま[4] Deussen, J.Hamel, A.Raab, S. Schlechtweg, T.Strothotte:"An illustration technique using hardware-based
intersections and skeletons",Graphics Interface '99,
pp175-182, 1999.
[5]

M.C.Sousa, J.W.Buchanan: "Observational Model of
Blenders and Erasers in Computer-Generated Pencil
Rendering," GraphicsInterface'99, pp157-166, 1999.

[6]

M.C.Sousa,
J.W.Buchanan:"Computer-Generated
Graphite Pencil Rendering of 3D Polygonal Models,"
Computer Graphics Forum, 18(3), pp195-208, 1999.

だ計算論的なモデルが確率されていないため，機械学習を用いることが考えられる．大量の学習のクラウドソー
シングで実現すればよりコストは抑えられる．また，スマートフォンなどカメラのついたガジェットが手軽に手に入る．これらのカメラで撮影した画像から撮影時の焦点を検出すれば，注目箇所をダイレクトに，自動で取得[7] Allan H. Vermeulen, Pter P. Tanner: "PenchilSketch―A
Pencil-Based Paint System" ， GraphicsInterface '89,
pp138-143, 1989.
[8] N Ouerhani, Neculai Archip, H Hugli, Pierre-Jean Erard:"Visual Attention Guided Seed Selection for Color
Image Segmentation," Computer Analysis of Images
and Patterns, 2001.

できる．

[9] J. P. Collomosse, P. M. Hall: "Painterly Rendering using
Image Salience," In Proceedings 20th Eurographics UK
Conference , pp122-128, Leicester, June 2002.
[10] C. H. Lee, A. Varshney, David Jacobs: "Mesh Saliency,"
ACM SIGGRAPH, pp659-666, 2005.
図 8：失敗例

6. おわりにSaliency MapとLIC鉛筆画生成法を利用したアクセントのある鉛筆画の自動生成法を提案・実装した．今回は顕著度に合わせて，ストロークの太さと長さ，密度，エッジの詳細度を適応的に変化させることで強調・省略を表現した．今後はより注目箇所を引き立たせるスポットの構図を実装し，コントラスト等，その他の描画パラメータの制御も実装する予定である．さらに，自動処理という特徴を利用し，動画像への拡張も試みたい．

[11] 白石 路雄，山口 泰, "画像モーメントを用いた絵画風画像の生成手法,"情報処理学会論文誌, vol.40,no.9, pp.3493-3500, 1999-09-15.