The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）

LIC 法を用いた鉛筆画風動画生成
畠 康高† 豊浦 正広† 茅 暁陽†（正会員）†山梨大学

LIC Pencil Drawing Filter for Video
Michitaka HATA†, Masahiro TOYOURA†, Xiaoyang MAO† (Member)†University of Yamanashi〈あらまし〉鉛筆画は，モノトーンを用いながら豊かな表現が可能であり，ラフなスケッチとしても完成度の高い芸術作品としても多くの人に親しまれている．我々はビデオを鉛筆画風動画に自動変換する手法を提案する．静止画を自動的に鉛筆画に変換できる LIC 法を用いた鉛筆画生成法を用いる．しかし，静止画の鉛筆画変換手法を動画の各フレームにそのまま適用すると，ちらつきやシャワードア効果が発生する．この問題を解決するために，フレーム間で相関を保ったストロークを生成する新しい技術を提案する．前フレームのストロークを基に，輝度の変化に合わせて，不足するあるいは過剰なストロークのみを，追加または削除し，オブジェクトの移動に合わせてスト
ロークの位置を移流することで課題を解決する．
キーワード：絵画風動画，鉛筆画，LIC 法，時間的エイリアシング<Summary> Despite of using monotone only, pencil drawing can present rich expressions, and is an attractive either as an
expressive sketching or as finished fine art. We propose a new technique for processing an arbitrary video clip into a pencil
drawing like animation. Our technique is an extension to the existing method that converts an image into a pencil drawing
using LIC. When converting a video to a pencil drawing style movie, shower door effect and flickering occurs. In order to solve
the problem, it is necessary to generate a stroke which maintains the coherence across frames. In this paper, we propose a new
method for automatically generating a pencil drawing style movies from a videos using LIC. We reduce the flickering byreusing the strokes of the previous frame and add to or remove from it a minimum number of strokes for representing the toneof current frame. The shower door artifact is reduced through the advection of the strokes and paper texture along the opticalflow.
Keywords: painterly filter, painterly video, pencil drawing, LIC, temporal aliasing

1.

フェスティバルで審査員特別賞を受賞した Anna Budanova 監

はじめに

督の鉛筆画と水彩画風の表現を用いた“Obida”がある．

コンピュータグラフィックス分野において，水彩画や油絵

本論文では鉛筆画風動画を生成する新しい方法を提案する．

などの絵画風画像の生成をはじめとするノンフォトリアリス

提案手法では，3 次元モデルを必要とせず，ビデオやアニメ

ティックレンダリング（NPR）表現技法が多く提案され，近といった一般的な 2 次元動画を鉛筆画風に自動変換できるた

年アニメーションや映画をはじめ，様々な映像製作現場で利め，専門家以外の利用者にも提供できる．

用されている．NPR 表現を用いることで，美的で芸術的な画提案手法はもっとも代表的な鉛筆画生成法の一つである

像・映像を創り出すことができ，また，抽象化された画像・

LIC 鉛筆画生成法を動画用に向けて拡張する．LIC（Line

映像によって実写よりも効果的に情報を伝えられるとされてIntegral Convolution）はテクスチャベース流れ場可視化技術でいる．中でも本研究が取り扱う鉛筆画風の表現は，粗い描写あり，ホワイトノイズを流れの方向に沿ってぼかすことで流も繊細な描写もできるため，高い芸術性と抽象性を持つ表現

れ場を可視化する 1)．LIC 鉛筆画生成法は入力画像にランダが可能である．その表現力によって手描きの温かみを想起さムディザ法を適用して生成するノイズとストロークの方向をせた例として，2013 年第 53 回アヌシー国際アニメーション

表すベクトル場に LIC を適用することで入力画像を鉛筆画に

338

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）

必要になる．また，3 次元モデルを準備する必要がある．

変換する．自動生成が可能であるため，動画への応用が期待2)~8)が行われたにも関より利用しやすい方法として，2 次元の入力画像に何らかわらず，LIC を用いた効果的な鉛筆画動画生成法はまだ提案の画像処理を施し，鉛筆で描いたような画像に変換する絵画

される．しかし，これまで様々な拡張されていない．LIC 鉛筆画生成法はノイズを入力とすること的フィルタリング手法が提案されている．本提案ではこのアに加えて，高周波成分を含む紙テクスチャも利用するため，

プローチを採用し，動画を自動的に鉛筆画風に変換すること

時間的エイリアシングが特に生じやすい．また，手前にあるを目指す．

模様の奥で物が動いているように感じるシャワードア効果を最も代表的な鉛筆画フィルタとして，LIC（Line Integral

抑えるためには，移動するオブジェクトに付随してストロー

Convolution）を利用する方法がある．LIC は本来，ベクトル

クを移動させる必要がある．しかし，LIC 鉛筆画法では，ス場に沿ってホワイトノイズをぼかすことによって流れの軌跡

トロークを明示的にモデリングしていないため，従来のブラを可視化する流場可視化法である 1)．Mao らは LIC で可視化

シストロークの位置を 3 次元オブジェクトに固定する方法 9)

される流れの軌跡が鉛筆のストロークと似ていることに着目や前後のフレームに置いたブラシストロークの位置を対応づ

し，2 次元画像を入力とした LIC 鉛筆画生成法を提案した 2)．

けさせる方法 10,11)をこのまま利用することはできない．これ

Mao らの方法に対してこれまで様々な拡張が行われた 3)~8)．

らの問題を解決するために，本論文では，オプティカルフロ

Yamamoto らによる色鉛筆画に拡張する研究では，いくつかーに基づいてストロークの疑似表現のベースとなるノイズをの色のストロークを重ねて描き，紙面上で光学的に混色する移流させ，当該入力フレームに対する輝度の過不足に応じて，効果を再現した 3)．Chen らは各領域の特徴に適応したストロ

移流後の前フレームのノイズを変更する方法を提案する．

ークを描画することに成功した 4)．最近では，Kwon らは明る以下，第 2 章では関連研究をレビューする．第 3 章では，さによって層を分けてストロークを描き，ストロークを重ね簡単に既存の LIC ベース鉛筆画生成技術を紹介する．第 4 章

合わせたトーンを再現した 5)．更に，Yang らは，ETF（Edge

では，フレーム間の相関に関する基本的な考え方と，新たにTangent Flow）を用いた輪郭部分のストロークと，クロスハッ

提案された手法とその詳細を説明する．第 5 章では，いくつチングを用いたトーンで鉛筆画を再現した 6)．また，Yang らかの結果を示した後，結論を述べる．

は，SBL（Swing Bilateral LIC）filter を提案し，境界やハイラ

2.

イトといった部分を明確に描いた色鉛筆を生成した 7)．Hata

関連研究

らは，画像の顕著性を示す Saliency Map を用いて，人が描い本章では，鉛筆画風画像の生成と，NPR 動画生成の関連研たような，注視点にアクセントがある鉛筆画を作成する方法

究を説明する．
2.1を提案した 8)．しかし，これらの方法はすべて 1 枚の静止画像に対する変換手法であり，動画を対象としたものではなか

鉛筆画風画像の生成った．本研究では既存の LIC 鉛筆画フィルタを拡張し，鉛筆

鉛筆画風画像の生成には，黒鉛や紙などの画材や，鉛筆画

画風動画を自動生成できる新しい技術を提案する．

を作成する画家の動作の観察によってモデルを獲得し，この

2.2

結果を対話型システムや，3 次元モデルに適応しレンダリン

NPR 動画の生成

グによって結果を得る手法が提案されている．Sousa と鉛筆画以外の絵画風変換まで視野を広げると，動画に対す

Buchananは走査型電子顕微鏡で本物の鉛筆画を調べることにる NPR 手法も提案されている．動画変換の際に新たに問題とより，鉛筆画をシミュレーションしたモデルを提案した 12,13)．

なるのは，生成結果に時間方向の相関を持たせなければ，ちTakagi らは紙の微細構造と顔料分布を 3 次元ボリュームデー

らつきが起こることである．従来の絵画風動画生成の提案でタでモデル化しボリュームレンダリングにより色鉛筆画画像

は，特にフレーム間のストロークに相関をもたせることが課の生成に成功した 14)．Semet らは Artificial Ant システムを利題として捉えられてきた．

用し，ユーザーにより良い画像を対話的に選択していくこと

これらの課題にアプローチした絵画風動画の研究を挙げる．

で鉛筆画を生成する方法を示した 15)．Melikhov らは Disk

Barbara と Meier は 3 次元モデルを用いた油絵風の動画の生成

B-Spline Curves に基づいて鉛筆画へ変換する方法を提示し法を提案した 9)．3 次元モデル上にストロークを描くための16)

た ．Lee らは鉛筆画風のトーンをレンダリングするための位置を固定することで，ストロークに相関を得ている．
GPU ベースのリアルタイムレンダリングする技術を開発した 17)． Hertzmann らは油絵風の動画生成法を提案した 10)．前フレー
最近では AlMera らが，ストロークの入力点と人間の腕の動ムの結果をベースに，前後のフレームで違いのある部分にブきの物理的な計算モデルから，人間が描いた鉛筆のストロー

ラシストロークを追加することでちらつきを防止した．

クに似ている線を描画するアルゴリズムを設計した 18)．これLitwinowicz らは印象派風の動画生成法を提案した 11)．オプテ

らの手法によって実際の画材の特性やストロークの形状など

ィカルフローを用いてストローク位置を移動しつつ，ドロネを再現できるが，個別のモデル獲得のためには特殊な装置がー三角形分割を用いて新たにストローク位置を追加し，相関必要になり，対話的作業が必要なため利用者の技量や時間がのあるストロークを実現した．これらの手法では筆の一塗り

339

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）に対応するブラシストロークを1 本ずつ明示的描画するため，
フレーム間でストロークの位置の対応付けが可能である．ス
トロークを明示的に扱わず，画像に対するフィルタリング処理によってストロークを疑似的に表現する LIC 鉛筆画生成法
において，これらの手法を直接適用することはできない．

(a) 入力画像

LIC 法は，相関のないホワイトノイズを入力とするため，原理的に時間的な相関を保証することが特に難しい．また，
より鉛筆画らしさを表現するために高周波成分を含む紙のテ
クスチャも利用するため，時間的なエイリアシングが更に目(b) 相関のないちらつきのあるノイズ

立ちやすい．Yamamoto らはこれまでに動画に対する拡張を試みており 19)，ストロークを 2 つのレイヤに分け，ベースレ
イヤにおいては方向性のあるストロークを表現せずホワイト
ノイズにガウシアンフィルタを用いたローパスフィルタを施(c) シャワードア効果のあるノイズ

し，トップレイヤにおいては，フレーム間でストロークに沿ってローパスフィルタを掛けることでちらつき抑える方法を
提案した．
しかし，
ストロークの位置には相関がないために，効果は限定的であった．

3.

(d) 相関のあるノイズ
図 2 ノイズ生成の課題

LIC 鉛筆画生成法

Fig. 2 The problem of noise generation

本研究では図 1 に示す Mao らの LIC 法を用いた鉛筆画風画
像生成法を基にする．Mao らの鉛筆画風画像生成法は，以下

自然な動画が生成される．

の手順によって鉛筆画風画像を生成する．

一つ目の問題は“ちらつき”である．毎回ランダムディザ

Step 1.

入力画像からグレースケール画像を作成する．

法でノイズを作ると，前後のフレームが全く同じだとしても，

Step 2.

グレースケール画像からエッジを作成する．

フレーム間の黒画素の位置に相関がないノイズ画像が生成さ

Step 3.

グレースケール画像をランダムディザ法で2 値化し，れる．その為，黒画素が基となって生成されるストロークのノイズ画像を生成する．

位置も毎回変わる．同じ位置の画素が各フレームでランダム

グレースケール画像からテクスチャの方向を検出し，に白に黒にと点滅し（図 2(b)），ちらつきとして知覚される．

ベクトル場を生成する．

これを解決するためには前後のフレームにおいて同じ位置のベクトルとノイズ画像に LIC 法を適応し，LIC 画像

画素値をできるだけ反転させない必要がある．

Step 4.
Step 5.

を作成する．
Step 6.
Step 7.

2 つ目の問題は“シャワードア効果”の発生である．
“シャ

LIC 画像とエッジ画像を合成し，ストローク画像をワードア効果”とは，型板ガラスを通してシャワールームの生成する．

向こう側の影を見るような，オブジェクトの移動と相関がな

ストローク画像に紙テクスチャを合成し，結果の鉛いトーンを感じる現象である．フレーム間での黒画素の位置

筆画風画像とする．

を保ったノイズ画像を使用すると，入力画像のオブジェクト

鉛筆画風動画生成は，原理的に動画の各フレームを図 2(a)の移動に伴ったストロークの基となる黒画素が移動しないこに示すように入力画像として取り出し，フレーム毎に先述のとになる（図 2(c)）．このため，オブジェクトのエッジとトー

鉛筆画生成法を適応することにより実現可能である．
しかし，ンが分離して見える．固定されたノイズが型板ガラスのよう

このままではフレーム間の相関に関わる 2 つの問題により不に作用し，シャワードア効果が発生する．シャワードア効果
はフレーム間のオブジェクトの位置に相関がないために発生するので，入力画像のオブジェクトの移動に伴い前後のフレ
ームのノイズ画像での対応する画素を移動する必要がある．
従って，これらの課題を解決するためには，オブジェクトの移動に従ってノイズを移流し，前後のフレームで生成するノイズ画像の黒画素の位置を保ちつつ，輝度の変化に合わせた必要最低限の黒画素の追加と削除を行う必要がある（図 2(d)）．

図 1 LIC 法を用いた鉛筆画生成法
Fig. 1 Pencil drawing generation using LIC

340

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）

4.
4.1

提案手法

概要

提案手法ではMaoらの鉛筆画生成法を各フレームに対して実行する．その際，相関のある動画を作成するため，前フレームと当該フレーム間のオプティカルフローを算出し用いる（図 3）．
Step 1.

当該フレームの入力画像からグレースケール画像を作成する．

Step 2.
Step 3.

グレースケール画像からエッジを作成する．
グレースケール画像，前フレームのノイズ画像及び前フレームと当該フレーム間のオプティカルフローを用いてノイズ画像を生成する．

Step 4.

ベクトル場を生成する．

Step 5.

ベクトル場とノイズ画像に LIC 法を適応し，LIC 画像を作成する．

Step 6.

LIC 画像とエッジ画像を合成しストローク画像を生成する．

Step 7.

前フレームと当該フレーム間のオプティカルフロー

図 3 LIC 法を用いた鉛筆画風動画生成法を考慮した紙テクスチャを生成する．
Step 8.

Fig. 3 Pencil drawing movie generation using LIC

ストローク画像に紙テクスチャを合成し，当該フレームの鉛筆画画像となる．

正する．LIC 鉛筆画生成法では，ランダムディザ法によって，第 3 章で述べた通り，相関のある鉛筆画風動画を生成する

各画素の輝度にふさわしい確率で黒画素を発生させており，上で最も重要なのはフレーム間で相関のあるノイズ画像を生言い換えると，入力画像の輝度を表すのにふさわしい数の黒成することである．そのため，まずは，前フレームとオブジ

画素を生成している．そこで，当該フレームの入力画像の輝ェクト間で相関がある，当該フレームのノイズ画像を生成す

度と移流したノイズ画像から，当該フレームの輝度を表現す

る．入力画像の前フレームと当該フレームから当該フレーム

るのに，不足する，あるいは，過剰な黒画素の数を算出し，の各画素が前フレームのどの位置から移動したかを示すオプ

移流したノイズ画像に対して黒画素の追加・削除を行う．過ティカルフローを算出する．このオプティカルフローに従い不足分として追加・削除した黒画素以外は前フレームのノイ

前フレームのノイズ画像の各画素を移流する．オブジェクトズ画像と同じであるため，相関のあるノイズ画像を生成するの移動がオプティカルフローによって表されているので，前ことができる．
図 4 に示すように，前フレームより暗くなる時（Input(n－1)

フレームとオブジェクト間に相関がある当該フレームのノイズ画像を得ることができる．

→Input(n)）は，（移流した後の）前フレームの白画素（White次に移流したノイズ画像に対して，黒画素をなるべく保存pix）から必要な数の画素をランダムに選択し，黒画素に変更

しながら，前フレームと黒画素の位置に相関があるように修する．
逆に前フレームより明るくなる時（Input(n)→Input(n+1)）
は，（移流した後の）前フレームの黒画素（Black pix）から必
要な数の画素をランダムに選択し，白画素に変更することによって，入力画像の輝度毎の画素に対してふさわしい数量だ
け黒画素を追加・削除する．
4.2

エッジ画像の生成（4.1 節 Step 2）

差分フィルタよりもノイズに強いため DoG（Difference ofGaussian）フィルタは NPR で良く用いられる．本提案においても DoG フィルタによりエッジを検出する．
・エッジのちらつきの防止
図 4 ノイズの追加方法

フレームの前後でのエッジの検出の有無によっても，ちらFig. 4 The additional method of a noise

つきが発生する．そこで，フレーム n のエッジ画像 Edgen の341

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）（Noise(n,p)）を得る．

同位置にある前フレームのエッジ画像 Edgen－1 または次のフレームのエッジ画像 Edgen+1 の画素でエッジの有無が異なる

・AddedNoise(n,p)の生成について場合，ちらつきと判断しエッジの有無を反転させる．
この際，オブジェクトの移動を考慮するため，Edgen－1 と Edgen+1 はオ

入力画像 Input(n－1)の画素数を輝度 l 毎に集計し NumPix(l)プティカルフローに従って移動してから反転処理を行う．

を得る．また，オプティカルフローによって画素を移動した
ノイズ画像 OptNoise(n)の黒画素の数を入力画像 Input(n－1)

・エッジのストローク化の画素の輝度l毎に集計しNumBlackPix(l)とする．
（図6(a)参照）

ちらつきをさらに抑えるために，また，エッジの見た目を

入力画像の輝度 l は 0~255（黒~白）とする．

鉛筆のストロークに近づけさせるために，エッジに沿ってLIC

入力画像の輝度 l から NumPix(l)に本来存在すべき黒画素のを用いてローパスフィルタを掛ける．
4.3

個数 NeedBlackPix(l)を求める．存在すべき黒画素と現在の黒画素の差分が，追加あるいは削除すべき黒画素の数

ノイズ画像生成アルゴリズム（4.1 節 Step 3）

AddBlackPix(l)である（図 6(b)参照）．

相関のある鉛筆画風動画を作成する為に，当該フレームの例えば，灰色（l=127）の場合，灰色画素の数 NumPix(127)

入力画像（Input(n)）の他に前フレームの入力画像（Input(n－1)）の半分がノイズ画像における黒画素であるべきであり，現在と前フレームのノイズ画像（Noise(n－1)）を基に相関のある

存在する黒画素の数 NumBlackPix(127)とあるべき黒画素

ノイズ画像を生成する．以下にその手順を示す（図 5）．

NeedBlackPix(127)との差分が，入力画像の灰色画素（l=127）

Step 0.
Step 1.

フレーム 0 のノイズ画像 Noise(0,p)はランダムディ

に対するノイズ画像に追加あるいは削除すべき黒画素の数

ザ法を用いて生成する．ただし，p は画素とする．

AddBlackPix(127)となる．

フレーム n－1 とフレーム n の入力画像を用いてオ
プティカルフローを計算し，フレーム n の各画素がフレームn－1のどの画素から移動したかを求める．

Step 2.

Noise(n－1,p)を Step 1．で求めたオプティカルフロ
ーで移流しフレーム n のノイズ画像 OptNoise(n,p)を計算する．

Step 3.

OptNoise(n,p)の黒画素をなるべく保存しながら，入力画像の輝度に合わせ黒画素の追加・削除を行い，ノイズ画像 AddedNoise(n,p)を作成する．

Step 4.

(a) Algorithm 1

入力画像とAddedNoise(n,p)との誤差が多い個所を修正したノイズ画像 Noise(n,p) を生成する．

Step 1 と Step 2 によって前フレームと当該フレームとのオ
ブジェクト間で，相関があるノイズ画像（OptNoise(n,p)）を得て，Step 3 にて前フレームのノイズ画像の黒画素の位置と(b) Algorithm 2

相関がある当該フレームのノイズ画像（AddedNoise(n,p)）を得る．Step 4 にて，Step 3 で得たノイズ画像（AddedNoise(n,p)）と入力画像を比べ大きい誤差を修正したノイズ画像(c) Algorithm 3
図 5 相関のあるノイズ画像生成法

図 6 提示手法のアルゴリズム

Fig. 5 A noise image generation method with coherence

Fig. 6 Algorithms in the proposed method

342

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）

いる．

追加すべき黒画素がある（AddBlackPix(l)>0）とは，対象とする画素が前フレームと比べ暗くなったということである．

5.

この場合，すでに存在する黒画素はそのまま残し，現在，白5.1画素となっている画素（OptNoise(n,p)=255）のみに対して，
AddBlackPix(l)の数分ランダムに黒画素を発生させる．
逆に，削除すべき黒画素がある（AddBlackPix(l)<0）とは，対象とする画素が前フレームと比べ明るくなったということ

実装

C#と OpenCV のラッパーである Emgu CV を用いている．
OpticalFlow にはブロックマッチング法を用いた．ベクトル場の生成にはHataらのガボールフィルタを用いたテクスチャ方である．この場合は，すでにある白画素をそのまま残し，現

向検出法を用いた 8)．

在，黒画素となっている画素（OptNoise(n,p)=0）に対してだ

5.2

け，AddBlackPix(l)の数分ランダムに黒画素を消していく．
これによって，足りない黒画素を必要分だけ追加すること

結果

図7(a)は明るさのみ変化する動画を入力とした結果である．

ができ，前フレームのノイズ画像 Noise(n－1)の黒画素や白画

図 7(b)はオブジェクトの移動を伴う動画に適用した結果であ素の位置と，移流したノイズ画像 OptNoise(n)の黒画素や白画

る．図 7(c)は雲が動く動画，図 7(d)は波の動画の結果である．

素の位置に相関が維持できる（図 6(c)参照）．

各図の右側は連続した 3 フレームの一部分を拡大して並べ

図 6(c)では，乱数を用いて黒画素の追加と削除を行っていたものである．紙画像の合成があると解り難いため，相関のるので，厳密には AddBlackPix(l)分の数だけ黒画素を作り出し

有無を確かめやすいように LIC 画像で示した．

てはいない．フレーム 0 のランダムディザ法によるノイズ生

5.3

成と同様に，輝度から求めた閾値と乱数による黒画素の生成
で濃淡を十分に表すことができるので，処理速度を考慮し，評価方法

見た目以外の評価を行うため，評価対象の当該フレームと厳密な AddBlackPix(l)分の黒画素を生成していない．

前フレームとの差分を，式(1)を用いて計算した．差が少ないほどフ レーム間 での相関が高いといえる．

・入力画像とノイズ画像との誤差の修正

diff n =入 力 画 像 input(n,p) と 黒 画 素 を 追 加 ・ 削 除 し た
AddedNoise(n,p)をそれぞれ平滑化し，これらの画像の各画素

1∑ ∑ (img n (x, y ) − optimg n −1 (x, y )) (1)
対象画素数 x y式(1)ではオブジェクトの移動を考慮するため，評価対象のの差分を計算する．入力画像に対して誤差が大きい位置の画

前フレームの画像 imgn－1 をオプティカルフローで移流した素に対して，
対応する当該フレームの入力画像の輝度に従い，

optimgn－1 を用いる．optimgn－1 と評価対象の当該フレームの画

ランダムディザ法を用いてノイズを再生成する．これにより

像 imgn との 1 画素当たりの差分の平均を計算する．オプティ

入力画像input(n,p)に対して誤差の大きい部分を修正したノイ

カルフローが検出された画素のみを対象画素とする．
このdiffn

ズ画像 Noise(n,p)が作成される．

の値が大きいほど（誤差が大きく），すなわち，ちらつきがあ

このノイズ画像Noise(n,p)を鉛筆画風動画生成においてLICる画像であるといえる．

の入力ノイズ画像として使用し，当該フレームの鉛筆画を生図 8 は式(1)によるフレーム毎のノイズ画像の評価結果のグ成していく．
4.4

ラフである．表 1 にビデオの全フレームの平均値を示す．また，図 9 と表 2 に提案手法により生成された鉛筆画風動画の紙テクスチャの合成（4.1 節 Step 7）

最後に合成する紙画像に対しても，シャワードア効果を防表1

止するために，移流を行う．紙画像は紙の構造を表すテクス

Light

Move

入力画像

0.51%

1.65%

0.70%

1.52%

相関無

30.57%

31.26%

41.55%

40.27%

相関有

1.01%

1.83%

8.97%

7.39%

diffn

テクスチャの移流は水彩画の動画生成のためにBousseau ら
20)を用いる．フレーム 0 からテクスチャをオ

プティカルフローに従って移流していくと，だんだんとテク
スチャの構造が崩れていく．そこで Max ら

ノイズ画像のフレームあたりの diffn

Table 1 diffn per frame of Noise Image

チャを，ある程度保ちながら移流していく必要がある．
が提案した方法

実験

21)

は一定フレーム

CactusWaves

毎に移流をリセットする方法を用いたが，リセット前後のフ
表2

レームで相関がないためちらつきが発生する．
そこでBousseau
らは鉛筆画のフレームあたりの diffn

Table 2 diffn per frame of Pencil Image20)，一定フレーム毎に移流をリセットする方法と，その逆方向へ移流した結果を合成することによって，リセット前

Light

Move

入力画像

0.51%

1.65%

0.70%

1.52%

ここでは 10 フレーム毎に移流を行い，フレーム数に応じて相関無

10.72%

12.33%

17.29%

18.38%

順方向のノイズ画像と逆方向のノイズ画像を線形に合成して

相関有

3.39%

6.64%

12.63%

15.92%

diffn

後の相関を保ちつつ，構造を保つことに成功した．

343

CactusWaves

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）

評価結果を示す．どちらも，図 7 の入力動画と入力動画から5.4得た本提案を用いた相関のある結果と，単純にフレーム毎に考察

図 7 の右側の，連続した 3 フレームの LIC 画像を拡大した

鉛筆画を生成した相関のない結果を評価対象とした．

結果を見ると，下の本提案での LIC 画像では，レンガやサボテンを描いているストロークの位置（トーンの濃淡）が保た(a) Light（左上:入力画像，左下:相関のある本提案結果，右上:相関のない LIC 画像，右下:相関のある本提案での LIC 画像）(b) Move（左上:入力画像，左下:相関のある本提案結果，右上:相関のない LIC 画像，右下:相関のある本提案での LIC 画像）(c) Cactus（左上:入力画像，左下:相関のある本提案結果，右上:相関のない LIC 画像，右下:相関のある本提案での LIC 画像）(d) Waves（左上:入力画像，左下:相関のある本提案結果，右上:相関のない LIC 画像，右下:相関のある本提案での LIC 画像）
図 7 結果画像
Fig. 7 The result images

344

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）(a) Light のノイズ画像 Noise(n)の diffn(b) Move のノイズ画像 Noise(n)の diffn(c) Cactus のノイズ画像 Noise(n)の diffn(d) Waves のノイズ画像 Noise(n)の diffn
図 8 ノイズ画像の評価

Fig. 8 Evaluation of noise image(a) Light の鉛筆画の diffn(b) Move の鉛筆画の diffn(c) Cactus の鉛筆画の diffn(d) Waves の鉛筆画の diffn
図 9 鉛筆画の評価
Fig. 9 Evaluation of pencil image

345

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）

れているのに対し，上の相関のない結果ではフレーム毎にスGraphics), pp.329–338 (2004).

トロークの位置が変わっていることがわかる．図 7(d)は波の4) Z.Chen, J.Zhou, X.Gao, L.Li, J.Liu: “A Novel Method for Pencil

動きが激しいため，他の結果と比べてストローク位置の相関

Drawing Generation in Non-Photo-Realistic Rendering”, Advances inが小さい．

Multimedia Information Processing - PCM 2008 Lecture Notes in

また，評価式(1)を用いた結果では，本提案である相関があ

Computer Science, Vol.5353, pp.931–934 (2008).

る鉛筆画風動画の結果は，相関のない方法と比べてフレーム

5) Y.Kwon, K.Min: “Texture-Based Pencil Drawings from Pictures”,

間の画素の差分 diffn が小さいことがわかる（図 8，表 1）．ノCommunications in Computer and Information Science, Vol.206,

イズ画像では相関がない場合に比べて 5 倍～30 倍の差が見ら

pp.70–77 (2011).

れた．鉛筆画での結果（図 9，表 2）でも本提案での相関のあ6) H.Yang, K.Min: “Feature-Guided Convolution for Pencil Rendering”,

る結果の方が，よりdiffn が小さくちらつきが少ないといえる．

KSII Trans. on Internet and Information Systems, Vol.5, No.7,

ノイズ画像の評価（図 8，表 1）と比べると，相関がないもの

pp.1311–1328 (2011).

はノイズ画像と比べ改善されている．これは LIC によりぼか

7) H.Yang, Y.Kwon, K.Min: “A Stylized Approach for Pencil Drawing

されたことによってちらつきが緩和されたためと考えられる．

from Photographs”, Computer Graphics Forum, Vol.31, No.4,

一方，相関のある方法では，ノイズ画像の diffn よりも悪くな

pp.1471–1480 (2012).

った．これはストロークの基点となる黒画素の位置では相関

8) M.Hata, M.Toyoura, X.Mao: “Automatic Generation of Accentuatedは持つが，（Cactus の山肌に顕著であるが）ストロークの方向

Pencil Drawing with Saliency Map and LIC”, The Visual Computerに相関があまりないためと考えられる．

(Proc. of the Computer Graphics International), Vol.28, No.6–8,

6.

pp.657–668 (2012).

おわりに9) B.J.Meier: “Painterly Rendering for Animation”, Proc. of the Annual

2 次元動画からの鉛筆画風動画の自動生成法を提案した．

Conference on Computer Graphics and Interactive Techniques,

その際，前後のフレーム間でストロークの位置の相関を保つ

pp.477–484 (1996).

ことでちらつきとシャワードア効果を抑えた．

10) A.Hertzmann, K.Perlin: “Painterly Rendering for Video and Interaction”,

今後，ストロークの方向に相関を持たせるために安定した

Non-Photorealistic Animation and Rendering, pp.7–12 (2000).

ベクトル場を検出する方法を検討する予定である．
例えばYang11) P.Litwinowicz: “Processing Images and Video for an Impressionist

らの方法 7)は輪郭線という強い方向性からオブジェクトの方

Effect”, Proc. of the Annual Conference on Computer Graphics and向を得ているためより安定した方向検出が可能であると考えInteractive Techniques, pp.407–414 (1997).

られる．また，人の注目する部分を強調して描く鉛筆画生成

12) M.C.Sousa, J.W.Buchanan: “Observational Model of Blenders and法 8)の適用も現在検討している．鉛筆画や線画のアニメーシ

Erasers in Computer-Generated Pencil Rendering”, Proc. of theョンでは動きのある被写体をわざとちらつかせて目立たせる

Conference on Graphics Interface, Vol.1999, pp.157–166 (1999).

手法をとる場合がある．今後対象物や位置によって相関の強13) M.C.Sousa, J.W.Buchanan: “Computer-Generated Graphite Pencil

さを制御する方法も検討していく予定である．また Xie らのRendering of 3D Polygonal Models”, Computer Graphics Forum, Vol.18

GPU を用いた鉛筆画の生成法の技術を一部利用し，高速化をNo.3, pp.195–208 (1999).

行う予定である 22)．

14) S.Takagi, M.Nakajima, I.Fujishiro: “Volumetric Modeling of Colored
Pencil Drawing”, Proc. of Pacific Conference on Computer Graphics

謝辞

and Applications, pp.250–258 (1999).

本研究は JSPS 科研費 26240015, 26560006 の助成を受けた

15) Y.Semet, U.O’Reilly, F.Durand: “An Interactive Artificial ant Approach

ものである．

toNon-Photorealistic

Rendering”,

Genetic

andEvolutionary

Computation – Lecture Notes in Computer Science, Vol.3102,

参考文献

pp.188– 200, (2004).
1) B.Cabral, L.C.Leedom: “Imaging Vector Field Using Line Integral16) K.Melikhov, F.Tian, X.Xie, Hock Soon Seah: “DBSC-Based Pencil

Convolution”, Proc. of the Annual Conference on Computer Graphics

Style Simulation for Line Drawings”, Proc. of the Internationaland Interactive Techniques, pp.263–270 (1993).

Conference on Game Research and Development, pp.17–24 (2006).

2) X.Mao, Y.Nagasaka, A.Imamiya: “Automatic Generation of Pencil17) H.Lee, S.Kwon, S.Lee: “Real-Time Pencil Rendering”, Proc. of the

Drawing from 2D Images Using Line Integral Convolution”, Proc. of theInternational Symposium on Non-Photorealistic Animation andInternational Conference on Computer Aided Design and Computer

Rrendering, pp.37–45 (2006).

Graphics, pp.240–248 (2001).

18) Z.AlMeraj, B.Wyvill, T.Isenberg, A.A.Gooch, R.Guy: “Automatically3) S.Yamamoto, X.Mao, A.Imamiya: “Colored Pencil Filter with Custom

Mimicking Unique Hand-Drawn Pencil Lines”, Computers & Graphics.

Colors”, Computer Graphics and Applications (Proc. of PacificVol.33, No.4, pp.496–508 (2009).

346

The Journal of the Institute of Image Electronics Engineers of Japan Vol.43 No.3 （2014）19) S.Yamamoto, X.Mao, K.Tanii, A.Imamiya: “Enhanced LIC Pencil

22) D.Xie, Y.Zhao, D.Xu, X.Yang: “Convolution Filter Based Pencil

Filter”, Proc. of the International Conference on Computer Graphics,

Drawing and Its Implementation on GPU”, Advanced Parallel

Imaging and Visualization, pp.251–256 (2004).

Processing Technologies - Lecture Notes in Computer Science, Vol.4847,
pp.723–732 (2007).

20) A.Bousseau, F.Neyret, J.Thollot, D.Salesin: “Video Watercolorization
using Bidirectional Texture Advection”, ACM Trans. on Graphics – Proc.

（2014 年 2 月 14 日 受付）

of ACM SIGGRAPH, Vol.26, No.3.(2007).

（2014 年 4 月 21 日 再受付）

21) N.Max, B.Becker: “Flow Visualization Using Moving Textures”, Data
Visualization Techniques (Editor: Bajaj, C.), John Wiley and Sons Ltd.,
pp.99–105 (1999).

畠 康高
2005 年 山梨大学工学部 卒業．2007 年 同大学大学院修士課程 修了．2010 年 同大学大学院博士課程入学．現在，コンピュータ
グラフィックス，可視化の研究に従事．

豊浦 正広
2003 年 京 都 大 学 工 学 部 情 報 学 科 卒
業．2007 年 日本学術振興会特別研究員
DC2．2008 年 京都大学大学院情報学研究科
博士後期課程 修了．2008 年 日本学術振興会特別研究員 PD．カリフォルニア大学サンタバーバラ校訪問研究員．2009 年山梨大学
大学院医学工学総合研究部 助教．拡張現実
感，コンピュータビジョンの研究に従事．
電子情報通信学会，情報処理学会，IEEE 各
会員．博士（情報学）
．
（正会員）
茅 暁陽
1983 年 中 国 復 旦 大 学 計 算 機 学 科 卒
業．1987 年 東京大学大学院情報科学研究科
修士課程 修了．1990 年 同大学大学院理学研究科博士課程 修了．1990 年 株式会社クボタコンピュータ応用エンジニア．1994 年
New York 州立大学 Stony Brook 校 客員研究員．1995 年 科学技術振興事業団特別研究員．1996 年 山梨大学工学部 講師．1997 年
同准教授．1997 年 同大学院医学工学総合研究部 准教授．2008 年 同教授．画像処理，コンピュータグラフィックス，可視化の研究に従事．情報処理学会，画像電子学会，
ACM 各会員．理学博士．

347