二次元画像の非写実的変換についての研究～漫画風画像への変換～

2002MT031，加藤宏紀 2002MT033，加藤正晃
指導教員：金知俊

1. はじめに二次元画像を写実的でない画像にする非写実的変換
は絵画風や色鉛筆画風，水墨画風など，様々な方法が提案されており，画像編集ツールのフィルタ機能や映画などで応用され，身近な技術になってきている．
松井一ら[6]の提案する鉛筆画風画像生成方法など，現存する手法の多くは複雑な計算処理からなり，処理時間が膨大である．またそれらは質感の変化という観点から非写実的表現を実現させている．それに対して本研究では漫画の印象を形作っている要素は何かという観点から非写実をとらえ，全体の印象の変化をさせることでこれを実現する．そのために，既存の画像処理手法を用いて少階調にして，従来のものより非写実的な表現を目指すことを第一の目標とし，その目標にほぼ一致している表現方法の漫画に近づけることを第二の目標とした．これらの目標を達成するために，濃度値から求めた特徴範囲を一定パターンに置き換える「テクスチャ簡略化処理」と拡大による「誇張処理」を提案する．また，自動化に関しては，より正しい変換結果に近づけることと軽い処理で行うことを満たすために，「簡易ヒストグラ
ム」と「簡易閾値解析」を提案する．これらによって不完全ではあるが軽い処理で自動化できた．
以上により，非写実的観点と漫画の特徴を合わせ，漫画風画像変換システムを作成し，結果として元画像の特徴を残しつつも，極めて非写実で漫画風の画像が生成できた．

2. 漫画について
漫画の定義は人によって様々であり，厳密な定義は存在しない．中村唯史[3]は漫画をリアリズムと正反対で，デフォルメにより実現されると定義し，手塚治虫は「省略」，「誇張」，「変形」を漫画の基本三要素として挙げている．デフォルメの定義も時代の流れとともに変化してきており，戦前の漫画は背景とキャラクターの間にデフォルメの度合いに相違が無い．戦後は考え方が変化し，背景が細密になり，表現が複雑になってきている．このように様々な表現の漫画があるが，本研究では戦前の漫画に焦点を当て，以後本論文で扱う漫画はそのような漫画ということで進める．
漫画の基本三要素をふまえ，そこに画像処理の特徴なども考慮して以下の 4 点を本研究でいう漫画の用件とする．
(a)
(b)
(c)
(d)

複雑な模様が少ない
形が誇張されている
白黒で表現
輪郭線重視

以上(a)～(d)の特徴を満たすことで漫画風画像が生成できると本研究では定義する．

3. 実現方法
本研究では 2 章の漫画の特徴を実現することを目標とする．変換の流れは，はじめに誇張画像を作る．この処理により特徴(b)を実現する．次に輪郭抽出処理を施し，輪郭線画像に変換する．この時点で 256 階調モノクロ画像であるため，一定の濃度値（閾値）で 2 値にする 2 値化処理を施す．この際に簡易ヒストグラムを利用する．これだけでは，線の太さが不均一であったりノイズが混じっていたりするため，膨張収縮処理を施すことで輪郭線補正をする．これらの処理により，特徴(c)と特徴(d)を実現する．輪郭抽出及び補正は本研究分野では一般的手法であり，漫画風画像生成とは直接的に関係ないため，本研究では従来の手法をそのまま用いる．ここまでの処理では単に輪郭が抽出されたに過ぎず，漫画風画像とはいえないため，各種デフォルメ表現を施すことによって漫画風画像を生成し，特徴(a)を実現させる．なお，本手法は画像の正確さを求めるために全ての処理をユーザーに選択してもらう方式をとる．

4. 輪郭抽出[1][2]
ここでは，漫画風画像の特徴である輪郭線画像を作り出すことが目的である．画像の中の物体と物体，あるいは物体と背景の境目が輪郭であり，画像の濃度や色の急な変化が発生することで人の目に輪郭として認識される．そこで輪郭抽出は濃度に注目する．方法として一次微分や二次微分などの差分型，テンプレートマッチングなどがある．それぞれの特徴を次に示す．
4.1. 差分型による輪郭抽出[2]差分型輪郭抽出とは一般に一次微分や二次微分のことで画素の差をとることで輪郭を抽出する方法である．一次微分とは濃度の変換点を取り出す処理でありエッジの強さと方向性を持つ．二次微分は一次微分をもう一度微分したもので濃度の二次の変化点を取り出す処理である．
4.2. テンプレートマッチングによる輪郭抽出[1]テンプレートマッチングとは入力画像に対して，あらかじめ用意されているテンプレートの存在位置や角度，スケール等を推定する画像処理方法のことである．その中のプレウィッツの方法は，エッジの方向に対する８種類のマスクを用意し，入力画像と比較することにより輪郭を抽出する．
4.3. オペレータ
輪郭抽出にはオペレータを用いる．オペレータとは，隣接画素同士の演算を行う係数の組のことで，元画像と掛け合わせることで輪郭を抽出する．以下に，テンプレートマッ
チングの上と左方向のオペレータを示す．
表 1 テンプレートマッチングオペレータ（一部）

11

1

1−2

1

1 − 2 −1

4.5. 2 値化
以上の輪郭画像は 256 階調のモノクロ画像である．輪郭部分のみを取り出すため，また簡略化を図るために白と黒の 2 値にする．ある濃度値を境目にし（その濃度値を閾値という），その値以上の画素を全て黒とすることで特定の部分のみを抜き出すことができる．結果は閾値によって変化し，閾値を低くするとはっきりと出るが，ノイズなども出てしまう．
逆に高くしすぎると大切な要素までも省いてしまう．そこで，最適な閾値を見つけることが重要になり，そのために濃度値をグラフ化したヒストグラムを用いる．
4.6. ヒストグラム
ヒストグラムとは，濃度値毎に何画素あるかをグラフ化したものである．本研究では，入力時に 256 階調のモノクロ画像に変換し，それを元に処理をしているため，0～255 の値についてグラフを出力する．大抵の画像は前景と背景に分かれるため，それぞれがヒストグラムでは山になり，その二つの山の間の谷が輪郭部分となる．
ヒストグラムの表示方法は，濃度値 10 刻みで，コマンドプロンプト上で簡易表示する簡易ヒストグラムを作成した．

方向

オペレータ

1−11

図 1 を見ると，一次微分ではノイズが少なく輪郭線も出ているが，線が弱い．二次微分ではノイズが多く目立っている．
テンプレートマッチングでは輪郭線がはっきり出ておりノイズも少なく，どちらの欠点も補っているので漫画風画像に適している．

4.7. ヒストグラムと視覚での閾値の違い
図 2(b)にヒストグラムを用いて閾値を決めた場合の出力画像，(c)に人間の視覚によって決めた場合の出力画像，(a)に(b)の閾値決定に用いた簡易ヒストグラムを示す．

一次微分

(a)
(b)
(c)
図 2 ヒストグラムと視覚での閾値の違い−1 −1 −1

1

1−1

二次微分
プレウィッツ図 1 輪郭抽出結果

4.4. 漫画風に適した輪郭抽出の検証
一次微分は濃度の変化点画素で出力が大きくなり，背景と対象物の境界が抽出される．一方，二次微分では，強調処理であるため線だけでなくノイズも強調してしまう．テンプ
レートマッチングでは，エッジの強さを 8 方向から検出することができるので，画像が多少ぼやけていても検出する．

ヒストグラムの特性から判別すると，閾値 70～90 が正確であるのだが，目で見た最適な閾値は 145 が正確であった．
これは元画像に大きく依存し，思ったとおりの濃度分布になるとは限らないからである．コントラストが極端な画像では，一定範囲の濃度値に集中するので，山が二つできなかったり，山自体が出来なかったりしてしまう．そうなると濃度値計算やヒストグラムを用いて閾値を求めるのは難しい．

4.8. 輪郭補正
抜き出された輪郭画像は輪郭線の太さが一定でなく，無駄なノイズが入ってしまっているため，これを改善する方法
として膨張収縮処理がある．ある画素f及びその周辺8近傍のいずれかに最低 1 つ図形画素（黒）があるとき，その画素f が背景画素（白）である場合に図形画素とすることを膨張処理といい，その逆の処理を収縮処理という．膨張と収縮を併用することで太さを変えずに線を整えられる．また同時にノイズも軽減できる．結果として，線の太さが均一になり，極端に細かくなっている部分が簡略化される．

ことにより漫画の特徴(b)を実現する．この処理により印象的な画像にすることができる．拡大方法は，強調したい部分を指定し，その範囲を拡大する．しかし，そのまま拡大すると，拡大された部分と拡大されていない部分との繋ぎ目が途切れてしまい，不自然な画像になってしまう．これを繋ぎ目が連続になるようにするため，拡大部分の周囲を拡大縮小することで実現する．なお，この処理に関しては全ての処理の前に行う．最後に拡大処理をすると，テクスチャ簡略化処理によって生成された模様まで拡大縮小されてしまうためである．また，この処理を施すと画像に拡大処理特有の不自然さが出てしまうことがあるが，これは輪郭抽出とテクスチャ簡略化によって軽減される．

5. デフォルメ処理[1]
本研究のメインであるデフォルメ処理について説明する．
これはテクスチャ簡略化処理と誇張処理の二つからなる．
テクスチャ簡略化処理により 2.章の漫画の特徴(a)を実現できる．残りの特徴である(b)については，画像の特徴部分を拡大縮小することで誇張表現する．
5.1. テクスチャ簡略化処理
輪郭抽出画像は輪郭線だけの画像であるため，模様を戻さなければならない．ただし，元画像の模様をそのまま戻すだけでは単に輪郭が強調された画像になるだけであるため，簡略化してから戻す必要がある．ただし，全範囲で簡略化することは効果的でないため，簡略化する部分を抜き出す必要がある．そこで，2 値化処理の際に用いた簡易ヒストグラムを再び用いて特徴部分を抜き出す．その範囲を元の模様に関係なく点の集合，もしくは直線の集合に置き換える．そのことにより模様を大幅に簡略化できる．

図 4 拡大処理（顔を拡大）

6. 自動化と今後の課題
本研究では正確な結果を出すために，ユーザーに処理を選択をしてもらう方式を取ったが，一般的な多くの変換手法は自動処理であり，動画への応用を考えても自動化は無視できない．
自動化するために必要な要素は以下の 3 点である．
(ア) ヒストグラム分析による 2 値化閾値判定(イ) 簡略化範囲の特徴抽出(ウ) 誇張範囲の自動認識

濃度値31～70 を斜線化 濃度値121～160 を点集合化
図 3 テクスチャ簡略化

5.2. 誇張処理（拡大縮小処理）
誇張には様々な解釈があるが，本手法では画像に線や領域の情報を持たせられないため，線を変化させることによる誇張は難しい．そこで，これに近い効果をもたらす拡大処理を誇張処理とする．誇張には特徴部分を拡大縮小する（ア）と（イ）は「簡易ヒストグラムによる簡易判定」で実現し，ヒストグラムに現れる画像の特徴のパターンを適用すればよい．閾値を判定するには，簡易ヒストグラムを表示する際に用いた濃度毎の画素数の値を用いる．最大値が一つ目の大きな山である．二つ目の山は次に大きい値であるが，一つ目の山のすぐ隣の値が 2 番目に大きい値になってしまうので，それらの濃度値が近くなることは無いという性質を利用し，濃度値が前後 40 の範囲を除くことで二つ目の山を検出できた．閾値はその二つの山のほぼ中間であるから，処理を軽くするため二つの値の中間点を閾値とする．（イ）は，特徴範囲をどう取るかであるが，山の部分が特徴範囲であるため，上で求めた二つの山の値を利用し，その前後10 の濃度値の範囲を特徴範囲として，簡略化する．

7. 漫画風画像への変換結果と検証

8.まとめと今後の課題

図 5 は二次元画像を漫画風に変換した結果である．自動化処理に要した時間は Celelon600Mhz のマシンで，全画像0.5 秒以内であり，ほぼ一瞬で変換された．ただし，以上の結果は誇張処理が実装されていない状態であり，実際には領域認識なども導入されるので，これより処理時間は増すが，大幅に時間がかかることは無いと考えられる．
図 5（1）の結果画像について，2 章の漫画の特徴がどれだけ満たされているか検証する．（a）に関しては，髪の毛の部分が簡略化された．これはテクスチャ簡略化の効果と，膨張収縮処理の塗りつぶし効果によるものである．（b）については見たとおり目が大きくなったが，拡大処理の副作用として目の周辺も変わったため，より誇張された結果となった．
（c）については言及する必要はないだろう．（d）について，途切れてしまっていたり太さが一定でなかったりするが，輪郭線が強調された画像であることが分かる．また，（2）の画像については風景のみの画像であるので，誇張処理はしていないが，校舎の壁の灰色の感じがテクスチャ簡略化処理の点集合化によってうまく表現できた．（1），（2）とも漫画の特徴をほぼ満たしているため，本研究で目標とした漫画風画像は生成できたといえる． 自動化処理の結果画像では，ユーザー選択方式に比べ最適な閾値でないため結果をみて分かるように劣っている．これはヒストグラムが偏ったものになる場合，閾値の判別などが難しく，自動化処理がうまくいかなかったためである．自動化処理については今後も検討する必要がある．

本研究では，多階調画像で写実的である写真を少階調で非写実的である漫画風に変化する手法を提案し，以下の点を実現させた．

(1)標準画像[Lenna.bmp]の変換（目を誇張）

zzzz

輪郭処理によって漫画の特徴を満たすと同時に少階調で非写実な画像を生成できた．
テクスチャ簡略化処理によって，画像の印象を残しつつも，漫画らしい簡略化された模様になった．
拡大処理によって漫画の大きな特徴であるデフォルメ効果をもたらすことができた．
簡易ヒストグラムを用いることで軽い処理で自動化をすることができた．

今後の課題として，輪郭線は，より正確な補正処理の導入と線の太さを一定化が求められ，改善することで，より漫画に近い輪郭線の生成ができると考えられる．テクスチャ簡
略化処理については抜き出す範囲の模様の濃度計算処理を追加することで，現在よりも元画像の印象を崩さずに簡略化することが可能になる．誇張処理について一箇所ではな
く，多くの箇所に適用できるような拡大方法を追加する必要があり，これを自動化処理に実装するために領域認識処理を組み込む必要もある．その手法として Nan Li ら[5]が提案する領域分割法や，林純一郎ら[4]が提案する顔の向きに依存しない顔画像認識法などが応用できる．また，拡大以外の誇張方法を検討する必要がある．以上の処理が実現すればより漫画風に近い画像の生成，および動画への応用に耐えうる自動化プログラムが実現できると考えられる．

参考文献
[1]
入力画像

変換結果

変換結果（自動化）(2)デジカメ撮影画像[Campus.bmp]の変換

[2]
[3]
[4]
[5]
[6]

入力画像

変換結果
変換結果（自動化）
図 5 変換結果

井上誠喜：Ｃ言語で学ぶ実践画像処理，オーム社（1999）
永良一：画像処理工学，コロナ社（2000）
中村唯史：マンガにおけるデフォルメの位相について，山形大学紀要（人文学科）第 15 巻第 1 号
林純一郎, 村上和人，輿水大和：PICASSO システム
における横顔似顔絵自動生成手法 (1997)
Nan Li． And Zhiong Huang．:“A Feature-BasedPencil Drawing Method NPR2003,135-140
松井一, ヘンリージョハン, 西田友是 : 領域の輪郭に基づいたストローク描画による色鉛筆風画像の生成法