情報処理学会第67回全国大会

1Y-7

特徴に基づく絵画風画像の補完
日詰 遼子 †
藤代 一成 ‡
山口 泰 †††
お茶の水女子大学 理学部 情報科学科‡
東北大学 流体科学研究所 †† 東京大学 大学院 総合文化研究科

1

背景と目的

画像内の不要な部分を取り除いたり，傷などにより欠落した部分を修復することを画像補完 (image completion) とよぶ．補完対象となる画像内から類似した部分を探し出し，自動で修復する補完技術に関する研究が，これまでに数多くなされてきた．既存の画像補完の手法は対象画像を特に限定していないが，本研究では，対象を絵画風画像に特定することにより，より効果的な補完手法を考える．
絵画は，絵筆の一描きに相当するブラシストロークを塗り重ねることによって描かれている．そのため，絵画風画像を人間の目に自然に見えるように補完するには，色や模様だけでなく，ブラシストロークの向き・位置・大きさの連続性も保たれていることが重要となる．しかし，既存の画像補完の手法ではブラシストロークが陽に考慮されないため，絵画風画像の効果的な補完は困難である．
そこで本研究では，ブラシストロークの特徴を考慮した絵画風画像の補完手法を提案する．時間の経過とともにひび割れやはがれが起こってしまった絵画を画像補完することにより，劣化が起こる前の状態を再現できれば，実際の絵画を修復する際の重要な手掛かりを与えることができると考えられる．

2関連研究

2.1 画像補完画 像 補 完 の 代 表 的 な 手 法 と し て ，イ ン ペ イ ン テ
ィン グ (inpainting)[1] と テ ク ス チャ合 成 (texturesynthesis)[2] を利用したものが知られている．
インペインティングは，拡散方程式を利用して，補完領域の境界から内側へと画像輝度を徐々に変化させる補完手法である．そのため，画像輝度の連続性は保たれるが，細かい模様を表現することは困難である．
テクスチャ合成を利用した補完は，補完対象となる画像内から類似する部分を探索し，合成する手法である．そのため，細かい模様は表現できるが，画像輝度の連続性は保たれにくい．

Yamauchi ら [3] は，この 2 つの手法を組み合わせた補完手法を提案している．入力画像を周波数分解し，色の変化が少ない低周波数成分にはインペインティングを，色の変化が多い高周波数成分にはテクスチャ合成による補完をそれぞれ適用する．最後に，得られた 2 つの画像を合成することで，精度の高い補完を実現している．
しかし，これらの手法はブラシストロークを陽に考慮しないため，絵画風画像に適用しても効果的な結果は得られないことが予想される．
2.2 ブラシストローク
絵画のブラシストロークに関する研究として，白石ら [4] の手法がある．これは，ブラシストロークのテクスチャ画像を重ねていくことで，写実画像を絵画風画像に変換する手法である．
この手法では，入力となる写実画像の窓領域を，その輝度情報を利用して長方形状のブラシストロークで近似する．ブラシストロークの大きさと分布の密度は，写実画像の色の変化に応じて決定する．また，画像モーメントという画像の特徴量を計算することにより，位置と向きを適切に配置する．ブラシストロークを塗り重ねる際には，先に描かれた詳細部分が後から塗りつぶされてしまうことを防ぐために，面積の大きい順に重ねていく．これらの方法により，写実画像の特徴をよく表すとともに，表現に富む絵画風画像の生成に成功している．
本研究では，この手法を絵画風画像からのブラシストローク抽出に応用する．対象とする油絵の画像には，補完領域以外についてはすでにはっきりとしたブラシストロークが存在するため，この手法を用いて画像内の窓領域を長方形で近似することで，ブラシストロークが抽出できると考えられる．

3

補完手法の概要

本研究では，絵画風画像の特徴であるブラシストロークを利用することで，絵画風画像の画風を反映した効果的な補完の実現を目指す．処理は，次の 2 段階に分けて行う．

1. インペインティングによる大まかな色合いの補間

Feature-Based Painted Image Completion†
Ryoko Hizume, Department of Information Sciences,
Ochanomizu University‡
Issei Fujishiro, Institute of Fluid Science, Tohoku University††
Yasushi Yamaguchi, Graduate School of Arts and Sciences, The University of Tokyo

2. ブラシストロークを単位とする
テクスチャ合成を利用した補完

4−175

まず，劣化が見られる部分にマスクをかけた絵画
風画像を入力画像とし，まずインペインティングを適用する．これにより，マスク領域の大まかな色合いが補間される．次に，白石らの手法を応用して，インペインティングの結果画像からブラシストロークの分布を決定し，属性 (色・位置・向き・大きさ) を抽出する．最後に，マスク領域内のブラシストロー
クと最も類似するブラシストロークを，マスクのかかっていない領域から探索・合成する．画像の詳細な部分まで再現するために，合成は面積の大きなブラシストロークから順に行う．
ブラシストロークを単位とするテクスチャ合成では，ブラシストロークの部分的な情報が必要となるため，マスク領域内部のブラシストロークを再現することはできない．そこで，インペインティングを利用する．マスク領域内に配置すべきブラシストロークは，インペインティングにより得られたマスク領域内の色情報をもとに抽出することができる．こうして抽出されたマスク領域内のブラシストロークに，最も類似するブラシストロークを探索・合成することで，画像輝度の連続性を保つとともに，ブラシストロークの特徴を反映した効果的な補完が実現できる．また，マスク領域の色合いが大まかに補間されることで，ブラシストロークで埋め尽くされない領域の発生も防止できる．
2 つの補完手法を組み合わせることにより精度の高い補完を実現した研究は，すでに存在している [3][5]．
本手法のポイントは，テクスチャ合成をピクセル単位ではなくブラシストローク単位で行うところにある．これにより，計算時間の大幅な短縮が期待できる．また，一枚の絵画の中には類似するブラシストロークが多くあることが予想されるため，適正なブラシストロークを見つけられる可能性が高く，視覚的に精度の高い補完を実現できると考えられる．

4(b) インペインティング後(c) 結果画像(d) 原画像

図 1: 実行結果(a) 入力画像(b) インペインティング後

図 2: 失敗例

実装

Visual C++を用いて提案手法を実装した．さらに，劣化が起こっていない絵画風画像 (原画像) にマスクをかけたものを入力画像とし，補完による忠実な再現ができるかどうかの実験を行った．結果を図 1 に示す．(b) でマスク領域の大まかな色合いが補間されていることが確認できる．また，(c) と (d) を見比べることで，画風を反映した効果的な結果が得られていることが分かる．

5(a) 入力画像

まとめと今後の課題

本稿では，ブラシストローク情報を利用することで，劣化が見られる絵画風画像を効果的に補完する手法を提案した．また，実験を行い，小さなマスク領域の画像に対しては効果的な結果が得られることを示した．しかし，マスク領域の大きな画像に対して本手法を適用すると，良い結果が得られない．これは，マスク領域が大きくなると，図 2 のようにインペインティングの段階でマスク領域内がぼやけたようになってしまい，ブラシストロークがうまく抽出できないためであると考えられる．

そこで今後は，マスク領域が大きな画像にも対応できるようなブラシストロークの抽出方法を検討していく．また，ブラシストローク情報を利用しない既存手法との比較により，絵画風画像における本手法の有効性を検証したい．

参考文献[1] Marcelo Bertalmio, et al.：“Image Inpainting,” In Proc.
SIGGRAPH2000, July 2000, pp.417-424.
[2] Li-Yi Wei, Marc Levoy：“Fast Texture Synthesis Using Tree-Structured Vector Quantization” In Proc. SIGGRAPH2000, July 2000, pp.479-488.
[3] Hitoshi Yamauchi, Jorg Haber, Hans-Peter Seidel：“Image Restoration Using Multiresolution Texture Synthesisand Image Inpainting,” In Proc. Computer Graphics International 2003, July 2003, pp.120-125.
[4] 白石 路雄，山口 泰：「画像モーメントを用いた絵画風画像の生成手法」，情報処理学会論文誌，Vol.40，No.9，pp.34933500，1999 年 9 月[5] Iddo Drori, Daniel Cohen-Or, Hezy Yashurun：“Fragment-Based Image Completion,” In Proc. SIGGRAPH2003, August 2003, pp.303-312.

4−176