テクスチャマッティング
Texture Matting
豊浦 正広 八木 健太 茅 暁陽
Masahiro TOYOURA Kenta YAGI Xiaoyang MAO
山梨大学大学院医学工学総合研究部
Interdisciplinary Graduate School of Medical and Engineering, University of Yamanashi

1.

はじめに画像から前景のアルファ値を抽出する処理をマッティングと呼ぶ．アルファ値は，各画素での不透明度を表す．
アルファ値を各画素に持つ画像はアルファマップと呼ばれる．アルファマップを求めることで，任意の背景との合成画像を作成することができる．注目する画素 p の観測値を Cp とするとき，前景値 Fp ，背景値 Bp およびアルファ値 αp ∈ [0, 1] は以下の式を満たすものとして求められる．

Cp=

αp Fp + (1 − αp )Bp(1)

マッティング手法は数多く提案されており [1, 2, 3, 4, 5]，
近年ではユーザが一部領域に対して前景および背景を指定することによって，複雑な背景を持つ画像からでも前景のアルファ値が抽出できるようになってきている．図 1
はマッティングの一般的な手順を示す．原画像 (図 1(a))
に対し，ユーザが前景と背景を粗く指定することで (図1(b)，白が前景，黒が背景，灰色が処理対象領域)，各画素のアルファ値 (図 1(c)) と前景値 (図 1(d)) および背景値 (図 1(e)) を抽出する．

(a) Image(b) Trimap(c) Alpha map(d) Foreground (e) Background
図 1 マッティング例
Bayesian Matting [2] ではベイズ則を利用して，対象画素の色と，近傍画素から求められる色分布とで整合が取れるようにアルファ値を求める．Belief Propagation
Matting [3] では，アルファ値が空間的になめらかに変化することを仮定し，少ないユーザ指定からでもマッティングを可能にする．Robust Matting [4] では，近傍画素からの色分布の計算方法を工夫することで，ノイズに頑健なマッティングが実現されている．Closed FormMatting [5] では，アルファ値が近傍で連続的に変化することを行列演算できる形で書き表すことで，大局解に近い値を高速に求めることを実現している．
このように，既存のマッティング手法では前景や背景を特定するための特徴量として色が用いられてきた．これにより，色に特徴を持つような物体のマッティングを行うことができる．一方で，テクスチャが観測されることが一般的な環境でもしばしばある．たとえば，レンガの壁やアスファルトの道，緑の木々はそれぞれ規則的なテクスチャを持っている．テクスチャを持った前景領域や背景領域が観測される場合に，物体の色をキーにしたマッティング手法を適用するのは，原理的に無理がある．
そこで我々は，テクスチャに特徴を持つような前景の抽出を可能にするために，テクスチャ特徴量を用いたマッティングを提案する．これを Texture Matting と呼ぶ．
このとき，従来の知的なマッティング手法の枠組みを生かすために，従来の手法をそのまま使うことができるテクスチャ特徴量の定義を目指した．
以 降 ，2. で は 代 表 的 な マッティン グ 手 法 と し てBayesian Matting を取り上げ，一般的なマッティング手法について説明する．3. では，提案手法である Texture Matting について説明し，従来手法との共存可能性について言及する．4. では，実験結果を示して，手法の有効性と限界について考察する．5. では，まとめと今後の課題について述べる．

2.

Bayesian Matting

従来手法である Bayesian Matting [2] の説明を通して，マッティングの基本的な考え方を示す．
Bayesian Matting は，図 1(b) に示したような trimapに基づいてアルファ値の推定を行う．Trimap は，ユーザが手動で前景領域 (白色)，背景領域 (黒色) および未知領域 (灰色) の 3 領域に粗く領域分割を行った画像である．通常は，マウス操作などで入力画像の上をなぞることによって作成される．
Bayesian Matting では，注目する画素 p の近傍画素を参照して，p の近傍での前景と背景の色の分布を推定する．前景と背景の色の分布が推定できれば，p におけるアルファ値 αp は式 (1) を満たすことを利用して求めることができる．

図 2 は，前景および背景の分布と観測される値との関係を示す．

Fp

また，先に求めた前景と背景の分布から，L(Fp ) と L(Bp )を求めることができる．

ΣFp

Fp>

p1-αpC p σC

pαp<pΣBp

Bp

Bp

Distribution of colors

Neighboring pixels

図 2 Bayesian Matting
前景の分布は，平均色 F¯p および分散 ΣFp によって特徴づけられる．F¯p および ΣF は，近傍画素 i ∈ N F のpp(7)¯L(Bp ) = −(Bp − B¯p )T Σ−1
Bp (Bp − Bp )/2(8)Bayesian Matting では，L(αp ) は定数であるとしてこの問題を解く．何らかの前提知識があれば，これを用いることもできる．
以上のことを利用すれば，固定した αp から Fp , Bp を求め，固定した Fp , Bp から αp を求めるという繰り返しによって，それぞれの値を収束させることができる．
まず，固定した αp から Fp , Bp を求めるには，次の等式を用いる．
[画素値を重み wi によって重みづけして求められる．NpF
は，注目画素 p の近傍画素のうちで，αp < αi なる画素i の集合である．
∑i∈N F wi Fi∑ p(2)
F¯p =i∈NpF wi∑¯¯ Ti∈NpF wi (Fi − Fp )(Fi − Fp )∑ΣFp =(3)i∈N F wi¯
L(Fp ) = −(Fp − F¯p )T Σ−1Fp (Fp − Fp )/222
Σ−1Fp + Iαp /σC2Iαp (1 − αp )/σC

次に，固定した Fp , Bp から αp を求めるには，以下の等式を用いる．

pαp =重み wi はアルファ値 αi と注目画素からの距離 di にガウス関数を作用させたもの gi ∼ N (0, σd2 ) を用いて，wi= αi2 gi(4)で計算する．σd は距離による重みづけのための定数である．
背景の平均色 B̄ および分散 ΣB も同様に，近傍画素j ∈ NpB に対して，重み wj = (1 − αj )2 gj によって重みづけされて計算される．NpB は，注目画素 p の近傍画素のうちで，αp > αj なる画素 j の集合である．
観測値が Cp であるときに，前景値 Fp および背景 Bp ，アルファ値 αp を推定する問題に対して，Bayes 則を適用する．Cp が与えられるときに，Fp , Bp , αp である確率は P (F, B, α|C) で書き表される．これを最大にするよ
うな Fp , Bp , αp を求めればよい．
argmaxFp ,Bp ,αpP (Fp , Bp , αp |Cp )

(5)

][]
2
Iαp (1 − αp )/σC
Fp
22
Σ−1Bp
Bp + I(1 − αp ) /σC[]2¯
Σ−1Fp Fp + Cp αp /σC=(9)2¯Σ−1
Bp Bp + Cp (1 − αp )/σC(Cp − Bp ) · (Fp − Bp )||Fp − Bp ||2(10)Bayesian Matting [2] は近年のマッティングの基礎となる古典的な手法であるものの，最新のマッティング手法においても図 2 に示される基本的な考え方は変わらない．
Belief Propagation Matting [3] では，前景値，背景値およびアルファ値が空間的に連続的に変化するという仮定を置くことで，高速な実装を可能にする．Robust Matting[4] では，前景と背景の分布を作成するときに，近傍画素の選択方法を工夫することで局所的な色変化に頑健なマッティングを実現している．Closed-form Matting [5]でも，アルファ値が近傍で連続的に変化することを行列演算しやすい形式で書き表すことで，固有値計算などの技術を適用できるようにした．その結果，高速で大局的な収束を可能にしている．

3.

Texture Matting

従来手法の問題は，いずれも前景と背景の分布を色の分布でしか捉えていない点にある．前景と背景がそれぞれ単色から成る場合には問題とならないが，いずれかが= arg max L(Cp |Fp , Bp , αp ) + L(Fp ) + L(Bp ) + L(αp )Fp ,Bp ,αp
テクスチャを持つような場合には問題となる．色の分布はテクスチャ特徴を捉えることはできないためである．
た だ し ，L(·) は 対 数 を 取った 値 で あ る ．P (Cp ) はたとえば，シマウマのように複数色から成るテクス
Fp , Bp , αp の推定に影響を与えないので削除することがチャを持つような物体を前景に選択すると，F¯p や ΣFpできる．L(Cp |Fp , Bp , αp ) は，式 (1) から式 (6) のようは前景内で一定とならず，特徴量として適切ではないたに求められる．σC は観測色のずれの分散を表現する定めである．
数である．
我々は，多解像度の近傍画素の値まで特徴量空間を広2
L(Cp |Fp , Bp , αp ) = −||Cp − αp Fp − (1 − αp )B||2 /σC(6) げることで，テクスチャを持つような前景に対するマッ= arg

max

Fp ,Bp ,αpP (Cp |Fp , Bp , αp )P (Fp )P (Bp )P (αp )/P (Cp )ティングを実現する．多解像度での画素値を得るためには，図 3 に示されるようなガウシアンピラミッドを利用する．ガウシアンピラミッドでは，原画像に l 回ガウシアンフィルタを適用したときの画素値 Cpl (l = 0, 1, · · ·) ガ
ウシアンフィルタを適用したときの画素値 Cpl は，各解像度での周囲の色の平均を表している．異なる解像度間での平均色の違いはベクトルの各要素間の違いとなって現れ，結果，異なるテクスチャを持つ画素間ではベクトル全体として異なる値を取ることになる．このようにガウシアンピラミッドは，局所から大局に及ぶテクスチャ特徴を表現することができるので，画像圧縮などでよく用いられる．

Level 0で見た場合に，白い点と黒い点が持つ特徴量は異なるものとして計算される．言い換えれば，シマウマの前景には 2 種類の特徴量を持つ画素が含まれていることになる．

図7

高解像度下での特徴量の違い

この問題は，近傍画素の重み wi , wj を計算するときに，高解像度下における対象画素の値と近傍画素の値の近さを考慮することで解決できる．式 (4) で求められる近傍画素の重みを再定義し，対象画素からの l = 0 での色の距離 ci にガウス関数を作用させたもの hi ∼ N (0, σc2 ) とする．σc は色の距離が重みの計算にどれほど寄与するかを決定する定数である．

Level 1wi
Level 2

図3

ガウシアンピラミッドから得るテクスチャ特徴量

Texture Matting ではさらに，各解像度での近傍画素の値も含めた次元を持つベクトルで特徴量を記述するものとする．近傍画素の値を持つベクトルは，各解像度ごとの色の分布を直接記述することができる．
従来手法は，マッティングの基本となる方程式である式 (1) が成り立つものとして，マッティングアルゴリズムが提案されてきた．前景の平均色や分散を計算するために，アルファ値の連続的な変化を仮定したり，サンプルの取り方を工夫することでや高速性頑健性を高めたきた．提案手法である Texture Matting はこれらの手法を利用するものである．よって，Texture Matting でもこの基本方程式を満たすことを仮定できるベクトルの設計を行う必要があった．Texture Matting では，任意の解像度 l (l = 0, 1, · · ·) で共通となる αp があるものとし，各解像度での観測色 Cpl と前景色 Fpl ，背景色 Bpl およびアルファ値 αp の間に，以下の関係が成り立つことを仮定することになる．
∀l, Cpl = αp Fpl + (1 − αp )Bpl

(11)テクスチャ特徴量として考慮する最大の解像度を lmaxとすると，Cp ，Fp および Bp は原画像のチャンネル数に (lmax + 1) を乗じた次元のベクトルで表現できる．このようにして得られる Cp ，Fp および Bp は，式 (9) に適用可能であり，Baysian Matting を含めた従来のマッティング手法に適用が可能である．
ここで考慮すべき問題として，特徴量の高解像度成分が前景内で一定とならないことを挙げる．図 7 のシマウ
マを例に取ると，白い箇所と黒い箇所での特徴量の低解像度成分は等しくなるが，高解像度成分は異なる．全体= αi2 gi hi(12)これにより，特徴量の平均と分散は対象画素と近い色を持つ近傍画素から計算されることになり，前景が複数のテクスチャ特徴量を持つ場合にも処理が行えるようになる．

4.

実験

特徴量空間には，最大で 3 解像度 8 近傍画素の RGB まで含めた 81 次元空間にまで設定した．σd = 8，σc = 50とした．2 枚の対象画像に対して Bayesian Matting お
よび Bayesian Matting を基とした Texture Matting を適用した．
図 4(a) の前景には白と青の色が含まれ，背景は前景の一部と同じ色である白が多く含まれる．Bayesian Matting では，色特徴量から前景の白と背景の白を分離することができず，前景の白の領域が欠損している (図 4(c))．
特徴量空間に多解像度の画素値を取ると前景と背景の白の分離が成功し (図 4(d))，さらに近傍画素にまで特徴量空間を広げると，より精度が向上した (図 4(e))．
図 5(a) は，一般的なテクスチャを持つ物体である．頭部で緑と黒が含まれる領域があり，Bayesian Matting では前景の特徴量を正しく推定できない．このため，頭部の一部を前景として抽出できていない (図 5(c))．提案手法ではこの問題が改善されている (図 5(d),(e))．ただし，背中の部分では緑と黒の間隔が一定でない “テクスチャの周波数が変化する” 領域であるため，特徴量が一定とならないことからアルファ値の低下がみられる．
図 6(a) は，前景の一部と背景が同色から構成されており，テクスチャ周波数のみが変化する例である．BayesianMatting および提案手法のいずれにおいても，正しく前景抽出ができていないものの，高次元特徴量を用いた場合にやや改善がみられる (図 6(c),(d),(e))．今回の実験ではアルファ値の空間的な連続性は仮定していないた
めに，アルファ値が高い領域が点在して見られる．アル(a) 対象画像(b) Trimap(c) Bayesian Matting(d) Texture Matting (3 解像度，9 次元)(e) Texture Matting (3 解像度+8 近傍，81 次元)
図 4 マッティング結果 (ノート)
ファ値の空間的な連続性を仮定することで，さらに改善文献する可能性がある．また，この画像では前景と背景が低[1] A.R. Smith, and J.F. Blinn, “Blue screen mat解像下で同じ色分布を取ることも問題となっている．テting,” Proceedings of ACM SIGGRAPH, pp.259–
クスチャの周波数でのみ異なるような場合には，高解像268, 1996.
度のベクトル成分以外で前景と背景の違いがわからなく[2] Y.Y. Chuang, B. Curless, D. Salesin, andなる．これを解決するためには，ベクトル間の距離を計
R. Szeliski, “A bayesian approach to digital mat算するときに高解像度のベクトル成分を強調してやればting,” Proceedings of Computer Vision and Pattern
よい．このような距離計算の工夫については，今後の課Recognition (CVPR), pp.264–271, 2001.
題とする．
[3] J. Wang, and M.F. Cohen, “An iterative optimization approach for unified image segmentation and5. まとめmatting,” Proceedings of International Conference
本研究では，テクスチャ特徴量を用いるマッティングで
on Computer Vision (ICCV), vol.2, pp.936–943,ある Texture Matting を提案した．ガウシアンピラミッ
2005.
ドによって高次元のテクスチャ特徴量を定義し，マッティ[4] J. Wang, and M.F. Cohen, “Optimized color samングのために必要な近傍画素の重みを高解像度下におけpling for robust matting,” Proceedings of Computerる画素の値を考慮して再定義した．実験により，手法のVision and Pattern Recognition (CVPR), pp.1–8,有効性を確かめることができた．
2007.
今後の課題として，Texture Matting が前景 · 背景の境界付近で正しくアルファ値が求まらない問題を挙げる． [5] A. Levin, D. Lischinski, and Y. Weiss, “A closed
form solution to natural image matting,” IEEE
また，周波数が変化するようなテクスチャに対する処理
Transactions on Pattern Analysis and Machine Inができるようにすることも課題である．スケール不変なtelligence (TPAMI), vol.30, no.2, pp.228–242, 2008.
特徴量を導入することで，この問題が解決できると考えている．ガウシアンフィルタよりもさらに高次元のテクスチャ特徴量を導入することも検討している [6]．
また，Robust Matting などの最新のマッティング手法で提案されている平均 · 分散の計算法を導入することにより，ノイズに頑健な処理の実現を目指す．さらに，次元が増えることで処理時間が増える問題に対して，GPUを用いた高速処理の実装を検討している．高速化が実現されれば，画像列から前景の空間的な連続性を利用したマッティングも可能となる．

[6] T. Leung, and J. Malik, “Representing and recognizing the visual appearance of materials using
three-dimensional textons,” International Journalof Computer Vision, vol.43, no.1, pp.29–44, 2001.

(a) 対象画像(b) Trimap(c) Bayesian Matting(d) Texture Matting (3 解像度，9 次元)(e) Texture Matting (3 解像度+8 近傍，81 次元)
図 5 マッティング結果 (大仏)(a) 対象画像(b) Trimap(c) Bayesian Matting(d) Texture Matting (3 解像度，9 次元)(e) Texture Matting (3 解像度+8 近傍，81 次元)
図 6 マッティング結果 (シマウマ)