DEIM Forum 2019 A1-4

ポートレート画像に対する Trimap 生成手法
谷口 正樹†

手塚 太郎†† 筑波大学情報学群知識情報・図書館学類 〒 305–8577 茨城県つくば市天王台 1 丁目 1 − 1
E-mail: †s1511526@u.tsukuba.ac.jp, ††tezuka@slis.tsukuba.ac.jp
あらまし

近年，グリーンバック等特殊な撮影環境を必要としない自然状態での写真から前景を抽出する Alpha

Matting という分野の研究が盛んに行われている．この Alpha Matting タスクでは元となる写真と Trimap と呼ばれる中間データを用いる手法が一般的である．しかしながら，この Trimap は現在，人手によって作られることが多く，実用の上では大変に高コストである．そこで，本研究では Trimap を人物のポートレート写真から自動作成することを目指した．本稿では Trimap 作成を Semantic Segmentation タスクの一部と捉え，人物写真データとその Trimap からなる画像データの組を用いて学習を行うステップと，Trimap から Alpha Matte を生成するモデルを用いて前述のモデルをより精錬するステップとの 2 段階からなる手法を提案し，有用な Trimap の作成に成功した．
キーワード Alpha Matting, Trimap, Semantic Segmentation, CNN

1 はじめに
1. 1 背景

近年，映像制作やグラフィックデザインの文脈において画像
から前景を切り抜くというタスクは，趣味のレベルから商業作品制作まで幅広い場において行われており，その重要性は年々増している．現在商業作品制作の場において行われているよう

図 1 本論文で取り扱うデータ形式（左が元写真，中央が Trimap，右が Alpha Matte）

な正確さが要求される前景抽出のタスクでは，グリーンスク
リーンと呼ばれる単色の背景を撮影時に被写体の背後に置い

これは，オリジナルの画像と Trimap の 2 つを使って生成され，て行うものが一般的である．しかしながら，このグリーンスク

現在はこの分離タスクの研究が盛んである．

リーンは高価で大きい範囲を覆うには向かない．また，グリー

しかし，実際に映像等に対して被写体抽出を行いたい場合，

ンスクリーンの色相情報を用いて切り抜きを行うため，被写体

1 つ目のタスクである被写体位置の検出と Trimap の作成を人が緑色のものを身に着けられないといった問題がある．このこ

手で行うことは多大なコストがかかる．そこで Trimap 作成をとから，グリーンスクリーンを用いない自然状態の映像・写真自動化できれば自然画像からの被写体抽出タスクはより手軽に，からの前景抽出タスクの重要度は高まっている．

誰でも行える様になる．

現在，自然状態画像からの前景抽出は，2 つの要素の複合タスクであると考えられている．1 つは画像全体の中で被写体の位置を識別するタスク，もう 1 つはその被写体と背景の分離タ的本研究では，自然画像からより正確な Trimap 画像を作成することを目的とする．ただし，今回は被写体が人物であるポー

スクである．

1 つ目の被写体の位置を識別するタスクは，多くの場合，オリジナルの画像から Trimap と呼ばれる中間データを作成する
ことで行われる．これは主に手作業で行うもので，明らかに被写体である部分を白色，明らかに背景である部分を黒色，どちらか判断できない，または細かくて白と黒では塗り分けられない部分を灰色で塗り分けたものである．

2 つ目のタスクである被写体と背景の分離タスクは Alpha
Matte というデータ形式を用いて表現される．こちらについては Ii を写真のピクセル，Fi を前景オブジェクトの持つ色，Biを背景の持つ色と置いた時，以下の式で表現できる．

Ii = αi Fi + (1 − αi )Bi αi ∈ [0, 1].

1. 2 目(1)

トレート写真に対象を限定して研究を行った．

1. 3 本論文の構成
本論文では以降，2 章で関連する Alpha Matting や被写体検出に関する先行研究について，3 章では写真から Trimap を作成する為の提案手法と Convolutional Neural Network モデル（以下 CNN モデル）について，4 章では実際に用いたデータセットと，Trimap 生成実験，その評価について，5 章では本研究のまとめと今後の展望について述べる．

る被写体検出の研究について述べる．この分野は現在大きく

2 先行研究
この項では生成する Trimap の利用目的として Alpha Mat-ting に関する研究，本研究の直接の先行研究として Trimap 生
成に関する研究を紹介する．加えて，使用技術面の関連研究として被写体検出に関する研究と画像生成に関する研究を紹介する．

2. 1 Alpha Matting に関する研究

2 種類のタスクがある．1 つ目は画像の中から特定の被写体が占める範囲を矩形で領域推定するというタスク（以下 Object

Recognition）．もう 1 つは画像の各ピクセルがどのオブジェク
トクラスに分類されるかを推定していくタスク（以下 Semantic

Segmentation）である．この項では各タスクの中で代表的な研究について説明する．
バウンディングボックスによる領域推定研究では，Joseph らによる YOLO [8] がある．既存の画像認識アルゴリズムでは領写真と Trimap から Alpha Matte を生成する，Alpha Mat-

域識別とその分類が分断されている事が多かったが，この研究

ting と呼ばれる分野で現在最も高精度な研究として，Ning ら

ではそれを 1 つの回帰問題に落とし込んで単一の CNN で完結の Deep Image Matting [1] がある．この研究では，VGG16 のさせている．そのため処理が早い，汎化性能が高いといった特転移学習を用いた粗い Alpha Matte を生成する CNN モデル

徴がある．

と，前ステップで生成された粗い Alpha Matte をより正確に

Semantic Segmentation の分野は数多くのデータセットが存生成し直す簡素なモデルの 2 つのネットワークを用いて学習を在しており [9–13]，大変研究の活発な分野である．Deep Learn-

行っており，高い精度で Alpha Matting を実現させている．こing が画像処理分野を席巻する以前のこの分野では，ランダムの研究では独自に，被写体写真と Trimap，正解 Alpha Matte

フォレストなどを用いて各ピクセル毎の特徴を学習するものがが組になったデータセットを作成しており，そのデータセット

主流であったが，現在では深層ネットワークを用いて画像全体を用いて学習を行っている．

の特徴量を学習させる手法が一般的である．

被写体が人物のポートレート写真に対象を限定している研究

また，Motion-based segmentation [10] では各ピクセルの前として，Xiaoyong Shen らの Deep Automatic Portrait Mat-

後のフレームとの差異，NYU Depth Dataset [13] では深度情ting [2] がある．この研究では，典型的なポートレート写真に報と各ピクセルに対して RGB 以外の情報も付与されており，は胸部を含む上半身が大まかに同じような体勢で映っているとそれらの情報からの Semantic Segmentation の試みも盛んにいう点に着目して，ぼんやりとした人の影のような画像を作成．

行われてきた．Badrinarayanan らの SegNet [14] では，自動その影のような画像とポートレート写真を用いて人物写真の車走行シーンにおける Car や Pedestrian など 12 クラスに分類

Alpha Matting を行っている．この研究では明示的に Trimap

できる分類器を作成．これは CNN を用いた Encoder-Decoderを作成していない．

モデルを構築を用いて RGB の画像情報のみを用いて高精度な分類に成功している．本研究でも，この SegNet のモデルを踏

2. 2 Trimap 生成に関する研究

襲して実験を行っている．

Trimap 生成に関する先行研究には以下のようなものがある．

人物のポートレート写真に対象を限定した Sementic Segmen-

最初に Trimap の自動生成を行ったのは Hsieh ら [3] である．こtation では Shen らの研究 [15] がある．この研究では Flickr 1の研究では大まかに前景と背景に二値化した画像（以下 binaryからポートレート写真を集め，写真と被写体を切り抜いて 2 値

segmentation 画像）の輪郭を，背景テクスチャに合わせて拡大化したマスクの組によるデータセットを作成して利用していすることによって Trimap を生成している．

る．このデータセットは一般に公開されており，本研究でもこAl-Kabbany らの研究 [4] では画像から人間が知覚するであのデータセットを用いて学習を行った．

ろう対象をゲシュタルトの法則から導き，ユーザーからの入力
なくどのような画像に対しても被写体を特定できるようにする
ことで，Trimap を生成している．

2. 4 画像生成に関する研究
近年，画像生成の分野では敵対的生成ネットワークを用いた

Cho らの研究 [5] では画像の深度情報を用いて大まかに bi-

画像生成が注目を集めている．これは generator と呼ばれる画

nary segmentation 画像を生成した後，それぞれの画像間の KL像を生成するモデルと，discriminator と呼ばれる画像の真偽

ダイバージェンスを考慮して正確な Trimap を作成した．

判定を行う識別器の 2 つのモデルを用いて学習を行う手法であまた，Gupta [6] らは Cho らの研究で用いられていた binary

segmentation 画像の代わりに SLIC [7] によって生成したスーパーピクセルを用いた．

る．generator は訓練データを学習し，それらに近い画像を出力する．
一方，discriminator は generator から生成された画像か正解

本研究では，これらの汎用的 Trimap 作成手法と異なり，対画像かを分類する分類器として学習され，これらの学習を交互

象をポートレート写真に限定することで Image Segmentationに行うことによって generator は正解画像と遜色ない画像を出タスクとして扱った．

力できるというものである [16–18]．上で紹介したものは，入力画像を持たずに画像を生成するモデルであるが，これらの研2. 3 被写体検出に関する研究
ここでは，画像の中から特定の被写体が占める範囲を識別す

1：https://www.flickr.com

究の発展として，Isola らが提案したのが画像から画像へと変換する Pix2Pix [20] である．
これらの敵対的生成ネットワークを用いたモデルは一般的にノイズの少ない出力が可能であるということが知られており，

Trimap 生成にもこの敵対的生成ネットワークを組み込むこと
でよりノイズの少ない生成結果が得られると考えられるが，今回は実装コストという観点から組み込んでいない．今後の展望としてこれらの手法を用いることも考えられる．
図 3 Padding

3 提案手法指定することが可能である．例えば縦方向の stride は 1，横方

3. 1 CNN
CNN は一般的に Convolution 層，Pooling 層，Activation層と呼ばれる 3 つの層をセットで用いる Neural Network モデ
ルの 1 つである．近年画像認識分野でよく用いられ，画像全体

向の stride は 2 といった指定も許される．

Activation 層は，活性化レイヤーとも呼ばれ，各 pixel に対して以下の処理を行う．

の特徴量を捉えることが可能なことから入力データのピクセルごとの微細な差の変化に強いと言われている．ここでは，簡単

y = f(

Convolution 層では入力されてきた画像をカーネルと呼ばれるフィルタを通すことによって特徴量を抽出する．入力画像をI ，カーネルを K ，カーネルサイズを M × N とすると，式 2のようになる．

(I × K)(i, j) =wi xi + b)

(3)

i=1

のために入力が画像の場合を想定して説明する．

M
N
∑
∑

m
∑

活性化関数 f () では，一般的に tanh やシグモイド関数，ReLU（ランプ関数）などが利用される．

CNN の学習では Convolution 層，Pooling 層，Activation
層の 3 つの層をセットで用いる例が多いが，順番は必ずしもこの通りである必要はなく，Convolution 層，Activation 層，I(m, n)K(i − m, j − n)(2)m=1 n=1

Pooling 層でも Convolution 層と同様にカーネルを用い，画像を縮小する．CNN で頻繁に用いられる Pooling 層としてMax Pooling 層がある．Max Pooling 層は図 2 のように適用されたカーネル内の最大のピクセルを抽出する．

Pooling 層の順番のものや，Convolution 層と Activation 層の組を何度か繰り返してから Pooling 層を用いるものもある．

3. 2 学習モデル
本研究では，ポートレート写真から Trimap を自動作成する手法を提案する．本項では，最初にモデルの概要を，その後に各生成モデルの構成を説明する．

3. 2. 1 モデル概要
本手法は 2 つの生成モデルからなる大きなモデルを 3 ステッ
プに分けて学習させることによって成り立つ．1 つ目の生成モ
デルは portrait から Trimap を生成するモデル（以下 Trimap

Generator）．もう 1 つの生成モデルは portrait と Trimap からAlpha Matte を生成するモデル（以下 Alpha Matte Generator）
である．
図 2 Max Pooling

学習のステップとしては，まずはじめに Trimap Generator
を，次に Alpha Matte Generator を個々に学習させた．最後

また，上記の 2 つの層に関しては，前述のカーネルサイズの他にも幾つかのハイパーパラメータを持つ．

にこの 2 つを繋げた上で，Alpha Matte Generator 部分の重みを固定して Trimap Generator に当たる層の重みのみを学習

1 つ目は padding の有無である．これは，上記の 2 つの層にしていくことによって Trimap Generator の精度向上を目指し

画像をそのまま入力すると，画像の端の領域が他の領域と比べた．また，以降はこの 2 つを繋げた全体を Combined Modelて畳み込まれる回数が少ないという問題点を解決するためのもと呼ぶ．

のである．下図 3 のように画像の端を 0 で埋めることによって

3. 2. 2 Trimap Generator

擬似的に画像サイズを大きくする処理で，本研究でもこの処理

Trimap Generator の目的は RGB の 3ch を持つ portrait 画

を行っている．

像から，画像の各ピクセルに対して背景（background）か前

2 つ目は stride の大きさである．stride は畳み込み時にフィ景（foreground），もしくはそのどちらとも判断できない領

ルタを何ピクセルずつ動かすかを表す．通常は 1 を用いるが，域（unknown）のどれかを判別することである．このタスクは処理後の画像サイズを縮小したい場合などにはそれ以上の数をSemantic Segmentation タスクに近い分野だと考えられる為，指定することもある．また，これは畳み込む次元数に合わせて

今回は SegNet [14] を参考にモデルを構築した．

ま ず 入 力 の 形 式 だ が ，こ れ は カ ラ ー 画 像 を そ の ま ま(画像縦幅, 画像横幅, bgr) のテンソルとして用いた．出力としては，画像の各ピクセルに対して 3 チャンネルのデータをもたせ，ピクセル Iij が background のときに Iij = [1, 0, 0]，unknownの時を Iij = [0, 1, 0]，foreground の時を Iij = [0, 0, 1] とした．
この形式を以下では one hot 表現の Trimap と呼ぶ．

Trimap Generator のモデルは，SegNet と同様に Convolu-

図 5 Alpha Matte Generator

tional Encoder-Decoder モデルの形式をとった．これは入力画像を畳み込んだ後 UpSmapling 層を挟んだ上で入力画像と同じ大きさまで出力を戻すことによって画像形式の出力を可能にした CNN モデルである．本手法では下図 4 のモデルを用いて学習を行った．実際にはこのモデルの出力は one hot 表現のTrimap であるが，ここでは簡単の為に最終的な画像表現でのTrimap を載せている．
UpSampling 層での処理は前層のテンソルを画像縦方向と横方向に 2 倍に繰り返して拡大するというものを用いた．このネットワークの損失関数には交差エントロピーを用いた．
また，事前実験において SegNet と同様のネットワークで学習を行ったところ過学習に陥る傾向が見られたため，Encoder
部の各 Activation 層の後に Dropout 層 [19] を追加したネット
ワークとなっている．Dropout とは，Deep Neural Network を学習させる際に発生する過学習を避けるための手法で，1 回の更新時に各層の何割かを無効化して学習を行う手法である，こ2 つ目のステージは Matting Refinement Stage と呼ばれる
Convolution 層を持たないシンプルなフィードフォワードネッ
トワークである．このステージは名前の通り Alpha Matte を精練するステージで，Matting Encoder-Decoder Stage で出力された粗い Alpha Matte に加え再度写真データを入力し，より正確な Alpha Matte を生成する．

b) 損 失 関 数
この Alpha Matte Generator では，2 つの損失関数を用いている．

1 つ目の損失関数は生成画像と正解画像の差の絶対値で，これは alpha-prediction loss と呼称されている．しかし，絶対値の微分不可な特性のために，式 4 で近似している．ここでは生成画像を αpi ，正解画像を αgi とし，ϵ には 10− 6 を用いている．

Liα =

√

(αpi − αgi ) + ϵ,

αpi , αgi ∈ [0, 1](4)

れはアンサンブル学習の近似になるため汎化性能が上がると考えられており，今回の手法でも元となっている SegNet のネットワークにこの Dropout 層を加えることで過学習の防止と汎化性能の向上を目指した．Dropout Rate は 30%とした．

2 つ目の損失関数は compositional loss と呼ばれ，これは生成されたものと正解のもの，2 つの Alpha Matte から合成された画像の差を計算する．ここでは alpha-prediction loss と同様に生成画像を cip ，正解画像を cig とし，ϵ には 10− 6 を用いて
いる．

Lic =

√

(cip − cig ) + ϵ(5)Matting Encoder-Decoder Stage の学習では上記 2 つの損失関数の加重和を用いており，最終的な損失関数は以下のよう
図 4 Trimap Generatorになる．

Loverall = ωl Lα + (1 − ωl )Lc(6)

3. 2. 3 Alpha Matte Generatora ) ネットワーク構造

本手法では ωl に 0.5 を用いた．

Alpha Matte Generator の目的は portrait 画像と Trimap 画

Matting Refinement Stage の学習では単純な構造のネット

像から Alpha Matte を生成することにある．先行研究でも紹ワークを用いているため，損失関数として上に挙げた alpha-

介したように，このタスクに用いられるモデルはいくつかある

prediction loss のみを用いている．

が，本手法では Ning らのモデル [1] を用いた．
このモデルは下図 5 の様に 2 つの部分からなる構造をしている．

3. 2. 4 Combined Model
本手法で用いた Combined Model は，Trimap Generator の出力レイヤーと Alpha Matte Generator の Trimap 入力レイ

1 つ目は Matting Encoder-Decoder Stage と呼ばれる Alphaヤーを接続して作成した．その際，Trimap Generator での one

Matte 生成のステージである．このステージは Encoder と De-

hot 表現の Trimap 出力から Alpha Matte Generator での画像

coder の 2 つからなるネットワークで，bgr 形式の写真データ

形式の Trimap 入力へと微分可能な方式を用いて変換する必要に Trimap を画像形式で加えた 4ch を入力，グレースケール画があったため，この変換には式 7 を用いた．

像形式の Alpha Matte を出力としている．Encoder 部においては，VGG16 の学習済みモデルを初期値として用い，転移学習を行っている．

ij
ij
TBitmap= TBackground
×0+TUijnknown ×0.5+TFijoreground ×1(7)接続した結果として，この Combined Model 全体では 3 つ

の 3ch 画像入力を持ち，1 つの 1ch 画像出力を持つネットワー
クになった．
また，今回の実験では 80px × 80px の画像を学習に用いたが，Alpha Matte Generator に関しては 320px × 320px の画像で学習済みのパラメータを用いたため，Alpha Matte Generator
部分との接続部・入出力部に画像サイズを単純に拡大・縮小する

図 6 Trimap の作成層を追加した．生成された Alpha Matte と正解 Alpha Matte
画像を近づけるように学習させるために，損失関数には平均二乗誤差を用いた．

4 研究手法の評価実験
4. 1 概要本研究では前章で記載した手法の検証としてポートレート
写真のデータセットを用いた実験を行った．本手法は Trimap

Generator の学習と Alpha Matte Generator，最後に Combined Model の学習という 3 つのステップからなるが，本実験では Alpha Matte Generator の学習のステップの代わりとして公開されている学習済みモデルを用いた．本実験では計算資源の問題上，80px × 80px の画像データで学習を行ったが，上記の学習済みモデルは 320px × 320px の画像に対してのものであるため，接合部に画像サイズを変換する層を加え実験を行った．以下では用いたデータセットの詳細と実験の各ステッ
プ，評価手法の紹介とその結果について述べる．

4. 2. 2 Data Augmentation
学習に用いる画像の数が少ないとき，モデルが学習データに対して過剰に最適化されてしまい，汎化性能が低くなることがある．これを過学習と呼ぶが，画像処理分野において，この過学習を避ける手法の一つとして Data Augmentation がある．これは，教師データの画像に対して反転や回転，拡大，縮小などの処理を加えることでデータ数を増やす試みであり，本研究でも前述の方法で作成した教師データに対してこの Data

Augmentation を行った．ここで実際に行った処理は以下の 3
つである．
左右反転

教師データの各画像に対して 50%の確率で左右反転の効果を加えた．
回転

教師データの各画像に対して-7 °から 7 °の範囲で回転の効果を加え，空白になったピクセルを黒で塗りつぶした．
ランダムクロップ

600px × 800px の 元 画 像 か ら 512px ×

512px の矩形をランダムに切り抜いた．

4. 2 データセットと前処理
本実験ではデータセットとして Shen らが作成した Flickr

portrait-mask dataset [15] を加工して実験を行った．このデー
タセットは 1,887 枚のポートレート写真（以下 portrait）のリ
ンクと被写体の 2 値化マスク（以下 binary-mask）の組からなるデータセットである．この portrait リンクのうち 431 個が欠損していたため，本研究では全体で 1,456 組を利用する事ができた．

図 7 Data Augmentation（左が元画像，右が Data Augmentation
を行ったもの）各データ 1,456 組を 30 ずつ複製した上で以上に示した処理を加え，合計 43,680 組の教師データを得た．本実験ではこれを

43,680 組の Train データと 6,000 組の Test データに分割し，80px × 80px に縮小して実験を行った．
4. 3 Trimap Generator の学習
本実験では，このデータセットの各組に対して以下のような前処理を行い，利用した．

4. 2. 1 教師 Trimap データの用意

最初のステップとして，上記のデータセットを用いて Trimap

Generator を学習させたところ，Train データと Test データでの accuracy と loss は以下のような結果になった．

本手法では portrait を入力，Trimap データを出力として学上の図から，20epoch 目付近である程度の精度に到達した後，習を行ったため，Trimap データを用意する必要があった．今50epoch 目ほどで学習が安定し，その後は学習があまり進まな

回は，データセットに人の手で大まかに作成した binary-mask

かったことが分かる．ただし，accuracy を見ると約 90%の画が含まれていたため，この画像の輪郭を Canny 法を用いて抽素で教師データと一致する判定を出していることから，ある程出したものに膨張処理を施して unknown pixel 部分とした．こ度正しく被写体の姿を捉えられていると考えられる．Test デー

れを元の binary-mask に重ね，Trimap とした．

タの Portrait から Trimap を生成した結果は以下のようになった．生成には本実験の学習が収束しているとみられる 100epoch目のものを用いた．

図 8 Trimap Generator の学習経過

図 10 Combined Model の学習経過

図 9 生成された Trimap（Trimap Generator のみでの学習時）

図 11 生成された Trimap（Combined Model での学習後）この生成結果からもある程度被写体の姿を抽出することに成功していると考えられる．

4. 4 Combined Model の学習
次のステップとして個別に学習済みの Trimap Generator とAlpha Matte Generator を接続して学習を行った．
Trimap Generator には前ステップの画像生成でも用いた
100epoch 目の学習済みウェイトを，Alpha Matte Generator には foamliu による学習済みモデル 2 を用いた．この Alpha Matte

Generator の学習済みモデルは Adobe Deep Image Matting
Dataset 3 に含まれる 320px × 320px の画像を用いて学習されている．Adobe Deep Image Matting Dataset は 45,500 組のForeground 写真とその Alpha Matte，Trimap 画像の組からなり，Portrait 写真にドメインを絞ったものではない．しかし，このモデルは普遍的に Trimap から Alpha Matte に変換する
際の特徴量を捉えていると考えられるため，このモデルを通して最終的な Alpha Matte の精度を上げていくように学習を進めれば，更に精度の高い Trimap が生成できると考えた．
このステップの学習には Trimap Generator の学習時にも用いた portrait と binary-mask の組 43,680 組を Train に，6,000
組を Test に用いた．ここで用いた binary-mask は Alpha Matte

4. 5 考察

図 11 を見る限り，今回の実験では，図 9 の Trimap Gen-erator のみの学習と比べて Combined Model での学習後のものの方が Trimap としての精度は明らかに低くなっていると考えられる．実際に，Combined Model での学習後の Trimap

Generator に対して Test データの accuracy を求めたところ，
スコアが 0.822 となった．これは，事前学習における 100epoch
目の 0.908 と比較したときに，Combined Model での学習はTrimap Generator の精度を大きく下げたと考えられる．
原因として考えられることの一つとして，事前学習に用いた損失関数が挙げられる．事前学習で用いた alpha-prediction lossとは Deep Image Matting [1] に準拠した実装になっており，最終的に出力された Alpha Matte のうち，教師データの Trimap
で Unknown に指定されている部分しか損失として計上しない．
このことから，事前学習における Alpha Matte Generator では Trimap 画像全体の特徴量から Alpha Matte を生成しているわけではなく，今回の学習に適したモデルになっていなかったと考えられる．

5 おわりにのように被写体の境界に半透明のピクセルを持たないが，精度本研究では Portrait 写真から自動的に Trimap を作成するの粗い Alpha Matte とみなして今回の学習を行っている．ま手法を提案した．提案手法ではまず写真から粗い Trimap を作た，損失関数として平均二乗誤差を用いた．

成する Trimap Generator と，写真から Alpha Matte を作成

100epoch 学習させた際の Train データと Test データでのaccuracy と loss は以下のようになった．
また，100epoch 学習させたモデルの Trimap Generator 部
を用いて Trimap を生成した結果は図 11 のようになった．

する Alpha Matte Generator を個別に学習させた上で 2 つのモデルを接続してから全体を学習させることにより，Trimap

Generator の精度向上を目指した．
結果としては Trimap Generator 単体の学習である程度有用な Trimap を作成することに成功した．しかしながら，精度が上がると予想していた Combined Model の学習では逆に Trimap

2：https://github.com/foamliu/Deep-Image-Matting
3：https://sites.google.com/view/deepimagematting

Generator の精度を著しく下げる結果となった．この結果は今回用いた損失関数の影響が大きいであろうことが予想される．

今後の展望としては，Trimap Generator の事前学習を用いない学習での Trimap 作成の可能性や，被写体が複数いる場合への対応，また，被写体が人間以外の写真への対応などがある．

[12]

被写体のドメインを絞らずに被写体の検出を行うことは難易度の高いタスクであると考えられるが，一般物体認識の分野で有名な CIFER-100 データセット 4 の識別では Cubuk らの研[13]

究 [21] ではエラー率が 10 ％程にまでなっており，被写体自体をニューラルネットワークで識別することは不可能ではないと[14]考えられる．また，画像内で人間が注視しやすい部分を探る研究も盛んであり，こういった分野と Semantic Segmentation の[15]

分野を接続することによって，更に人間が作成する Trimap に近づけることが可能なのではないか．GUI アプリケーションや補助ツールによってマスクされているとは言え，Trimap 作成
は実際の動画像編集の場面でも未だ大きなコストを必要とする

[16]
[17]

作業であり，このタスクの自動化研究に継続的に取り組んでいくことは大変意義のあることだと考えられる．

6 謝

[18]

辞
[19]

本研究は JSPS 科研費 JP16K00228，JP16H02904 の助成を受けたものです．

[20]

文

献

[1] Ning Xu, et al. ”Deep Image Matting.” CVPR. Vol. 2. 2017.
[2] Xiaoyong Shen, et al. ”Deep automatic portrait matting.”
European Conference on Computer Vision. Springer, Cham,
2016.
[3] Hsieh, Chang-Lin, et al. ”Automatic trimap generation for
digital image matting.” Signal and Information Processing Association Annual Summit and Conference (APSIPA),
2013 Asia-Pacific. IEEE, 2013.
[4] Al-Kabbany, Ahmad, et al. ”A novel framework for automatic trimap generation using the Gestalt laws of grouping.” Visual Information Processing and Communication
VI. Vol. 9410. International Society for Optics and Photonics, 2015.
[5] Cho, Donghyeon, et al. ”Automatic trimap generation andconsistent matting for light-field images.” IEEE transactions on pattern analysis and machine intelligence 39.8
(2017): 1504-1517.
[6] Gupta, Vikas, et al. ”Automatic trimap generation for image matting.” Signal and Information Processing (IConSIP), International Conference on. IEEE, 2016.
[7] Achanta, Radhakrishna, et al. ”SLIC superpixels compared
to state-of-the-art superpixel methods.” IEEE transactions
on pattern analysis and machine intelligence 34.11 (2012):
2274-2282.
[8] Redmon, Joseph, et al. ”You only look once: Unified, realtime object detection.” Proceedings of the IEEE conferenceon computer vision and pattern recognition. 2016.
[9] Everingham, Mark, et al. ”The pascal visual object classes(voc) challenge.” International journal of computer vision
88.2 (2010): 303-338.
[10] Brostow, Gabriel J., Julien Fauqueur, et al. ”Semantic
object classes in video: A high-definition ground truth
database.” Pattern Recognition Letters 30.2 (2009): 88-97.
[11] Lin, Tsung-Yi, et al. ”Microsoft coco: Common objects

4：https://www.cs.toronto.edu/ kriz/cifar.html[21]

in context.” European conference on computer vision.
Springer, Cham, 2014.
Song, Shuran, Samuel P. Lichtenberg, et al. ”Sun rgb-d:
A rgb-d scene understanding benchmark suite.” Proceedings of the IEEE conference on computer vision and patternrecognition. 2015.
Silberman, Nathan, et al. ”Indoor segmentation and support inference from rgbd images.” European Conference on
Computer Vision. Springer, Berlin, Heidelberg, 2012.
Badrinarayanan, et al. ”Segnet: A deep convolutional
encoder-decoder architecture for image segmentation.”
arXiv preprint arXiv:1511.00561 (2015).
Shen, Xiaoyong, et al. ”Automatic portrait segmentation
for image stylization.” Computer Graphics Forum. Vol. 35.
No. 2. 2016.
Goodfellow Ian, et al. ”Generative adversarial nets.” Advances in neural information processing systems. 2014.
Denton, Emily L., Soumith Chintala, et al. ”Deep generative image models using a laplacian pyramid of adversarial
networks.” Advances in neural information processing systems. 2015.
Radford, Alec, Luke Metz, et al. ”Unsupervised representation learning with deep convolutional generative adversarial
networks.” arXiv preprint arXiv:1511.06434 (2015).
Srivastava, Nitish, et al. ”Dropout: a simple way to preventneural networks from overfitting.” The Journal of Machine
Learning Research 15.1 (2014): 1929-1958.
Isola, Phillip, et al. ”Image-to-image translation with conditional adversarial networks.” arXiv preprint (2017).
Cubuk, Ekin D., et al. ”AutoAugment: Learning Augmentation Policies from Data.” arXiv preprint arXiv:1805.09501(2018).