補助ブランチを導入した GLNet による空撮画像のセマンティックセグメンテーション
指導教授：山下隆義

EP16025 小倉一真
1. はじめに3.2. 特徴マップの共有

超高解像度画像のセマンティックセグメンテーションは，広域の情報を迅速に把握するための手段として，需要が高まっている．CNN を用いた超高解像度画像のセマンティッ
クセグメンテーションでは，推論時にメモリ使用量が大幅に増加する．GLNet[1] は，ダウンサンプリングを行った画像とパッチで切り分けた画像を使用することにより，メモリ使用量を抑えた手法である．しかし，GLNet はダウンサンプリングによる解像度の低下により，小さなオブジェクトの識別が困難である．そこで本研究では，GLNet にパッチ分解サイズを大きくした画像を入力する補助ブランチを追加することでメモリ使用量を抑えつつ精度向上を図る．

特徴マップは大域の特徴を持つブランチから局所領域の特徴を持つブランチへ共有を行う．まず，参照している入力画像と同じ位置でトリミングを行う．その後，共有するブランチの特徴マップのサイズと一致するようにアップサンプリングを行い，共有するブランチの特徴マップと連結することにより特徴マップを共有している．

2.GLNet
GLNet は，ダウンサンプリングした画像を入力するグローバルブランチと，パッチ画像を入力するローカルブランチから構成される．GLNet の処理の流れを図 1 に示す．
各ブランチの特徴マップを共有することにより，ダウンサンプリングのみを使用した際の問題点であるジャギーの影響を緩和することが可能である．
downsample

2448×2448

deepfeature map
sharing

Regularization

patches

Input Image

Aggregation

Local

Local Branch

500×500

Prediction

GlobalGlobal Branch

500×500

4. 評価実験
従来の GLNet と提案手法を用いて，セマティックセグメンテーションの評価実験を行う．

4.1. 実験概要
セマティックセグメンテーションの評価実験を行うにあたり，衛星画像のデータセットである DeepGlobe Land
Cover Classiﬁcation を使用する．803 枚の超高解像度画像で構成されており，学習に 454 枚，検証に 142 枚，テス
トに 207 枚をランダムに分割し使用する．

4.2. 実験結果
図 3 にセグメンテーション結果を示す．通常の GLNetと提案手法の結果を比較すると，提案手法は上段の水域クラスが GLNet よりも精度が向上していることが確認できる．しかし，下段の放牧地クラスと農業地クラスは GLNetと比較して精度が低下していることが分かる．
農業地帯

都市地帯

放牧地帯

森林

水域

不毛地帯

図 1: GLNet の処理の流れ

3. 提案手法
Prediction
GLNetdownsample
ではダウンサンプリングによる局所領域の情報
Global2448×2448
Global Branch
500×500の損失が多いため，小さなオブジェクトのセマンティックセ
deep
Aggregation
feature map
グメンテーションが困難である．そこで本研究では，パッsharing
patches
チ分割サイズを大きくした画像を入力する補助ブランチを
Input Image
LocalLocal Branch
500×500
導入することで，局所領域の特徴の損失を抑制する手法を提案する．
Regularization

3.1. 補助ブランチを導入した GLNet
GlobalAuxiliary

Auxiliary

Auxiliary

ネットワークは全体をダウンサンプリングした画像を入Auxiliary
力するグローバルブランチとパッチ画像を入力するローカ
ルブランチ，パッチ分割サイズを大きくし，ダウンンサンプリングを行った画像を入力する補助ブランチで構成されpatch N
patch 1
patch 2
patch N
patch 1
patch 2
る．ローカルブランチに入力する画像は重なりを考慮して
Auxiliary
Local
Local
Auxiliary
作成する．図 2 にネットワークの構造と特徴マップ共有の流れを示す．補助ブランチはグローバルブランチと特徴マップ共有を行うことで，大域の特徴を取得できる．また，補patch N
patch 1
patch 2助ブランチはグローバルブランチよりも高い解像度を入力Localするため，細部の情報の欠落を抑えることが可能である．
ローカルブランチからグローバルブランチへの特徴マップ共有を行わないことで補助ブランチの追加によるメモリ使用量の増加を抑制する．
Input Image
2448×2448

downsample

Global Branch

500×500

patches
500×500

Auxiliary Branch

Auxiliary Aggregation

deep
feature map
sharingRegularization

Local Branch

Local

Auxiliary

Local

patch 2

patch N

Auxiliary

patch 1

patch 2

2. upsample

featuremap

3. concatenate

featuremap 1

Auxiliaryfeature
map

69.9
67.4

21012373[1] W. Chen, et al., “Collaborative Global-Local Networks
for Memory-Eﬃcient Segmentation of Ultra-High Resolution Images”, CVPR, 2019.

Local

1. crop

メモリ使用量 [MB]参考文献

patch N

図 2: 補助ブランチを導入した GLNet
1. cropmIoU [%]本研究では，GLNet に補助ブランチを導入することで，約 250MB のメモリ使用量の増加で小領域の識別精度の向上を確認した．しかし，類似クラスの識別精度の低下による mIoU の低下を確認した．今後は類似クラスの識別精度向上について考案する．

Auxiliary

patch 1class accuracy [%]水域
農業地 放牧地
2.3
59.0
7.3
82.7
95.3
50.6
84.6
94.5
40.8

5. おわりにGlobalAuxiliary

提案手法

GLNet

表 1 に GLNet と提案手法の class accuracy と mIoU，メモリ使用量の比較を示す．表 1 より，補助ブランチを導入することで最も出現確率の低い水域クラスの accuracy が向上した．メモリ使用量を比較すると，提案手法は GLNetと比較して約 250MB の増加のみで小領域の検出精度を向上させることができた．一方で，mIoU は GLNet より低下していることが分かる．特に，放牧地クラスの accuracyを比較すると，提案手法は精度が低下していることから，農業地クラスや放牧地クラスのような類似クラスの識別に影響があったと考えられる．これは，パッチで切り取った画像を追加で使用しているため，局所的な特徴に過剰に反応したことが原因だと考えられる．

出現確率
GLNet
提案手法

Prediction

downsample
500×500

教師画像

図 3: セグメンテーション結果

表 1: class accuracy と mIoU とメモリ使用量比較

Globaldeep
feature map
sharing

patches1224×1224

入力画像

2. upsample

3. concatenate

Localfeaturemap 1