1EP13

テーマ番号和文

深層学習に基づく UAV オルソ画像からの樹種判別システムに関する研究

英文Research on Tree Species Discrimination System from UAV Ortho
Images Based on Deep Learning

プロジェクト
テーマプロジェクト
メンバー

長田 茂美 教授

指導教員

4EP3-45 西尾 啓 (NISHIO Hiraku)

Abstract In recent years, many forests have been abandoned and devastated due to factors such as aging forest owners and owners
leaving the villages near their forests. Therefore, local governments and forestry associations are working on forest boundary
clarification projects. Under these circumstances, there are high expectations for support technology that can contribute to the forestboundary clarification. As key technologies to clarify forest boundaries, our laboratory has proposed clarification support systems thatcan distinguish major tree species and extract forest boundaries on aerial photographs (ortho images) acquired by UAVs. In this study,
methods for improvement and evaluation of system were proposed and their usefulness was confirmed through evaluation experiments.

Keywords forest boundary, visualization, tree species discrimination, convolutional neural network, GAN, EfficientNet.
1. まえがき
間伐等の森林整備を推進するには，整備対象の森林を正確に把握するための森林境界の明確化が必要となる．
しかし，近年では，森林所有者の高齢化や離村が進み，森林が放置されたまま荒廃化していく傾向が顕著となっており，早急な森林境界明確化への対応が求められている．
当研究室では，森林境界明確化のための重要な要素技術の一つとして，ドローン等の UAV により取得した森林のUAV オルソ画像から主要な樹種を判別し，樹種界（森林境界候補）を抽出する森林境界の明確化支援のための樹種判別システムの研究開発を進めてきた[1]．本研究では，この樹種判別システムの樹種判別および樹種界抽出のさらなる精度向上を目指す．

2. システム概要
当研究室で開発してきた樹種判別システム[1]は，森林のUAV オルソ画像から複数の異なるサイズの矩形画像を基本処理単位とする DenseNet 群による樹種判別結果を統合することで，同一樹種で構成される樹種領域，さらには樹種領域間の樹種界を抽出するという多重統合処理に基づく処理構成を採っている．
この大域的かつ局所的な特徴に基づいて高精度な樹種判別の実現を目指すという考え方は踏襲し，樹種判別および樹種界抽出のさらなる精度向上を図るために，本研究では，樹種判別のための CNN モデ
ルとして EfficientNet-B0 を採用し，単一サイズの矩形画像を基本処理単位として樹種判別を実行することで，UAVオルソ画像全体の高精度な樹種判別を実現するシステムを提案する．また，樹種判別のための CNN モデルの学習データセットの GAN によるデータ拡張手法も提案する．

2.1 EfficientNet-B0 に基づく樹種判別
従来のシステム[1]では，大域的かつ局所的な画像特徴に基づく樹種判別を実現するために，複数の異なるサイズの矩形画像に対応する複数の CNN モデル(DenseNet)群を必要とし，その必要な数だけ多くの実行時間がかかるという課題もある．この課題を解決し，樹種判別のさらなる精度向上を図るために，本研究では，UAV オルソ画像から切り出した 256×256 画素の単一サイズの矩形画像を基本処理単位とし，CNN モデルとして，より少ないパラメータで高精度な樹種判別を実現できるように NAS(Neuralarchitecture search) により最適化されたアーキテクチャである EfficientNet-B0 を用いる樹種判別システムを提案する．図 1 に，提案システムの概要を示す．CNN モデルのEfficientNet-B0 への入力は，UAV オルソ画像の基本処理単位である 256×256 画素の矩形画像を 224×224 画素にリサイズした矩形画像であり，出力は，224×224 画素の矩形画像をさらに縦横 1/7 に細分化した 32×32 画素の矩形画像ごとに存在する各樹種クラスの画素数の総画素数（32×32= 1024 画素数）に対する比率である．EfficientNet-B0には，予め，入力と期待出力（各樹種クラスの画素数の比率）との対応関係を学習させておくが，期待出力は入力のUAV オルソ画像を画素ごとに樹種クラスをラベル付けした正解カラーマップ画像から算出する．
提案システムでは，この出力（各樹種クラスの画素数の比率）が最大となる樹種クラスを対応する 32×32 画素の矩形画像の画素ごとの樹種判別結果とし，その樹種判別結果と UAV オルソ画像の 256×256 画素の矩形画像の画素との対応関係を考慮して，最終的な UAV オルソ画像からの樹種判別結果として出力する．これにより，256×256 画素の矩形画像からの大域的な画像特徴と 32×32 画素の矩形画像からの局所的な画像特徴に基づいた高精度な樹種判別が期待できる．
樹種判別結果UAVオルソ画像

リサイズ

⼊⼒

256×256pix 224×224pix

スギ
ヒノキ
他樹種
樹⽊以外
アテ

出⼒

Efficient
Net-B0

クラス数
224/32＝7

図 1 EfficientNet-B0 による樹種判別
Fig. 1 Tree species discrimination by EfficientNet-B0.

2.2 GAN によるデータ拡張
一般に，分類問題における CNN モデルは，学習データがクラスごとのバリエーションを広く網羅しているほど，分類対象の本質的な特徴を捉えることができ，正確に分類できる可能性が増す．したがって，本研究では，樹種判別のさらなる精度向上に向けて，GAN によるデータ拡張手法を提案し，CNN モデルの学習データの拡充を図る．
図 2 に，提案する GAN によるデータ拡張手法を示す．
提案手法では，GAN によって 256×256 画素の矩形画像を生成し，その矩形画像を 224×224 画素にリサイズすることで，CNN モデルの学習データを拡充する．また，CNNモデルの学習データには，単一樹種クラスから成る矩形画像と，複数樹種クラスから成る矩形画像の 2 種類があり，単⼀樹種クラスから成る矩形画像

学習データ

実画像

⽣成画像

224×224pix

224×224pix

学習CNN

ヒノキ

複数樹種クラス⽣成
ヒノキから成る矩形画像 StyleGAN2スギ
ヒノキ

OASIS

リサイズ

256×256pix
⽣成 スギ
ヒノキ

256×256pix

図 2 GAN によるデータ拡張
Fig. 2 Data augmentation by GAN.

テーマ番号提案手法では，前者の単一樹種クラスから成る矩形画像は，StyleGAN2 に Adaptive Discriminator Augmentation を適用したモデルで生成し，後者の複数樹種クラスから成る矩形画像は，OASIS を用いて生成する．

3. システム評価
提案システムの有用性を確認するために，従来システムとの樹種判別精度の比較評価実験を行った．
従来システムの評価実験は，樹種クラスが既知の UAV オルソ画像 13 枚（学習用：11 枚，テスト用：2 枚）を用いた 4 つの樹種クラス（“スギ”，“ヒノキ”，“他樹種”，“樹木以外”）の樹種判別実験であり，提案システムの評価実験は，新たに 4 枚を加えた計 17 枚の UAV オルソ画像を用いた 5 つの樹種クラス（新たに“アテ”を追加）の樹種判別実験である．なお，提案システムの評価実験では，k-分割交差検証(k=3)
を用いて，すべての UAV オルソ画像に対する樹種判別精度を評価した．

3.1 EfficientNet-B0 に基づく樹種判別の評価
図 3 に，UAV オルソ画像（「宇出津」）に対する DenseNet群と EfficientNet-B0 による樹種判別結果を，表 1 に，その樹種判別結果と正解カラーマップを画素単位で比較して算出した推定精度を示す．これらの結果から，EfficientNetB0 は，DenseNet 群による樹種判別よりも“スギ”以外の各樹種クラスを精度よく判別できているだけでなく，新たに“アテ”を加えた 5 つの樹種クラスの樹種判別であることから，EfficientNet-B0 による樹種判別の有用性を確認できた．また，従来システムでは，複数の DenseNet 群の多重統合処理で，提案システムでは，単一の EfficientNet-B0のみで，大域的かつ局所的な画像特徴に基づく樹種判別を実現しており，樹種判別に要する処理時間の観点からも，提案システムの有用性を確認できた．

樹種クラスから成る矩形画像の枚数は 5.5 万枚であった．
この結果から，“StyleGAN2 のみ”は，“データ拡張なし”の場合と比べて，“アテ”以外の樹種クラスにおいて推定精度が向上しており，StyleGAN2 による単一樹種クラスから成る矩形画像のデータ拡張の有用性は確認できた．
一方で，“OASIS のみ”は“データ拡張なし”と比べて，“ヒノキ”，“他樹種”， “樹木以外”以外の樹種クラスにおいて推定精度が低下しており，その原因として，学習データにおける入力と出力の関係性を乱すような矩形画像を生成していることが考えられる．
そこで，StyleGAN2 および OASIS の生成画像の各々に対して，EfficientNet-B0 の学習データとの画像特徴ベクトル間の距離を Frechet Inception Distance (FID)という指標により算出した．FID とは，ImageNet を学習した Inceptionv1 で抽出した実画像と GAN 生成画像の特徴ベクトル間の距離を表す指標であり，FID の値が低いほど類似度が高く，高精度な画像生成ができているといえる．
k-分割交差検証の各 Fold における StyleGAN2 の FID の平均値は 14.9，OASIS の FID の平均値は 102.5 であり，OASIS の FID は StyleGAN2 の FID よりも大幅に高いことから，画像生成の精度が低く，これが樹種判別精度の低下につながっていると考えられる．したがって，さらなる樹種判別精度の向上のためには，複数樹種クラスから成る矩形画像の画像生成精度の向上が必要である．

オルソ画像 正解カラーマップ データ拡張なし StyleGAN2＋OASIS StyleGAN2のみ OASISのみ

図 4 データ拡張を用いた樹種判別結果
Fig. 4 Tree species discrimination resultswith data augmentation.
表 2 データ拡張を用いた樹種判別結果の推定精度
Table 2 Accuracy of tree species discrimination resultswith data augmentation.

オルソ画像 正解カラーマップ DenseNet群 EfficientNet-B0

図 3 樹種判別結果（「宇出津」）
Fig. 3 Tree species discrimination results (“Ushitsu”).
表 1 樹種判別の推定精度
Table 1 Accuracy of tree species discrimination results.
DenseNet 群
EfficientNet-B0スギ
76.0%
73.8%

ヒノキ
79.4%
80.3%

F値
他樹種 樹木以外
15.5%
68.5%
83.6%
85.7%

アテ
67.2%

正解率
80.2%
80.5%

3.2 GAN によるデータ拡張の評価
提案手法の有用性を確認するために，データ拡張なしの場合と，EfficientNet-B0 の学習データに提案手法を適用してデータ拡張を行った場合とで k-分割交差検証(k=3)を行い，樹種判別精度の比較評価を行った．まず，EfficientNetB0 の学習データのうち，単一樹種クラスから成る矩形画像と同数枚の画像を StyleGAN2 で，複数樹種クラスから成 る 矩 形 画 像 と 同 数 枚 の 画 像 を OASIS で 生 成 し ，EfficientNet-B0 の学習データを拡充した．次に，データ拡張なしの元の EfficientNet-B0 の学習データのみを学習した提案システム（“データ拡張なし”），
StyleGAN2 と OASISの両方を用いて拡充した学習データを学習した提案シス
テム（“StyleGAN2+OASIS”），および StyleGAN2 あるいはOASIS の一方のみを用いて拡充した学習データで学習した提案システム（“StyleGAN2 のみ”，“OASIS のみ”）の樹種判別精度を評価した．図 4 に，UAV オルソ画像（「宇出津」）に対する樹種判別結果の一例を，表 2 に，すべてのUAV オルソ画像に対する樹種判別結果と正解カラーマッ
プを画素単位で比較して算出した推定精度を示す．なお，
各 Fold における EfficientNet-B0 の学習データのうち，単一樹種クラスから成る矩形画像の枚数は約 2.7 万枚，複数1EP13

データ拡張なし
StyleGAN2+OASISSt yl eGAN2のみ
OASI Sのみ

スギ
73.8%
72.4%
76.6%
72.6%

ヒノキ
80.3%
79.4%
83.9%
82.7%

F値
他樹種 樹木以外
83.6%
85.7%
82.2%
87.4%
85.4%
86.0%
83.7%
86.4%

アテ
67.2%
61.5%
67.2%
64.6%

正解率
80.5%
79.5%
82.1%
80.2%

4. あとがき本研究では，樹種判別のための CNN モデルとしてEfficientNet-B0 を採用し，単一サイズの矩形画像を基本処理単位として，UAV オルソ画像全体の高精度な樹種判別を実現するシステムを提案し，評価実験により，その有用性を確認した．また，CNN モデルの学習データの GAN によるデータ拡張手法も提案し，StyleGAN2 および OASISを用いた評価実験により，StyleGAN2 によるデータ拡張の有用性を確認した．今後は，CNN モデル自体による樹種判別精度の向上とともに，複数樹種クラスから成る矩形画像の高精度な画像を生成可能な GAN によるデータ拡張を実現し，樹種判別精度のさらなる向上を図っていく予定である．なお，本研究は生研支援センター「イノベーション創出強化研究推進事業」の支援を受けて行ったものである．

参考文献[1] 鴨井伸哉，喜多泉月，林航希，松井康浩，長田茂美，
山路佳奈，木村一也，矢田豊，“深層学習に基づく UAV
オルソ画像からの樹種判別技術の開発,” 第 132 回日本森林学会大会，S4-1，2021．

本プロジェクトに関する業績
1) 林航希，長田茂美，松井康浩，村上良平，木村一也，矢田豊，“深層学習に基づく森林画像認識システムの提案と評価,” 動的画像処理実利用化ワークショップ，2022．