2EP09

テーマ番号和文

深層学習に基づく UAV オルソ画像からの樹種判別システムに関する研究

英文

A Study on Tree Species Discrimination System from UAV OrthoImages Based on Deep Learningプロジェクト
テーマプロジェクト
メンバー

4EP3-01 愛知 史也 (AICHI Fumiya)

指導教員

長田 茂美 教授

4EP3-64 神林 優 (KAMBAYASHI Suguru)

Abstract In recent years, many forests have been abandoned and devastated due to the aging of forest owners and their leavingvillages. Therefore, local government and forestry associations are working on clarifying forest boundaries, and there is an everincreasing need for technology that can support clarifying these forest boundaries. Our laboratory has proposed a clarification support
system that can distinguish major tree species and clarify forest boundaries with aerial photographs (ortho images) acquired by UAVs.
The overall goal of this study is to improve the accuracy of tree species discrimination and extend the system to be applicable to multilevel resolution ortho images acquired by UAVs.

Keywords forest boundary, visualization, tree species discrimination, convolutional neural network, EfficientNet, image resolution.
1. まえがき
間伐等の森林整備を推進するには，整備対象となる森林を正確に把握するための森林境界の明確化が必要である．
しかし，近年では，森林所有者の高齢化や離村が進み，森林が放置されたまま荒廃化していく傾向が顕著となっており，早急な森林境界明確化への対応が求められている．
当研究室では，森林境界明確化のための重要な要素技術の一つとして，ドローン等の UAV により取得した森林のUAV オルソ画像から主要な樹種を判別し，樹種界（森林境界候補）を抽出する森林境界の明確化支援のための樹種判別システムの研究開発を進めてきた．本研究では，このシステムの樹種判別および樹種界抽出精度の向上を図るとともに，多段階解像度の UAV オルソ画像にも適用可能なシステムへと拡張することを目指す．

2. 樹種判別システム
2.1 システム概要
図 1 に，当研究室で開発してきた樹種判別システムの概要を示す．UAV オルソ画像を入力として受け取り，256×256 画素のウィンドウを 32 画素ずつシフトしながら切り出した 256×256 画素の矩形画像を基本処理単位とし，CNN を用いて，UAV オルソ画像全体の樹種判別を実行す
る．CNN への入力は，UAV オルソ画像から切り出した256×256 画素の矩形画像を 224×224 画素にリサイズした画像であり，出力は，224×224 画素の矩形画像をさらに縦横 1/7 に細分化した 32×32 画素の矩形画像ごとに存在す
る 5 種類の樹種クラスの“スギ”，“ヒノキ”，“アテ”，“他樹種”，“樹木以外”の画素数の総画素数（32×32=1,024 画素数）に対する比率である．CNN には，予め，学習デー
タを用いて，入力と期待出力（各樹種クラスの画素数の比率）との対応関係を学習させておくことで，224×224 画素の矩形画像から 32×32 画素の矩形画像ごとの各樹種クラスが占める画素数の比率を推定することが可能となる．

図 1 CNN による樹種判別システム
Fig. 1 Tree species discrimination by CNN.

なお，CNN に与える期待出力は入力の UAV オルソ画像を画素ごとに樹種クラスをラベル付けした正解ラベルマッ
プから算出する．この CNN が出力する比率が最大となる樹種クラスを，対応する画素ごとの樹種判別結果とし，その 32×32 画素の矩形画像と UAV オルソ画像から切り出した 256×256 画素の矩形画像の画素との対応関係を考慮して，最終的な UAV オルソ画像からの樹種判別結果として推定ラベルマップを出力する．これにより，224×224 画素の矩形画像からの大域的な画像特徴と 32×32 画素の矩形画像からの局所的な画像特徴に基づいた高精度な樹種判別が期待できる．
本研究では，従来システムの基本的な考え方を踏襲し，さらなる樹種判別および樹種界抽出精度の向上を図るとともに，従来システムを拡張し，多段階解像度の UAV オルソ画像にも適用可能なシステムを提案する．

2.2 EfficientNetV2-S に基づく樹種判別システム
従来システムでは，CNN モデルとして，より少ないパラメータで高精度な樹種判別を実現するために，NAS(Neural Architecture Search) で最適化されたアーキテクチ
ャである EfficientNet-B0 を採用していた．本研究では，さらなる精度向上を図るために，その改良モデルであり，パラメータ数を抑えたまま処理速度を向上させた
EfficientNetV2-S を CNN モデルとして導入した，より高精度な樹種判別システムを提案する．また，5 種類の樹種クラスの中でも，最も多様な画像が存在する“樹木以外”のクラスを 7 種類のクラス（“田”，“コンクリート”，“人工物”，“土”，“草”，“枯草”，“その他”）に細分化し，合計11 種類の樹種クラスとしての樹種判別結果を得た後に，“樹木以外”の細分化した 7 種類のクラスと判別された結果を 1 つの“樹木以外”のクラスとして統合することで，5 種類の樹種判別結果とする分割統合手法も提案する．

2.3 EfficientNetV2-S に基づく樹種判別の評価
上述した提案手法も実装した提案システムの有用性を確認するために，k-分割交差検証 (k=3) を用いて，従来システムとの樹種判別精度を評価した．17 枚 (1 枚/1 林分)の UAV オルソ画像とその正解ラベルマップを，各樹種カテゴリの総画素数とその割合ができるだけ同等となるよ
うに，3 つのサブセットに分割し，1 つのサブセットをテストデータ，それ以外の 2 つのサブセットに含まれる各
UAV オルソ画像の左側から 1/5 を検証データ，右側 4/5 を学習データとして，k-分割交差検証 (k=3) を適用し，すべての UAV オルソ画像の推定ラベルマップとその樹種判別精度 (画素単位の F 値，正解率) を評価した．
図 2 に，UAV オルソ画像（「鹿路」）に対する「EfficientNet-テーマ番号B0」，「EfficientNetV2-S」，および「EfficientNetV2-S (11→5)」の推定ラベルマップを，表 1 に，樹種判別精度を示す．ここで，「EfficientNet-B0」は EfficientNet-B0 を用いた従来システム，「EfficientNetV2-S」は EfficientNetV2-S を用いた提案システム，「EfficientNetV2-S (11→5)」は，分割統合手法を適用した提案システムを指す．EfficientNetV2-S に基づ
く提案システムの樹種判別精度は，すべての樹種クラスで従来システムを上回っており，提案システムの有用性が確認できた．一方，分割統合手法については，「EfficientNetV2S (11→5)」の樹種判別精度が，「EfficientNetV2-S」よりも低下している．精度低下の原因として，k-分割交差検証(k=3) を適用する際の 3 つのサブセットに分割する基準が5 種類の樹種クラスを前提としたものであり，細分化された 7 種類のクラスのデータが各サブセットに均等に分割されず，極端な偏りが生じていた可能性が高い．

2EP09を解像度 5.0cm/画素相当と 7.5cm/画素相当に解像度変換した UAV オルソ画像と推定ラベルマップを示す．また，
表 2 に，推定ラベルマップと正解ラベルマップを画素単位で比較して算出した樹種判別精度を示す．
これらの結果から，解像度変換の導入により，樹種判別精度の大幅な低下を抑制でき，精度向上に向けた学習データの工夫など，まだ多くの改善の余地が残されているものの，提案システムが多段階解像度の UAV オルソ画像にも適用できる見通しを得た．なお，精度低下を招いた大きな要因の一つに，紅葉時に空撮した他とは異質の UAV オルソ画像が含まれており，紅葉時に空撮した UAV オルソ画像を学習させれば，精度低下を抑制できることも確認できた．

図 3 解像度変換を導入した樹種判別システム
Fig. 3 Tree species discrimination with resolution
conversion.
図 2 樹種判別結果（「鹿路」）Fig. 2 Tree species discrimination results (“Rokuro”).
表 1 樹種判別精度 [単位: %]Table 1 Accuracy of tree species discrimination.
スギ
EfficientNet-B073.8
EfficientNetV2-S
77.1
EfficientNetV2-S(11→5) 76.5

F値
ヒノキ アテ
80.3
67.2
82.6
68.0
82.1
67.2

正解率
他樹種 樹木以外
85.7
83.6
80.5
86.8
87.3
83.0
85.8
87.5
82.5

3. 多段階解像度の UAV オルソ画像への適用
上述した樹種判別システムは，5.0cm/画素の単一解像度の UAV オルソ画像を対象としてきたが，使用する UAV や飛行設定，SfM 処理等に関わる UAV オルソ画像の取得条件により，その UAV オルソ画像の解像度は異なってくる．
提案システムを 5.0cm/画素と異なる多段階解像度の UAVオルソ画像にそのまま適用することは可能であるが，EfficientNetV2-S の学習に用いた UAV オルソ画像の解像度と異なれば，当然，精度低下を招くという課題が生じる．
本研究では，この課題を解決し，多段階解像度の UAVオルソ画像にも頑健な樹種判別システムへと拡張するために，解像度変換を導入する．解像度変換は，対象とする多段階解像度の UAV オルソ画像の中で最も低い解像度に，すべての UAV オルソ画像を合わせ込む処理である．図 3に，解像度変換を導入した樹種判別システムを，解像度2.2cm/画素の UAV オルソ画像をリサイズして 5.0cm/画素相当に解像度変換した例とともに示す．
提案システムの有用性を確認するために，「画像群 A（解像度 5.0cm/画素）」（17 枚の解像度 5.0cm/画素の UAV オルソ画像群），「画像群 B（解像度 5.0cm/画素相当）」（「画像群 A」に解像度 2.1，2.2，3.4，3.5cm/画素の UAV オルソ
画像を各 1 枚追加した計 21 枚の UAV オルソ画像群）「画，像群 C（解像度 7.5cm/画素相当）」（「画像群 B」に解像度7.4，7.5cm/画素の UAV オルソ画像を各々1 枚と 3 枚追加した計 25 枚の UAV オルソ画像群）の 3 つの画像群の各々に対して，k-分割交差検証 (k=3) を適用し，5 種類の樹種クラスの判別精度を評価した．
図 4 に，
解像度 2.2cm/画素の UAV オルソ画像（「小熊」）

図 4 樹種判別結果（「小熊」）Fig. 4 Tree species discrimination results (“Konma”).
表 2 樹種判別精度 [単位: %]Table 2 Accuracy of tree species discrimination.
解像度5. 0㎝/画素
解像度5. 0㎝/画素相当
解像度7. 5㎝/画素相当

スギ
77.1
66.4
66.8

F値
ヒノキ アテ
82.6
68.0
66.3
67.4
77.3
68.3

正解率
他樹種 樹木以外86.8
87.3
83.0
83.7
87.2
78.5
78.2
65.4
71.8

4. あとがき
本稿では，EfficientNetV2-S に基づく樹種判別システムを提案するとともに，解像度変換を導入して，多段階解像度の UAV オルソ画像にも頑健に適用できる樹種判別システムへと拡張し，評価実験により，それらの有用性を確認した．なお，本研究は生研支援センター「イノベーション創出強化研究推進事業」の支援を受けて行ったものである．

参考文献[1] 林航希，長田茂美，松井康浩ほか，“深層学習に基づく森林画像認識システムの提案と評価,” 動的画像処理
実利用化ワークショップ DIA2022, IS3-9, 2022．

本プロジェクトに関する業績
1) 木村一也, 矢田豊, 山路佳奈, 神林優, 愛知史也, 長田茂美, 松井康浩, “解像度が異なる UAV オルソ画像で判読した林相界の比較,”第 134 回日本森林学会大会，2023．