2EP08

テーマ番号和文

深層学習に基づく林内全天球画像からの森林計測システムに関する研究

英文Research on the Forest Measurement System from Omnidirectional
Images in the Forest Based on Deep Learning

プロジェクト
テーマプロジェクト
メンバー

4EP1-15 河邑 武蔵 (KAWAMURA Musashi)
4EP4-14 太田 侑里 (OTA Yukinori)

指導教員

長田 茂美 教授

4EP2-54 安田 琢海 (YASUDA Takumi)

Abstract Forest resources in Japan have grown mature as more than half of the forests planted after World War II are now over 50
years old. However, a stable timber supply has not been achieved in response to the domestic demand, and the wood self-sufficiency
rate is only about 30%. For this reason, products that support the efficiency of forest quantity measurement have been put on the market
with the aim of improving the profitability and cost reduction of timber production. However, these products are still not widely used
due to their inconvenience and high price. This study proposes a new method to improve the estimation accuracy of a system formeasuring the forest quantity that focuses on standing timber using an estimation system based on EfficientNet-B0 from
omnidirectional camera images. The usefulness of the proposed method is confirmed by the evaluation experiments.

Keywords forest measurement, deep learning, convolutional neural network, semantic segmentation, omnidirectional image.
1． はじめに国内の森林資源は成熟し，人工林の多くは本格的な利用期を迎えている．しかし，木材価格の低迷で，伐採にかかるコストを差し引くと，林業事業体は十分な収益が得られない場合が多く，国産材の需要に応じた安定的な原木供給ができない状況にある．
そのため，木材生産の収益性向上，森林調査の省力化によるコスト削減を目指し，森林物理量の計測作業を効率化する製品も市場投入されているが，利便性や価格の面からまだ普及するまでには至っていない．
当研究室では，多大な労力を要する森林調査の省力化，効率化を実現するために，林内全天球画像から森林物理量を推定する森林計測システム[1]を開発してきた．
本研究では，深層学習モデルの変更と，学習手法の改良により，森林計測システムの推定精度の向上を目指す．

2． 森林計測システム
2.1 システム概要
図 1 に，森林計測システムの概要を示す．システム
は，林内全天球画像に Semantic Segmentation を適用し，立木の画像領域を抽出する立木領域抽出モデルと，林内の 6 項目の森林物理量を推定する物理量推定モデルから構成される．立木領域抽出モデルと物理量推定モデルでは，深層学習モデルとして EfficientNet-B0[2]を採用している．森林計測システムへの入力は，林内において全方位カメラで撮影した林内全天球画像を，EfficientNet-B0 に合わせて，224×224 にリサイズしたものである．

図１森林計測システム
Fig. 1 Forest measurement system.

2.2 立木領域抽出モデル
立木領域抽出モデルは EfficientNet-B0 を基に構成され，その入力は林内全天球画像であり，出力は，入力画像の各画素を“立木”または“立木以外”に分類することで得た立木領域画像である．森林計測システムにおいて，立木領域抽出モデルは，林内全天球画像から，立木の領域のみを抽出し，立木領域画像として物理量推定モデルに与えることで，物理量推定モデルでの森林物理量の推定を補助する役割を担う．
物理量推定モデル単体においては，左右反転とシフト操作によって構成されるデータ拡張の有用性が検証されていたものの，森林計測システムにおいて，林内全天球画像と立木領域画像を結合する場合には，データ拡張は適用されておらず，その効果がまだ検証されていなかった．そこで，これまで物理量推定モデル単体に対して適用されていたデータ拡張を，立木領域画像についても適用し，森林計測システムが推定する森林物理量の推定精度の向上を図った．

2.3 物理量推定モデル
物理量推定モデルは EfficientNet-B0 を基に構成され，その入力は，林内全天球画像，または，林内全天球画像に立木領域抽出モデルにより生成された立木領域画像を，チャネル軸方向に結合した立木領域結合データであり，出力は，林内全天球画像の撮影地点から半径 12.6m の範囲内の森林物理量（材積，樹高，立木密度，胸高直径，胸高断面積，矢高）計 6 項目の推定値である．

2.3.1 GridMask による物理量推定モデルの改良提案手法では， 物理量推定モデルに関して，従来から行ってきた左右反転とシフト操作によるデータ拡張と併用する形で，新たに GridMask[3]を導入する．この手法は，画像に対して，一定間隔毎の矩形領域内の画素値を 0 とし，学習過程における入力画像を意図的に欠損させるものである．物理量推定モデルでは， EfficientNet-B0 のパラメータ数に対して，学習に用いることのできる画像枚数が少なく，過学習を起こしやすいという問題があった．
そこで，正則化効果を持つデータ拡張手法である GridMask を実装し，既存のデータ拡張手法と組み合わせることで，過学習を抑制するとともに，モデルの汎化性能の向上を図った.

2.3.2 損失関数変更による物理量推定モデルの改良
物理量推定モデルの推定精度の評価方法は，正解値との誤差が 10%以内に収まった推定値を“正答”としており，正解値が小さいほど“正答”として扱う範囲が狭くなる．この制約を利用し，提案手法では，学習過程で用いる損失関数として，従来から用いてきたℒ!"# (Mean SquaredError) に対して，正解値の大小に応じて適応的に変化する倍率を掛ける損失関数（以下，ℒ$ と表記）を用いた．

2EP08

テーマ番号

3． 評価実験

林物理量の推定に有用であることが確認できた．

提案手法の有用性を検証するために，データ拡張，GridMask，および損失関数に関する評価実験を行った．

3.1 立木領域画像へのデータ拡張の適用
3.1.1 データ拡張の有用性検証
データ拡張が，森林計測システムによる森林物理量の推定精度に与える影響を検証するために，森林計測システ
ムへの入力である林内全天球画像に対して，正解立木領域画像の結合の有無による森林物理量の推定精度の比較評
価実験を行った．実験では，林内全天球画像とそれに紐づく森林物理量，正解立木領域画像からなる 500 枚のデータを用い，その内，413 組のデータを左右反転，シフト操
作で 8 倍にデータ拡張した 3304 組を学習データとし，また，残りの 87 組をテストデータとして評価を行った．表
1 に，物理量推定モデルの入力として，正解立木領域画像を結合して与えた場合と結合せず単体で動かした場合の森林物理量の推定精度を示す．この結果から，物理量推定モデル単体の場合と同じく，立木領域抽出モデルと物理量推定モデルの両方を用いる森林計測システムにおいても，データ拡張の有用性が確認できた．
表 1 森林計測システムにおけるデータ拡張の影響 (%)
Table.1 Effect of data augmentation.
結合
正解
正解×8なし
なし×8

材積
29.9
51.7
24.1
47.1

樹高49.4
64.4
47.1
73.5

密度21.8
42.5
18.4
48.2

直径40.2
62.1
33.3
68.9

断面積
36.8
62.1
39.1
54.0

矢高19.5
33.3
12.8
50.5

3.1.2 補足実験
3.1.1 の実験では，データ拡張なしの場合，正解立木領域画像を結合することによる精度向上が確認できた．
一方で，8 倍のデータ拡張を適用した場合には，正解立木領域画像を結合しない場合の方が高い精度となった.この結果について考察し，その原因として，立木領域画像の特徴量が，林内全天球画像に依存する性質上，立木領域結合データを用いた学習では，データ拡張の効果が相対的に低くなる可能性が考えられる．そうであれば，十分な学習データがある場合には，立木領域結合データを用いた学習の方が，高精度な推定が期待できる．そこで，データ拡張の倍率を8 倍から 16 倍に変更し，正解立木領域画像を結合した場合としない場合とについて，森林物理量推定の比較検証実験を行った．表 2 に，その結果を示す．この結果から，十分な学習データがある場合には，立木領域画像を結合した場合でもデータ拡張が有効であることが確認できた．
表 2 立木領域画像結合時のデータ拡張の検証 (%)
Table.2 Verification of data augmentation.
結合
正解×16なし×16

材積54.044.8

樹高85.177.0

密度54.048.3

直径82.866.7

断面積64.455.2

矢高48.344.8

3.2 GridMask による物理量推定モデルの改良
GridMask とデータ拡張の併用について，11 地区 19 林分，計 500 地点の林内全天球画像と，それに紐づく森林物
理量 6 項目からなるデータ 1636 組を用いた評価実験を行った．実験は，1309 組のデータの林内全天球画像を左右反転，シフト操作で 8 倍に拡張した 10472 組を学習データとして，GridMask を適用し，残りの 327 組をテストデータとして評価した．表 3 に，データ拡張と GridMask を適用したときの各森林物理量の推定結果を示す．
この結果から，物理量推定モデル単体に適用する GridMask は，森

表 3 GridMask による森林物理量の推定精度 (%)
Table.3 Accuracy of forest quantity estimation by GridMask.
データ拡張

材積

樹高

密度

直径

断面積

矢高×8×8+GridMask

63.0
68.8

90.2
89.9

60.9
58.1

86.9
87.5

73.7
75.5

49.2
53.2

3.3 損失関数の変更による物理量推定モデルの改良
提案手法のℒ$ は，次式で定義される．
𝑟 = 𝑎(𝑦%&' − 𝑦 + 𝑏)ℒ$ (𝑥, 𝑦) = 𝑟 ∗ MSE(𝑥, 𝑦) … (1)
ここで，𝑥は入力値で，𝑦は入力に対する正解値，𝑦%&' は全正解値中の最大値である．また，𝑎, 𝑏は任意の定数である．
ℒ$ の導入により，正解値が小さいほど損失値に大きな倍率が適用されるため，推定値の損失評価が正解値に依存するという問題を解決できることが期待される．
ℒ$ の評価のために，11 地区 19 林分，計 500 地点の林内
全天球画像とそれに紐づく森林物理量 6 項目からなるデータ 1636 組を用いて，評価実験を行った．実験は，1309組のデータの林内全天球画像を左右反転，シフト操作で 4倍にデータ拡張した 5236 組を学習データとし，残りの 327組をテストデータとして，k-分割交差検証法 (k=5) を適用して評価した．表 4 に，ℒ!"# と適切に定数を定めたℒ$を用いた各森林物理量の推定結果を示す．この結果から，物理量推定モデル単体でのℒ$ の有用性が確認できた．
表 4 ℒ!"# とℒ$ を用いた森林物理量の推定精度 (%)
Table.4 Forest quantity estimation results using ℒ!"# or ℒ$ .
Lossℒ!"#ℒ$材積
61.4
62.3

樹高88.488.4

密度57.959.7

直径87.488.2

断面積
71.3
71.5

矢高49.550.3

4. おわりに
本稿では，データ拡張，新たな損失関数，GridMask の導入など，林内全天球画像から森林物理量を推定する森林計測システムのさらなる精度向上を図るための学習手法を提案し，評価実験によりその有用性を確認した．損失関数ℒ$ は，立木領域抽出モデルと結合した森林計測システ
ムにも導入することで，推定精度の向上が見込めるものと考えている．また，森林物理量の推定項目について，胸高直径の不偏標準偏差の学習にも取り組み，高精度な推定を実現できる実用的な森林計測システムへと展開していきたい．なお，本研究は生研支援センター「イノベーション創出強化研究推進事業」の支援を受けて行ったものである．

参考文献[1] 大庭夕, 櫻井拓実, 清水健寛, 藤代翔也,“深層学習に基づく林内全天球画像からの森林資源量計測システムに関する研究,”令和 3 年度 PD III 予稿集, 1EP14 (2022).
[2] Mingxing Tan, Quoc V. Le: “EfficientNet:Rethinking Model
Scaling for Concolutional Neural Networks,”
arXiv:1905.11946 (2020).
[3] Pengguang Chen, Shu Liu, Hengshuang Zhao, Jiaya Jia:
“GridMask Data Augmentation,” arXiv:2001.04086 (2020).

本プロジェクトに関する業績
1) 矢田豊, 木村一也, 山路佳奈, 太田侑里, 河邑武蔵, 安田琢海, 上野直人, 村上良平, 長田茂美, 松井康浩,“CNN-Web アプリを用いて林内全天球画像から推定した人工林資源情報の検証,”第 134 回日本森林学会大会 (2023).