令和２年度ドローン先行的利活用業務 （官民連携分野）［実証テーマ］ 農業分野における生育状況の把握

ドローンを活用した生育観察「農家が楽できるタマネギべと病の感染株特定」

第三回有識者報告会議
2021/03/18

1

ドローンを活用した生育観察「農家が楽できるタマネギべと病の感染株特定」

はじめに
2016年に西日本のタマネギ産地に深刻な被害を及ぼし記録的な不作となった原因の感染疫べと病。 近年、11月～１２月、２月～３月の温暖化による高温・多湿によって発病が助長的であり、多発生傾向となっている。
このベと病の防除は、2月～3月時期に目視による圃場内の一次感染株発生の見回りと感染異常株の抜取り作業を複数回行う必要がある。
このような中、本プロジェクトでは、生産量全国３位の淡路タマネギを、ドローン映像とAI解析を活用したべと病の一次感染株抽出及び感染株位置特定の実証を行う。

効 果○ 目視による圃場内の巡回、生育観察の省力化○ 暗黙知や経験則に頼らない病害判定作業の確保○ 人手不足の解消と栽培作業の効率化・生産性向上○ 農業ワークスタイルの改善、スマート農業化
南淡路農業改良普及センター写真引用

2

事業体制

3

飛行体制
飛行形態

レベル２ 目視内飛行（自動・自律） ※飛行範囲50～70ｍ内飛行機体

DJI製MavicAIR （生育状況観察用）
ＤＪＩ製Phantom4PRO （評価用オルソ画像空撮用）
飛行者
操縦者：田頭 智（フィールドコム）
JUIDA操縦技能証明書、第3級陸上特殊無線技士

安全運航管理者：眞野方仁（フィールドコム）
JUIDA認定SC講師、JUIDA操縦技能証明書・安全運航管理者
第3級陸上特殊無線技士、第4級アマチュア無線技士

補助者：今西沙耶（フィールドコム）
JUIDA操縦技能証明書・安全運航管理者、第3級陸上特殊無線技士
4

飛行方法 ・ データ収集
畝立ての谷筋を沿って飛行する（上からのコースイメージ）
飛行形態：レベル2 目視内飛行（自動・自律）
使用機体：DJI製MavicAIR
飛行範囲：70ｍ以内
飛行高度：2.0m～2.5m
ﾌﾗｲﾄ時間：10分～20分

プロペラのダウンウォッシュ（下方風）
による葉の揺れ、ピンボケを防ぐため
4Ｋ映像小型ドローンを使用した

作付け畝立ての谷筋を沿って飛行する（横からのコースイメージ）取得した空撮写真データ（マーキング有り）

5提案手法の概要
ステップ1:画像処理
ステップ2:畳み込みオートエンコーダを用いた誤差算出
ステップ3:画像判別

CAE
ステップ1

入力データと出力データの誤差算出
ステップ2

図1 : 提案手法の流れ

非罹患株
or罹患株
ステップ3
6

提案手法の概要
ステップ1:画像処理
ステップ2:畳み込みオートエンコーダを用いた誤差算出
ステップ3:画像判別

CAE

入力データと出力データの誤差算出

非罹患株
or
罹患株

ステップ1
図1 : 提案手法の流れ

7

画像処理 -静止画・ドローンを用いて撮影された動画を30フレーム毎に静止画とし取り出す
・異なる角度からの画像を取得
動画

静止画

図2 : 静止画取り出し
大きさ:1920×1080
フレームレート:30fps
撮影日:2020/10/16
場所:兵庫県南あわじ市阿万塩屋

8画像処理 -分割・画像を200×200ピクセルに分割
・学習に適さない画像は除く

図3 : 画像分割

9

提案手法の概要
ステップ1:画像処理
ステップ2:畳み込みオートエンコーダを用いた誤差算出
ステップ3:画像判別

CAE

入力データと出力データの誤差算出

非罹患株
or罹患株

ステップ2
図1 : 提案手法の流れ

10畳み込みオートエンコーダ -CNNとの違いCAE

CNN

入力
データ

教師用データ

教師用データ

正常データ(非罹患株)
異常データ(罹患株)

正常データ(非罹患株)

CNN

正常or
異常

入力
データ

CAE

復元データ

図5 : CNNとCAEの違い

異常データが少ない場合に有効11畳み込みオートエンコーダ -学習入力されたデータを圧縮(エンコード)し特徴量を残した後,元の次元に複合処理(デコード)するようなニューラルネットワーク
入力データと出力データの誤差を算出し，誤差が小さくなるように学習

・・・

入力

出力
デコード
エンコード
誤差を算出
図4 : CAEの構造
12

CAEを用いた誤差算出
・平均二乗誤差を使用=×1

×誤差 小(−非罹患株):平均二乗誤差: 入力データの座標( , , )の画素値: 出力データの座標( , , )の画素値:画像の幅:画像の高さ:画像のチャネル数(=3)

誤差 大罹患株

13

提案手法の概要
ステップ1:画像処理
ステップ2:畳み込みオートエンコーダを用いた誤差算出
ステップ3:画像判別

CAE

入力データと出力データの誤差算出

非罹患株
or罹患株
ステップ3

図1 : 提案手法の流れ

14

画像判別
・教師用画像の入力と出力の誤差の平均と誤差の標準偏差から閾値を決定

罹患株なし
罹患株あり

非罹患株

:教師用画像の誤差の平均:教師用画像の誤算の標準偏差

罹患株

図6 : 誤差の分布

図7 : 正規分布

15

検証実験
実験パターン
1. 画像切り取り手法の違いによる比較
2. 背景切り取りの効果検証
3. 実圃場における検証結果

16

検証実験1 -画像枚数罹患株を手作業で切り取る場合と自動分割で切り取る場合を比較

自動分割

手作業

非罹患株

自動分割罹患株
図8 : 切り取り方法の違い
表2 : データセット作成後の画像枚数

表1 : 画像枚数

非罹患株画像枚数

1682

学習用画像枚数(非罹患株)

1632

罹患株
画像枚数

624

評価用画像枚数(非罹患株)

50

評価用画像枚数 手作業
(罹患株)
自動分割

6

手作業
自動分割

試行毎にデータセット作成

2417

実験条件 -CAE・畳み込み層1,2の大きさ:200×200×64
・畳み込み層3,4の大きさ:100×100×128
・畳み込み層5,6の大きさ:50×50×256
・逆畳み込み層1,2の大きさ:50×50×256
・逆畳み込み層3,4の大きさ:100×100×128
・逆畳み込み層5,6の大きさ200×200×64
・プーリング層1の大きさ:100×100×64
・プーリング層2の大きさ:50×50×128
・プーリング層3の大きさ25×25×256
・アンプーリング層1の大きさ:50×50×256
・アンプーリング層2の大きさ:100×100×128
・アンプーリング層3の大きさ:200×200×64・バッチサイズ:32・試行回数:10・更新回数:20・損失関数:二乗和誤差

・重みの最適化アルゴリズム:Adam
図9 : 実験に用いたCAEの構成
18

実験結果 -判別率10試行の評価用画像の平均判別率と判別率の標準偏差を以下に示す
表3 :平均判別率と判別率の標準偏差

(a)

+2

非罹患株 罹患株(手作業)
平均判別率
標準偏差

98.9
3.6

10.2
18.3(b)

標準偏差

88.8
7.2

4.2
0.9

+

非罹患株 罹患株(手作業)
平均判別率

罹患株(自動分割)83.3
0

罹患株(自動分割)

41.7
5.7

・手作業で切り取った場合，平均85%以上の判別率・自動分割するよりも手作業で切り取った方が判別率が高い
・罹患株の判別率が相対的に低い
19

実験結果 -平均二乗誤差表4 :誤差の平均と誤差の標準偏差

非罹患株

罹患株(手作業)罹患株(自動分割)

誤差の平均0.0170

0.02210.0204標準偏差0.0039

0.00180.0026

手作業で切り取った方が誤差が大きい
判別率が高い画像に占める罹患部分の割合が高い

自動分割

手作業

図10 : 罹患部分の例

20

検証実験3：実圃場における検証
淡路農業技術センター実験圃場の画像を用いて検証を行う

撮影日2020/12/24

撮影日2021/1/4

学習用画像

評価用画像

背景を切り取り，100×100ピクセルに分割する
21

実験条件
・畳み込み層1,2の大きさ:3×3×64
・畳み込み層3,4の大きさ:3×3×128
・畳み込み層5,6の大きさ:3×3×256
・逆畳み込み層1,2の大きさ:5×5×64
・逆畳み込み層3,4の大きさ:5×5×128
・逆畳み込み層5,6の大きさ:5×5×256
・プーリング層1,2,3の大きさ2×2・アンプーリング1,2,3層の大きさ2×2

・バッチサイズ:32
・試行回数:10
・更新回数:20・損失関数:平均二乗誤差
・学習方法:Adam

学習用画像枚数4470

評価用画像枚数

1400

22実験結果（1/3）

23実験結果（2/3）

24実験結果（3/3）

25成果のまとめと今後の方針

まとめ• 手作業で画像を切り抜いた場合、平均判別率約86%を実現• 自動抽出の場合は平均判別率約65%に留まる• 背景切り取りの効果は限定的（平均判別率約65%）• 実圃場における検証では、大まかな位置は掴めている
今後の方針• 株が中央にくるように自動で切り取る手法の開発• 異なる圃場の画像を用いた判別26

ご清聴ありがとうございました27