物体検知および追跡手法を用いた大豆の花数計測システムの開発○織部慧次朗 小澤誠一 （神戸大学）

Development of Flower Counting System for Soybeans Using Object Detectionand Tracking∗Keijiro Oribe and Seiichi Ozawa (Kobe University)
Abstract– In this research, we develop a ﬂower counting system for soybeans from a series of video frame
images to caputer the growth status under outdoor environments. After taking a video recording of a target
soybean, the developed system can detect ﬂowers on every frame images of the movie and track the sameﬂowers across diﬀerent frame images to count the unique number of ﬂowers in a soybean stock. We adopt
Cascade R-CNN for object detection and a hybrid of DSST and Kalman Filter for rubust object tracking.
The performance of the developed ﬂower counting system was evaluated for 138 selected video recordings
taken at 8 soybean ﬁelds. The error rate of ﬂower counting is 48.5% on average and it should be improved
further. However, we veriﬁed that the temporal transions of ﬂower blooming could be captured roughly.
Key Words: deep learning，object detection，object tracking，smart agriculture

1

はじめに
近年，国内農業従事者の減少と高齢化が問題となっているが，ICT を導入して農業の効率化を推進する「スマート農業」が注目されている．スマート農業では，センサやカメラなどから農作物の環境情報や生育情報を収集・蓄積し，適切な栽培環境になるよう制御することの評価について説明する．

提案手法

2

提案手法では，物体検知と物体追跡を併用して一株当たりの花数計測を行う．

2.1

Cascade R-CNN

で農業の効率化，自動化が行われる．本研究では，農Cascade R-CNN は，two-stage detector の一種で，業の高効率化を目指して，大豆の生育情報取得を行う

Faster R-CNN4) に各段階で異なる IoU 閾値を利用すシステム開発を目標とする．

ることができるカスケード構造を追加したモデルとなっ大豆の生育情報を収集するため，全国各地の農業研ている．類似手法である RetinaNet5) や Faster R-CNN，究センター協力のもと 2015 年から 2019 年にわたって，YOLO6) などを上回る，高い検知性能をもった深層学生育の様子を動画で撮影した．2015，16 年は静止画，習モデルである．Faster R-CNN と Cascade R-CNN の2017 年以降は動画での撮影を行った．また，動画から構造の違いを Fig. 1 に示す．

一定間隔ごとにフレームを切り抜き，静止画も取得しFig. 1 の conv はバックボーンでの畳み込み，poolた．一株当たりの花数を得るには，株ごとに撮影する

は領域ごとの特徴抽出、head はネットワークヘッド、ことが理想だが，屋外圃場では株が互いに密集しておcls は分類層，box はバウンディングボックス回帰層をり，動画内に複数株が写り込むことが多い．よって，一表している．Fig. 1 は，Faster R-CNN にネットワー

株当たりの花数計測は難しい問題に属する．

クヘッドを二つ追加したものを一例として示しており，本研究では，屋外圃場で取得した大豆の動画から，右に行くほど学習時の IoU 閾値は高くなる．ここで，一株あたりの花数を計測するシステムを提案する．提ネットワークヘッドは，Anchor Box の中でも Ground案システムでは，動画フレームに対して，物体検知でTruth との IoU が一定以上のものを出力する役割をも花を検知し，物体追跡実現するで花数計測を．物体検つ．Faster R-CNN の場合，RPN から出力された候補知では，大豆の花のような小物体も効率的に学習でき領域に対して，特定の IoU でしか学習できないモデル

る Cascade R-CNN1) を使用した．物体追跡には，花になっている．特定の IoU でのみ学習をすると，低いの特徴量やスケール変化に頑強な Discriminative Scale

IoU で学習した場合にはバウンディングボックスは多Space Tracker (DSST)2) とオクルージョンがあっても様化するが，ノイズの多い検出が多く発生する．逆に，位置や移動速度から追跡可能な Kalman Filter3) を組

高い IoU で学習した場合は，閾値が厳しいため検出数合せた．

は少ないが，未検知数が増えることになる．このよう以下では，まず提案手法について述べ，静止画を用な問題を Cascade R-CNN では各段階で異なる IoU 閾

いた Cascade R-CNN の性能評価と動画での花数計測値をもつネットワークヘッドを追加し，解決している．

で追跡の精度を評価することもできる．PSR はレスポ
ンス画像 ⃗y に対して 1 を適用して得られる．max(·)，

mean(·)，std(·) はそれぞれ ⃗y の全要素に対する最大値，平均値，標準偏差を表す．

P SR(⃗y ) =max(⃗y ) − mean(⃗y )std(⃗y )(1)

この PSR が高いほど，安定して追跡ができていことにFig. 1: Faster R-CNN と Cascade R-CNN の構造なる．

2.3

Kalman Filter

観測値から得られた位置情報により，物体の位置や速度を推定し，安定に追跡する技術にはカルマンフィ
"!


ルタがよく用いられている．カルマンフィルタは，線形，ガウス型の雑音を仮定し，予め与えられた運動モFig. 2: 相関フィルタの例
Faster R-CNN とは異なり，複数のネットワークヘッドを経て段階的に学習することで，本研究で対象となっている花のような小物体も効率的に学習することがで

デルにより次時刻の目標の状態を推定する．本研究で用いる動画は，ある方向に対して，一定の速度でスライドして撮影するため運動モデルには等速運動を用いている．ここで，状態を推定するために，対象のシステムに対して式 (3) のように状態空間モデルを与える．

きる．

2.2

DSST

⃗xt

=

F⃗t ⃗xt−1 + w
⃗t

(2)

⃗zt=

⃗ xt + ⃗vt
H⃗(3)

Discriminative Scale Space Tracker (DSST) は物体

式 (3) は目標の状態遷移を表わす運動モデルと目標と追跡を行う機械学習手法である．物体追跡とは，動画内観測値との関係を表わす観測ベクトルを表している．⃗
xtで指定した物体がどこに移動するか移動量を推定する

は目標の状態ベクトルで，位置と速度の情報をもつ．ま⃗t は状態遷移行列であり，ここでは式 (4) の等速た，Fタスクである．これには状態空間モデルやテンプレートマッチングなど様々なアプローチがあるが，DSST は相関フィルタ8)という手法をベースにしている．

Fig. 2 に相関フィルタの一種である MOSSE フィル

直線運動モデルを用いる．
][I⃗ ∆tI⃗⃗Ft =⃗OI⃗(4)タ 9) の例を示す．DSST はこの MOSSE フィルタを多次元に拡張した上に，スケール変化も追跡する処理を追加した相関フィルタである．ここでは，移動追跡に

ただし ∆t はサンプリング間隔，行列 I は単位行列で⃗ はH⃗ = (O⃗ I)⃗ で表わされる観測行列，wある．また,H⃗t定したバウンディングボックス領域内のパッチ画像を⃗ t のシステム雑音ベクトル
は平均 0，誤差共分散行列 Q⃗ t の観測雑音であり，vt は平均 0 で誤差共分散行列 R

元に相関フィルタの初期値を構築し，次フレームの同ベクトルである．こうして得た状態空間モデルをもとじ領域にフィルタを適用して移動量を推定する．移動に物体の状態，誤差共分散を予測，更新することで物先のパッチ画像をもとにフィルタを更新し，以後は移体を追跡する．

動とフィルタ更新を繰り返して追跡する．DSST では，2.4

関して説明する．移動追跡を行う際は，まず最初に指花数計測システム

追跡のロバスト性を上げるためにパッチ画像の HOG本研究では，動画の中に写っている一株当たりの花

特徴量 10) をとったマルチチャネル画像を用いてフィルの個数を計測することを目的とする．入力する動画はタを構築する．

大豆の株を下から上までスライドしながら撮影した動

次フレームの同じ領域から得た HOG 特徴画像から画を用いる．提案手法の処理は主に，(1) 花，主茎の検フィルタを用いて，歪んだガウスピークを中心付近に知，(2) 検知領域の設定，(3) 花の追跡の三つで構成されもつ画像を得る．前フレームとのピークの中心からのている．まず，入力された動画の各フレームにおいて，ずれが移動量の推定値となり，これをもとにして移動Cascade R-CNN を用いて花，主茎の検知をする．ここを繰り返す．さらに，このレスポンスに対して Peak toで，フレームに写っている一株当たりの花の個数を計測

Side-lobe Ratio (PSR) という指標の値を求めることするためには，複数の株の中から対象の株を見極める

未計測となる物体が課題となっていた．従来手法において，オクルージョンの原因となってるのは，DSST がバウンディングボックスの領域内のパッチ画像の特徴をもとに追跡を行っていたためである．オクルージョンが起きると，特徴が全く別の物体になることにより PSR(a) 青い棒が目印の例(b) 仕切りで囲われている例

が著しく下がり，追跡を終了してしまう．そこで，特徴による追跡に加え，Kalman Filter によるバウンディ

Fig. 3: 対象とする株の例

ングボックスの位置情報をもとに追跡することによって，オクルージョンによる重複を防ぐ．Kalman Filterの追加によって，オクルージョンにより PSR が著しく下がり，DSST が追跡を終了しても位置情報をもとに追跡を継続することができる．また，棄却領域をなくしたことによって，未計測を従来手法よりも減らすことができる．この二つの追跡手法を用いて，得られたバウンディングボックスに対して，二つの処理を行う．
まず一つ目の処理では，前フレームからの DSST の追跡結果と花のバウンディングボックスの IoU がしき

Fig. 4: 検知領域の設定

い値以下ならその追跡ボックスを花のバウンディングボックスに追加する．ここで，追跡結果を検知結果とし必要がある．ここでの対象の株とは，Fig. 3(a) のようて，追加する理由としては，連続した検知がされないに株の後ろに棒が刺さっているものや Fig. 3(b) のよう花を Kalman Filter にて追跡するためである．Kalmanに仕切りで囲われている株を対象としている．ここで，Filter には初期値を与えているのみで，最低でも状態の画像内に写っている花全てを計測しても求めている生育更新が 2 回なければその後に，正常な追跡はできない．

情報は得られないため Fig. 4 のように検知する範囲をそのため，連続した検知がされない花の検知結果を補定める．Fig. 4 は，検知領域の範囲 r = (rx , ry , rw , rh )うために DSST の追跡結果を追加している．二つ目のとして，式 (5) で表される．

処理では，得られたバウンディングボックスを Kalmanrx = bx ,ry = by ,rw = bw + w/2,

Filter，DSST それぞれの追跡器に適用していく．花のrh = h(5)

こ こ で ，主 茎 の バ ウ ン ディン グ ボック ス を b=がしきい値以上で重複しているなら，Cascade R-CNN(bx , by , bw , bh )，入力画像の縦と横の大きさをそれぞれの出力を受け取ってフィルタ初期値を再構築し，次のh，w とする．また，bx ，by ，bw ，bh はそれぞれ，中心フレームから追跡を再開する．逆に，Cascade R-CNNの x,y 座標，横幅と高さを示す．これまでの処理をもとのボックスがどの追跡器とも IoU がしきい値未満，つに，Cascade R-CNN から検知領域内に存在する花のバ

まり追跡されていない物体を検知したら，新たにボッウンディングボックスを得る．次に，従来手法におけるクスを用意して次のフレームから追跡を始める．DSST

棄却領域についての説明とともに Kalman Filter のメが新たな物体を追跡し始めるごとに物体数を +1 する．

リットを述べる．従来手法では，追跡手法が DSST の

ここで，Kalman Filter は DSST の追跡を補助するもみであったため簡単なオクルージョンで重複して計数しのであり物体数には関係していない．てしまっていた．そこで，追跡手法に処理を追加するのではなく，検知結果から不要なものを削減するという後処理を追加することで重複計数を防いでいた．ここで，ある DSST の出力を t = (txmin , tymin , txmax , tymax )とする．全ての DSST の出力の中で tymin が最小のものを選び，そのボックスの下底辺，つまり tymax を軸とする境界線を引く．その境界線より下部の全領域を棄却領域と設定している．棄却領域内では，バウンディングボックスが得られても追跡せず，物体数にもカウントしない．しかし，この棄却領域によって検知されずにバウンディングボックスと追跡器が出力したボックス

次に Kalman Filter，DSST が追跡を打ち切る条件について説明する．それぞれに共通した条件として，

Cascade R-CNN の検知結果を受け取らずに長く追跡が続いている場合である．まずそれぞれの経過時間を計測するパラメータを追加する．このパラメータは初期値が 0 で，追跡結果がどの検知結果ともマッチしないフレームにおいて 1 ずつ加算していく．この経過時間がしきい値を超えた場合も追跡が打ち切られる．DSST に固有の条件として PSR のしきい値より PSR が小さくなった時である．本手法では，検知結果として，DSSTTable 3: データセット

Table 1: 各年度の撮影方法
年度

データ

動力

カメラ台数

枚数 (枚/株)

年度

地点

花動画

選定動画

花画像

2015

静止画

モーター

1312015 年

A——1193

2016

静止画なし

55

A

——654

2017

動画

手動

17

B

——1503

2018

動画

手動

17

C

——550

2019

動画

手動

17A

128

16850

B

195

12436

2016 年2017 年

Table 2: データセット構成
訓練データ数テストデータ数

C

188

16755

花30729

1711

A

237

12682

子実

40898

3186

C

540755主茎22552652018 年の追跡結果を用いるため PSR を高めに設定し，誤追跡物体を検知結果として追加しないようにしている．こ
うして 1 つの動画の中で生成した DSST の総数を花数として，最終的な出力とする．

実験

3実験では，動画に対する花数計測の評価を行い，提2019 年

案手法がどの程度正確に一株当たりの花数を計測できD

30094E167

10556

F11815404G240168

H550191

A8015172

B

19496CD

27488876
4230769

E169

また，個数計測は，検知精度と追跡F

346404精度の二つの精度が重要であるため先行実験において，

H

72

16150

1648

13810148

るか検証する．

Cascade R-CNN の有効性を検証する．
3.1

データセット

本研究で用いるデータは，2015 年度から 2019 年度

合計

3.2

物体検知の評価

花検知の評価は Average Precision で行った．Aver-にかけて，全国各地の農業研究センターの協力のもと

age Precision は，モデルの Recall-Precision 曲線をと撮影を行って収集した．大豆の株は，通常の屋外圃場り，曲線とグラフの縦軸・横軸がなす図形の面積としに植えられたものを撮影対象としている．花は上空かた．Cascade R-CNN の性能評価にあたり，比較対象とらは確認できないため，直接圃場に立ち入る必要があして RetinaNet7) ，Faster R-CNN7) を用いた．back-る．また，十分に捉えるためにはある程度の近距離でbone は層数が 50 層の Residual Net50 と層数が 101 層撮影する必要があり，一枚の写真では株全体を収めるの Residual Net101 を用いた場合の 2 通りを比較した．

ことができない．そこで，株全体を収められるようなまず，各モデルの Precision-Recall 曲線を AP 50 ，AP 75撮影装置を用いて撮影した．Table 1 に各年度の撮影方それぞれについて Fig. 5，Fig. 6 に示す．Fig. 5，Fig. 6法をまとめた．2015，16 年は静止画で，2017 年以降はから，IoU のしきい値を下げると，Precision-Recall 曲

動画で撮影している．動画からは一定間隔のフレーム線は全体的にグラフの右側に伸びていくことが分かる．

で静止画を切り抜くことで静止画データセットも同時

これは，IoU のしきい値を下げていくほど検知成功と判に収集している．Table 3 に今回用いたデータセットを定される検知結果の数が単調増加し，Precision と Re-

示す．静止画をアノテーションする際には，成熟していながらはっきりと写っている物体を正解に記録した．

call の性能が良くなっていくためである．しかし，しきい値が低すぎると検知しているように見えないのにアノテーションによって得られた各年度，各圃場におけ検知成功と判定されてしまう場合があるので，高いしる花のデータセットの情報について，Table 3 に示す．

きい値でも良い曲線を得られるモデルが理想とされる．

花動画，花画像とは，花が存在する動画数，画像数をCascade R-CNN50 は，AP 50 においては，Faster R-示す．選定動画は花動画の中から対象の株のみの計測

CNN101 に精度で劣っているが，AP 75 では曲線下面が困難な動画を花動画から除き，花数推移を得るため積の差が大きくなっていることから精度で優っているにできる限り同じ区画から選定した動画数を示す．

ことがわかる．これは，Cascade R-CNN のバウンディ

Table 4: 花数計測結果
手法

正解

推定誤差率

未計測

重複計測

M1

6.42

7.13

10.12

00.56

M2

6.42

20.38

191.07013.25

M3

6.42

6.5

-7.14

2.38

1.75

M4

6.42

4.63

-33.93

3.63

1.13

Table 5: 各手法の構成要素技術

50

Fig. 5: 各モデルの Precision-Recall 曲線 (AP )手法

構成要素技術M1

Cascade R-CNN，DSST，Kalman Filter

M2

Cascade R-CNN，DSST

M3

Cascade R-CNN，DSST，棄却領域

M4

RetinaNet，DSST，棄却領域のように省略のため手法を番号で表記している．

Table 4 の結果についてそれぞれ見ていく．まず，誤差に関しては，提案手法である M1 より既存の追跡手法である M3 の方が誤差が少ない．これは，重複計測数と未計測数が打ち消しあっていることが大きい．そのため、M3 と M4 は棄却領域により重複計測を抑えることができていた一方で，未計測数が非常に多いことがわかる．次に、提案手法である M1 と M2 を比べる

Fig. 6: 各モデルの Precision-Recall 曲線 (AP 75 )と、誤差は少なくなっている．これは，Kalman Filterによってオクルージョンに対しての追跡ができたことが大きい．そのため重複計測数が減少している．また，ングボックスが他のモデルに比べてより Ground Truth

M3 と M4 の未計測数を比べると M3 の方が少なく，重に近いことを意味している．

複計測数が多いことからも Cascade R-CNN によって花数計測の評価

3.3

法で得られた花数と実際の花数との比較を行う．実際

手法

Table 6: 花数計測結果(a) 2017 年 B
正解
推定 誤差率 未計測の花数は動画を各フレームについて目視で確認し数え

M1

12.11

19.11

57.8

06.44

上げて取得した．Table 3 の選定動画について，計測

M2

12.11

26.11

115.6013.44

手法正解(b) 2017 年 C
推定 誤差率 未計測

各動画 60fps で 10 秒を超える動画が多くを占めるため

M1

77.5

7.14

00.38

目視によって評価を行う．花数推移のデータに関して

M2

720.38191.07013.25

手法正解(c)2018 年 A
推定 誤差率 未計測

す．Table 4 の各項目について，ここで定義する．以下

M1

10.75

15.5

44.1904.75の定義において，それぞれの値は圃場ごとの平均数を

M210.75

20.75

93.02010

手法正解(d)2019 年 C
推定 誤差率 未計測

M14.339.17111.54

04M24.3310.83

15005.67

花数計測では定量的な評価指標がないため，提案手重複計測を行い，結果を考察する．ここで，より定量的かつ再現性を高めるために一つの動画全てのフレームをアノテーションを行い，計測することが望ましい．しかし，は，より信憑性を高めるためにアノテーション同様複数人による目視での計測を行っている．各年度の圃場全体において，花数計測を行った結果を Table 4 に示示している．正解，推定はそれぞれ，実際の花数，推定結果の花数を示している．また未計測，重複計測はそれぞれ，目視で確認した結果，花数推定の際に計測できていない花数，目視で確認した際に推定結果が花を重複して計測した花数を示している．加えて，Table 5

重複計測

重複計測

重複計測

花数は 7.0 個に対して誤差は 0.5 個 (7.1%) だった．計
測結果より，限られた圃場においては生育情報の収集に有効であることが確認できた．今後は，小物体の検知性能を向上させ，重複検知と未検知をさらに抑えた個数計測手法を考案し，動画からより正確な個数計測(a) 2017 年 B，09-1(b) 2017 年 C，14-2-1ができるようにしたい．

5

謝辞
本研究は、平成 27〜令和元年度農林水産省委託プロジェクト研究「多収阻害要因の診断法及び対策技術の開発」の助成を得て行われた.
(c) 2018 年 A，50-1(d) 2019 年 C，08Fig. 7: 各区画における花数の推移
検知精度が向上していることがわかる．次に特定の年度，圃場ごとにまとめたものを Table ??(a)-(d) にそれぞれ示す．また，またそれぞれの圃場における区画ごとの花数推移の結果を Fig. 7 に示す．圃場ごとに精度にばらつきが見られた．よく計測できたのは 2017 年 Cだった．Fig. 7(b) を見ても正解数と推定結果に正の相関が見られる．特徴として，オクルージョンは多いが1 秒以下と短いこと，また撮影装置を一定の速度で引き上げていたことである．提案手法 M1 に対して，M2の精度が悪いことからもオクルージョンの多さがわかる．これは，DSST が短いオクルージョンにも対応できてないことが顕著に現れている．M1 の精度が良い要因として，比較的に大きい花が多くオクルージョン後にすぐに検知し Kalman Filter を補正ができていることも大きい．一方で，他の圃場では重複計測が多かった．要因としては，長いオクルージョンやスライダーを引き上げる際の横揺れ，速度が不安定なケースが多かった．

4おわりに
本論文では，動画から一株当たりの花数を自動で計測するために，Cascade R-CNN の物体検知と DSST，Kalman Filter の物体追跡を組み合わせた花数計測手法を提案した．実験では，花数計測の性能評価に加えて，先行実験として Cascade R-CNN の物体検知の性能評価を行った，物体検知の評価では，テストデータに対して Cascade R-CNN，RetinaNet，Faster R-CNN の検知性能を評価した．結果，Cascade R-CNN が AP 50 ，AP 75 において他モデルに比べて高い性能を示した．目
視で数えた花数と提案手法による推定結果を比較した
ところ，一株当たりの平均花数 14.2 個に対して誤差は6.8 個 (48.5%) だった．特に長いオクルージョンや，撮影の際の横揺れに対して，重複計測が増加する傾向にあった．限られた圃場においては，一株当たりの平均

参考文献
1) Zhaowei Cai and Nuno Vasconcelos. Cascade rcnn: Delving into high quality object detection.
In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 6154–6162, 2018.
2) Martin Danelljan, Gustav Hager, Fahad Shahbaz Khan, and Michael Felsberg. Accurate Scale
Estimation for Robust Visual Tracking. In Proceedings of the British Machine Vision Conference. BMVA Press, 2014.
3) Greg Welch, Gary Bishop, et al. An introduction
to the kalman ﬁlter. 1995.
4) Shaoqing Ren, Kaiming He, Ross Girshick, andJian Sun. Faster R-CNN: Towards Real-Time
Object Detection with Region Proposal Networks. In Advances in Neural Information Processing Systems 28.
5) Tsung-Yi Lin, Priya Goyal, Ross B. Girshick,Kaiming He, and Piotr Dollár. Focal Loss forDense Object Detection. In IEEE International
Conference on Computer Vision, ICCV 2017,
Venice, Italy, October 22-29, 2017, pp. 2999–3007, 2017.
6) Joseph Redmon, Santosh Kumar Divvala,Ross B. Girshick, and Ali Farhadi. You Only
Look Once: Uniﬁed, Real-Time Object Detection. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las
Vegas, NV, USA, June 27-30, 2016, pp. 779–788,
2016.
7) Wei Liu, Dragomir Anguelov, Dumitru Erhan,Christian Szegedy, Scott E. Reed, Cheng-Yang
Fu, and Alexander C. Berg. SSD: Single Shot
Multibox Detector. CoRR, Vol. abs/1512.02325,2015.
8) B. V. K. Vijaya Kumar and Abhijit Mahalanobis,and Richard D. Juday. Correlation PatternRecognition. Cambridge University Press, 2005.
9) David S. Bolme, J. Ross Beveridge, Bruce A.
Draper, and Yui Man Lui.
10) N. Dalal and B. Triggs. Histograms of Oriented
Gradients for Human Detection. Computer Vision and Pattern Recognition, 2005. CVPR 2005.
IEEE Computer Society Conference on, Vol. 1,
pp. 886–893, 2005.