修士学位論文

2022（令和４）年度

遠赤外線カメラを用いたハウス内ピーマンの果実認識

Recognition of sweet pepper fruit in green houseusing far-infrared camera

2023 年 3 月 3 日

高知工科大学大学院 工学研究科基盤工学専攻
知能機械工学コース
1255015
指導教員

多田
岡

直矢

宏一

教授

目次
第1章

序論 ......................................................................................................................................1

1.1 研究背景と目的 ....................................................................................................................1
1.2 自動収穫ロボットの課題 ....................................................................................................2
1.3 遠赤外線カメラを用いた認識 ............................................................................................2
第2章

検出方法 ..............................................................................................................................3

2.1 遠赤外線カメラを用いた検出方法 ....................................................................................3
2.2 自動検出方法 ........................................................................................................................3
第3章

ハウス内でのデータ取得実験 ..........................................................................................4

3.1 実験目的 ................................................................................................................................4
3.2 実験機器 ................................................................................................................................4
3.3 実験方法 ................................................................................................................................4
3.4 実験日 ....................................................................................................................................4
3.5 2019 年 12 月の実験結果 .....................................................................................................4
3.5.1

12 月 11 日の結果 .........................................................................................................5

3.5.2

12 月 14 日の結果 .........................................................................................................7

3.5.3

12 月 17 日の結果 .........................................................................................................9

3.5.4

考察 ..............................................................................................................................10

3.6 2022 年 12 月の実験結果 ...................................................................................................11
第4章

画像処理と評価方法 ........................................................................................................14

4.1 画像処理 ..............................................................................................................................14
4.2 評価方法 ..............................................................................................................................15
第5章

機械学習 ............................................................................................................................17

5.1 学習方法 ..............................................................................................................................17
5.2 学習精度 ..............................................................................................................................17
5.3 学習したモデルによるしきい値推定と画像処理 ..........................................................18
5.4 画像処理結果 ......................................................................................................................18
5.5 考察 ......................................................................................................................................18
第6章

冬季の夜間における検出 ................................................................................................22

6.1 ボイラを使用した際の温度 ..............................................................................................22
6.2 冬季夜間の検出方法 ..........................................................................................................22
6.3 検出結果 ..............................................................................................................................23
6.4 考察 ......................................................................................................................................23
第７章 画角の調整 ........................................................................................................................25

7.1 遠赤外線画像と深度画像の画角の調節 ..........................................................................25
7.2 計算 ......................................................................................................................................26
7.3 変換結果 ..............................................................................................................................27
7.4 考察 ......................................................................................................................................28
第8章

深度情報を用いた検出 ....................................................................................................29

8.1 画像処理過程の変更点 ......................................................................................................29
8.2 学習精度 ..............................................................................................................................29
8.3 検出結果 ..............................................................................................................................30
8.4 考察 ......................................................................................................................................30
第9章

特徴量としきい値の関係 ................................................................................................34

9.1 特徴量としきい値 ..............................................................................................................34
9.2 60 分前との温度差を変化させた場合 .............................................................................34
9.3 推定結果 ..............................................................................................................................34
9.4 考察 ......................................................................................................................................34
第 10 章深度情報を用いた冬季夜間の検出 ..............................................................................37

10.1 検出の概要と夜間の温度 ................................................................................................37
10.2 検出結果 ............................................................................................................................38
10.3 考察 ....................................................................................................................................38
第 11 章結論 ..................................................................................................................................42

11.1 まとめ ................................................................................................................................42
11.2 今後の展望 ........................................................................................................................43
付録 ....................................................................................................................................................44
付録 A

実験機器 .........................................................................................................................44

付録 B

ハウスのデータ取得実験結果 .....................................................................................46

付録Ｃ 機械学習を用いた自動検出結果 ................................................................................52
付録Ｄ 冬季夜間の検出結果 ....................................................................................................58
付録Ｅ 深度情報を用いた検出結果 ........................................................................................61
付録 F

特徴量 .............................................................................................................................67

付録 G

複数の点で温度を測定した際のグラフ .....................................................................71

謝辞 ....................................................................................................................................................79
参考文献 ............................................................................................................................................80

第1章

序論

1.1 研究背景と目的
近年の農業における現状として農林水産省による 2018 年～2022 年の農業就業人口と 65
歳以上の人口のデータ(1)を図 1-1 に示す．図 1-1 によると農業就業人口は 2018 年の 145.1 万人から 2022 年の 122.6 万人へと毎年減少している．また 65 歳以上の高齢者の割合は 2018
年から順に 68.0%，69.7%，69.6%，69.5%，70.1%と高く，就業人口の減少と高い高齢者割合により農家の負担が大きい状態である．
これらの問題に対処するため農林水産省は「ロボット技術や ICT を活用して超省力・高品質生産を実現する新たな農業を実現」(2)にむけてスマート農業を推進し，農業に関する様々な分野で自動化に向けて研究開発が行われている．
200

×104
Agricultural working population
over 65 years old

180
160

145.1

140.4

136.3

population

140
120

98.7

97.9

130.2

94.9

100

90.5

122.6
86

80
60
40
20
0
2018

2019

2020

2021

2022

year

Fig.1-1 Agricultural working population(1)
高知県における基幹農業(3)として全国的に見て収穫量が多い茄子，ピーマン，ぶんたん等があげられる．特に本学から程近い土佐市や安芸郡芸西村においてピーマンの生産が盛ん(4)であることから今回は施設園芸のピーマンを対象物とする．
農作業の負担に関して，北野ら(5)によると施設園芸におけるイチゴの作業負担の事例として，収穫期において疲労自覚症状の訴え率が高くエネルギーの消費量が摂取量より多いことから，農作業の中でも収穫作業の負担がより大きい．
本研究では農作業の効率化のために収穫作業の自動化を目指し，ピーマンの自動収穫ロ
ボットの開発を目的とする．

1

1.2

自動収穫ロボットの課題

農作物を対象とした自動収穫ロボットの事例として図 1-2 に示すような inaho 株式会社のアスパラ収穫ロボット(6)(7)やイチゴ収穫ロボット(8)が挙げられる．双方ともカメラを用いて対象物の正確な位置情報を認識してから収穫を行うものだが，認識機能としてアスパラの場合認識の邪魔になる物体が少なく，イチゴの場合は葉や茎と果実との間に明確な色の違いがあることから，RGB カメラ等を用いて色のしきい値によって対象物の認識を行うことが比較的容易であると考えられる．しかし，ピーマンのように葉が生い茂り葉と果実に色や形の違いが少ないような対象物の認識性能は必ずしも高くない．ピーマンの自動収穫ロボ
ットの事例として AGRIST 株式会社のロボット(9)が挙げられる．これは RGB カメラと深度
カメラ，AI 技術を用いて収穫時期の果実の認識を行っている．この認識機能だけでは収穫
時期の果実のすべてを認識することは難しいため，別の方法を用いることで既存の技術の弱点を補う必要がある．

Fig.1-2 Asparagus harvesting robot(6)1.3 遠赤外線カメラを用いた認識
ピーマンを検出するために葉と果実の識別方法が重要である．多田敬佑ら (10)によると葉と果実の温度の違いに基づく遠赤外線カメラを用いた方法が提案されており，有効性が示されている．
本研究では遠赤外線カメラによる温度情報に基づいて，果実の認識率の向上のために AI
技術を用いた提案を行う．具体的には処理を行う際に室温や湿度を用いたしきい値処理を自動で行い，遠赤外線画像の処理精度を向上させる．

2

第2章

検出方法

本章では，ピーマン果実の検出方法について述べる．
2.1 遠赤外線カメラを用いた検出方法
ピーマンの葉と果実を区別し検出する方法として蒸散作用(11)と葉と果実の熱容量の違い
による温度差を利用することが提案されている(10)．昼間のハウス内のように照度が大きく
湿度が低いときには多くの蒸散作用が発生し葉の温度が低くなることが知られている．また果実は中が空洞で空気が入っているため熱容量が大きく，葉は薄いため熱容量が小さいことから，果実より葉の方が温度は変化しやすい．昼間だけでなく冬季の夜間にボイラを使用した際にも葉と果実の間に温度差が生じる．
上記の温度特性に対して有効な検出方法として遠赤外線カメラを用いて果実を検出する方法が挙げられる．遠赤外線カメラは撮影した画像内の 1 ピクセルごとの温度情報が取得可能である．例えば，モノクロの画像であれば温度が高い部分が黒く，低い部分が白くなり
画像内でそれぞれの物体に温度差が生じている場合に判別することが可能である．遠赤外線カメラを用いて葉と果実の間に温度差が生じる条件下において撮影を行うことで果実の検出を行う．
2.2 自動検出方法
自動検出方法はピーマンの遠赤外線データに対して温度のしきい値処理など画像処理を行い果実を検出する．しきい値処理は遠赤外線データの中で指定した温度範囲のピクセルを検出し二値画像を生成する．しきい値はハウス内の温度を基準とした値で，理想的にはピーマンの果実の温度の範囲であり，自動で決定する必要があるが昼間と夜間ではしきい値の決定方法は異なる．
昼間の場合，機械学習を用いてしきい値を決定する．まず学習用のデータに対して複数のパターンのしきい値すべてに対して画像処理を試行し，画像処理過程で検出率の評価を行う．評価結果のよいしきい値を用いて機械学習を行い，学習したモデルにより学習に用いていないデータに対して最適なしきい値を推定する．推定したしきい値を用いて画像処理を行うことで果実を自動検出するという手順で行った．
画像処理と評価方法は 4 章、機械学習については 5 章で詳細に述べる．夜間の場合は機械学習を行わずしきい値を決定するが，詳細は第 6 章で述べる．

3

第3章

ハウス内でのデータ取得実験

本章では，ハウス内のデータ取得実験について述べる．
3.1 実験目的
ピーマン果実の自動検出はリアルタイムで行う必要があるが，検出方法を検討するためにまずデータを収集しそのデータに対して自動検出可能であるか検証する．データ取得のために複数回，農業ハウス内で実験を行った．
3.2 実験機器
実験機器はピーマンの葉と果実の温度を測定するための遠赤外線カメラ(optris 社：
xi400)，ハウス内の温度・湿度・照度・紫外線強度の取得のために高精度温湿度センサと照度・紫外線センサ，データ保存のためのデータロガー(株式会社ティアンドデイ：SHA3151，ISA-3151，TR-74Ui)を用いた．2021，2022 年の実験の撮影した物体までの距離を測定する深度カメラ(intel 社：Intel Realsense D435i{2022 年}及び D455{2021 年})を用いた．
温湿度センサはハウス内に直接設置した場合，太陽光によって温まり正確な測定が行えなくなるため，センサに直接日光があたらないようにし空気の循環を行う強制通風装置を製作した．
3.3 実験方法
実験場所には高知県安芸郡芸西村のハウスを利用した．実験方法として遠赤外線カメラ
でピーマンの葉と果実の温度を測定．温湿度センサ，照度・紫外線強度センサ及びデータ
ロガーでハウス内の環境情報の取得を行った．深度カメラで深度画像，深度の数値デー
タ，RGB 画像の取得を行った．すべての機器で測定間隔は 1 分とした．
3.4 実験日
実験日は 2019 年 6 月 25 日 11:00 から 6 月 27 日 10:59，2019 年 12 月 10 日から 2019 年

12 月 20 日，2021 年 2 月 18 日から 2 月 22 日，2022 年 12 月 07 日から 12 月 18 日の 4 回行った．取得した実験結果については冬季の一部のみ述べる．
3.5 2019 年 12 月の実験結果
実験結果として，ハウス内温度とピーマンの葉と果実の温度をグラフ化した．葉と果実の温度はそれぞれ画像内の特定の 1 ピクセルの温度を用いた．遠赤外線画像を 1 時間ごとにまとめ，ピーマンと葉の温度の様子をわかりやすくした．遠赤外線画像において色が黒
い方が温度は高く，白い方は温度が低い．冬季の実験のうち 12 月 11 日，14 日，17 日の結果を示す．天候について 11 日は曇り,14 日は晴れ，17 日は曇りのち雨である．

4

3.5.1

12 月 11 日の結果

図 3-1 に温度を取得した箇所，図 3-2 に温度の推移のグラフを示す．図 3-3 と図 3-4 にはそれぞれ 0:00 から 2:00，8:00 から 17:00 の温度を拡大したものを示す．また図 3-5 に 1 時
間ごとの遠赤外線画像を示す．

図 3-3 より深夜は温度差は小さく温度はあまり変化していない．図 3-4 より日中の10:00 から 15:00 付近までは大体の時間で 2℃程度の温度差が見られる．ただし 12:00
から 12:30 付近の時間帯において温度差は小さくなっている．図 3-5 より 9:00 と 10:00
では果実ではなく右上の葉の温度が上がり黒くなっている．11:00 から 14:00 においては果実はおおむね黒くなっており，夜間は 0:00 だけ比較的果実が黒くなっていることがわかる．

Fig.3-1 Extraction location

Fig.3-2 Temperature and timeon December 11, 2019

Fig.3-3 Expanded from 00:00 to 02:00

Fig.3-4 Expanded from 08:00 to 17:00

5

Fig.3-5 Infrared image taken every hour on December 11, 20196

3.5.212 月 14 日の結果

図 3-6 に温度を取得した箇所，図 3-7 に温度の推移のグラフを示す．図 3-8 と図 3-9 にはそれぞれ 0:00 から 2:00，8:00 から 17:00 の温度を拡大したものを示す．図 3-10 に 1 時間ごとの遠赤外線画像を示す．

図 3-7 より夜間にほぼ一定の間隔で小刻みに温度が変化していることがわかる．図
3-8 より夜間の温度差はハウス内温度が上がりきる直前と下がりきる直前に大きくなっていることがわかる．図 3-9 より日中 10:00 から 15:00 において温度は小刻みに変化しているが，温度差は 3℃から 6℃程度ある．10:00 から 12:00 の間で果実の温度はハウスの温度より 2℃から 5℃大きくなっている．図 3-10 より日中 11:00 から 16:00 は果実が黒くなり，夜間に関しても 4:00・21:00・23:00 は比較的果実は黒くなっている．

Fig.3-6 Extraction location

Fig.3-7 Temperature and timeon December 14, 2019

Fig.3-8 Expanded from 00:00 to 02:00

Fig.3-9 Expanded from 08:00 to 17:00

7

Fig.3-10 Infrared Image taken every hour on December 14, 20198

3.5.312 月 17 日の結果

図 3-11 に温度を取得した箇所，図 3-12 に温度の推移のグラフを示す．図 3-13 と図 3-14にはそれぞれ 0:00 から 2:00，8:00 から 17:00 の温度を拡大したものを示す．図 3-15 に 1 時
間ごとの遠赤外線画像を示す．
図 3-12 より一日を通して温度差は小さいことがわかる．図 3-13 より夜間の葉の温度が高くなっている時間に 2℃程度の温度差が見られ，温度の下がり方は緩やかである．図 314 より日中において 13:00 付近まで温度差はほぼ見られず，13:30 以降は 2℃程度の温度差が見られる．図 3-15 より 14:00 と 15:00 のみ葉と果実の色の違いが大きい．

Fig.3-11 Extraction location

Fig.3-12 Temperature and timeon December 17, 2019

Fig.3-13 Expanded from 00:00 to 02:00

Fig.3-14 Expanded from 08:00 to 17:00

9

Fig.3-15 Infrared Image taken every hour on December 17, 2019

3.5.4 考察
図 3-5 と図 3-10 において葉が黒くなっていたのは午前中ハウスの温度が上がりきる前に日光が良く当たっていたために局所的に温度が上がったのではないかと考える．図 3-9 より昼間に温度差が出ていることから日中に晴れであれば赤外線カメラによる検出は可能であると考えられる．図 3-4 では曇りの日中で温度差が見られ，図 3-14 では曇りのち雨で
13:30 以降に温度差が見られるため，悪天候下においても外気温もしくは天候の変化など
10

の要因でハウス内の温度が短時間で変化した場合，葉と果実の温度差が発生し検出は可能であると考える．図 3-8 と図 3-13 より夜間に温度が変動しているのはハウス内でボイラを作動させているためであり検出に利用できる可能性があると考える． 図 3-8 より図 3-13の方が温度の変化が少ないのは図 3-13 の日の方が夜間の外気温が高く，ハウス内の温度はあまり低下しなかったためだと考える．
3.6 2022 年 12 月の実験結果
2019 年 12 月とほぼ同様の条件で実験を行った．新たに深度カメラの画像と数値データを取得した．2022 年 12 月 7 日(晴れ)の実験結果を示す．図 3-16 に温度を取得した箇所，
図 3-17 に温度の推移のグラフを示す．図 3-18 と図 3-19 にはそれぞれ 0:00 から 2:00，8:00
から 17:00 の温度を拡大したものを示す．図 3-20 に 1 時間ごとの遠赤外線画像を示す．図3-21 に 1 時間ごとの深度画像を示す．深度画像は色が青い方が近く，赤い方が遠い．黒色の部分は深度を測定できていない箇所である．深度画像は 1 日の間であまり大きな変化はなかった．

Fig.3-16 Extraction location

Fig.3-17 Temperature and timeon December 7, 2022

Fig.3-18 Expanded from 00:00 to 02:00

Fig.3-19 Expanded from 08:00 to 17:00
11

Fig.3-20 Infrared Image taken every hour on December 7, 2022

12

Fig.3-21 Depth image taken every hour on December 7, 2022

13

第4章

画像処理と評価方法

本章では，画像処理過程と検出結果の評価方法について述べる．
4.1 画像処理
遠赤外線カメラで取得した温度情報のみで検出を行うとハウスのビニールの部分など果実以外の箇所が多く検出されるという問題がある．画像処理を行うことで視覚的に果実を判別しやすく，果実以外の不必要な箇所を比較的容易に削除することができる． 画像処理
過程を図 4-1 に示す．①～⑤までは自動検出の際に行う処理過程である．（1）と（2）は機械学習に結果を利用するために行う処理で，実際に自動検出を行う際は行わない．
①遠赤外線カメラで撮影した温度データに対してしきい値処理を行いしきい値の範囲内の温度のピクセルを検出する 2 値画像を生成する．
(1)すべてのパターンのしきい値について画像処理を試行する．しきい値は昼間の処理過程の場合，検出する時刻のハウス温度を基準として何℃から何℃までという値であり，-4～4℃の範囲で 0.5℃ごとにしきい値のパターンがある．例えば-3.5~2.0℃や 1.0~2.5℃といった値をとる．
②指定した大きさ以下の面積のオブジェクトを削除する．
(2)機械学習に利用するための検出精度の評価を行う．小さい面積のオブジェクトを削除する理由は背景や茎などのノイズを削除するためである．
③平滑化（モルフォロジー変換(12)）を行う．これを行うことで検出される画像の形状を整える．
④指定した大きさ以下の面積のオブジェクトを削除する．②と同様であるが平滑化を行った後であるためさらなるノイズの削除が期待できる．
⑤2 値画像をもとの遠赤外線画像に張り付ける．検出結果の評価を行う．

14

Fig.4-1 Image processing
4.2 評価方法
4.1 節で述べた温度のしきい値処理は自動化する必要がある．(2)で機械学習に使用する教師データ作成のために処理画像の評価を行った．あえて最後に評価した結果を機械学習に用いない理由は，しきい値はほぼ果実のみの温度範囲を示すものであり，理想的なしきい値を指定できれば①のしきい値処理の時点で大きく検出されるのは果実である．ここから小さなノイズを削除するだけでほぼ果実のみ検出できるのであればそれは最適なしきい値であると考えられるためである．もし⑤で評価した値を機械学習に用いた場合何回も処理を行っているため，しきい値の傾向を読み取るのには適さない．⑤では最終的な検出結果の評価を行う．
評価方法としては，まず図 4-2 に示すような評価元となる赤外線画像内の対象となる果実
を手動で指定する．次に評価を行う画像と比較してピクセルごとに真陽性(TP)，偽陽性(FP)，
真陰性(TN)，偽陰性(FN)(13)(14)の判別を行う．さらに式(4-1)(4-2)(4-3)に示すように誤検出の評
価をする再現率(Recall)と見逃しの評価をする適合率(Precision)，再現率と適合率の調和平均をとる F 値(F-Measure)(13)(14)を求めた．F 値を求める理由としては，再現率と適合率はトレードオフの関係である．再現率のみが高い場合検出できた面積は小さく，適合率のみ高い場
合は誤検出が多いため．どちらか一方の数値が高いだけでは必ずしも良い検出結果は得られない．F 値は再現率と適合率の内小さい方の数値により近い値になるため，F 値が高い場
合は両方の数値が高いということになる．
𝑅𝑒𝑐𝑎𝑙𝑙 =𝑇𝑃
𝑇𝑃 + 𝐹𝑁(4 − 1)15

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃
𝑇𝑃 + 𝐹𝑃(4 − 2)2
1
1+
𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
2𝑇𝑃=
2𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁

𝐹 − 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 =Fig.4-2 Example image for evaluation

16(4 − 3)

第5章

機械学習

本章ではしきい値を推定するための機械学習と推定したしきい値での果実の自動検出について述べる．
5.1 学習方法
4.2 節の評価結果を用いて温度のしきい値を推定するために機械学習を行った．機械学習の種類として教師あり学習の分類問題を用いた．教師あり学習は正解となるデータを用意して学習させるものである．分類問題はデータごとに特定のグループに分類するものである．ソフトウェアは MATLAB の分類学習器アプリケーションを用いた．
予測対象である目的変数はしきい値の上限と下限とした．しきい値の上限と下限はソフ
トウェアの仕様上別々の学習モデルを作成した．予測を行うための入力である特徴量はハ
ウス内の温度，湿度，照度，紫外線強度を用いた．それらの特徴量を含め予測する時間から
1，5，10，15，30，60 分前までの平均，差分，最大，最少，分散，標準偏差など合計して約140 個 の 特 徴 量 を 使 用 す る 候 補 と し ， そ の 中 か ら Minimum Redundancy Maximum
Relevance(MRMR)アルゴリズム(15)という特徴量選択方法を用いて算出されたスコアの上位
10 個の特徴量を選択した．MRMR アルゴリズムは最大に類似性の低い特徴量同士で，最大に目的変数との関係性の高い特徴量のセットを選択するものである．平均などを使用する
理由は温度などの変化によってしきい値の傾向が変化するためである．しきい値の上限と下限で使用する特徴量は異なる．学習に用いたデータセットは 2019 年 12 月 10 日~17 日の10:00~16:59 の一分毎のデータであり F 値が最大である時のしきい値を教師データとする．
データセットの個数は 2880 個である．
学習するアルゴリズムはアンサンブル学習のバギング(16)と重み付き K-近傍法(14)を用いた．
バギングは少数のランダムなデータセットを選択し弱学習器，つまり小さな学習データを作成する．これを繰り返し弱学習器を組み合わせることで学習結果を得る．K-近傍法は変数の数に応じた N 次元座標系のある点から K 個の近傍点を見ることで，その点がどのグループにあるか分類する方法である．どちらも他の学習方法に比べて短時間の学習で精度が高い．
5.2 学習精度
学習結果に対して，学習元データの特徴量を用いて推定を行うことで推定して得られた
目的変数と教師データが一致するか精度検証を行った．検証方法は交差検証(14)を用いる．交差検証はデータセットを特定の数に分割し，ランダムに振り分けられたセットを作成する．
分割したうちの 1 つを精度の検証に使用し，それを分割した数だけ順番に繰り返すという方法である．今回の検証では 5 分割とした．
表 5-1 に推定に使用する学習結果の精度を示す．精度は 67%~73%であり一定の精度が確保できていると考える．精度は理想的には 80%前後あれば良好であると考える．90％を超
17

えると学習させたデータにしか結果が一致しなくなる過学習という状態になっている可能性が高いため，精度を上げ過ぎるのも問題がある．

Table.5-1 Learning accuracy
Algorithm

Upper threshold limit(%)

Lower threshold limit(%)

Bagging

73.0

67.8

KNN

69.3

67.3

5.3 学習したモデルによるしきい値推定と画像処理
機械学習により作成された学習モデルを用いてしきい値の推定を行った．推定を行うデータは学習に使用していない 2019 年 12 月 18～20 日のものを用いた．5.1 節で述べたように温度，湿度などの 10 個の特徴量を入力としてしきい値を推定する．推定したしきい値を用いて 4.1 節で述べた画像処理を行った．
5.4 画像処理結果
図 5-1 と図 5-2 にバギングと K-近傍法のしきい値推定結果から得られた 12 月 18 日のデータの検出画像を示す．赤い部分が検出部である．表 5-2 にしきい値と画像の評価結果を示
す．しきい値はハウス温度から何℃の範囲であるか示している．
図 5-1 の 11:00 と 12:00 以外で右側の果実が検出できなかった．バギングの 11:00 と 12:00
では右上の葉を検出している．F 値は 12:00~14:00 においてバギングと K-近傍法の間で 10%未満の差であった． F 値は 30%~40%前後の値が約半数を占めるが 15:00 の画像上部のような明らかな誤検出は少ない．
5.5 考察右の果実が検出できなかった理由としては，果実が葉で半分ほど隠れており，処理途中で面積の小さいオブジェクトを削除する処理を行っているため削除された結果であると考えており，その部分のパラメータを調整する必要がある．図 5-2 の 11:00 の画像から右上の葉の色は黒く温度が高いため，果実との温度差が小さくその葉を検出しないのは難しいと考える．12:00~14:00 の時間帯はしきい値の温度範囲に 1~2℃程度の差があるが左側の果実は検出できていることから，葉と果実の温度差は大きくしきい値の推定結果は良好ではなくても果実を検出できる可能性は高いと考える．F 値は 30%~40%前後であるものの誤検出が少ないのは，対象物が２個だけであり面積が小さいため片方が検出できない場合に適合率は大きく低下するためであると考える．

18

11:00

12:00

13:00

14:00

15:00

Fig.5-1 Image processing results of Bagging on December 18, 201919

11:00

12:00

13:00

14:00

15:00

Fig.5-2 Image processing results of KNN on December 18, 201920

Table.5-2 Thresholds and evaluation results on December 18, 2019
Learning
algorithm

Bagging

KNN

House

Thresholdtemperaturetemperature[℃]range [℃]

11:00

29.6

12:00

RecallPrecision

F-Measure

[%]

[%]

[%]

-2.0 ~ 4.0

35.2

73.7

47.6

34.9

-3.0 ~ 3.5

35.7

61.2

45.1

13:00

29.7

-2.0 ~ 2.5

100

51.8

68.3

14:00

29.7

-2.0 ~ 2.0

100

24.2

38.9

15:00

26.0

-1.0 ~ 2.0

0

0

0

11:00

29.6

-0.5 ~ 1.5

0

0

0

12:00

34.9

-2.0 ~ 4.0

57.8

29.2

38.8

13:00

29.7

-2.5 ~ 1.5

100

58.8

74.0

14:00

29.7

-2.0 ~ 1.0

100

24.1

38.9

15:00

26.0

-1.5 ~ 1.5

14.0

42.4

21.1

Time

21

第6章

冬季の夜間における検出

本章では冬季夜間における果実の検出について述べる．
6.1 ボイラを使用した際の温度
高知県のピーマンのハウス栽培は 11~６月の間で盛んに行われている．収穫ロボットを昼間だけでなく夜間も稼働できれば利便性は高い．冬季の夜間においてはピーマンの温度が低下した場合に病害が発生する可能性があり，それを防止するためにボイラを焚く必要がある．ボイラは設定された温度以下になると作動し，その後設定された温度まで上昇すると停止する．例えば 13℃で作動し 16℃まで上昇すると停止する．この時，葉と果実にも温度変化が生じる．図 6-1 にボイラを使用した際の夜間のハウス，葉，果実の温度のグラフを示
す．

Fig.6-1 Temperature when using the boiler.
6.2 冬季夜間の検出方法
図 6-1 よりハウスの温度の最大値と最小値はほぼ変化しておらずボイラによって適切に温度管理されていることがわかる．ハウスの温度が上昇した際に葉の温度がハウスの温度の最大値より 1℃~2℃高い．果実は葉ほど大きく温度変化せずハウスの温度が変化する範囲にほぼ収まっている．遠赤外線カメラを用いて一定時間定点で撮影すれば葉と果実の温度変化を測定可能であるため，画像内の 1 ピクセルごとの温度を観測しハウス温度の最大値と最小値の範囲に収まっていれば果実，それ以外は果実でないとしてしきい値を決定することで検出可能であると考えた．今回は検出する時刻から過去 30 分の温度データを使用して検出を行った．しきい値は過去 30 分間のハウス温度の最大値を上限，最小値を下限とした．温度のデータについては生データではなくメディアンフィルタ(17)というフィルタを用いてスパイクノイズと呼ばれる図 6-1 の 1:30~2:00 の間の一瞬温度が高くなっているようなノイズを削除したものを使用した．図 6-2 に 5 次のメディアンフィルタを使用したときの温度のグラフを示す．

22

Fig.6-2 Temperature when using a median filter
6.3 検出結果
図 6-3 に検出結果の画像，表 6-1 に結果の評価値を示す．すべての時間で F 値は 85%を超えており，画像を見ても対象物の形でほぼ正確に検出できている．それぞれの時間におけるハウス内温度は違いがあるがしきい値は 13.5~16.3℃程度でほとんど一定である．
6.4 考察背景のビニール部は外気によって温度が低下するため検出されないと考える．この検出方法は一定の有効性はあると考えるが，検出するために 30 分必要という点が課題である．
外の気温が低い場合ハウスの温度もより早く低下するため，ボイラの作動間隔も短くなる
ことで短時間での検出は可能であると考える．外の気温があまり低くない場合はボイラの作動回数も少なくなるため検出できる時間帯は少ない．ただし，ボイラ作動後に温度が上昇するまでの時間は短いためボイラが停止した直後であれば検出可能であると考える．

23

1:00

2:00

3:00
Fig.6-3 Detection results at night on December 14, 2019
Table.6-1 Evaluation results at night on December 14, 2019

Time

Inside the housetemperature (°C)

Thresholdtemperature

Recall (%)

Precision (%)

range (°C)

F-measure
(%)

1:00

15.8

13.6 ~ 16.3

95.1

59.6

85.7

2:00

14.4

13.4 ~ 16.3

98.4

64.8

89.5

3:00

16.3

13.5 ~ 16.3

83.8

83.2

85.8

24

第７章

画角の調整

本章では深度カメラの情報を利用するための画角の調整について述べる．
7.1 遠赤外線画像と深度画像の画角の調節
2022 年の実験の際には遠赤外線カメラと深度カメラでの撮影を行った．これらの画像はカメラの位置，性能が違うため見え方に違いがある．このデータを活用するためには画角の調整を行う必要がある．
図 7-1 に遠赤外線カメラと深度カメラの配置を示す．右が遠赤外線カメラで左が深度カメラである．図では遠赤外線カメラが斜めを向いているように見えるが実際は２つのカメラのレンズ面は平行な向きである．深度カメラは右から２番目，４番目のステレオモジュールを主とし右から３番目の IR レンジファインダーで補助を行うことで距離を測定しているため，視差を決める基準を右側のステレオモジュールとした．ちなみに深度カメラの１番右はRGB カメラである．遠赤外線カメラの中心から見た右のステレオモジュールの中心は水平方向に 57mm 左，鉛直方向に 25mm 下の位置にある．奥行方向はステレオモジュールを原点とすると，約 40mm 画像手前方向の位置に遠赤外線カメラの原点がある．遠赤外線カメラの原点はデータシートに記載されていなかったため推定値である．画素数は遠赤外線カ
メラでは382 × 288，深度カメラは640 × 480である．視野角は遠赤外線カメラでは水平 45度，垂直 38 度．深度カメラは水平 74 度，垂直 62 度である．

Fig.7-1 Far-infrared camera and depth camera

25

7.2 計算
図 7-2 に図 7-1 のカメラを後ろから見た位置関係のイメージを示す．それぞれのピクセルの空間座標を計算する際の座標系は水平右方向が𝑥軸の正，鉛直下方向が𝑦軸の正，奥行き
方向が𝑧軸の正とする．カメラのピクセルの番号[1,1]の場所は図 7-2 のカメラの左上側にあたる．空間座標の原点は𝑥軸と𝑦軸は遠赤外線カメラの中心とした．𝑧軸は深度カメラのステ
レオモジュールの位置を原点とする．
深度カメラの画像を遠赤外線カメラの画像と一致させるために計算し，座標変換を行った．まず式(7-1)(7-2)より深度画像の[𝑛𝑑 , 𝑚𝑑 ]番目のピクセルの深度の値での 1 ピクセルの深度の大きさ𝑤𝑑𝑥 ，𝑤𝑑𝑦 [mm]を求める．次に式(7-3)(7-4)よりそのピクセルの空間座標位置𝑥𝑑 ，
𝑦𝑑 [mm]を求める．次に式(7-5)(7-6)より遠赤外線カメラで撮影した対象物が全て深度画像の[𝑛𝑑 , 𝑚𝑑 ]番目のピクセルの深度の値に位置していると仮定して 1 ピクセルの深度の大きさ
𝑤𝑖𝑥 ，𝑤𝑖𝑦 [mm]を求める．次に(7-7)(7-8)より遠赤外線画像のピクセルの番号[1,1]から[382,288]
まですべてに対して空間座標𝑥𝑖 ，𝑦𝑖 [mm]を計算する．深度画像の[𝑛𝑑 , 𝑚𝑑 ]番目の空間座標に対して一番近い位置にある遠赤外線画像の[𝑛𝑖 , 𝑚𝑖 ]番の座標を探し，深度画像の変換後の座標の[𝑛𝑖 , 𝑚𝑖 ]番目に[𝑛𝑑 , 𝑚𝑑 ]の深度𝑧を代入する．これを深度画像の[1,1] から[640,480]まで繰
り返すことで画素数が382 × 288の深度画像へ変換を行った．

Fig.7-2 Positional image of the camera seen from behind74°tan ( )
2
𝑤𝑑𝑥 = 2 ∗ 𝑧 ∗640(7 − 1)26

𝑤𝑑𝑦 = 2 ∗ 𝑧 ∗62°tan ( 2 )(7 − 2)480

𝑥𝑑 = 𝑤𝑑𝑥 ∗ (𝑛𝑑 − 321) + 57

(7 − 3)𝑦𝑑 = 𝑤𝑑𝑦 ∗ (𝑚𝑑 − 241) + 25

(7 − 4)45°
tan ( )
2
𝑤𝑖𝑥 = 2 ∗ (𝑧 − 40) ∗382(7 − 5)𝑤𝑖𝑦 = 2 ∗ (𝑧 − 40) ∗38°
tan ( 2 )288

(7 − 6)𝑥𝑖 = 𝑤𝑖𝑥 ∗ (𝑛𝑖 − 191)

(7 − 7)𝑦𝑖 = 𝑤𝑖𝑦 ∗ (𝑚𝑖 − 144)

(7 − 8)

Table.7-1 Variable description
𝑤𝑑𝑥 ：The size of one pixel of the x-axis of the depth image[mm]𝑤𝑑𝑥 ：The size of one pixel of the y-axis of the depth image[mm]𝑤𝑖𝑥 ：The size of one pixel of the x-axis of the far-infrared image[mm]𝑤𝑖𝑦 ：The size of one pixel of the y-axis of the far-infrared image[mm]𝑥𝑑 ：The spatial coordinates of the x-axis of pixels in depth images[mm]𝑦𝑑 ：The spatial coordinates of the y-axis of pixels in depth images[mm]𝑥𝑖 ：The spatial coordinates of the x-axis of pixels in far-infrared images[mm]𝑥𝑑 ：The spatial coordinates of the y-axis of pixels in far-infrared images[mm]𝑧：Depth Image pixel depth[mm]𝑛𝑑 ：The number of pixels in the depth image x-axis
𝑚𝑑 ：The number of pixels in the depth image y-axis
𝑛𝑖 ：The number of pixels in the far-infrared image x-axis
𝑚𝑖 ：The number of pixels in the far-infrared image y-axis
7.3 変換結果
図 7-3 に変換前の深度画像，図 7-4 に遠赤外線画像，図 7-5 に変換後の深度画像，図 7-6に変換後の深度画像と遠赤外線画像を重ねたものを示す．深度画像は青い方が距離が近く，赤い方が遠い．変換後の画像では遠くの赤い部分がほとんど消えてしまっている．
27

7.4 考察
変換後の画像では遠くの赤い部分がほとんど消えてしまっている理由として，変換前の画像の時点で葉と果実が密集しており，片方のステレオモジュールに移らない部分が黒くなっているためだと考える．青色の近い部分は多少の誤差はあるものの検出に必要な果実の部分は大体一致しており，検出に利用することは可能だと考える．

Fig.7-3 Depth image

Fig.7-4 Infrared image

Fig.7-5 Converted depth image

Fig.7-6 Overlaid image

28

第8章

深度情報を用いた検出

本章では深度情報を用いた画像処理方法での果実の検出について述べる．
8.1 画像処理過程の変更点
ピーマンを収穫する際に遠くにある果実はロボットの手先が届かない場合がある．深度（距離）の情報を用いることで手先の届く範囲のみを検出し，無駄な動作を削減できると考えた．7 章で述べた方法を用いて画角を調整した深度データを利用するために画像処理過程の変更を行った．図 8-1 に画像処理過程を示す．4.1 節で述べた画像処理過程の①の後に②として指定した深度以上（今回は 700mm 以上）のピクセルを削除する処理を追加した．その後の処理手順の番号は 1 つずつずらす．ここに追加することで距離が遠く検出対象から外れる部分を削除し，③の小さいオブジェクト削除を行うことでノイズの少ない検出結果が得られると考えた．図 8-1 の例では左下の部分は土が移っているが②の処理を行うことでほとんど削除できている．

Fig.8-1 Modified image processing process
8.2 学習精度
今回特徴量を 20 個にして機械学習を行った．表 8.1 に 5.2 節と同様の方法を用いて求めた学習モデルの精度を示す．精度はしきい値の上限と下限共に K-近傍法の方が 5％程度低
い．下限は 60％台であるのに対して上限は 50％台と低くなった．上限が 5.2 節の時の精度
より 10%以上低いのは画像処理過程で評価を行う前に処理を追加したために評価の高いし
きい値のばらつきが大きくなったためだと考える．

29

Table.8-1 Learning accuracy
Algorithm

Upper threshold limit(%)

Lower threshold limit(%)

Bagging

59.5

69.8

KNN

54.2

64.8

8.3 検出結果
2022 年 12 月 7，8，10~12，14~17 日の 9 日間の 11:00~16:59 分，合計 3240 個のデータセットを用いて機械学習を行い学習モデルを作成し，9，13，18 日のデータを使用して果実の検出を行った．図 8-2 と図 8-3 にバギングと K-近傍法の学習モデルで推定したしきい値での 12 月 9 日の検出結果の画像，表 8-2 にしきい値と評価結果を示す．図 8-2 には評価元の画像例も示している．1 番右の検出対象の果実は大きさが小さいが左の果実に近く現状の処理過程では削除できないため対象物としている．
両方のモデルで 14:00 において画像ではよい検出結果とはいえないものの，F 値は 50%程度だった．しきい値に関してバギングと K-近傍法で上限だけが違う際は，評価結果にほぼ差はみられないが，下限も違う際は評価結果に違いが見られる．すべてのしきい値で上限はハウスの温度と同じまたは大きく，下限はハウスの温度より低い． 14:00 以外では F 値は60％以上であり，画像を見ても形は良くない場合もあるが指定した箇所は検出できている．
8.4 考察14:00 で検出結果が良好でない理由は画像から葉と果実の両方が白く温度差が小さいため検出に適した状態でないためだと考える．F 値が 50%あるのは検出対象となる果実が 5 個(正確には 6 個)と多いことから適合率は 80.1%と高く，深度によるノイズ削除により不要な部分が検出されにくくなっているためであると考える．12:00 と 15:00 の画像では下の果実が検出できておらず，下の果実は大きさが小さく，しきい値処理の時点で検出された面積が小さい場合途中で削除されてしまう場合があるためであると考える．果実の温度範囲をしきい値として推定するという点では，おおむね良好な検出結果が得られたと考える．バギン
グと K-近傍法では学習モデルの精度はバギングの方が 5%程度高いが，実際に推定を行った際の精度はあまり差がなく現状ではどちらが有効であるとは一概に言えない．

30

11:00

12:00

13:00

14:00

15:00

Example of evaluation image

Fig.8-2 Image processing results of Bagging on December 9, 202231

11:00

12:00

13:00

14:00

15:00

Fig.8-3 Image processing results of KNN on December 9, 2022

32

Table.8-2 Thresholds and evaluation results on December 9, 2022
Learning
algorithm

Bagging

KNN

House

Thresholdtemperaturetemperature[℃]range [℃]

11:00

26.6

12:00

RecallPrecision

F-Measure

[%]

[%]

[%]

-3.0 ~ 1.5

87.5

78.9

83.0

26.2

-2.5 ~ 2.5

88.7

50.2

64.1

13:00

26.0

-2.5 ~ 1.0

90.2

82.3

86.0

14:00

26.9

-3.0 ~ 1.0

37.3

80.1

50.9

15:00

25.4

-1.0 ~ 1.5

92.2

49.8

64.7

11:00

26.6

-3.5 ~ 1.5

62.9

82.5

71.4

12:00

26.2

-3.0 ~ 4.0

82.6

77.1

79.8

13:00

26.0

-2.5 ~ 2.5

90.2

82.5

86.2

14:00

26.9

-3.0 ~ 1.5

37.3

80.1

50.9

15:00

25.4

-1.5 ~ 0

75.6

75.8

75.7

Time

33

第9章

特徴量としきい値の関係

本章では，特徴量としきい値の関係について検証を行ったのでそれについて述べる．
9.1 特徴量としきい値
5 章と 8 章の自動検出方法においてはどのしきい値の温度範囲で検出を行うのが最適であるのか機械学習を行い，作成した学習モデルに温度などの特徴量を入力することで実際にしきい値を推定し自動検出を行った．使用した特徴量はしきい値の上限と下限でそれぞれ別に 10 または 20 個ある．仮に何らかの特徴量が変化した際にどのようにしきい値の推定結果は変わるのか検証する必要があると考えた．
9.2 60 分前との温度差を変化させた場合
8.2 節の学習モデルでしきい値の上限と下限に共通する特徴量の一つは 60 分前からの温度差である．MRMR アルゴリズムで算出されたスコアはしきい値の上限で 1 番目，下限で4 番目と高いため，これが変化した場合推定されるしきい値への影響が他の特徴量に比べて大きいと考えられる．データセットでこの特徴量の値は基本的には 11:00~15:00 で-3~3℃程
度で，15:00~17:00 では-8~-2℃程度が多い．今回，60 分前との温度差を-10~4℃の間の 1℃ずつとしてしきい値の推定を行った．
9.3 推定結果
図 9-1 と 9-2 に 12 月 9 日の 60 分前との温度差としきい値の関係の結果を示す．それぞれ
しきい値の上限と下限である．しきい値の上限に関しては 11:00 以外で温度差によって変化している．
16:00 は温度差を 0℃から 1℃にした際にしきい値が 0℃になり 3℃低下している．
12:00 と 13:00 は途中でしきい値は変化しているものの-10℃と 4℃近傍でしきい値は同じ値となった．下限に関しては 12:00，13:00，14:00 の 3 つの時間でしきい値は変化しておらず，変化した場合も±1℃に収まっており，上限と比べると温度差による変化は少ない．
9.4 考察図 9-1 の 16：00 で温度差が 1℃以上でしきい値が大きく変化した理由は，データセット
ではその時間帯は温度差が低いことが多く 0℃以上になることはほぼないが，ある程度まで
は温度差を上げてもほかの特徴量が同じであるため大きくは変化しなかった．だが，図 9-2を見ると同時刻にしきい値の上限と下限はともに 0℃になっていることから果実を検出できていない．学習用のデータセットと傾向が大きく違うために推定に失敗したと考えられ
る．12:00 と 13:00 に関しても上記と同様でデータセットと傾向が違う温度差の場合に正確な推定が行えていないと考える．
図 9-2 であまりしきい値に変化がない理由としては，学習モデルの精度は下限の方が高く，MRMR アルゴリズムのスコアも 4 番目であることから温度差が変化したとしても影響34

は小さいためであると考える．一部の特徴量が仮に外乱等によって変化した際にも機械学習を行う際に，しきい値の上限は邪魔になる物体が少ないためしきい値のばらつきが大きくともある程度の評価値になる．下限は葉の温度を避けて果実の温度のみを検出しなければならず，より適切な値でなければ評価値は良くならない．しきい値は下限の方が重要であり，結果から一部の特徴量が外乱などによって変化した際にもほかの特徴量に変化がなければ推定値を利用できるため，この機械学習方法は一定の有効性があると考える．

4.0
3.0

Threshold [℃]

2.0
1.0
0.0
11:00
14:00

-1.0

12:00
15:00

13:00
16:00

-2.0
-3.0
-4.0
-10.0

-8.0

-6.0

-4.0

-2.0

0.0

2.0

Temperature difference from 60 minutes ago [℃]
Fig.9-1 Changes in thresholds due to temperature differences (Upper limit)

35

4.0

4.0
11:00
14:00

3.0

12:00
15:00

13:00
16:00

Threshold [℃]

2.0
1.0
0.0

-1.0
-2.0
-3.0
-4.0
-10.0

-8.0

-6.0

-4.0

-2.0

0.0

2.0

Temperature difference from 60 minutes ago [℃]
Fig.9-2 Changes in thresholds due to temperature differences (Lower limit)

36

4.0

第 10 章深度情報を用いた冬季夜間の検出

本章では冬季の夜間に深度情報を加えた検出結果について述べる．
10.1 検出の概要と夜間の温度
8 章の画像処理過程と同様に深度情報を用いた処理を追加して，冬季夜間の果実の検出を行った．図 10-1 と 10-2 に検出を行った 12 月 9 日と 18 日の 0:00~4:00 の温度にメディアン
フィルタをかけたグラフを示す．9 日はハウスの温度のピークは時間によって最大 1℃程度
しか変化していないが．18 日はハウスの温度の高い方のピークは時間によって最大３℃程度差がある．

Fig.10-1 Night temperature on December 9, 2022

37

Fig.10-2 Night temperature on December 18, 2022
10.2 検出結果
図 10-3 と 10-4 に検出結果の画像，表 10-1 と 10-2 に評価結果を示す．12 月 9 日についてはどの時間でも F 値は 74%以上であり，画像からも対象物はすべて検出できている．しきい値は下限は変化はなく，上限は 16.3，15.0，14.6℃となった．12 月 18 日については
3:00 は F 値は 73.6%あるが，1:00 と 2:00 では F 値は 64.9%と 46.3%であり再現率は 51.0%と 33.8%で誤検出が多くなった．しきい値は上限，下限共に時間によって 0.5℃以上は変化しなかった．
10.3 考察12 月 9 日はハウスの温度管理が適切に行われているため良好な検出結果が得られたと考え
る．18 日については葉の部分を検出してしまっており図 10-2 から 0:30~1:00 のあいだでハウスの温度と葉の温度の差が最大値で 0.2℃程度葉が高く，最小値では葉の方が 1℃程度高くなっている．この検出方法は 30 分間のハウスの温度の最大値と最小値をしきい値としているため葉の温度変化が小さい場合，葉が検出されてしまう．9 日は葉の温度がハウス

38

の温度のピークより 1℃前後高いが，18 日は高くても 1℃未満であるため，葉の場所によっては温度変化がしきい値の範囲内になってしまう箇所が出てしまい．果実のみを検出することが難しいと考えられる．また，18 日はハウス温度のピーク値が 1~3℃変化している．ボイラの作動温度は一定の値であり，本来このような温度変化はしない．実験に使用した計測機器の誤差も考えられるが，ハウスの温度は温度計，果実と葉の温度は遠赤外線カメラで別の計測機器である．ハウス，果実，葉それぞれの温度のピーク値が同時刻に変動していることから，計測機器の誤差とは考えづらい．機器の設置場所は 9 日と 18 日で同じであることから，計測機器の問題ではなくボイラの誤作動である可能性が高いと考える．適切に温度管理がなされていない場合はこの方法での検出は難しいと考える．

39

1:00

2:00

3:00
Fig.10-3 Detection results at night on December 9, 2022
Table.10-1 Evaluation results at night on December 9, 2022

Time

Inside the housetemperature (°C)

Thresholdtemperature

Recall (%)

Precision (%)

range (°C)

F-measure
(%)

1:00

11.8

11.0 ~ 16.3

82.8

76.9

79.7

2:00

13.8

11.0 ~ 15.0

68.7

80.3

74.1

3:00

13.3

11.0 ~ 14.6

73.6

81.2

77.2

40

1:00

2:00

3:00
Fig.10-4 Detection results at night on December 18, 2022
Table.10-2 Evaluation results at night on December 18, 2022

Time

Inside the housetemperature (°C)

Thresholdtemperature

Recall (%)

Precision (%)

range (°C)

F-measure
(%)

1:00

11.2

10.1 ~ 14.7

51.0

88.5

64.9

2:00

13.0

9.9 ~ 14.6

33.8

84.4

48.3

3:00

12.8

10.1 ~ 14.2

66.4

82.4

73.6

41

第 11 章結論

11.1 まとめ
本研究では温度情報を取得可能な遠赤外線カメラを用いたピーマン果実の検出方法について検討し，AI 技術を用いた提案を行った．ピーマンの葉と果実を判別するために蒸散作
用(11)と葉(10)と果実の熱容量の違いを利用し，温度差が発生する条件下において温度情報に基づいた果実の検出を行った．
リアルタイムで果実の検出を行う前に検出方法を検討するためにデータの取得実験を行った．ピーマンの遠赤外線画像と深度画像，ハウス内の温度，湿度，照度，紫外線強度のデータを１分毎に取得した．日中晴れの日であれば葉と果実の間に温度差が生じ，悪天候下でも気温の変化があれば温度差が生じていた．冬季の夜間においてはボイラを作動させた際に温度が変化し，温度差が生じていた．深度画像は 1 日の間で大きな変化はなかった．
果実の検出方法として温度のしきい値処理を主とした画像処理を行った．しきい値処理
遠赤外線データから指定した温度範囲のピクセルを検出し二値画像を生成するというものである．しきい値の範囲は理想的には葉の温度は除き果実が取りうる温度範囲になる．画像処理過程でモルフォロジー変換(12)等の手法を用いた．
しきい値を自動的に決定するために昼間は機械学習を用いてしきい値を推定することを提案した．機械学習の教師データを作成するために再現率，適合率，F 値(13)という評価指標
を定め，画像処理途中で評価を行った．様々なしきい値で画像処理を試行し，F 値が一番高くなったしきい値を教師データとした．機械学習の種類として教師あり学習の分類問題を用いた．予測を行うための入力である特徴量はハウス内の温度，湿度，照度，紫外線強度などを用いた．学習するアルゴリズムはアンサンブル学習のバギング(15)と重み付き K-近傍法(13)を用いた．

学習したモデルを用いてしきい値の推定を行い果実の検出を行った．結果として半数以上の時間で対象物２個のうち片方の果実は検出できており F 値はすべて 80%未満だった．
片方の果実が検出できなかったのは葉に隠れてしまっているためであると考える．
冬季の夜間において温度低下防止のためにボイラを作動させた際に検出を行った．しきい値の決定方法として 30 分間定点で撮影し，ハウス内の温度の最大値と最小値をしきい値として遠赤外線画像すべてのピクセルに対して過去 30 分間でしきい値の範囲に収まっているピクセルを検出した．結果として対象物２個を検出でき F 値は 80%台であった．
2022 年に取得した深度画像の情報を活用するために，遠赤外線画像と画角をあわせる変換を行った．多少の誤差はあるものの近い距離ではおおよそ一致したため，利用可能だと考える．
深度情報を利用し，画像処理過程に処理を追加した画像処理を行った．しきい値処理の後に指定の距離(700mm)以上の距離のピクセルを削除する処理を行った．5 章と同様に機械学42

習を行って学習モデルを作成し，しきい値の推定を行った後果実の検出を行った．対象物５個を半数以上の時間で検出でき F 値は 50~80%だった．F 値が高くなった理由は対象物が多く１個検出できなくても数値が下がりにくいためであると考える．
特徴量としきい値の関係について 60 分前との温度差を用いて検証を行った．温度差を変化させた際に推定されるしきい値がどう変化するか確認した．しきい値の上限と下限では上限の方が変化は大きかった．理由としてしきい値の上限の方がばらつきがあったとしても F 値は低下しづらく，下限は正確にしきい値を推定できなければ葉の温度を含んでしまい果実を検出できず，しきい値のばらつきが少ないためであると考える．この結果から機会学習によって温度のしきい値を推定して検出を行う方法に一定の有効性があると考える．
深度情報を用いて冬季の夜間に果実の検出を行った．日によってはハウス内の温度変化が一定ではなく果実を検出できなかった．適切に温度管理がなされていない場合にはこの方法での果実の検出は難しいと考える．
11.2 今後の展望
評価方法について現時点では検出した面積で評価を行っているため，検出した個数を評
価指標に含めることでより機械学習の精度が向上する可能性がある．果実の検出は 2 次元の画像として検出しているため深度情報を用いた 3 次元での位置特定と，ロボットによる摘み取りを行うための摘み取り位置の検出または推定を行いたい．しきい値の推定と画像処理について処理の簡略化を行うことで処理速度を短縮し，リアルタイムでの検出に適したものにしたい．夜間の検出に関しては定点で撮影する必要があるため，実際に検出する際には数か所にカメラを設置することで収穫に利用したい．

43

付録
付録 A

実験機器

図 A-1 に optris 社の赤外線カメラ(xi400)を示す．図 A-2 に株式会社ティアンドデイの温湿度センサ(SHA-3151)，図 A-3 に照度・紫外線センサ(ISA-3151)，図 A-4 にデータロガー(TR74Ui)を示す．温湿度センサに日光が当たるとセンサ自体が温まり正確な温度が測定できな
くなる．日光がセンサに当たるのを防ぎ空気のよどみをなくして正確な測定を行うために
図 A-5 に示す強制通風装置を製作した．白い容器は植木鉢の下に置く水受け皿であり，送風のために図 A-6 に示す三洋電機株式会社の AC ファンを用いた．図 A-7 と図 A-8 に 2021
年 2 月と 2022 年 12 月の実験で用いた Intel 社の深度カメラ(Intel RealSence Depth Camera
D455，D435i)を示す．

Fig.A-1 Infrared camera

Fig.A-2 Temperature andFig.A-3 Illuminance / UV

humidity sensor

sensor44

Fig.A-4 Data logger

Fig.A-5 Ventilation equipment

Fig.A-6 DC fan

Fig.A-7 Depth camera D455

Fig.A-7 Depth camera D435i

45

付録 B

ハウスのデータ取得実験結果

3 章で記載していないデータの一部を図 B-1 から B-20 に示す．深度画像は省略する．

Fig.B-1 Extraction location

Fig.B-2 Temperature and timeon December 9, 2022

Fig.B-3 Expanded from 00:00 to 02:00

Fig.B-4 Expanded from 08:00 to 17:00

46

Fig.B-5 Infrared Image taken every hour on December 9, 2022

47

Fig.B-6 Extraction location

Fig.B-7 Temperature and timeon December 13, 2022

Fig.B-8 Expanded from 00:00 to 02:00

Fig.B-9 Expanded from 08:00 to 17:00

48

Fig.B-10 Infrared Image taken every hour on December 13, 2022

49

Fig.B-11 Extraction location

Fig.B-12 Temperature and timeon December 17, 2022

Fig.B-13 Expanded from 00:00 to 02:00

Fig.B-14 Expanded from 08:00 to 17:00

50

Fig.B-15 Infrared Image taken every hour on December 17, 2022

51

付録Ｃ 機械学習を用いた自動検出結果
５章に示していない結果を図 C-1 から C-4，表 C-1，C-2 に示す．

11:00

12:00

13:00

14:00

15:00

Fig.C-1 Image processing results of Bagging on December 19, 201952

11:00

12:00

13:00

14:00

15:00

Fig.C-2 Image processing results of KNN on December 19, 201953

Table.C-1 Thresholds and evaluation results on December 19, 2019
Learning
algorithm

Bagging

KNN

House

Thresholdtemperaturetemperature[℃]range [℃]

11:00

19.6

12:00

RecallPrecision

F-Measure

[%]

[%]

[%]

-1.0 ~ -0.5

18.1

73.9

29.1

16.5

0.5 ~ 1.5

100

47.3

64.2

13:00

23.9

-1.5 ~ -1.0

1.2

1.0

1.1

14:00

22.5

-0.5 ~ 1.5

99.4

73.9

84.4

15:00

23.6

-1.0 ~ 1.0

13.5

84.0

23.3

11:00

19.6

-1.0 ~ -0.5

18.1

73.9

29.1

12:00

16.5

0.5 ~ 1.5

100

47.3

64.2

13:00

23.9

-2.0 ~ -1.5

21.0

18.6

19.7

14:00

22.5

-0.5 ~ 1.5

99.4

73.9

84.4

15:00

23.6

-0.5 ~ 0.5

57.2

27.6

37.2

Time

54

11:00

12:00

13:00

14:00

15:00

Fig.C-3 Image processing results of Bagging on December 20, 201955

11:00

12:00

13:00

14:00

15:00

Fig.C-4 Image processing results of KNN on December 20, 201956

Table.C-2 Thresholds and evaluation results on December 20, 2019
Learning
algorithm

Bagging

KNN

House

Thresholdtemperaturetemperature[℃]range [℃]

11:00

32.7

12:00

RecallPrecision

F-Measure

[%]

[%]

[%]

-2.5 ~ 3.5

25.1

74.1

37.5

33.9

-2.5 ~ 4.0

66.2

54.3

59.6

13:00

27.2

-1.0 ~ 2.5

100

50.1

66.7

14:00

27.0

-2.0 ~ 1.0

100

42.1

59.3

15:00

25.7

-1.0 ~ 0

66.5

46.2

54.5

11:00

32.7

-2.0 ~ 4.0

41.7

73.9

55.3

12:00

33.9

-2.0 ~ 4.0

99.9

46.3

63.3

13:00

27.2

-2.5 ~ 1.0

99.3

57.0

72.4

14:00

27.0

-2.5 ~ 4.0

75.1

70.3

72.7

15:00

25.7

-1.0 ~ 1.5

51.1

46.2

48.5

Time

57

付録Ｄ 冬季夜間の検出結果
6 章に示していない結果を図 D-1 から D-3，表 D-1 から D-3 に示す．

1:00

2:00

3:00
Fig.D-1 Detection results at night on December 15, 2019
Table.D-1 Evaluation results at night on December 15, 2019

Time

Inside the housetemperature (°C)

Thresholdtemperature

Recall (%)

Precision (%)

range (°C)

F-measure
(%)

1:00

14.1

12.3 ~ 15.1

98.9

49.6

66.1

2:00

14.7

12.3 ~ 15.3

92.3

88.1

86.9

3:00

13.6

12.1 ~ 15.1

95.2

27.8

85.8

58

1:00

2:00

3:00
Fig.D-2 Detection results at night on December 16, 2019
Table.D-2 Evaluation results at night on December 16. 2019
Inside the housetemperature (°C)

Thresholdtemperature

Recall (%)

Precision (%)

range (°C)

F-measure
(%)

1:00

15.8

13.6 ~ 16.3

96.5

77.1

85.7

2:00

14.4

13.4 ~ 16.3

92.2

86.9

89.5

3:00

16.3

13.5 ~ 16.3

92.4

80.0

85.8

59

1:00

2:00

3:00
Fig.D-3 Detection results at night on December 17, 2019
Table.D-3 Evaluation results at night on December 17, 2019

Time

Inside the housetemperature (°C)

Thresholdtemperature

Recall (%)

Precision (%)

range (°C)

F-measure
(%)

1:00

15.0

13.9 ~ 16.8

89.7

90.0

89.9

2:00

16.7

13.9 ~ 16.8

57.2

85.5

68.6

3:00

14.3

13.8 ~ 16.8

67.3

95.9

79.1

60

付録Ｅ 深度情報を用いた検出結果
8 章で記載していない結果を図 E-1 から E-4，表 E-1，E-2 に示す．

11:00

12:00

13:00

14:00

15:00

Fig.E-1 Image processing results of Bagging on December 13, 202261

11:00

12:00

13:00

14:00

15:00

Fig.E-2 Image processing results of KNN on December 13, 2022

62

Table.E-1 Thresholds and evaluation results on December 13, 2022
Learning
algorithm

Bagging

KNN

House

Thresholdtemperaturetemperature[℃]range [℃]

11:00

25.3

12:00

RecallPrecision

F-Measure

[%]

[%]

[%]

-2.5 ~ 3.0

95.1

68.5

79.6

24.5

-2.0 ~ 3.0

93.9

71.4

80.9

13:00

24.5

-1.5 ~ 1.5

95.4

73.5

83.0

14:00

24.6

-1.5 ~ 1.5

95.7

31.3

47.1

15:00

23.9

-1.5 ~ 1.5

96.3

79.9

87.3

11:00

25.3

-3.5 ~ 3.0

88.0

80.4

84.0

12:00

24.5

-3.0 ~ 2.5

77.6

81.0

79.3

13:00

24.5

-1.5 ~ 2.0

95.5

74.7

83.8

14:00

24.6

-2.5 ~ 1.5

84.2

79.7

81.9

15:00

23.9

-2.5 ~ 1.5

85.6

82.8

86.1

Time

63

11:00

12:00

13:00

14:00

15:00

Fig.E-3 Image processing results of Bagging on December 18, 202264

11:00

12:00

13:00

14:00

15:00

Fig.E-4 Image processing results of KNN on December 18, 2022

65

Table.E-2 Thresholds and evaluation results on December 18, 2022
Learning
algorithm

Bagging

KNN

House

Thresholdtemperaturetemperature[℃]range [℃]

11:00

25.9

12:00

RecallPrecision

F-Measure

[%]

[%]

[%]

-3.5 ~ 0

59.2

81.7

68.7

20.1

-0.5 ~ 4.0

87.7

88.7

88.2

13:00

25.1

-2.0 ~ 1.0

99.7

35.9

52.8

14:00

25.6

-3.5 ~ -1.0

83.1

81.5

82.3

15:00

23.0

-1.0 ~ 1.5

97.5

78.2

86.7

11:00

25.9

-3.5 ~ -1.5

61.7

75.3

67.8

12:00

20.1

-0.5 ~ 3.0

95.7

76.2

84.9

13:00

25.1

-3.5 ~ 2.0

85.6

79.8

83.1

14:00

25.6

-3.5 ~ -0.5

82.1

85.0

83.5

15:00

23.0

-1.0 ~ 1.5

97.5

78.2

86.7

Time

66

付録 F

特徴量

表 F-1 から F-4 に学習モデルの特徴量を示す．バギングと K-近傍法で特徴量に違いはな
い．順番は MRMR アルゴリズムによる特徴量選択のスコアの高い順である．スコアの最大値は 1 で最小値は 0 である．
Table.F-1 Features of Upper limit on December, 2019
numberFeaturesscore

1

Maximum UV intensity for 30 minutes

0.470

2

Temperature difference from 10 minutes ago

0.464

3

Temperature difference from 60 minutes ago

0.440

4

Humidity difference from 60 minutes ago

0.428

5

UV intensity difference from 60 minutes ago

0.425

6

Humidity difference from 1 minute ago

0.423

7

UV intensity difference from 10 minutes ago

0.411

8

Temperature difference from 1 minute ago

0.410

9

Minimum illuminance for 30 minutes

0.380

10

Temperature difference from 30 minutes ago

0.375

67

Table.F-2 Features of Lower limit on December, 2019
numberFeaturesscore

1

Maximum temperature for 5 minutes

0.683

2

Temperature difference from 30 minutes ago

0.676

3

Standard deviation of illuminance for 30 minutes

0.672

4

Humidity difference from 1 minute ago

0.672

5

Dispersion of illuminance for 10 minutes

0.589

6

Humidity

0.589

7

Temperature

0.581

8

Average illuminance over 15 minutes

0.570

9

Temperature difference from 1 minute ago

0.560

10

Average temperature value for 15 minutes

0.519

68

Table.F-3 Features of Upper limit on December, 2022
NumberFeaturescore

1

Temperature difference from 60 minutes ago

0.383

2

Temperature difference from 10 minutes ago

0.377

3

Temperature difference from 30 minutes ago

0.366

4

Average illuminance over 5 minutes

0.352

5

Illuminance difference from 10 minutes ago

0.351

6

Temperature difference from 5 minutes ago

0.294

7

Temperature dispersion for 60 minutes

0.274

8

Temperature

0.274

9

Temperature difference from 15 minutes ago

0.253

10

Average temperature value for 30 minutes

0.224

11

Illuminance

0.208

12

Humidity difference from 5 minutes ago

0.205

13

Maximum humidity for 10 minutes

0.187

14

Temperature dispersion for 2 minutes

0.187

15

Standard deviation of temperature for 60 minutes

0.187

16

UV intensity difference from 15 minutes ago

0.175

17

Temperature difference from 1 minute ago

0.175

18

Maximum temperature for 60 minutes

0.163

19

Maximum illuminance for 5 minutes

0.162

20

Illuminance difference from 1 minute ago

0.160

69

Table.F-4 Features of Lower limit on December, 2022
NumberFeaturescore

1

Temperature

0.971

2

Average illuminance over 10 minutes

0.960

3

Illuminance difference from 30 minutes ago

0.913

4

Temperature difference from 60 minutes ago

0.891

5

Humidity

0.850

6Dispersion of temperature for 5 minutes

0.810

7

Humidity difference from 1 minute ago

0.809

8

Average illuminance over 5 minutes

0.713

9

Temperature difference from 10 minutes ago

0.710

10

Maximum temperature for 2 minutes

0.698

11

Standard deviation of UV intensity for 10 minutes

0.698

12

Standard deviation of temperature for 15 minutes

0.698

13

Temperature dispersion for 15 minutes

0.698

14

Maximum illuminance for 2 minutes

0.698

15

Illuminance difference from 15 minutes ago

0.698

16

Dispersion of temperature for 10 minutes

0.691

17

Dispersion of humidity for 10 minutes

0.691

18

Minimum temperature for 2 minutes

0.690

19

Average illuminance over 15 minutes

0.690

20

UV intensity

0.669

70

付録 G

複数の点で温度を測定した際のグラフ

これまで示した温度のグラフは果実と葉については遠赤外線画像の一点を取得したものである．本来であれば複数ヶ所観測することが適切な方法である．ただし，日光によって同じ果実，葉でも場所によって温度に最大５℃程度ばらつきがあるため複数個所測定して平均値をグラフ化すればよいというわけではない．複数個所観測することでグラフが煩雑化してしまう問題もあるため，付録 G にのみ複数ヶ所観測した際のグラフを示す．図 G-1，G2 に温度を取得した箇所を示す．図 G-3 から G-14 に葉と果実で五点ずつ温度をとった際のグラフを示す．ハウスの温度は一か所で測定したものである

Fig.G-1 Where the temperature was measured in 201971

Fig.G-2 Where the temperature was measured in 2022

Fig.G-3 Temperature and time on December 14, 201972

Fig.G-4 Expanded from 00:00 to 02:00 on December 14, 2019

Fig.G-5 Expanded from 08:00 to 17:00 on December 14, 201973

Fig.G-6 Temperature and time on December 15, 2019

Fig.G-7 Expanded from 00:00 to 02:00 on December 15, 201974

Fig.G-8 Expanded from 08:00 to 17:00 on December 15, 2019

Fig.G-9 Temperature and time on December 9, 2022

75

Fig.G-10 Expanded from 00:00 to 02:00 on December 9, 2022

Fig.G-11 Expanded from 08:00 to 17:00 on December 9, 2022

76

Fig.G-12 Temperature and time on December 18, 2022

Fig.G-13 Expanded from 00:00 to 02:00 on December 18, 2022

77

Fig.G-14 Expanded from 08:00 to 17:00 on December 18, 202278

謝辞
本研究を行うにあたって，懇切丁寧にご指導いただきました岡宏一教授に感謝申し上げます．ご助言いただきました原田明徳准教授に感謝申し上げます．相談に乗ってくださった研究室のみなさまに感謝申し上げます．実験にご協力いただいた北村様に感謝申し上げます．
本研究は高知県の「IoP が導く Next 次世代型施設園芸農業への進化プロジェクト」の助成を受けております．この場をお借りして感謝申し上げます．

79

参考文献
[1] 農林水産省ホームページ：農業労働力に関する統計
https://www.maff.go.jp/j/tokei/sihyo/data/08.html(参照日 2023 年 1 月 16 日)[2] 農林水産省ホームページ：スマート農業
https://www.maff.go.jp/j/kanbo/smart/(参照日 2023 年 1 月 16 日)[3] 高知県庁ホームページ：高知県農業の動向（令和 4 年度） 主要畜産物の生産
https://www.pref.kochi.lg.jp/soshiki/162201/2022051800260.html(参照日 2023 年 1 月 16 日)[4] e-Stat：作物統計調査 市町村別データ 平成 30 年産市町村別データ
https://www.e-stat.go.jp/dbview?sid=0001803856(参照日 2023 年 1 月 16 日)[5] 北野直子，稲岡司，北野隆雄，井本岳秋，下田裕子，二塚信，野村茂，“施設園芸従事者の労働負担と食物摂取および身体状況の季節変動”，日本栄養・食糧学会誌 Vol. 45
No 6 (1992)，pp.495~506，[6] inaho 株式会社
https://inaho.co/(参照日 2023 年 1 月 16 日)[7] 生物系特定産業技術研究支援センター：アスパラガス生産に働き方改革を！改植技術「枠板式高畝栽培」を基盤とした省力安定栽培システムの開発
http://www.naro.affrc.go.jp/laboratory/brain/innovation/20_inov_saiyou_R02_kaihatsu02_0201
9C.pdf(参照日 2023 年 1 月 16 日)[8] 農研機構：イチゴ収穫ロボット
https://www.naro.affrc.go.jp/laboratory/iam/urgent/urgent100/069789.html(参照日 2023 年 1 月 16 日)[9] AGRIST 株式会社：事業概要：農業ロボット開発
https://agrist.com/products/robot(参照日 2023 年 1 月 16 日)[10] 多田敬佑，岡宏一，原田明徳，“赤外線カメラを利用したハウス内ピーマンの検出”
修士学位論文，高知工科大学(2020)[11] 増田芳雄“絵とき 植物生理学入門”，(1988)，オーム社[12] 田中敏幸，“画像情報処理の基礎”，(2019)，コロナ社[13] 中川裕志，“東京大学工学教程 情報工学 機械学習”，(2015)，丸善出版
80

[14] 秋庭伸也，杉山阿聖，寺田学，“見て試してわかる 機械学習アルゴリズムの仕組み
機械学習図鑑”，(2019)，翔泳社[15] MathWorks：Minimum Redundancy Maximum Relevance (MRMR) アルゴリズムを使用
した分類用の特徴量のランク付け
https://jp.mathworks.com/help/stats/fscmrmr.html(参照日 2022 年 11 月 4 日)
[16] Zhou，Zhi-Hua，宮岡悦良，下川朝有，“アンサンブル法による機械学習―基礎とアル
ゴリズム―”，(2017)，近代科学社[17] MathWorks：1 次元のメディアンフィルター処理
https://jp.mathworks.com/help/signal/ref/medfilt1.html(参照日 2022 年 2 月 24 日)

81