遠赤外線カメラを用いたハウス内ピーマンの果実認識
Recognition of sweet pepper fruit in green house using far-infrared camera

知能 機 械 工学 コ ース
機械 ・ 航 空シ ス テム 制 御 研究 室
1.

1255015多田直矢

緒言

農業従事者の減少(1)による，農作業の一人当たりの労働の負担は大きくなっている．その問題に対処するために農林水産省はスマート農業(2)を推進するなど，農業における自動化技術の導入が望まれている．高知県のハウス園芸において生産が盛んなピーマンの自動収穫を目的とした果実の認識では，葉と果実の色が近いため，RGB カメラを用いた方法だけでは難しい．そのために葉と果実の温度の違いに基づく遠赤外線カメラを用いた方法が提案されており,有効性が示されている(3)．
本研究では遠赤外線カメラによる温度情報に基づいて，果実の認識率の向上のために AI 技術を用いた提案を行う．具体的には処理を行う際に室温や湿度を用いたしきい値処理を自動で行い，赤外線画像の処理精度を向上させる．

Fig.1

Daily temperature

第 2 章では遠赤外線カメラによる検出方法，第 3 章では検出結果の評価方法．第 4 章では冬季の夜間における検出方法及び結果について述べる．第 5 章では機械学習を用いた昼間の検出方法及び結果について述べる．

2.2

自動検出方法

自動検出方法はピーマンの遠赤外線データに対して温度のしきい値処理などを行い果実を検出する．しきい値処理は遠赤外線データの中で指定した温度範囲のピクセルを検出

2.

検出方法

し二値画像を生成する．しきい値はハウス内の温度の温度を2.1

遠赤外線カメラによる検出基準とした値で，理想的にはピーマンの果実の温度の範囲で葉と果実を区別し検出する方法として蒸散作用 (4) と葉と果実の熱容量の違いによる温度差を利用することが提案さあり，自動で決定する必要があるが昼間と夜間ではしきい値の決定方法は異なる．

れている(3)．昼間のハウス内のように照度が大きく湿度が低昼間の場合，機械学習を用いてしきい値を決定する．まずいときには多くの蒸散作用が発生し葉の温度が低くなるこ

学習用のデータに対して複数のパターンのしきい値すべてとが知られている．また果実は中が空洞で空気が入っているに対して画像処理を試行し，画像処理過程で検出率の評価をため熱容量が大きく，葉は薄いため熱容量が小さいことから，行う．評価結果のよいしきい値を用いて機械学習を行い，学果実より葉の方が温度は変化しやすい．

習したモデルにより学習に用いていないデータに対して最上記の温度特性に対して有効な検出方法として遠赤外線

適なしきい値を推定する．推定したしきい値を用いて画像処カメラを用いて果実を検出する方法が挙げられる．遠赤外理を行うことで果実を自動検出するという手順で行った．

線カメラは撮影した画像内の 1 ピクセルごとの温度情報が取得可能である．図 1 に 1 日のハウス，葉及び果実の温度

機械学習の詳細は第 5 章で述べる．夜間のしきい値の決定方法は第 4 章で述べる．のグラフを示す．赤がハウス，緑が葉，青が果実の温度である．ハウスの温度は温度計，葉と果実の温度は遠赤外線

2.3

画像処理

カメラで測定した．遠赤外線カメラを用いて葉と果実の温遠赤外線カメラで取得した温度情報のみで検出を行うと度差を利用し，ハウス温度に基づいて果実の検出を行う．

ハウスのビニールの部分など果実以外の箇所が多く検出されるという問題がある．画像処理を行うことで視覚的に果実を判別しやすく，果実以外の不必要な箇所を比較的容易に削除することができる．最初にしきい値処理を行った．
処理過程でモルフォロジー変換(5)等の手法を用いた．

3.

画像処理結果の評価

3.1

評価方法

2.2 節で述べた温度のしきい値処理は自動化する必要がある．昼間の機械学習に使用する教師データ作成のために処理画像の評価を行った．画像処理結果自体の評価も行う．評価
方法としては，まず図 2 に示すような評価元となる赤外線画像内の対象となる果実を手動で指定する．次に評価を行う画像と比較してピクセルごとに真陽性(TP)，偽陽性(FP)，真陰性(TN)，偽陰性(FN)(6)(7)の判別を行う．さらに式(1)(2)(3)に示すように誤検出の評価をする再現率(Recall)と見逃しの評価をする適合率(Precision)，再現率と適合率の調和平均をとる
F 値(F-Measure)(6)(7)を求めた．F 値を求める理由としては，再現率と適合率はトレードオフの関係であるものの，どちらかFig.3

Temperature when using the boiler.

一方の数値が高いだけでは必ずしも良い検出結果は得られないためである．
𝑅𝑒𝑐𝑎𝑙𝑙 =4.2

𝑇𝑃𝑇𝑃 + 𝐹𝑁(1)

冬季夜間の検出方法

図 3 よりハウスの温度の最大値と最小値はほぼ変化しておらずボイラによって適切に温度管理されていることがわかる．ハウスの温度が上昇した際に葉の温度がハウスの温𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃
𝑇𝑃 + 𝐹𝑃(2)

度の最大値より 1℃~2℃高い．果実は葉ほど大きく温度変化せずハウスの温度が変化する範囲にほぼ収まっている．
遠赤外線カメラを用いて定点で撮影すれば葉と果実の温度

𝐹 − 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 =211+
𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
2𝑇𝑃=2𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁変化を測定可能である．画像内の 1 ピクセルごとの温度を一定時間観測しその間の温度がハウス温度の最大値と最小値の範囲に収まっていれば果実，それ以外は果実でないと(3)してしきい値を決定することで検出可能であると考えた．
今回は検出する時刻から過去 30 分の温度データを使用して検出を行った．
4.3

検出結果と考察

図 4 に検出結果の画像，表 1 に結果の評価値を示す．すべての時間で F 値は 85%を超えており，画像を見ても対象物の形をほぼ正確に検出できている．それぞれの時間におけるハウス内温度は違いがあるがしきい値は 13.5~16.3℃程度でほとんど一定である．背景のビニール部分も外気によって温度が低下するため検出されないと考える．
Fig.2

Example of an image from which it is evaluated

この検出方法は一定の有効性はあると考えるが，今回の場合検出するために 20~30 分必要という点が課題である．

4.

冬季の夜間における検出外の気温が低い場合ハウスの温度もより早く低下するた4.1

ボイラを使用した際の温度

め，ボイラの作動間隔も短くなることで短時間での検出は冬季の夜間においてはピーマンの温度が低下した場合に可能であると考える．外の気温があまり低くない場合はボ病害が発生する可能性があり，それを防止するためにハウイラの作動回数も少なくなるため検出できる時間帯は少な

ス内でボイラを焚く必要がある．ボイラはハウス内の温度い．ただ，ボイラ作動後に温度が上昇するまでの時間は短が設定された温度以下になると作動し，その後設定されたいためボイラが停止した直後であれば検出可能であると考温度まで上昇すると停止する．例えば 13℃で作動し 16℃まえる．

で上昇すると停止する．この時，葉と果実にも温度変化が生じる．図 3 にボイラを使用した際の夜間のハウス，葉，果実の温度のグラフを示す．

1:00

2:00
Fig.4 Detection results

3:00

5 に深度画像の例を示す．青い方がカメラからの距離が近く，Table.1 Evaluation results

Time

Inside the housetemperature (°C)

Thresholdtemperature

赤い方が遠い．深度データを利用するために画像処理過程のF-measure変更を行った．4 章で述べた画像処理過程のしきい値処理の(%)

後に指定した深度以上（今回は 700mm 以上）のピクセルをrange (°C)

削除する処理を追加した．ここに追加することで距離が遠く

1:00

15.8

13.6 ~ 16.3

85.7

検出対象から外れる部分を削除し，ノイズの少ない検出結果

2:00

14.4

13.4 ~ 16.3

89.5が得られると考えた．

3:00

16.3

13.5 ~ 16.3

85.8

5.

機械学習

5.1

学習方法

Table.2 Learning accuracy
UpperLower

thresholdthresholdlimit(%)

limit(%)

Bagging

59.5

69.8KNN

54.2

64.8

Algorithm

3.1 節の評価結果を用いて温度のしきい値を推定するために機械学習を行った．機械学習の種類として教師あり学習の分類問題を用いた．ソフトウェアは MATLAB の分類学習器アプリケーションを用いた．予測対象である目的変数はしきい値の上限と下限とした．予測を行うために必要な特徴量はハウス内の温度，湿度，照度，紫外線強度を用いた．それらの特徴量を含め予測する時間から 1，5，10，15，30，60 分前までの平均，差分，最大，最少，分散，標準偏差など合計して 約 140 個の 特 徴 量 を 使用す る 候 補 と し ， そ の中 か ら
Minimum Redundancy Maximum Relevance(MRMR)アルゴリズ
ム(15) という特徴量選択方法を用いて算出されたスコアの上位 20 個の特徴量を選択した．平均などを使用する理由は温度などの変化によってしきい値の傾向が変化するためであFig.5 Example of depth imageる ． 学 習 に 用 い た デ ー タ セ ッ ト は 2022 年 12 月
7,8,10,11,12,14,15,16,17 の９日間，10:00~16:59 の一分毎のデータであり F 値が最大である時のしきい値を教師データと5.4

しきい値推定結果と考察

2022 年 12 月 7，8，10~12，14~17 日の 9 日間のデータをする．データセットの個数は約 3200 個である．
K-用いて機械学習を行い学習モデルを作成し，9，13，18 日の近傍法 (7)を用いた．バギングは少数のランダムなデータセッデータを使用して果実の検出を行った．図 6 と図 7 にバギン

トを選択し弱学習器，つまり小さな学習データを作成する．

グと K-近傍法の学習モデルで推定したしきい値での 12 月 9

これを繰り返し弱学習器を組み合わせることで学習結果を日の検出結果の画像，表 3 にしきい値と評価結果を示す．1

得る．K-近傍法は変数の数に応じた N 次元座標系のある点番右の検出対象の果実は大きさが小さいが左の果実に近くから K 個の近傍点を見ることで，その点がどのグループにあ現状の処理過程では削除できないため対象物としている．

学習方法はアンサンブル学習のバギング(9)と重み付きるか分類する方法である．どちらも他の学習方法に比べて短時間の学習で精度が高い．

両方のモデルで 14:00 において画像ではよい検出結果とはいえないものの，F 値は 50%程度だった．検出結果が良好でない理由は画像から葉と果実の両方が白く温度差が小さい

5.2

学習精度ため検出に適した状態でないとためだと考える．しきい値に学習結果に対して，学習元データの特徴量を用いて推定を関してバギングと K-近傍法で上限だけが違う際は，評価結行うことで推定して得られた目的変数と教師データが一致

果にほぼ差はみられないが，下限も違う際は評価結果に違いするか精度検証を行った．検証方法は交差検証(7)を用いる．

が見られる．画像では下の果実が検出できておらず，下の果

交差検証はデータセットを特定の数に分割し，ランダムに振実は大きさが小さく，しきい値処理の時点で検出された面積り分けられたセットを作成する．分割したうちの 1 つを精度が小さい場合途中で削除されてしまう場合があるためであの検証に使用し，それを分割した数だけ順番に繰り返すといると考える．14：00 以外では F 値は 60％以上であり，画像う方法である．今回の検証では 5 分割とした．表 2 に推定にを見ても形は良くない場合もあるが指定した箇所は検出で使用する学習結果の精度を示す．

きていることから，果実の温度範囲をしきい値として推定するという点では，おおむね良好な検出結果が得られたと考え

5.3

画像処理過程の変更点

る．バギングと K-近傍法では学習モデルの精度はバギング

ピーマンを収穫する際に遠くにある果実はロボットの手の方が 5%程度高いが，実際に推定を行った際の精度はあま先が届かない場合がある．深度情報を用いることで手先の届り差がなく現状ではどちらが有効であるとは一概に言えなく範囲のみを検出し，無駄な動作を削減できると考えた．図い．

るために再現率，適合率，F 値(13)という評価指標を定め，画像処理途中で評価を行った．
冬季の夜間において温度低下防止のためにボイラを作動させた際に検出を行った．結果として対象物２個を検出でき F
11:00

12:00

値は 80%台であった．しきい値を自動的に決定するために昼

13:00

間は機械学習を用いてしきい値を推定することを提案した．
深度情報を利用し，画像処理過程に処理を追加した画像処理を行った．F 値は 50~80%だった．
今後の展望として果実の検出は 2 次元の画像として検出
14:00

15:00

example of

しているため深度情報を用いた 3 次元での位置特定と，ロボevaluation imageットによる摘み取りを行うための摘み取り位置の検出または推定を行いたい．

Fig.6 Image processing results of Bagging
on December 9, 2022

謝辞
本研究を行うにあたって，懇切丁寧にご指導いただきました岡宏一教授に感謝申し上げます．ご助言いただきました原田明徳准教授に感謝申し上げます．相談に乗ってくださった研究室のみなさまに感謝申し上げます．実験にご協
11:00

12:00

力いただいた北村様に感謝申し上げます．

13:00

本研究は高知県の「IoP が導く Next 次世代型施設園芸農業への進化プロジェクト」の助成を受けております．この場をお借りして感謝申し上げます．

14:00

参考文献

15:00

Fig.7 Image processing results of KNN on December 9, 2022

[1] 農林水産省ホームページ：農業労働力に関する統計
https://www.maff.go.jp/j/tokei/sihyo/data/08.html

Table.3 Thresholds and evaluation results

Algorithm

Time(参照日 2023 年 1 月 6 日)

HouseThresholdF-[2] 農林水産省ホームページ：スマート農業

temperaturetemperature

measurehttps://www.maff.go.jp/j/kanbo/smart/(°C)

range (°C)

(%)

11:00

26.6

-3.0 ~ 1.5

83.0

12:00

26.2

-2.5 ~ 2.5

64.1

13:00

26.0

-2.5 ~ 1.0

86.0(参照日 2023 年 1 月 6 日)
[3]多田敬佑，岡宏一，原田明徳，“赤外線カメラを利用したハウス内ピーマンの検出”

Bagging

KNN

修士学位論文，高知工科大学(2020)[4]

増田芳雄“絵とき植物生理学入門”，(1988)，オーム社

14:00

26.9

-3.0 ~ 1.0

50.9

15:00

25.4

-1.0 ~ 1.5

64.7

11:00

26.6

-3.5 ~ 1.5

71.4

12:00

26.2

-3.0 ~ 4.0

79.8

13:00

26.0

-2.5 ~ 2.5

86.2機械学習アルゴリズムの仕組み

14:00

26.9

-3.0 ~ 1.550.9(2019)，翔泳社

15:00

25.4

-1.5 ~ 075.7[5]

田中敏幸，“画像情報処理の基礎”，(2019)，コロナ社[6]

中川裕志，“東京大学工学教程

情報工学

機械学習”，(2015)，丸善出版
[7]

[8]

秋庭伸也，杉山阿聖，寺田学，“見て試してわかる
機械学習図鑑”，

MathWorks: Minimum Redundancy Maximum
Relevance (MRMR) アルゴリズムを使用した
分類用の特徴量のランク付け

6.

結言https://jp.mathworks.com/help/stats/fscmrmr.html

本研究では温度情報を取得可能な遠赤外線カメラを用いたピーマン果実の検出方法について検討し，AI 技術を用いた提案を行った．果実の検出方法として温度のしきい値処理を主とした画像処理を行った．画像処理過程でモルフォロジー変換(5)等の手法を用いた．機械学習の教師データを作成す(参照日 2023 年 1 月 6 日)
[9]Zhou，Zhi-Hua，宮岡悦良，下川朝有，“アンサンブル法による機械学習―基礎とアルゴリ
ズム―”，(2017)，近代科学社