〈一般研究課題〉 農業における作業量軽減のための葉カキロボットの基盤技術開発
助 成 研 究 者

豊橋技術科学大学

戸田清太郎

農業における作業量軽減のための葉カキロボットの基盤技術開発
戸田 清太郎（豊橋技術科学大学）

Automatic Stem Detection model for Deleafing Robots
Seitaro Toda
(Toyohashi University of Technology)

Abstract：
Aichi Prefecture is known for its automobile industry, but it is also one of the leading agriculturalprefectures in Japan, ranking 8th in terms of agricultural income by prefecture. However, the aging
of agricultural production workers is inevitable, and the number of farmers continues to decline. In
response to these problems, automation technologies of horticultural production are particularlypromising. Tomatoes are the most grown crop in horticulture situation, which entail high labor costs.
Among these, the labor-intensive tasks such as "lowering", "deleafing" and "harvesting" each accountfor a third of the total labor cost. Of these, "harvesting" generally attracts the most attention, and in
Aichi Prefecture, a harvesting robot is being researched and developed by Denso Corporation andother companies. On the other hand, "deleafing," which involves removing old leaves that are no longer
exposed to light from the lower part of the plant body, requires the same labor cost as "harvesting"but there are very few examples of automation and robotization. Our research group has developed ahanging type imaging robot that measures tomato plant images by moving along a rail installed at thetop of the greenhouse. In this study, an algorithm for automatic detection of tomato plant`s stem wasdeveloped as the basic technology for a deleafing robot.
1．はじめに愛知県は，自動車産業のみならず，都道府県別生産農業所得において全国第8位であり，全国有－ 99 －

数の農業県でもある 1)。愛知の農業の中心となるのは，東三河地域において約50年前に完成した豊川用水によって発展した施設園芸であり，野菜，花き，果物の生産に重要な役割を果たしてきた 2)。
2)。しかし，農業生産従事者の高齢化は避けられず，農業就業人口も減り続けており，愛知県でもしかし，農業生産従事者の高齢化は避けられず，農業就業人口も減り続けており，愛知県でも深刻
3)
3)
深刻な人手不足に陥っている。このような問題に対し，高効率な農業生産を可能とする次世代のな人手不足に陥っている。このような問題に対し，高効率な農業生産を可能とする次世代の植物

植物工場および園芸の自動化が期待されている。
工場および園芸の自動化が期待されている。
トマトは，植物工場で最も多く扱われる品目（全体の約56％）であるが，この生産にかかる人件
トマトは，植物工場で最も多く扱われる品目（全体の約56％）であるが，この生産にかかる人件費
4) 4)費は高額になる。この人件費のうち，植物工場内でつるを適切な場所（高さ）に移動する「つるは高額になる。この人件費のうち，植物工場内でつるを適切な場所（高さ）に移動する「つるおろおろし・つるずらし」が全体の1/3，不要な葉を除去する「葉カキ」が1/3，残り 1/3 が果実の「収し・つるずらし」が全体の1/3，不要な葉を除去する「葉カキ」が1/3，残り1/3が果実の「収穫」であ穫」である。これらのうち，一般に注目度が高いのは「収穫」であり，愛知県でも，（株)デンソーる。これらのうち，一般に注目度が高いのは「収穫」であり，愛知県でも，（株)デンソーなどによっ5)5)などによって収穫ロボットの研究開発がされている。一方，「葉カキ」は，植物体の下方にある光て収穫ロボットの研究開発がされている。一方，「葉カキ」
は，植物体の下方にある光が当たらなが当たらなくなった古い葉を取り除く作業であるが，かかる労働コストは「収穫」と同等にもかかくなった古い葉を取り除く作業であるが，かかる労働コストは「収穫」と同等にもかかわらず，自動わらず，自動化やロボット化に向けた開発事例は極めて少ない。
他方，筆者らの研究グループでは，化やロボット化に向けた開発事例は極めて少ない。他方，筆者らの研究グループでは，温室上部に温室上部に設置したレールを走行しトマト個体群の画像計測を行うつり下げ型画像計測ロボット
設置したレールを走行しトマト個体群の画像計測を行うつり下げ型画像計測ロボットを開発してい6)を開発している。本研究では，トマト個体の葉をロボットアームで摘除する，つり下げ型画像計
6)
る。本研究では，トマト個体の葉をロボットアームで摘除する，つり下げ型画像計測ロボットを
測ロボットをベースとした葉カキロボットの基盤技術としてトマト個体の茎の自動検出アルゴリベースとした葉カキロボットの基盤技術としてトマト個体の茎の自動検出アルゴリズムを開発した。
ズムを開発した。
2．材料および方法
2. 材つり下げ型画像計測ロボット
料 お よび 方 法
2.1

2.1図1.に，つり下げ型画像計測ロボットの模式図と写真を示す。つり下げ型ロボットは，画像計測
つり下げ型画像計測ロボット
図 1.に，つり下げ型画像計測ロボットの模式図と写真を示す。つり下げ型ロボットは，画像計測部，垂直移動部，水平移動部で構成される。これらの垂直移動部と水平移動部をプログラムで制御部，垂直移動部，水平移動部で構成される。これらの垂直移動部と水平移動部をプログラムで制御することで，画像計測部を移動レーンに沿って水平方向と垂直方向に移動させることでトマト個体することで，画像計測部を移動レーンに沿って水平方向と垂直方向に移動させることでトマト個体群の任意の箇所の画像計測が可能となる（図2.）。なお，開発する葉カキロボットのアーム部は画像群の任意の箇所の画像計測が可能となる（図 2.）。なお，開発する葉カキロボットのアーム部は画計測部に取り付けることで，トマト個体の茎を認識した後にアプローチを試みる。画像計測部はカ像計測部に取り付けることで，トマト個体の茎を認識した後にアプローチを試みる。画像計測部はラー画像計測用光源として2本の白色LEDアレイ（600 mm [H] × 20 mm [W]）を搭載し，クロロフィ
カラー画像計測用光源として 2 本の白色 LED アレイ（600 mm [H] × 20 mm [W]）を搭載し，クロロル（以降，Chl）蛍光画像計測用光源として4本の青色LEDアレイ（600 mm [H] × 20 mm [W]）を搭載
フィル（以降，Chl）蛍光画像計測用光源として 4 本の青色 LED アレイ（600 mm [H] × 20 mm [W]）しており，シングルボードコンピュータ（Raspberry Pi 4 Model B）の GPIOピンよりリレーを制を搭載しており，シングルボードコンピュータ（Raspberry Pi 4 Model B） の GPIO ピンよりリレ御することで各LEDアレイの点灯と消灯を行った。カラー画像計測とChl蛍光画像計測のために，ーを制御することで各 LED アレイの点灯と消灯を行った。カラー画像計測と Chl 蛍光画像計測の広角レンズ（RP-L165N; 125°[V] × 85°[W]）を装着したCMOSカメラ（RP-VC1）を2台用いた。
ために，広角レンズ（RP-L165N; 125° [V] × 85° [W]）を装着した CMOS カメラ（RP-VC1） を 2 台
なお，Chl蛍光画像計測用カメラにはロングパスフィルタ（SC-66）を装着した。
用いた。なお，Chl 蛍光画像計測用カメラにはロングパスフィルタ（SC-66）を装着した。

図1.
図 1つり下げ型画像計測ロボッ. つり下げ型画像計トの写真と模式図
測ロボットの計測されたト個体群の画像
図 2図2.
. 計
測されトマたト
マト個体群の画像

写真と模式図－ 100 －2

2.2 Chl蛍光インダクション現象の計測

2.2 Chl 蛍光インダクション現象の計測
Chl蛍光は，Chlが吸収した光エネルギーのうち光合成反応に使われなかったエネルギーの一部
2.2 Chl 蛍光インダクション現象の計測
Chl 蛍光は，Chl が吸収した光エネルギーのうち光合成反応に使われなかったエネルギーの一部が赤色光として発光されたものである（図3.）。そのため，Chl画像にはChlを有している物体が撮像
Chl 蛍光は，Chl が吸収した光エネルギーのうち光合成反応に使われなかったエネルギーの一部が赤色光として発光されたものである（図 3.）。そのため，Chl画像には Chl を有している物体が撮され，Chlを持たない物体は撮像されない特徴がある（図4.）。融資暗条件下に静置された植物葉にが赤色光として発光されたものである（図 3.）。そのため，Chl 画像には Chl を有している物体が撮像され，Chl を持たない物体は撮像されない特徴がある（図 4.）。融資暗条件下に静置された植物葉一定強度の励起光照射を開始することで観察されるChl蛍光強度の経時変化をインダクション現象像され，Chl を持たない物体は撮像されない特徴がある（図 4.）。融資暗条件下に静置された植物葉に一定強度の励起光照射を開始することで観察される Chl 蛍光強度の経時変化をインダクションとよび，その蛍光強度変化を対数時間軸にプロットした曲線をインダクションカーブとよぶ（図に一定強度の励起光照射を開始することで観察される Chl 蛍光強度の経時変化をインダクション現象とよび，その蛍光強度変化を対数時間軸にプロットした曲線をインダクションカーブとよぶ
5.）。画像計測には，つり下げ型画像計測装置に搭載されている青色LEDを励起光源として用い，現象とよび，その蛍光強度変化を対数時間軸にプロットした曲線をインダクションカーブとよぶ（図 5.）。画像計測には，つり下げ型画像計測装置に搭載されている青色 LED を励起光源として用
Chl蛍光画像計測用カメラを用いて１分間のChl蛍光の強度変化を動画で捉えた。
（図 5.）。画像計測には，つり下げ型画像計測装置に搭載されている青色 LED を励起光源として用い，Chl 蛍光画像計測用カメラを用いて１分間の Chl 蛍光の強度変化を動画で捉えた。
い，Chl 蛍光画像計測用カメラを用いて１分間の Chl 蛍光の強度変化を動画で捉えた。

図 3. クロロフィル蛍光の図 5. イ ン ダ ク シ ョ ン カ
図 4. カラー画像（左）とクロロ
ィル蛍光の模式図
ラー画像（左）と）とクロロ
インダクシンカーブの
図図3.
3. クロロフクロロ
フィル蛍光の
図 5図5.
. イン ダクョショ ンカ
図 4図4.
. カカラー画像（左模式図
フル蛍光画像ィル蛍光画像（右）クロロフィ（右）模式図 ーブの模式図
模式図ーブの模式図
フィル蛍光画像（右）2.3 Chl蛍光インダクション現象を用いた茎部分の抽出
2.3 Chl 蛍光インダクション現象を用いた茎部分の抽出
2.3 Chl 蛍光インダクション現象を用いた茎部分の抽出
Chl蛍光のインダクションカーブは，植物の光合成活性の違いにより形状が変化することが報告
Chl 蛍光のインダクションカーブは，植物の光合成活性の違いにより形状が変化することが報告
Chl 蛍光のインダクションカーブは，植物の光合成活性の違いにより形状が変化することが報告されており，本研究では，葉・茎・果実の光合成活性に違いがあると仮定し，それぞれのインダクされており，本研究では，葉・茎・果実の光合成活性に違いがあると仮定し，それぞれのインダクされており，本研究では，葉・茎・果実の光合成活性に違いがあると仮定し，それぞれのインダクションカーブを解析することでトマト個体の茎の自動抽出を試みた。
ションカーブを解析することでトマト個体の茎の自動抽出を試みた。図 6.に，葉・茎・果実のインションカーブを解析することでトマト個体の茎の自動抽出を試みた。図 6.に，葉・茎・果実のイン
図6.に，葉・茎・果実のインダクションカーブを解析するためのサンダクションカーブを解析するためのサンプリングの例を
ダクションカーブを解析するためのサンプリングの例を示す。矩形で囲われた範囲内の輝度 20 以上の領域を植物プリングの例を示す。矩形で囲われた範囲内の輝度20以上の領域を示す。矩形で囲われた範囲内の輝度 20 以上の領域を植物体領域とし，植物体領域内の Chl 蛍光強度変化を解析す
植物体領域とし，植物体領域内のChl蛍光強度変化を解析することで体領域とし，植物体領域内の Chl 蛍光強度変化を解析することで各植物体領域のインダクションカーブを描画し各植物体領域のインダクションカーブを描画した。描画したインダクることで各植物体領域のインダクションカーブを描画した。描画したインダクションカーブは最大蛍光強度で正ションカーブは最大蛍光強度で正規化し，対数時間軸において１目盛た。描画したインダクションカーブは最大蛍光強度で正規化し，対数時間軸において１目盛を 20 分割するよう間を20分割するよう間引きした。葉・茎・果実の分類には，間引き後の規化し，対数時間軸において１目盛を 20 分割するよう間引きした。葉・茎・果実の分類には，間引き後のデータをデータを入力とし中間層を3層，出力として葉・茎・果実に分類する引きした。葉・茎・果実の分類には，間引き後のデータを入力とし中間層を 3 層，出力として葉・茎・果実に分類CNNを構築した。教師データは，Chl蛍光のインダクション現象を捉入力とし中間層を 3 層，出力として葉・茎・果実に分類する CNN を構築した。教師データは，Chl 蛍光のインダえた動画13本に対し，それぞれ葉・茎・果実の領域を３箇所ずつ矩形する CNN を構築した。教師データは，Chl 蛍光のインダ
図6. 教として抽出した葉・師師データ
デー タとし て抽 出 し た
クション現象を捉えた動画 13 本に対し，それぞれ葉・茎・ 図 6. 教茎・果実の矩形領域の例で囲むことで作成した。
図6.
教師
デー
タとして抽出したクション現象を捉えた動画 13 本に対し，それぞれ葉・茎・葉・茎・果実の矩形領域の例
果実の領域を３箇所ずつ矩形で囲むことで作成した。
葉・茎・果実の矩形領域の例
果実の領域を３箇所ずつ矩形で囲むことで作成した。

3．結果
3. 結果
図7.に，図6.で示した葉・茎・果実の蛍光強度の変化を画像で示す。画像から果実の蛍光強度の3. 結果
図 7.に，図 6.で示した葉・茎・果実の蛍光強度の変化を画像で示す。画像から果実の蛍光強度の立ち上がりが遅れていることが確認できる。図8.に，教師データとして用いた正規化された葉・図 7.に，図 6.で示した葉・茎・果実の蛍光強度の変化を画像で示す。画像から果実の蛍光強度の立ち上がりが遅れていることが確認できる。図 8.に，教師データとして用いた正規化された葉・茎・茎・果実のインダクションカーブをそれぞれ平均化したものを示す。図7.で確認された，果実にお立ち上がりが遅れていることが確認できる。
図 8.に，教師データとして用いた正規化された葉・茎・ける蛍光強度の立ち上がりの遅れを確認することができ，葉と茎においては最大蛍光強度までの立－ 101 －33

果実のインダクションカーブをそれぞれ平均化しち上がりに大きな違いは見られないものの，最大蛍果実のインダクションカーブをそれぞれ平均化したものを示す。図 7.で確認された，果実における蛍光強度以降の下がり方に違いがあることが見て取れたものを示す。図 7.で確認された，果実における蛍光強度の立ち上がりの遅れを確認することができ，る。図9.に，CNNで分類した結果を示す。茎として光強度の立ち上がりの遅れを確認することができ，葉と茎においては最大蛍光強度までの立ち上がり抽出された領域を白く描画しており，本手法によっ
葉と茎においては最大蛍光強度までの立ち上がりに大きな違いは見られないものの，最大蛍光強度以て精度良く茎を抽出できることが示された。に大きな違いは見られないものの，最大蛍光強度以降の下がり方に違いがあることが見て取れる。図 9.
降の下がり方に違いがあることが見て取れる。図 9.に，CNN で分類した結果を示す。茎として抽出さに，CNN で分類した結果を示す。茎として抽出された領域を白く描画しており，本手法によって精度れた領域を白く描画しており，本手法によって精度 図 7. 葉・茎・果実の蛍光強度変化画像
葉・茎・果実の蛍光強度変化画像
良く茎を抽出できることが示された。
図 7.図7.
葉・茎・果実の蛍光強度変化画像
良く茎を抽出できることが示された。

図8. 葉・茎・果実の平均化インダクションカーブ

図9. カラー画像（左）と葉・茎・果実の分類結果（右）

図 8. 葉・茎・果実の平均化インダク
図 9. カラー画像（左）と葉・茎・果実の図 8. 葉・茎・果実の平均化インダク
図 9. カラー画像（左）と葉・茎・果実の分類結果（右）4．まとめ ションカーブ
ションカーブ
分類結果（右）本研究では，トマト生産において「収穫」と同等の労働コストがかかる「葉カキ」を自動化するロ4.ボットの開発を目的に，筆者らの研究グループで開発したつり下げ型画像計測ロボットを用いた茎
まと め
4 . まと め
本研究では，トマト生産において「収穫」と同等の労働コストがかかる「葉カキ」を自動化するの自動検出アルゴリズムを開発した。今後の研究開発では，つり下げ型画像計測ロボットにロボッ本研究では，トマト生産において「収穫」と同等の労働コストがかかる「葉カキ」を自動化するロボットの開発を目的に，筆者らの研究グループで開発したつり下げ型画像計測ロボットを用いたトアームを搭載し，検出した茎へアプローチし後に葉を摘除するための機構を開発する。
ロボットの開発を目的に，筆者らの研究グループで開発したつり下げ型画像計測ロボットを用いた茎の自動検出アルゴリズムを開発した。今後の研究開発では，つり下げ型画像計測ロボットにロボ茎の自動検出アルゴリズムを開発した。今後の研究開発では，つり下げ型画像計測ロボットにロボットアームを搭載し，検出した茎へアプローチし後に葉を摘除するための機構を開発する。
参考文献
ットアームを搭載し，検出した茎へアプローチし後に葉を摘除するための機構を開発する。
1)「政府統計の総合窓口(e-Stat)」, 都道府県別農業産出額及び生産農業所得
参考
献土交通省 水管理・国土保全局 水資源部,「豊川水系における水資源開発基本計画」変更事業
2)文国参考文献
1) 「政府統計の総合窓口(e-Stat)」, 都道府県別農業産出額及び生産農業所得の概要, At https://www.mlit.go.jp/common/001111988.pdf
Accessed 10 May 2023.
1) 「政府統計の総合窓口(e-Stat)」,都道府県別農業産出額及び生産農業所得
2) 国土交通省 水管理・国土保全局 水資源部, 「豊川水系における水資源開発基本計画」変更事業
https://www.maff.go.jp/j/wpaper/w_maff/r 3/r 3_h/trend/
農 林 水 産 省,
（1）基 幹 的 農 業 従事 者, At「豊川水系における水資源開発基本計画」変更事業
2) 3)国土交通省
水管理・国土保全局
水資源部,の概要, At https://www.mlit.go.jp/common/001111988.pdf Accessed 10 May 2023.
part1/chap1/c1_1_01.html Accessed 10 May 2023.の概要,
At https://www.mlit.go.jp/common/001111988.pdf
Accessed 10 May 2023.
3) 農林水産省, （1）基幹的農業従事者, At https://www.maff.go.jp/j/wpaper/w_maff/r3/r3_h/trend/part1/At https://www.maff.go.jp/j/seisan/ryutu/engei/sisetsu/attach/
農 林水産省,
施設園芸をめぐる情勢,
3) 4)農林水産省,（1）基幹的農業従事者,
At https://www.maff.go.jp/j/wpaper/w_maff/r3/r3_h/trend/part1/chap1/c1_1_01.html Accessed 10 May 2023.
pdf- /index-1.pdfAccessed
Accessed
May2023.
chap1/c1_1_01.html
10 10May2023.
4) 農林水産省, 施設園芸をめぐる情勢, At https://www.maff.go.jp/j/seisan/ryutu/engei/sisetsu/attach/pdf長 谷川貴巨,
トマト自動収穫ロボット「FARO」の開発, 日本ロボット学会誌, 39, 907-910,
4) 5)農林水産省,
施設園芸をめぐる情勢,
At https://www.maff.go.jp/j/seisan/ryutu/engei/sisetsu/attach/pdf/index-1.pdf Accessed 10 May 2023.
2021. Accessed 10 May 2023.
/index-1.pdf
5) 長谷川貴巨, トマト自動収穫ロボット「FARO」の開発, 日本ロボット学会誌, 39, 907-910, 2021.
5) 6)長谷川貴巨,
39, 907-910, 2021.
加 納多佳留,トマト自動収穫ロボット「FARO」の開発,
戸田清太郎, 海野博也, 藤内直道, 仁科弘重,日本ロボット学会誌,高山弘太郎, トマト個体群を対象とし
6) 加納多佳留, 戸田清太郎, 海野博也, 藤内直道, 仁科弘重, 高山弘太郎, トマト個体群を対象と
6) 加納多佳留,
戸田清太郎, 海野博也, 藤内直道, 仁科弘重, 高山弘太郎,トマト個体群を対象とたつり下げ型多元的植物生態画像情報計測ロボットの開発,
Eco-Engineering,34, 37-44,
したつり下げ型多元的植物生態画像情報計測ロボットの開発, Eco-Engineering, 34, 37-44, 2022.
したつり下げ型多元的植物生態画像情報計測ロボットの開発,
Eco-Engineering, 34, 37-44, 2022.
2022.

4

4－ 102 －