立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

最適なトマト生育の知見獲得に向けた，ロボット×AI による生育・収穫・選別の全自動化
Automation of cultivation, harvesting, and classification of tomato
by the combination of Robot technology and AI2191010

研究代表者

長岡工業高等専門学校
電子制御工学科

助 教

酒井一

樹

[研 究 の 目 的][研究の内容，成果]

トマトは世界で最大の生産額を誇る野菜であ本研究の全体像を示した図を図 1 に示す。本るが，土壌の状態や気候条件によって品質が変研究は以下の 4 つの要素から成り立っている。

動しやすく，安定した生育が難しい。近年では(1) ICT 活用によるトマト生育の自動化

農業への ICT 活用も進んでいるが，高価かつ(2) ロボットと AI によるトマト収穫の自動化

大規模栽培を前提としたものがほとんどである。

(3) トマトの選別の自動化

生育過程において，安価なセンサで取得できる(4) 最適な生育条件を可視化する方法検討

土壌や気候のパラメータに関する最適な範囲を

本節ではそれぞれについて成果を報告する。

可視化することができれば，プランター菜園な

まず (1) ICT 活用によるトマト生育の自動どに取り組む個人農家なども活用することがで化について，本研究では学内にビニールハウスきる。一方で，こういった分析を行うためには，を建設し，電磁弁と電動バルブを Raspberry

多くのサンプルについて，生育過程における土壌のパラメータ等と収穫後の実の品質を関連付けて取得する必要があり，多大なる労力が必要になるという課題がある。
本研究では，この課題を解決すべく，ロボット技術と AI 技術を組み合わせることで，トマトの生育や収穫，選別を自動で行うシステムを構築することを目的とする。このシステムはそれ単体で機械による作業負担の軽減という側面を持ち，それに加えて，生育過程におけるデータの取得も自動化できるようになるため，トマト生育に関する知見を得るための土台を構築できるといった価値も有している。
図1

― 1 ―

構築するシステムの全体像立石科学技術振興財団

図2

自動潅水システムの概要図

Pi によって制御する自動潅水システムを構築

図3

カメラ画像による実の位置推定の実行結果

図4

ロボットアームによる収穫のデモの様子した。自動潅水システムの概要図を図 2 に示す。
電源およびインターネット環境が無かったため，電磁弁や電動バルブはポータブル電源の 12 Vの 直 流 電 圧 出 力 を 24 V に 昇 圧 し て 駆 動 し，Raspberry Pi の時刻同期は GPS モジュールを用いた。実際にトマト生育にて運用し，安定して稼働させることができた。
続いて (2) ロボットと AI によるトマト収穫の自動化についてはさらに 3 つの要素に分解してそれぞれの検討を進めた。3 つの要素はせたものに対して，独自に用意したトマトの画(2-a) ポットの収穫スタジオへの移動像にラベル付けしたものでファインチューニン(2-b) カメラ画像による実の位置の推定グを行った。あるトマトの画像に対する位置推(2-c) ロボットアームによる実の収穫定の結果を表示した図を図 3 に示す。

である。ポットの移動については自律移動ロ(2-c) ロボットアームによる実の収穫には，ボットを設計・製作し，実際のポットの重さや5 軸ロボットアーム xArm-5-Lite を用いたシ

高さと同様の対象を移動させるテストを行った。

ステムを構築した。トマトを収穫するためには運搬は可能であることがわかったが，安定性や実を掴んで茎が折れるように引っ張ったり捻っ生育フィールドからポットを取り外したり，生たりする必要がある。まず実を傷つけずに掴む

育フィールドにポットを戻す過程の確実性を高ために吸着グリッパを用いたエンドエフェクタめることが難しいということがわかった。そこを作製し，推定した実の位置に対して下から垂で，詳細は後述するが，そうした本研究での知直に向かう軌跡で動いて，吸着後は垂直に下見をもとに，ポットの移動をロボットではなく，がって引っ張り取るためのプログラムを作成し水路を用いる方向性を検討する新しいプロジェた。それを用いたデモを行った様子を図 4 に示クトが立ち上がった。ポットを最初から水に浮す。トマトを的確に掴み，収穫することができかばせておき，水流を発生させることでポットている。

を移動させるというものである。水路の設計お一方で，吸着グリッパでは房状になっているよび実現可能性の検証を行っている段階である。

トマトや小さいトマトをうまく保持することが(2-b) カメラ画像による実の位置推定につできないという課題も明らかとなった。そこで，

い て は Tensorflow Object Detection API をエンドエフェクタを機械式と吸引式のハイブ用いた実現を検討し，高い精度で実現可能でリッド型に改良し，小さいトマトも確実に収穫あることが明らかとなった。ネットワークはできるようにシステムを改良した。手の形のエMobileNet v1 を用い，COCO dataset で学習さンドエフェクタであり，図 5 に示すように指の― 2 ―Tateisi Science and Technology Foundation

図5

図6

エンドエフェクタによる把持機構

図7

作成したカラーチャート

作製したエンドエフェクタのデモの様子

部分は複合四節リンク機構とすることで物体に巻き付くような把持を可能とした。大きいトマ

図 8 カラーチャートと糖度・酸度の関係

トと小さいトマトの両方に対応できるように，2 段階の把持機構が可能である。材料としてはRGB 値をまとめたものを図 7 に示す。また，金属部品にはアルミを用い，果実との接触部にATAGO 社の糖酸度計 PAL-BX ￨ ACID を用はウレタン樹脂を用いた。また，モータやポン

い て ト マ ト の 糖 度 と 酸 度 を 計 測 し，カ ラ ープの制御には Arduino を用い，ロボット制御チャートとの関係性を評価した。カラーチャー

用のオープンソースソフトウェア ROS によるトの各色票に属するトマトの糖度と酸度の計測制御システムを構築した。磁気式のロータリー値を示したものが図 8 である。カラーチャート

エンコーダによってモータの回転角を計測できを用いることで，糖度や酸度をある程度把握するようにしてあり，PID 制御などのフィードることができ，選別に活用できることが明らか

バック制御が可能である。作製したエンドエとなった。分光解析等の非破壊検査を追加してフェクタでの物体把持のデモの様子を図 6 に示いくことでより高度な選別が可能になると考えす。物体を安全に把持できていることがわかる。ている。
(4) 最適な生育条件を可視化する方法として，画像を用いたトマトの位置推定に加えて，トマトの実の大きさ推定もできるようにすれば，各生育過程における土壌の pH と電気伝導度の値機構の自動制御が可能となる。と収穫後の実の糖度との関係性を機械学習を用(3) トマトの選別の自動化については，画像いた解析をする方法を検討した。本研究のシスによる非破壊な評価を目標とした。その基礎検テムが実現すれば，自動でデータを取得できる討として，生育過程における実の色を記録してようになるが，今回は手動で計測したデータをカラーチャートの作成に取り組んだ。画像補正用いた解析の有効性の検証となった。

用 の CASMATCH と ト マ ト の 実 を 同 じ 写 真

収穫 3 週間前の時点にてハンナインスツルメに収め，ホワイトバランスを補正することで色ンツの土壌 pH テスターと土壌 EC/℃テスター

票を完成させた。また，選別や収穫の基準値を用いてデータを取得し，収穫後の実の糖度ととするために平均色の抽出も行った。作成した酸度を ATAGO 社の糖酸度計 PAL-BX|ACID

カラーチャートと各色票における平均色のを用いて計測した。相対的に糖度の高い実と低― 3 ―立石科学技術振興財団

図 10

水路でのポット輸送の実験コシステムの検討も進めている。
図9

土壌データ空間における高糖度の決定境界[成果の発表，論文等]

い実という 2 つのグループに分けて，土壌の[ 1 ] 村上祐貴：ロボット×AI によるアクアポニック

pH と電気伝導度の値をもとにサポートベクスの全自動化構想，長岡水イノベーション・ハブ

ターマシンによる決定境界を求めた。その結果

キックオフ・ミーティング，NaDeCBASE (長岡)，が図 9 である。pH はあまり高くない方が良いという従来からの知見に加え，電気伝導度と総(2020. 2).
[2]

風間鼓太朗，酒井一樹，村上裕貴，竹内麻希子，上村健二，赤澤真一，陽田 修，池田富士雄，市村合してどの範囲にあればよいかという，より具勝己，外山茂浩 : 機械学習を用いたトマトの生育条体的な知見を可視化することに成功した。デー件評価，2020 年電子情報通信学会総合大会 ISS 学

タ点数が多くないため，より信頼性の高い知見

生ポスターセッション，(2020. 3)[ 3 ] Yuki Murakami : Case intoroduction of NUTʼsを得るためには追実験が必要であるが，可視化education

手法の有効性を確認することができた。

WORKSHOP, NaDeCBAS (NAGAOKA), (2020. 10).

collaborativeactivities,STI-Gigaku[ 4 ] Kazuya Oguma, Shota Higuchi, Fujio Ikeda, Yuki
Murakami and Shigehiro Toyama : Development of[今後の研究の方向，課題]

automatic tomato-harvesting system using universal vacuum gripper and RGB-D camera, The 15th

今回，研究目標の全ての部分要素を検討・開発することができた。今後の方向性としては，これらの技術の統合および実装が第一にあげられる。その中でも，先述したようにポットの自動輸送システムの改良が求められており，水路を用いた新しいシステムの考案が進められていInternational Conference on Motion and Vibration
Control (MoViC2020), 10050, (2020. 12).
[5]

小熊一矢，池田富士雄，村上祐貴，外山茂浩 :果実の大きさへの柔軟性を持つエンドエフェクタの開 発，第 26 回 高 専 シ ン ポ ジ ウ ム オ ン ラ イ ン，
JPMAC-0, (2021. 1). 国立大学法人長岡技術科学大
学学長賞
[6]

小熊一矢，池田富士雄，村上祐貴，外山茂浩 :る。図 10 にその実験の様子を示す。また，水トマト果実の自動収穫に向けたエンドエフェクタのを土台とするシステムであるため，さらなる発開発，令和 2 年度国立高専第 2 ブロック研究発表会，展の可能性として，アクアポニックスによるエ― 4 ―(2021. 3).