YOLOv7 によるキクラゲ自動収穫のための画像認識結果の一考察
山田竜輝＊１

松村遼＊２

北風裕教＊３

Consideration of Image Recognition Resultsfor Automatic Wood Ear Mushroom Harvesting with YOLOv7
Ryuki YAMADA, Ryo MATSUMURA and Hironori KITAKAZE
Abstract
In recent years, the scarcity of successors for farmers in Japan has emerged as a pressing problem.
This issue has drawn the attention of researchers, pushing towards smart agriculture by utilizing robots
and other cutting-edge technologies. With cooperation from a local producer, the research team isdeveloping an automated Wood Ear Mushroom harvesting system. In this study, the author conducted anexperiment to confirm the extent to which recognition accuracy could be improved by switching thedetection algorithm from YOLOv4 to YOLOv7. The results indicated a recognition accuracy
improvement of more than 10%.
Keywords: smart agriculture, automatic harvesting system, deep learning, you only look once
１ 緒言

動的に行うシステムであり、このシステムの核とな

近年、農業従事者の労働環境や後継者不足が問題るキクラゲの認識部は、ロボットアームに取り付け

１）られているカメラから撮影された画像を用いる仕組によると、平成 29 年に約 150 万人いた農業従事者みになっている。撮影された画像は、深層学習技術に対して、令和 4 年には約 120 万人となっており、を用いることで人の認識を代行させる仕組みとなっ5 年間で全体の 20％にあたる約 30 万人の人が減少ており、ビニルハウス内の気温 40 度、湿度 90％のしたことになる。また、平均年齢も上昇しているた環境下における労働者の負担に影響はしない。このめ、農業の負担は加速している。

技術により、作物を 24 時間監視することができ、本となっている。農林水産省が発表しているデータ

現在、このような問題から注目されているのが、来必要な選別や収穫作業を継続的に行うことが可能

ロボットなどの最先端技術を活用したスマート農業となる。ここで、ロボットアームの自動収穫を実現である。デジタルトランスフォーメーション（以下、するためにはカメラ画像から対象となるキクラゲをDX）の導入を進め、労働力の低下部分を補い、農業高精度に認識しなければならない。しかし、キクラ従事者をサポートすることで、生産性を担保する試

ゲは、黒褐色をしておりであり、形状も複雑である

２）

みが国内外で行われている 。

ため、その認識は非常に困難である。この問題に対著者の研究グループでは、大島商船高等専門学校

して、田口らは、キクラゲの成長段階を「収穫必要」、の近隣地域にあるアラゲキクラゲ（以下、キクラゲ）「任意収穫」、「収穫不要」の 3 段階に分類し、収穫の生産者と連携して、キクラゲの自動収穫システム

する大きさを定めることで、出荷する際に作物の大３）の開発を行っている 。このシステムは、人の手にきさを均一化するシステムを開発している４）。深層

よって菌床からキクラゲを摘む収穫作業を、同研究学習を用いた物体検出アルゴリズムには、You Only

グループで独自開発したロボットアームによって自Look Once v4（YOLOv4）を用いている。しかし、＊１ 電子・情報システム工学専攻＊２ 周南公立大学＊３ 情報工学科1

このシステムは成長度の認識率が 70％程度しかな
く、認識精度において大きな課題が残っていた５）。
そこで本研究では、物体検出アルゴリズムの認識精度を飛躍的に向上させた You Only Look Once v7（YOLOv7）を用いて、認識精度がどの程度上昇するか，確認実験を行った。この結果、正答率において従来の 80％から 90％に近い精度の向上が見られ、全体として 10％向上したので報告する。また、画像認識精度の良し悪しは、キクラゲ画像の何に影響さ

図１ 菌床から生えるキクラゲの実写画像れるのかについて、考察したのであわせて報告する。
２ 利用データ
本実験では、認識対象をキクラゲとし、その成長状態を「収穫必要」、「任意収穫」、「収穫不要」の 3 段階に分類し、それぞれの認識精度の確認を行う。そのため、成長度に合わせたキクラゲ画像が必要となるが、大量のキクラゲの画像を取得することは困難

図２ 増加画像（左：反転，右：ノイズ付加）であるため、実際に撮影したキクラゲ画像を、DataAugmentation を用いて増加して認識実験に利用しに、YOLO（You Look Only Once）についての詳細た。以下に詳細を記述する。と、実験パラメータについて詳細を記述する。

２．１ キクラゲの実写画像の取得

３．１ 物体検出アルゴリズム YOLOv7

図１にキクラゲのビニルハウス内で撮影した画像

YOLO は、一般的に利用される深層学習アルゴリを示す。キクラゲの生産者である株式会社藤本コー

ズム Mask R-CNN や SSD よりも推論速度においてポレーション（柳井市）で撮影したキクラゲの菌床

高速な物体検出アルゴリズムである。また、YOLO画像約 2,500 枚である。

は、各バージョンによって作成者が異なる特徴を持
つが、YOLOv7 は先行研究で用いた YOLOv4 の系

２．２ 学習用データセットの準備列であり作成者が同じであることから、従来システ撮影したキクラゲ画像に対して左右反転の処理をムとの比較を容易にする。モデルの規模にもよるが、施し、さらにそれらの画像にインパルスノイズを付

基本的には 3 段階に分かれるピラミッド構造を持ち、加した画像を組み合わせて Data Augmentation を第 1 段階のピラミッド構造において、画像の畳み込行い、データを 4 倍の約 1 万枚に増加する。
図２に、みにより入力画像を縮小した特徴量マップを構成し、Data Augmentation 後の画像の例を示す。

第 2 段階目のピラミッド構造でアップサンプリング

ここで、Data Augmentation 後の画像のうち、により逆に画像を拡大した特徴量マップを構成する。

5000 枚は深層学習の訓練用データとして利用する。

第 3 段階目のピラミッド構造において再度縮小処理

また、残りの 1500 枚ほど抜き出して検証用データを行う構造が取られており、最終的には第 2 段階のとする。

最終層と第 3 段階の特徴量マップを利用して 3 種類の解像度の特徴量マップに対して、各 anchor box を

また、キクラゲのサイズが，収穫した方が良い段階に達している『収穫必要』、ベストな収穫サイズに割り当てる構造も持つ（図３）。

近い『任意収穫』、成長を待つ必要がある『収穫不要』

YOLOv7 では畳み込みの基本アーキテクチャにの 3 段階に分けアノテーションを行う。ここで、アELAN（図４）、E-ELAN を使用しており、DenceNet

ノテーションは、すべて目視で確認して設定を行う。

や CSPDarknet などの concatenate ベースのモデルを進化させたものである。また、concatenate モデル

３ 深層学習による検出に適した複合スケーリング法の提案をしている。

学習用のキクラゲデータを利用し、物体検出アルゴリズム YOLOv7 を用いて深層学習を行う。以下

３．２

YOLOv7 で用いるパラメータ

本手法におけるパラメータは、基本モデルの値を2

表１ 認識実験の結果（100epoch）
正答率

適合率

再現率

F値

収穫必要

0.73

0.210.720.33

任意収穫0.68

0.470.790.59

収穫不要

0.730.670.710.69

表２ 認識実験の結果（200epoch）

図３ YOLOv7 のモデル構造

正答率

適合率

再現率

F値

収穫必要

0.86

0.780.710.74

任意収穫0.860.830.750.79

収穫不要0.880.850.660.74

表３ 認識実験の結果（400epoch）正答率

適合率

再現率

F値

収穫必要0.850.740.720.73

任意収穫0.860.830.830.83

収穫不要

0.850.830.760.79

表４ 認識実験の結果（800epoch）
正答率

適合率

再現率

F値

収穫必要0.880.830.800.81

任意収穫0.90

0.83

0.780.80

収穫不要

0.87

0.84

0.780.81

４．２ 適合性の評価：Precision（適合率）
物体検出における適合性の評価には Precision（適図４ ELAN の構造合率）を用いる。Precision は式 2 に示すように全て変更しないで利用する。利用する画像に対してフィの検出数のうち正しく検出できた数（True Positive）ッティングを行えば更なる結果の向上も期待できる。

が占める割合で表されるため、対象物以外を検出する誤検出の割合を評価することができる。

４ 認識実験による精度評価方法

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =YOLOv7 の学習回数を増加させることによる、認𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒
𝑁𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑑𝑒𝑡𝑒𝑐𝑡𝑖𝑜𝑛（式 2）

識率の違いについて適合実験と認識実験を行い精度の確認を行った。
学習回数は、100epoch、200epoch、

４．３ 再現性の評価：Recall（再現率）

400epoch、800epoch と 2 倍ずつ増やし、それぞれ物体検出における再現性の評価には Recall（再現で適合実験、認識実験での結果に変化が出るのか、率）を用いる。Recall は式 3 に示すように、実際の正答率、適合率、再現率、Ｆ値によって評価を行う。

正解中の正しく検出できた数が占める割合で表され各評価についての算出方法を以下に示す。

るため、対象物体を検出していない未検出の割合を評価することができる。

４．１ 正答率・精度：Accuracy

𝑅𝑒𝑐𝑎𝑙𝑙 =全サンプルのうち、分類したクラスと正解クラス

𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒
𝑁𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑎𝑛𝑠𝑤𝑒𝑟（式 3）が一致する数の割合を正答率・精度（式 1）で表す。
４．４ 総合評価：F-score（Ｆ値）

𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 =𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑇𝑟𝑢𝑒 𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒

Precision と Recall はそれぞれ異なる評価目的を

𝑇𝑟𝑢 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑇𝑢𝑟𝑢 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 + 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒持つため、モデルの総合的な評価を行うための指標が必要となる。F-score（Ｆ値）は式 4 に示すように

（式 1）

3

Precision と Recall の調和平均で表されるため、モデルの性能を総合的に評価、比較することができる。
𝐹‐ 𝑠𝑐𝑜𝑟𝑒 =2𝑅𝑒𝑐𝑎𝑙𝑙・𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
𝑅𝑒𝑐𝑎𝑙𝑙+𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛（式 4）

５ 認識実験による結果準備した学習データに対して学習回数を変えてYOLOv7 による認識実験を行った。100epoch、200epoch、400epoch、800epoch における正答率、図５ 正しく認識された例

適合率、再現率、F 値を算出した結果を表 1 から表4 に示す。
表 1 の学習回数 100epoch における認識実験の結果、正答率は 0.7 に近い値が出ているものの、適合率の値が著しく低くなっており、正しく学習が行われてはおらず、3 段階の収穫判別を行うことが困難である。学習回数や学習枚数が不足していることが原因であると考えられる。
表 2 の学習回数 200epoch の認識実験の結果、正答率は 0.85 を超える良い結果となっている。また、

図６ 誤認識の例（密集している場合）

100epoch に比べて 2 倍以上の適合率の上昇につなげることができている。さらに、F 値においても上昇を確認することができている。しかし、再現率は0.74 程度と変化が少なく、結果としては不十分である。
表 3 の学習回数 400epoch の認識実験の結果では、正答率は 200epoch に比べてそれほど変わらない。
再現率の上昇がみられるものの、適合率は若干低下がみられる。正答率においてもそれほど変化が見られない結果であった。

図７ 誤認識の例（菌床以外を判断した場合）

表 4 の学習回数 800epoch の認識実験の結果では、正答率、適合率、再現率、F 値すべてにおいて数値ラゲに関しては正しく認識できているものの、一部の上昇がみられ，正しく学習が行われていることがのキクラゲを見落としてしまう問題があった。特に、明らかとなった。これ以上の学習回数の実験においキクラゲの上に重なるように別のキクラゲが存在すては、数値の伸びはない状況であった。これ以上のる場合に、下側のキクラゲの形が正しく読み取れず学習は過学習となると考えられる。に、キクラゲと判定されないことが多い。これには、正面から撮影するカメラ以外に、死角となるキクラ

６ 学習後の画像による考察

ゲを撮影できるカメラを別で準備する必要があると学習後の画像を図５から図７に示す。図５は正し考えられる。

く認識した場合の例であり、図６、図７は誤って認

2 つ目の理由として、本来キクラゲが存在してい識した場合の例である。図５では、テスト画像内のない菌床以外の黒い影をキクラゲとして誤って判断

キクラゲの位置が比較的明確であり、肉眼でも十分する場合である。図７に菌床の下の金属棚の黒い影に各キクラゲを認識できる容易な画像である。このをキクラゲとして誤認識している例を示す。この問

ような場合は、認識精度においても十分な結果が得

題を解決する為には、菌床からキクラゲが生えるこられている。とを学習段階で記憶させる必要があると考えられる。

一方、誤認識した場合には、2 つの傾向がみられそのためには、菌床自体を正しく認識する必要が出た。1 つは、図６に示すように、キクラゲが密集してるために、菌床とキクラゲを分けて学習し、それら生えている場合である。この場合、ある程度のキクの関係には、「菌床とキクラゲは必ず接地する」とい4

う、条件を記憶させる必要があると考える。
７ 結言
本研究は、独自に開発をしているロボットアームを用いたキクラゲの自動収穫システムに搭載するキクラゲ判別機において、先行研究で用いた YOLOv4と同じ著者によって開発された YOLOv7 を用いて改めて学習を行い、認識精度にどの程度の上昇がみられるのか評価を行い、有用性について検討を行うことを目的とした調査研究である。実験では対象物体の大きさに応じて『収穫必要』、『任意収穫』、『収穫不要』の 3 クラスに定めて YOLOv7 で深層学習を行い、認識実験を行った。学習用データセットの作成には、実際に撮影した画像とそれらに対してData Augmentation を行ったものを用意した。この実験により、学習回数の増加が認識率の増加に影響を及ぼし、正答率が 0.87 以上、適合率、再現率、F値においては 0.8 に近い結果を得るまでに至った。
しかしながら、これ以上の epoch 数の増加に関しては、過学習の可能性が出るため、実験は控えている。
また、学習後に得られたキクラゲのバウンディングボックスについて、考察を行った。その結果、密集して生息するキクラゲにおいて認識率が低下し、死角となるキクラゲが正しく分析できなかったこと。
更に、キクラゲでない黒い影をキクラゲと誤認識する結果が得られた。これには、菌床とキクラゲの関係を強くするための工夫が必要であると考えられる。
これらについては、今後の課題とする。
参考文献
1)農林水産省, “農業労働力に関する統計”, 閲覧日 2023 年
2)https://dev.classmethod.jp/articles/yolov7-architectureoverall/ (2023 年現在)
3) https://arxiv.org/abs/2207.02696 (2023 年現在)
4)Hajime Taguchi, Kazuya Okamura, Ryuki Yamada, OukOutdam, Hinaki Hatsuzaki, Ryo Matsumura and Hironori
Kitakaze, Journal of the Institute of Industrial Applications
Engineers, 11(2), 2023
5)田口創，松村遼，北風裕教，ロボット・VR・AI 技術を用いたキクラゲ自動収穫システムの開発，電子情報通信学会 2023 年総合大会情報・システムソサイエティ特別企画ジュニア＆学生ポスターセッションプログラム，ISS-SP-023，ジュニア奨励賞，2023

5