Patent application EP22156924A (EP), filed 2022-02-16
Publication number: EP4109414A1
Title: METHOD FOR DETERMINING AN INDICATOR FOR A PREPARATION QUALITY OF AN AGRICULTURAL CROP
Abstract: Die Erfindung betrifft ein Verfahren zur Bestimmung eines Indikators (I) für eine Aufbereitungsqualität eines landwirtschaftlichen Ernteguts (1) mittels eines Mobilgeräts (7), insbesondere eines Smartphones oder Tablets, wobei das Mobilgerät (7) eine Recheneinheit (9) aufweist und/oder mit der Recheneinheit (9) kommuniziert. Es wird vorgeschlagen, dass die Recheneinheit (9) Bilddaten (10) einer vorbereiteten, Kornbestandteile (5) und Nicht-Kornbestandteile (6) umfassenden, Probe des Ernteguts (1) in einer Analyseroutine (11) analysiert, um den Indikator (I) für die Aufbereitungsqualität des Ernteguts (1) zu bestimmen und dass die Recheneinheit (9) in der Analyseroutine (11) ein trainiertes Maschinenlernmodell (15) anwendet, um zumindest einen Schritt der Bestimmung des Indikators (I) für die Aufbereitungsqualität des Ernteguts (1) durchzuführen.
IPC codes: G06V  10/    10            A I
G06V  10/    82            A I
G06V  20/    69            A I
Claims: number: 1
text: Verfahren zur Bestimmung eines Indikators (I) für eine Aufbereitungsqualität eines landwirtschaftlichen Ernteguts (1) mittels eines Mobilgeräts (7), insbesondere eines Smartphones oder Tablets,
number: 2
text: Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die Kornbestandteile (5) Maiskornbestandteile sind, und/oder, dass der Indikator (I) für die Aufbereitungsqualität ein Indikator (I) für die Aufbereitungsqualität der Kornbestandteile (5) ist, vorzugsweise ein Indikator (I) für den Kornaufschluss, weiter vorzugsweise, dass der Indikator (I) für die Aufbereitungsqualität mit dem Corn-Silage-Processing-Score korreliert.
number: 3
text: Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass die Recheneinheit (9) in der Analyseroutine (11) einen Klassifikationsschritt (16) auf den Bilddaten (10) durchführt, dass die Recheneinheit (9) in dem Klassifikationsschritt (16) Kornbestandteilen (5) zugeordnete Bildregionen (17) aus auf den Bilddaten (10) basierenden Eingangsdaten (18) ermittelt, vorzugsweise, dass die Recheneinheit (9) in dem Klassifikationsschritt (16) das trainierte Maschinenlernmodell (15) anwendet, um aus den Bilddaten (10) die den Kornbestandteilen (5) zugeordneten Bildregionen (17) zu ermitteln.
number: 4
text: Verfahren nach Anspruch 3 dadurch gekennzeichnet, dass das trainierte Maschinenlernmodell (15) bei seiner Anwendung eine semantische Segmentierung der Bilddaten (10) durchführt, dass die Recheneinheit (9) in dem Klassifikationsschritt (16) das trainierte Maschinenlernmodell (15) auf die Bilddaten (10) anwendet und Pixeln, insbesondere allen Pixeln, der Bilddaten (10) eine Klasse zuordnet, dass eine Klasse Kornbestandteilen (5) zugeordnet ist, vorzugsweise, dass das Maschinenlernmodell (15) die Pixel höchstens 30 unterschiedlichen Klassen, vorzugsweise höchstens 8 unterschiedlichen Klassen, weiter vorzugsweise genau 3 oder genau 2 unterschiedlichen Klassen zuordnet, weiter vorzugsweise, dass eine Klasse Nicht-Kornbestandteilen (6) des Ernteguts (1) zugeordnet ist oder die Klassen "Kornbestandteile" und "Hintergrund" sind.
number: 5
text: Verfahren nach Anspruch 3 oder 4 dadurch gekennzeichnet, dass die Recheneinheit (9) in der Analyseroutine (11) einen Analyseschritt (20) auf den den Kornbestandteilen (5) zugeordneten Bildregionen (17) durchführt, dass die Recheneinheit (9) in dem Analyseschritt (20) je mindestens eine geometrische Eigenschaft, insbesondere einen Größenwert, der Bildregionen (17) ermittelt und aus den geometrischen Eigenschaften den Indikator (I) für die Aufbereitungsqualität ermittelt, vorzugsweise, dass die Bildregionen (17) Rechtecke (19) sind oder die Recheneinheit (9) aus den Bildregionen (17) Rechtecke (19) ermittelt, weiter vorzugsweise dass die Rechtecke (19) minimale umgebende Rechtecke sind, dass die geometrische Eigenschaft, insbesondere der Größenwert, auf die Rechtecke (19) bezogen ist, insbesondere jeweils eine Länge einer kleinste Hauptachse der Rechtecke (19) ist.
number: 6
text: Verfahren nach Anspruch 5 dadurch gekennzeichnet, dass der Analyseschritt (20) nicht auf einem Maschinenlernverfahren basiert, vorzugsweise, dass die Recheneinheit (9) in dem Analyseschritt (20) eine Kantenerkennung zur Trennung der den Klassen "Kornbestandteile" und "Hintergrund" zugeordneten Pixel durchführt und vorzugsweise so die Rechtecke (19) ermittelt.
number: 7
text: Verfahren nach Anspruch 5 oder 6 dadurch gekennzeichnet, dass die Recheneinheit (9) den Indikator (I) der Aufbereitungsqualität in dem Analyseschritt (20) als Summe der Fläche der Kornbestandteile (5) mit einem Größenwert, insbesondere der Länge der kleinsten Hauptachse der Rechtecke (19), unter einem Schwellwert als Anteil an der Gesamtfläche der Kornbestandteile (5) bestimmt, vorzugsweise, dass der Schwellwert zwischen 3 mm und 6 mm, vorzugsweise zwischen 4 mm und 5 mm, weiter vorzugsweise etwa 4,75 mm, beträgt.
number: 8
text: Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das trainierte Maschinenlernmodell (15) eine Anwendungsvorschrift und einen Trainingsdatensatz aufweist, dass die Anwendungsvorschrift auf einem convolutional neural network, insbesondere einem fully convolutional neural network, basiert, und/oder, dass der Trainingsdatensatz in einem Trainingsverfahren ermittelt wurde oder wird.
number: 9
text: Verfahren nach einem der Ansprüche 3 bis 8 dadurch gekennzeichnet, dass die Recheneinheit (9) in der Analyseroutine (11) einen Vorverarbeitungsschritt durchführt, um aus den Bilddaten (10) die Eingangsdaten (18) zu ermitteln, dass der Vorverarbeitungsschritt ein Drehen eines Bildes (14) und/oder eine Korrektur einer Perspektive eines Bildes (14) und/oder ein Teilen eines Bildes (14) in mindestens 2, vorzugsweise mindestens 4, Subbilder (21), und/oder eine Farbanpassung eines Bildes (14) und/oder eine Kontrastanpassung eines Bildes (14) umfasst.
number: 10
text: Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Recheneinheit (9) eine Mobilgerät-Recheneinheit und eine Server-Recheneinheit aufweist und dass die Server-Recheneinheit die Analyseroutine (11) zumindest teilweise durchführt, oder, dass die Recheneinheit (9), vorzugsweise nur, die Mobilgerät-Recheneinheit aufweist und die Mobilgerät-Recheneinheit die Analyseroutine (11) vollständig durchführt.
number: 11
text: Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Bilddaten (10) mehrere Bilder (14) umfassen, vorzugsweise, dass das Mobilgerät (7) eine Kamera (22) aufweist, und der Benutzer (8) ein oder mehrere Bilder (14) der Bilddaten (10) mittels der Kamera (22) aufnimmt, weiter vorzugsweise, dass der Benutzer (8) mehrere Bilder (14) unterschiedlicher vorbereiteter Proben aufnimmt, die die Recheneinheit (9) in der Analyseroutine (11) zusammen als Bilddaten (10) analysiert.
number: 12
text: Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die vorbereitete Probe (12) eine Probe auf einem definierten Hintergrund ist, vorzugsweise, dass der definierte Hintergrund eine Größenreferenz (23) und/oder eine definierte Farbe aufweist, weiter vorzugsweise, dass die Recheneinheit (9) auf Basis der Größenreferenz (23) die geometrische Eigenschaft, insbesondere den Größenwert, ermittelt.
number: 13
text: Trainingsverfahren zur Erzeugung eines Trainingsdatensatzes eines Maschinenlernmodells (15) mittels einer Recheneinheit (9) zur Verwendung in einem Verfahren nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (9) in einem Trainingsschritt mittels einer Trainingsvorschrift basierend auf Trainingsdaten den Trainingsdatensatz erzeugt, wobei die Trainingsdaten annotierte Bilddaten (10) von vorbereiteten Proben umfassen und/oder die Recheneinheit (9) in der Trainingsvorschrift eine Kostenfunktion anwendet.
number: 14
text: Trainingsverfahren nach Anspruch 13 dadurch gekennzeichnet, dass die Kostenfunktion eine dice-loss Funktion ist, und/oder, dass die Kostenfunktion eine Abweichung des Indikators (I) für die Aufbereitungsqualität von einem Referenz-Indikator (I) für die Aufbereitungsqualität berücksichtigt, vorzugsweise, dass eine Abweichung des Indikators (I) für die Aufbereitungsqualität unter Zugrundelegung eines aktuellen Trainingsstandes von einem Referenz-Indikator (I) für die Aufbereitungsqualität berechnet und mittels eines Callbacks regelmäßig in der Kostenfunktion berücksichtigt wird.
number: 15
text: Trainingsverfahren nach Anspruch 13 oder 14 dadurch gekennzeichnet, dass das Maschinenlernmodell (15) mindestens 4 Millionen, vorzugsweise mindestens 5 Millionen, weiter vorzugsweise mindestens 6 Millionen, und/oder höchstens 15 Millionen, vorzugsweise höchstens 12 Millionen, weiter vorzugsweise höchstens 9 Millionen trainierbare Parameter aufweist.
number: 16
text: Speichermedium mit einem darauf gespeicherten Trainingsdatensatz erzeugt mittels eines Trainingsverfahrens nach einem der Ansprüche 13 bis 15 zur Verwendung in einem Verfahren nach einem der Ansprüche 1 bis 12.
number: 17
text: Recheneinheit eingerichtet zur Durchführung des Analyseschritts (20) und/oder der Analyseroutine (11) nach einem der Ansprüche 1 bis 12 und/oder des Trainingsverfahrens nach einem der Ansprüche 13 bis 15.
number: 18
text: Mobilgerät eingerichtet zur Verwendung in einem Verfahren nach einem der Ansprüche 1 bis 12.
Office action: search_report, dated 2022-12-28
Rejection reasons: inventive_step_epc_56
Prior art cited: ref_id: EP2982223B1
ref_type: patent
severity: background
ref_id: EP3646703A1
ref_type: patent
severity: background
ref_id: US4975863A
ref_type: patent
severity: background
ref_id: EP0261920A1
ref_type: patent
severity: background
ref_id: - RASMUSSEN CHRISTOFFER BØGELUND ET AL: "Maize Silage Kernel Fragment Estimation Using Deep Learning-Based Object Recognition in Non-Separated Kernel/Stover RGB Images", SENSORS, vol. 19, no. 16, 10 August 2019 (2019-08-10), pages 3506, XP055919606, DOI: 10.3390/s19163506
ref_type: npl
severity: background
ref_id: - KAR AKANKSHYA ET AL: "Annotation-free Quality Estimation of Food Grains using Deep Neural Network", 9 September 2019 (2019-09-09), pages 1 - 12, XP055944457, Retrieved from the Internet <URL:https://bmvc2019.org/wp-content/uploads/papers/1232-paper.pdf> [retrieved on 20220720]
ref_type: npl
severity: background
ref_id: - RASMUSSEN CHRISTOFFER BØGELUND ET AL: "Anchor tuning in Faster R-CNN for measuring corn silage physical characteristics", COMPUTERS AND ELECTRONICS IN AGRICULTURE, ELSEVIER, AMSTERDAM, NL, vol. 188, 5 August 2021 (2021-08-05), XP086756219, ISSN: 0168-1699, [retrieved on 20210805], DOI: 10.1016/J.COMPAG.2021.106344
ref_type: npl
severity: background
ref_id: - RASMUSSEN CHRISTOFFER BØGELUND ET AL, "Maize Silage Kernel Fragment Estimation Using Deep Learning-Based Object Recognition in Non-Separated Kernel/Stover RGB Images", SENSORS, (20190810), vol. 19, no. 16, doi:10.3390/s19163506, page 3506, XP055919606 [Y] 1-18 * Absätze 11, 2.1-2.3, 3.2 und 4 *
ref_type: npl
severity: obviousness
ref_id: - Kar Akankshya ET AL, "Annotation-free Quality Estimation of Food Grains using Deep Neural Network", (20190909), pages 1 - 12, URL: https://bmvc2019.org/wp-content/uploads/papers/1232-paper.pdf, (20220720), XP055944457 [Y] 1-18 * abstract * * Absatz 1 *
ref_type: npl
severity: obviousness
ref_id: - RASMUSSEN CHRISTOFFER BØGELUND ET AL, "Anchor tuning in Faster R-CNN for measuring corn silage physical characteristics", COMPUTERS AND ELECTRONICS IN AGRICULTURE, ELSEVIER, AMSTERDAM, NL, vol. 188, doi:10.1016/J.COMPAG.2021.106344, ISSN 0168-1699, (20210805), (20210805), XP086756219 [IP] 1-18 * Absätze 1-3, 4.1 und 5 *
ref_type: npl
severity: background
Final disposition: pending (2022-12-28)