Big earth data and machine learning for sustainable and resilient agriculture
Authors: Σιτοκωνσταντίνου Βασίλειος 
Published: November 2022

Οι απαιτήσεις για σίτιση θα αυξηθούν 35-56% κατά την περίοδο 2010-2050 και ήδη 10% του παγκόσμιου πληθυσμού δεν έχει πρόσβαση σε επαρκή τροφή. Ενώ η αύξηση της ζήτησης για τροφή απαιτεί την εντατικοποίηση της γεωργίας, η κλιματική αλλαγή απαιτεί την εφαρμογή καλλιεργητικών πρακτικών που θα εξασφαλίσουν την ανθεκτικότητα και τη βιωσιμότητα της. Ως εκ τούτου υπάρχει άμεση ανάγκη για μεγαλύτερη παραγωγή, αλλάζοντας παράλληλα τις μεθόδους μας, συνυπολογίζοντας μελλοντικές αλλαγές. Υπό αυτό το πρίσμα, η μεγάλης κλίμακας και τακτική παρακολούθηση της γεωργικής γης δύναται να προσφέρει σημαντικές πληροφορίες για την έγκαιρη λήψη αποφάσεων βάσει στοιχείων.Μεγάλες ροές από εικόνες παρατήρησης της Γης είτε από δορυφόρους είτε από άλλες πλατφόρμες (για παράδειγμα drones και κινητά τηλέφωνα) γίνονται ολοένα και περισσότερο διαθέσιμες με χαμηλό ή και μηδενικό κόστος και σε καλύτερη χωρική και χρονική ανάλυση. Η παρούσα διατριβή αναγνωρίζει τις άνευ προηγουμένου ευκαιρίες που προσφέρουν τα υψηλής ανάλυσης και ανοικτής πρόσβασης δεδομένα παρατήρησης της Γης της εποχής μας και υλοποιεί νέες μεθόδους μηχανικής μάθησης και επεξεργασίας μεγάλων δεδομένων για την κατάλληλη αξιοποίησή τους με σκοπό τη ανάπτυξη εφαρμογών για βιώσιμη και ανθεκτική γεωργία. Η διατριβή πραγματεύεται τρεις διακριτούς θεματι κούς τομείς, δηλαδή την παρακολούθηση της Κοινής Αγροτικής Πολιτικής (ΚΑΠ), την παρακολούθηση της επισιτιστικής ασφάλειας και τις εφαρμογές ευφυούς γεωργίας. Οι μεθοδολογικές καινοτομίες, της παρούσας διατριβής, που σχετίζονται με τις τρεις θεματικές περιοχές αντιμετωπίζουν τα ακόλουθα ζητήματα: ι) την επεξεργασία μεγάλων δεδομένων παρατήρησης της Γης, ιι) την έλλειψη επισημειωμένων δεδομένων για εκπαίδευση μοντέλων μηχανικής μάθησης και ιιι) το χάσμα μεταξύ των αποτελεσμάτων της μηχανικής μάθησης και των πρακτικών συμβουλών. Η πρώτη συνεισφορά της διατριβής αυτής είναι ο κύβος δεδομένων (data cube) για την παρακολούθησης γεωργίας (ADC), ο οποίος προσφέρει ένα πλήρως αυτοματοποιημένο πλαίσιο για την διαχείριση των μεγάλων δορυφορικών δεδομένων (Sentinel-1, Sentinel-2), βασισμένο στο Open Data Cube (ODC) . Ο ADC παρέχει ένα σύνολο ισχυρών εργαλείων που επιτρέπουν α) την δημιουργία χώρων χαρακτηριστικών μεγάλων δορυφορικών δεδομένων για την τροφοδοσία μοντέλων μηχανικής μάθησης και β) την υποστήριξη της ανάλυσης χρονοσειρών δορυφορικών εικόνων μέσω υπηρεσιών που σχετίζονται με την παρακολούθηση της ΚΑΠ (π.χ. ανίχνευση τάσεων και γεγονότων, παρακολούθηση της ανάπτυξης κτλ). Η δεύτερη συνεισφορά της διατριβής είναι μια επεκτάσιμη και μεταφέρσιμη μέθοδος μηχανικής μάθησης για την ταξινόμηση πολλαπλών καλλιεργειών. Η μέθοδος αυτή κάνει χρήση των δηλώσεων των αγροτών, ως μέρος των αιτήσεων επιδότησης για την ΚΑΠ, προκειμένου να εκπαιδεύσει τα μοντέλα. Η μέθοδος επεκτείνεται με τον σημασιολογικό εμπλουτισμό στους χάρτες καλλιεργειών στοχεύοντας στην ενίσχυση της εξαγόμενης γνώσης και τη λήψη αποφάσεων σε επιχειρησιακά σενάρια των οργανισμών πληρωμών της ΚΑΠ. Συγκεκριμένα, αναπτύχθηκε μια έξυπνη μέθοδος δειγματοληψίας ώστε να επιλέγονται πιθανώς λανθασμένες δηλώσεις (δηλαδή οι παραγωγοί δεν καλλιεργούν αυτό που δηλώνουν). Αυτή η μέθοδος παρέχει πρακτικές συμβουλές στους επιθεωρητές των οργανισμών πληρωμών της ΚΑΠ νωρίς μέσα στο έτος βάσει των απαιτήσεων των επιχειρησιακών διαδικασιών. Τα ελεύθερα διαθέσιμα δορυφορικά δεδομένα, όπως αυτά από τους δορυφόρους Sentinel που χρησιμοποιήθηκαν στις μεθόδους που περιγράφηκαν παραπάνω, δεν μπορούν να εγγυηθούν έγκυρες αποφάσεις σε περιοχές με υψηλή νεφοκάλυψη ή/και σε αγροτεμάχια με μικρό μέγεθος. Συνεπώς χρειαζόμαστε συμπληρωματικές πηγές δεδομένων παρατήρησης της Γης. Σε αυτή την κατεύθυνση αναπτύχθηκε ένα ανοιχτό σύνολο δεδομένων που συνδυάζει δορυφορικές εικόνες και street-level εικόνες, επιτρέποντας στην κοινότητα να πειραματιστεί με μοντέλα μηχανικής μάθησης για να ενισχύσει τα αποτελέσματα ταξινόμησης καλλιεργειών που χρησιμοποιούν μόνο δορυφορικές εικόνες. Σε αυτό το πνεύμα, αναπτύχθηκε μια προκαταρκτική προσέγγιση συνδυασμού των δορυφορικών και street-level εικόνων.Επίσης αναπτύχθηκε μέθοδος ταξινόμησης των ορυζώνων στη Νότια Κορέα. Στην περίπτωση αυτή, εστιάσαμε στην μερικώς επιβλεπόμενη μάθηση, καθώς για τη Νότια Κορέα δεν υπάρχουν διαθέσιμα επισημειωμένα δεδομένα, όπως στην περίπτωση της ΚΑΠ. ΄Ετσι, αναπτύχθηκε μία ημι-επιβλεπόμενη προσέγγιση που χρησιμοποιεί περιορισμένο αριθμό επισημειωμένων δεδομένων από ένα μικρό μόνο τμήμα της χώρας για να δημιουργήσει ψευδείς επισημειώσεις (προβλέψεις μοντέλου ομαδοποίησης) για την εκπαίδευση ενός μοντέλου επιβλεπόμενης ταξινόμησης ρυζιού που γενικεύεται σε ολόκληρη τη χώρα της Νότιας Κορέας. Η εθνικής κλίμακας ταξινόμηση απαιτούσε την επεξεργασία TB δεδομένων από εικόνες Sentinel που ήταν αδύνατη σε συμβατικά μηχανήματα. Ως εκ τούτου, εφαρμόστηκε μια κατανεμημένη υλοποίηση του μοντέλου (σε SPARK) σε περιβάλλον ανάλυσης δεδομένων υψηλής απόδοσης (HPDA). Τέλος, η παρούσα διατριβή παρουσιάζει δύο νέες μεθόδους για την εκτίμηση της φαινολογίας σε καλλιέργειες βαμβακιού. Η δουλειά αυτή καθίσταται σημαντική για την έγκαιρη επέμβασης στο χωράφι που θα διασφαλίσει την ποιότητα και τον όγκο της παραγωγής. Οι επίγειες παρατηρήσεις της φαινολογίας είναι ελλιπείς στο χρόνο και στον χώρο και για το λόγο αυτό και οι δύο μέθοδοι επικεντρώνονται στη χρήση μόνο λίγων επισημειωμένων δεδομένων. Στην πρώτη μέθοδο, αναπτύχθηκε ένα μοντέλο το οποίο χρησιμοποιεί ελάχιστα επισημειωμένα δεδομένα απο μία μόνο περιοχή για να δημιουργήσει χιλιάδες ψευδείς επισημειώσεις (προβλέψεις του μοντέλου στην γύρω περιοχή) που χρησιμοποιούνται για να εκπαιδεύσουν επιβλεπόμενα μοντέλα ταξινόμησης που μπορούν να γενικεύσουν στον χώρο. Η δεύτερη μέθοδος αναπτύσσει μια προσέγγιση ασαφούς ομαδοποίησης που όχι μόνο εκτιμά τη φαινολογία με μη επιβλεπόμενο τρόπο αλλά προβλέπει επιπλέον τις μεταβατικές καταστάσεις μεταξύ φαινολογικών σταδίων χρησιμοποιώντας τη πιθανότητα μιας οντότητας να ανήκει σε μια συγκεκριμένη ομάδα, όπως αυτή υπολογίζεται από τοναλγόριθμο fuzzy c-means.Οι προαναφερθείσες συνεισφορές αναφέρονται σε μεθόδους ανίχνευσης/εντοπισμού, π.χ. ταξινόμηση καλλιεργειών και εκτίμηση φαινολογίας. Παρόλο που η εργασία αυτή είναι σημαντική και δίνει απαντήσεις σε ζητήματα διαχείρισης μεγάλων δεδομένων και μηχανικής μάθησης σχετιζόμενα με την μεγάλης κλίμακας και έγκαιρη παρακολούθηση της γεωργικής γης, υπάρχει χώρος βελτίωσης ώστε να φτάσουμε σε πρακτικές και χρήσι-μες συμβουλές τόσο για τον υπεύθυνο χάραξης πολιτικής όσο και για τον αγρότη. Από αυτή την άποψη, η αιτιώδης και η ερμηνεύσιμη μηχανική μάθηση (causal, intepretable machine learning) έχουν αναγνωριστεί ως κατάλληλες μέθοδοι για τη γεφύρωση αυτού του χάσματος. Προς αυτή την κατεύθυνση αναπτύχθηκαν δύο μεθοδολογίες για την επίδειξη προκαταρκτικών αποτελεσμάτων. Η πρώτη χρησιμοποιεί ερμηνεύσιμη μηχανική μάθησηστοχεύοντας στην εκτίμηση της έναρξης της βλαβερότητας του πράσινου σκουληκιού στο βαμβάκι. Η ερμηνεία του μοντέλου επιτρέπει την ταχεία δράση από τους αγρότες, καθώς εμπιστεύονται την εκτίμηση. Επίσης μπορούν να συνδυάσουν τα αποτελέσματα με την εμπειρική τους γνώση. Η δεύτερη μέθοδος χρησιμοποιεί αιτιώδη μηχανική μάθηση για να αξιολογήσει την καταλληλόλητα της γεωργικής γης για την εφαρμογή συγκεκριμένων καλλιεργητικών πρακτικών. Πιο συγκεκριμένα αξιολογείται ο αντίκτυπος της εναλλαγής των καλλιεργειών και της χωρικής διαφοροποίησης των καλλιεργειών στην ρύθμιση του κλίματος. Τα αποτελέσματα έδειξαν πως ο αντίκτυπος της εναλλαγής των καλλιεργειών δεν ήταν σημαντικός αλλά η χωρική διαφοροποίηση των καλλιεργειών είχε μία μικρή αρνητική επίδραση στην ρύθμιση του κλίματος.Αυτή η διατριβή έδειξε ότι τα μεγάλα τηλεπισκοπικά δεδομένα είναι ένα ισχυρό εργαλείο για την έγκαιρη και μεγάλης κλίμακας παρακολούθηση της γεωργικής γης. Συγκεκριμένα, η παρούσα εργασία επέδειξε πως τεχνολογίες επεξεργασίας μεγάλων δεδομένων, όπως κύβοι δεδομένων, κατανεμημένη μάθηση, συνδεδεμένα ανοιχτά δεδομένα και σημασιολογικός εμπλουτισμός, μπορούν να χρησιμοποιηθούν για να εξάγουν την απαραίτητη γνώση από μεγάλα δορυφορικά δεδομένα και να λύσουν πραγματικές ανάγκες χρηστών. Επιπροσθέτως, η διατριβή υποστηρίζει την σημασία των μοντέλων ημι επιβλεπόμενης και μη επιβλεπόμενης μάθησης που ξεπερνούν το πανταχού παρόν πρόβλημα της έλλειψης επισημειωμένων δεδομένων. Επιδείχτηκε πως με ελάχιστα ή και χωρίς επισημειωμένα δεδομένα μπορούν να παραχθούν χάρτες καλλιεργειών και εκτιμήσεις φαινολογίας υψηλής ποιότητας. Τέλος, η διατριβή εντοπίζει πως υπάρχει απόσταση μεταξύ των αποτελεσμάτων των μοντέλων μηχανικής μάθησης και την λήψη αποφάσεων βάσει αυτών σε επιχειρησιακά σενάρια. Σε αυτή την κατεύθυνση, επιδεικνύεται η ισχύς της αιτιώδους και ερμηνεύσιμης μηχανικής μάθησης στην γεφύρωση του χάσματος μεταξύ εκτίμησης και πρακτικής συμβουλής.