Σημασιολογική τμηματοποίηση εικόνων φαγητού με τεχνικές μηχανικής μάθησης ασθενούς επίβλεψης
Creators: name: Βλαχοπούλου, Βαλασία Συμεών
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Σημασιολογική Τμηματοποίηση
Μηχανική μάθηση ασθενούς επίβλεψης
Νευρωνικά Δίκτυα
Semantic Segmentation
Weak supervised machine learning
Neural Networks

description: Η παρούσα εργασία ασχολείται με το πρόβλημα της σημασιολογικής τμηματοποίησης εικόνων φαγητού με τεχνικές μηχανικής μάθησης ασθενούς επίβλεψης, και συγκεκριμένα μάθησης πολλαπλών στιγμιοτύπων (Multiple Instance Learning-MIL). Η εκπαίδευση των αλγορίθμων αυτού του είδους της επίβλεψης, γίνεται με «σακούλες» παραδειγμάτων, όπου οι ετικέτες δεν παρέχονται σε επίπεδο ξεχωριστού παραδείγματος, αλλά σε επίπεδο σακούλας. Ωστόσο, οι τελικές προβλέψεις του μοντέλου πραγματοποιούνται σε επίπεδο ξεχωριστού παραδείγματος εκπαίδευσης. Ο βασικός σκοπός της εργασίας είναι η ανάπτυξη μίας μεθοδολογίας βασισμένης σε τεχνητά νευρωνικά δίκτυα μάθησης πολλαπλών στιγμιοτύπων για την τμηματοποίηση εικόνων φαγητού, με παράλληλη κατηγοριοποίηση αυτών στις κλάσεις φαγητού που απεικονίζουν. Η κάθε σακούλα, που εισάγεται στο νευρωνικό δίκτυο, αναπαριστά την αρχική εικόνα με ένα προκαθορισμένο αριθμό μικρών τετράγωνων κομματιών της, των οποίων οι πληροφορίες συνδυάζονται αποτελεσματικά σε ένα μηχανισμό προσοχής (attention mechanism), ώστε να εντοπιστούν οι περιοχές που περιέχουν τις κλάσεις των φαγητών με μορφή θερμικών χαρτών (heatmaps). Ταυτόχρονα, η έξοδος του μηχανισμού προσοχής ενσωματώνεται σε έναν ταξινομητή που στοχεύει στην κατηγοριοποίηση των εικόνων στις κλάσεις φαγητού που περιέχουν. Το νεωρινικό δίκτυο αξιολογείται στο σύνολο δεδομένων FoodSeg103 για συγκεκριμένες κατηγορίες φαγητών και επιτυγχάνει υψηλή απόδοση τόσο στην κατηγοριοποίηση, όσο και στην τμηματοποίηση των εικόνων σε διαφορετικούς τύπους φαγητού.
description: This paper deals with the problem of food semantic segmentation based on a weakly supervised machine learning technique, called Multiple Instance Learning - MIL. The MIL algorithms are trained through ”bags” of training samples, where the labels are not provided for the training samples individually, but are provided in a bag level. However, the final model predictions regard the training samples individually. The main purpose of this work is to develop a methodology based on artificial neural networks for segmenting food images, while in parallel it will categorize them into the food classes depicted. Each bag, fed into the neural network, is a representation of the original image through a predetermined number of small square patches, whose information is efficiently combined in an attention mechanism to detect the areas that contain the food classes in the form of heatmaps. At the same time, the output of the attention mechanism is incorporated into a classifier that aims to categorize the images into the food classes they contain. The neural network is evaluated on the FoodSeg103 dataset for specific food categories and achieves high performance in both image categorization and segmentation in different food categories.
description: Σε συνεργασία με: Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)