Weakly Supervised Food Image Segmentation using Attention
Creators: name: Καγιόγλου, Παναγιώτα Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Μηχανική Μάθηση
Εικόνες φαγητού
Ασθενής επίβλεψη
Machine Learning
Food dataset
Weakly supervised

description: In recent times, many individuals are using smart devices to document their daily food intake. This recorded information yields valuable numerical data, including calorie counts and nutritional values. Such data can play a pivotal role in promoting healthier eating habits. Nonetheless, the process of manually recording this information can become burdensome for users. Most Convolutional Neural Network (CNN)-based object detection and semantic segmentation methods necessitate at training stage either bounding-box-level labels or pixel-level labels. These types of annotations can be prohibitively costly to acquire, especially when compared to readily available image-level labels found in curated open image datasets like ImageNet and those accessible on the internet. In this study, our primary focus is on weakly supervised semantic image segmentation for food images, a technique that demands only image-level annotations, without the need for pixel-wise or bounding box annotations. The proposed methodology uses the ResNet50 architecture, complemented by the CBAM attention mechanism, for the purpose of classifying image. Following image classification, the Grad-CAM algorithm is employed to generate heatmaps indicating the location of the predicted object within the image. These heatmaps serve as valuable guidance for subsequent image segmentation tasks. In the final step of the proposed methodology, the Watershed and GrabCut algorithms are applied to segment the object by leveraging the information contained in the Grad-CAM heatmaps. This strategic combination of Grad-CAM and segmentation techniques enhances the accuracy of object isolation, making it a powerful approach in computer vision and image analysis, where precise object delineation is crucial for a myriad of applications.
description: Τον τελευταίο καιρό, πολλοί άνθρωποι χρησιμοποιούν έξυπνες συσκευές για να καταγράφουν την καθημερινή τους κατανάλωση φαγητού. Αυτή η καταγεγραμμένη πληροφορία παρέχει πολύτιμα αριθμητικά δεδομένα, συμπεριλαμβανομένων των θερμίδων και των διατροφικών συστατικών. Τέτοια δεδομένα μπορούν να παίξουν έναν καίριο ρόλο στην προώθηση πιο υγιεινών διατροφικών συνηθειών. Ωστόσο, η διαδικασία χειροκίνητης καταγραφής αυτών των πληροφοριών μπορεί να δυσκολέψει τους χρήστες. Οι περισσότερες μέθοδοι ανίχνευσης αντικειμένων και σημασιολογικής τομογράφησης που βασίζονται σε Νευρωνικά Δίκτυα Σύνελιξης (CNN) απαιτούν, κατά την εκπαίδευση, είτε ετικέτες επιπέδου πλαισίου (bounding-box-level labels) είτε ετικέτες επιπέδου pixel. Αυτοί οι τύποι επισημειώσεων μπορεί να είναι απαγορευτικά δαπανηροί για την απόκτηση τους, ειδικά σε σύγκριση με τις ετικέτες επιπέδου εικόνας που είναι εύκολα διαθέσιμες σε βάσεις δεδομένων όπως το ImageNet και όπως αυτές που είναι διαθέσιμες στο διαδίκτυο. Αυτή η εργασία, εστιάζει στην αδύναμη επιβλεπόμενη σημασιολογική τομογράφηση εικόνων φαγητού, μια τεχνική που απαιτεί μόνο ετικέτες επιπέδου εικόνας, χωρίς την ανάγκη για ετικέτες pixel ή πλαισίου. Η προτεινόμενη μεθοδολογία χρησιμοποιεί την αρχιτεκτονική ResNet50, συμπληρωμένη με τον μηχανισμό προσοχής CBAM. Μετά την ταξινόμηση της εικόνας, χρησιμοποιείται ο αλγόριθμος Grad-CAM για τη δημιουργία heatmaps που υποδεικνύουν τη θέση του προβλεπόμενου αντικειμένου εντός της εικόνας. Αυτοί οι χάρτες λειτουργούν ως χρήσιμη καθοδήγηση για τις επόμενες εργασίες τομογράφησης εικόνων. Στο τελικό βήμα της προτεινόμενης μεθοδολογίας εφαρμόζονται οι αλγόριθμοι Watershed και GrabCut που έχουνν σαν δεδομέο εισόδου τους heatmaps από τον Grad-CAM. Αυτός ο στρατηγικός συνδυασμός τεχνικών Grad-CAM και τμηματοποίησης ενισχύει την ακρίβεια της απομόνωσης αντικειμένων, καθιστώντας την μια ισχυρή προσέγγιση στην ανάλυση όρασης και εικόνας με υπολογιστή, όπου η ακριβής οριοθέτηση αντικειμένων είναι ζωτικής σημασίας για πολλές εφαρμογές.