Ανάπτυξη εφαρμογής επαυξημένης πραγματικότητας για την οπτική αναγνώριση αντικειμένων σε πραγματικό χρόνο
Creators: name: Γάτσης, Νικόλαος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2019
Subjects: Αναγνώριση αντικειμένων
Μεταφορά μάθησης
Μηχανική όραση
Object Recognition
Transfer Learning
Computer vision

description: Ανάπτυξη εφαρμογής, για την οπτική αναγνώριση αντικειμένων σε πραγματικό χρόνο, για έξυπνες συσκευές με λειτουργικό σύστημα Android, χρησιμοποιώντας την βιβλιοθήκη μηχανικής μάθησης TensorFlow Framework και τη μέθοδο μεταφοράς μάθησης. Η εφαρμογή προσομοιάζει έναν οδηγό εκπαίδευσης για εργαλεία χειρός ενός μηχανουργείου. Ο χρήστης, όταν εστιάσει με την κάμερα της κινητής συσκευής του σε ένα εργαλείο, όπως ένα κατσαβίδι, μια τανάλια ή ένα σφυρί, η εικόνα που λαμβάνεται από την κάμερα της συσκευής ταυτοποιείται με τεχνολογίες μηχανικής μάθησης (Machine Learning) και προβάλει επαυξημένες πληροφορίες για αυτό. Η εφαρμογή ενσωματώνει ένα τεχνητό νευρωνικό δίκτυο (Artificial Neural Networks) που έχει επανεκπαιδευτεί από ένα πλήθος 2400 εικόνων από 22 εργαλεία και έχει μάθει να αναγνωρίζει τα εργαλεία από τις εικόνες που λαμβάνει από την κάμερα. Η ανάπτυξη της εφαρμογής έγινε στο περιβάλλον Android Studio με τη χρήση τεχνολογιών μηχανικής μάθησης του TensorFlow Framework και των γλωσσών προγραμματισμού Python και Java. Η εργασία έχει στόχο να αναδείξει την χρησιμότητα της «υπολογιστικής όρασης» σε εφαρμογές με εκπαιδευτικό χαρακτήρα. Συγκεκριμένα, πραγματεύεται τις τεχνολογίες τεχνητής όρασης (Computer Vision), Μηχανικής μάθησης (Machine Learning) και χρησιμοποιούνται οι βιβλιοθήκες ανοιχτού κώδικα TensorFlow. Επίσης χρησιμοποιείται η μεταφορά μάθησης, μια τεχνική που διευκολύνει με απλοποιημένο τρόπο τη μεταφορά της γνώσης από ένα νευρωνικό δίκτυο σε ένα άλλο. Η εφαρμογή μπορεί γρήγορα να επεκταθεί και να προσφέρει μια εμπειρία διάχυτης υπολογιστικής (ubiquitous computing) για να ενισχύσει και να βελτιώσει τις συνθήκες εργασίας και εκπαίδευσης, να βοηθήσει στη μεταφορά γνώσης για πιο αποτελεσματική εκπαίδευση στον χώρο εργασίας.
description: Application development, for visual recognition of objects in real time, for smart devices operating on Android, utilizing the machine learning library TensorFlow Framework and the transfer learning method. The application simulates a training guide for hand tools of a machine shop. When the user focuses with the camera of the portable device on a tool, such as a screwdriver, a plier or a hammer, the image captured by the camera of the device is identified by machine learning technologies and displays augmented information about it. The application incorporates a artificial neural network, which has been re-educated from 2400 images and 22 tools, and it has been taught to recognize the tools from the images that it receives from the camera. The development of the application occurred at the Android Studio environment, with the use of machine learning technologies of TensorFlow Framework and of the programming languages Python and Java. The aim of the project/paper is to highlight the usefulness of “computational vision” in applications that have an educational purpose. More specifically, the project/paper deals with technologies of Computer Vision and Machine Learning whilst the open source software libraries TensorFlow are being used. Transfer learning is also utilized, a technique that facilitates, through a simplified way, the transfer of knowledge from one neuronal network to the other. This application can quickly expand and provide an experience of ubiquitous computing, in order to strengthen and improve the working and educational conditions, and to assist in the transfer of knowledge to achieve a more effective education in the workplace.
description: Σε συνεργασία με: Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)