Restricted boltzmann machines for feature extraction: a stopping criterion using hamming distance
Creators: name: Μούζα, Ελένη Πέτρου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Περιορισμένες μηχανές boltzmann
Κριτήριο τερματισμού
Απόσταση hamming
Restricted boltzmann machines
Stopping criterion
Hamming distance

description: Restricted Boltzmann Machines (RBMs) are stochastic neural networks which are capable of learning a probability distribution over its set of inputs. This characteristic allows them to be useful in many different and complex tasks, the most popular of which are dimensionality reduction, feature learning, classification and collaborative filtering. Nowadays, the RBMs have gained much interest as they are studied in many different versions and scientific fields, using multiple types of data. The use of RBMs in so many scientific fields, has raised our interest in further study and improvement. The main version of RBM consists of two layers, a visible and a hidden. The visible layer contains the visible nodes corresponding to the input data and the hidden layer, which tries to capture latent dependencies, allowing the correct reconstruction of the initial data. While the RBM is being trained, its parameters are also updated, until a stopping point is reached, where the log likelihood function finds a maximum and the model parameters are optimal. Computing analytically the log likelihood function and its gradient in each training step is intractable, therefore the Contrastive Divergence (CD) algorithm was invented to estimate it numerically. However, the CD algorithm is a biased estimator of the log likelihood gradient, so the derived approximation of the log likelihood function in each training step, using Annealed Importance Sampling technique, may not be a safe choice for evaluating the training process. For this reason, most of the times a maximum iteration limit is imposed to terminate the training procedure. With all of this in mind, we decided to explore the stopping criteria used in RBMs training. So, this study aims to introduce a new stopping criterion, which is based on the Hamming Distance. In particular, the proposed criterion computes the Hamming Distance between the input data and the reconstructed data from the model, in each training step. This new criterion proposes an optimal stopping point at a time when the rate of change of the Hamming distance becomes insignificant and beyond this point further improvement of the Hamming Distance value will be negligible. In addition, our criterion was compared with known methods currently used for the termination of the training process, such as log likelihood function estimation and maximum iterations limit. Finally, we showed by simulations the robustness of our criterion as compared to the log likelihood stopping criterion, when modifying the model hyperparameters. The log likelihood criterion, when using a small learning rate, appears to have difficulties founding the maximum value that terminates the training process. The evaluation of the stopping criteria was performed using many benchmark datasets, such as MNIST and OCR to ensure that we have come up with consistent results. Based on our study, we believe that the proposed stopping criterion for RBMs training is useful and has potential for further improvement in the future.
description: Οι Περιορισμένες Μηχανές Boltzmann (ΠΜΒ) είναι στοχαστικά νευρωνικά δίκτυα που μπορούν να εκπαιδευτούν ωστε να εξάγουν την άγνωστη κατανομή πιθανότητας των δεδομένων που δέχονται ως είσοδο χωρίς επίβλεψη. Αυτό το χαρακτηριστικό των ΠΜΒ τους επιτρέπει να χρησιμοποιηθούν σε πολλές περιπτώσεις, λύνοντας περίπλοκα προβλήματα όπως η μείωση των διαστάσεων ενός προβλήματος, η ταξινόμηση, η επιλογή χαρακτηριστικών και πολλά άλλα. Σήμερα, οι ΠΜΒ δοκιμάζονται με διάφορους τύπους δεδομένων και σε πολλά επιστημονικά πεδία. Η ευρεία χρήση και αποδοχή των ΠΜΒ παγκοσμίως απο την επιστημονική κοινότητα μας κίνησε το ενδιαφέρον για περαιτέρω μελέτη και βελτίωση τους. Οι ΠΜΒ είναι διμερή δίκτυα και αποτελούνται από ένα ορατό επίπεδο και ένα κρυφό. Στους κόμβους του ορατού επιπέδου αντιστοιχούνται τα πραγματικά δεδομένα ενώ οι κόμβοι του κρυφού επιπέδου προσπαθούν να εντοπίσουν κρυφές εξαρτήσεις ανάμεσα στα δεδομένα που θα τους βοηθήσει μετέπειτα να τα ανακατασκευάσουν ορθά. ΄Οταν πια η μηχανή είναι εκπαιδευμένη μπορούμε να θεωρήσουμε ότι έχει βρεθεί το κατάλληλο σετ παραμέτρων που μεγιστοποιούν την συνάρτηση μεγιστης πιθανοφάνειας. Ωστόσο, η συνάρτηση μέγιστης πιθανοφάνειας που είναι συνάρτηση των παραμέτρων του μοντέλου δεν μπορεί να υπολογιστεί πρακτικά. Καθόλη την διάρκεια της μελέτης μας για τις ΠΜΒ, ενά ερώτημα ανέκυπτε συχνά σχετικά με τον τρόπο τερματισμού της εκπαίδευσης. Θεωρητικά, η διαδικασία θα πρέπει να τερματιστεί όταν η μέγιστη τιμή της συνάρτησης πιθανοφάνειας εμφανιστεί. Ωστοσο, όπως ειπώθηκε προηγουμένως, δεν είναι εφικτό να υπολογιστεί αναλυτικά, έτσι εφαρμόζεται μια τεχνική, η οποία εκτιμά την συνάρτηση επιμερισμού του μοντέλου και στην συνέχεια την ίδια την συνάρτηση πιθανοφάνειας. Η εκτίμηση της συνάρτησης και η χρήση της ως κριτήριο τερματισμού δεν είναι πάντα μια ασφαλής επιλογή αφού είναι πιθανό το σημείο τερματισμού να είναι εσφαλμένο. Πρακτικά, τις περισσότερες φορές, η εκπαίδευση των ΠΜΒ συνοδεύεται απο ένα μέγιστο όριο επαναλήψεων που λειτουργεί ως κριτήριο τερματισμού. Στην παρούσα εργασία παρουσιάζεται ένα νέο κριτήριο τερματισμού της εκπαίδευσης που βασίζεται στον υπολογισμό της απόστασης Hamming ανάμεσα στα αρχικά δεδομένα εισόδου και τις αντίστοιχες ανακατασκευές τους. Ετσι, ορίστηκε ως κριτήριο τερματισμού το ποσοστό μεταβολής της απόστασης, το οποίο όταν γίνεται μικρότερο της μονάδας σηματοδοτεί πως η εκπαίδευση μπορεί να σταματήσει, καθώς η ανακατασκευή των δεδομένων δεν επιδέχεται περαιτέρω βελτίωση. Με στόχο τον έλεγχο της εγκυρότητας του νέου κριτηρίου, αποφασίστηκε η σύγκριση της αποτελεσματικότητας του με όλες τις μεθόδους τερματισμού που χρησιμοποιούνται ευρέως για τις ΠΜΒ, όπως η εκτίμηση της συνάρτησης πιθανοφάνειας και του μέγιστου αριθμού επαναλήψεων, και συγχρόνως η χρήση διαφόρων συνόλων δεδομένων που θεωρούνται δεδομένα αναφοράς.