Συμβολή στη μελέτη για τη βελτιστοποίηση του πλήθους των κλάσεων δεδομένων
Creators: name: Παπαντώνης, Νικόλαος Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2019
Subjects: εκτιμητές Kernel
Εντροπία
Εκ των υστέρων πιθανότητα
Kernel estimators
Entropy
The posterior probability

description: Κατά τη δημιουργία ενός ιστογράμματος δημιουργούνται προβληματισμοί σχετικά με το πλάτος και με τα άκρα των κλάσεων. Στην παρούσα εργασία παρουσιάζεται ο εκτιμητής kernel και αποδεικνύεται η μεροληψία και το ασυμπτωτικό ολοκληρωμένο τετραγωνικό σφάλμα του. Δίνεται και παράδειγμα σχετικό με το πώς βοηθάει ο εκτιμητής στη δημιουργία ιστογράμματος. Στη συνέχεια πραγματοποιείται μία γενίκευση του εκτιμητή kernel σε πολλές διαστάσεις και η ισχύς της σχέσης που υπολογίζει το ασυμπτωτικό ολοκληρωμένο τετραγωνικό σφάλμα του. Η αμοιβαία πληροφορία (MI) έχει χρησιμοποιηθεί εκτενώς ως μέτρο ομοιότητας ή εξάρτησης μεταξύ τυχαίων μεταβλητών (ή παραμέτρων) σε διάφορες εφαρμογές επεξεργασίας σημάτων και εικόνων. Ωστόσο, οι τεχνικές εκτίμησης του MI παρουσιάζουν μεγάλη μεροληψία, μεγάλο μέσο τετραγωνικό σφάλμα (MSE) και μπορεί να είναι δαπανηρές. Προκειμένου να ξεπεραστούν αυτά τα μειονεκτήματα, παρουσιάζουμε μια εκτίμηση βασισμένη σε ιστόγραμμα με γρήγορο και μικρό MSE για τον υπολογισμό εντροπίας και MI. Με την ελαχιστοποίηση του MSE, η εκτίμηση αποφεύγει το πρόβλημα συσσώρευσης σφαλμάτων των παραδοσιακών μεθόδων. Παρέχουμε μια έκφραση για το βέλτιστο πλήθος κλάσεων για την εκτίμηση της ΜΙ για συνεχείς και για διακριτές τυχαίες μεταβλητές. Τα πειραματικά αποτελέσματα ενός προβλήματος αναγνώρισης ομιλίας και ενός προβλήματος διάγνωσης μέσω υπολογιστή υποδεικνύουν τη δύναμη της προσέγγισης για την εκτίμηση του βέλτιστου αριθμού επιλεγμένων χαρακτηριστικών με βελτιωμένα αποτελέσματα σε σύγκριση με τις υπάρχουσες προσεγγίσεις. Τα ιστογράμματα είναι γραφικά εργαλεία για την εκτίμηση της μορφής της κατανομής. Χρησιμοποιούνται σε κάθε στατιστική ανάλυση. Οι συνολικές ποσότητες που υπολογίζονται από μοντέλα πυκνότητας πιθανότητας βάσει ιστογραμμάτων εξαρτώνται από την επιλογή του πλήθους των κλάσεων. Παρουσιάζεται μια μέθοδος που βασίζεται σε δεδομένα για τον προσδιορισμό του βέλτιστου πλήθους κλάσεων ισοπαχών ιστογραμμάτων. Θεωρώντας μια πολυδιάστατη πιθανοφάνεια και μια εκ των προτέρων πιθανότητα, αντλούμε την εκ των υστέρων πιθανότητα για το πλήθος των κλάσεων σε ένα τμηματικό σταθερό μοντέλο πυκνότητας για τα δεδομένα. Επιπλέον, υπολογίζουμε τις μέσες τιμές και τυπικές αποκλίσεις από τις προκύπτουσες συχνότητες στις κλάσεις, εξετάζουμε τις επιπτώσεις του μεγέθους των δειγμάτων και των ψηφιακών δεδομένων και παρουσιάζεται εφαρμογή στα πολυδιάστατα ιστογράμματα. Η προσωπική δουλεία που έγινε σε αυτήν την εργασία είναι η δημιουργία προγραμμάτων για την επαλήθευση των τύπων που βρέθηκαν στην βιβλιογραφία
description: When creating a histogram, concerns arise about the width and the ends of the classes. This work presents the kernel estimator and demonstrates bias and its asymptotic integrated squared error, as well as an example of how the estimator assists in creating a histogram. Then a generalization of the kernel estimator is performed in many dimensions and its asymptotic integrated squared error is proven. Mutual Information (MI) has extensively been used as a measure of similarity or dependence between random variables (or parameters) in different signal and image processing applications. However, MI estimation techniques are known to exhibit a large bias, a high Mean Squared Error (MSE), and can computationally be very costly. In order to overcome these drawbacks, we propose here a novel fast and low MSE histogram-based estimation technique for the computation of entropy and the mutual information. By minimizing the MSE, the estimation avoids the error accumulation problem of traditional methods. We derive an expression for the optimal number of bins to estimate the MI for both continuous and discrete random variables. Experimental results from a speech recognition problem and a computer aided diagnosis problem show the power of the proposed approach in estimating the optimal number of selected features with enhanced classification results compared to existing approaches. Histograms are convenient non-parametric density estimators, which continue to be used ubiquitously. Summary quantities estimated from histogram-based probability density models depend on the choice of the number of bins. We introduce a straightforward data-based method of determining the optimal number of bins in a uniform bin-width histogram. By assigning a multinomial likelihood and a non-informative prior, we derive the posterior probability for the number of bins in a piecewise-constant density model given the data. In addition, we estimate the mean and standard deviations of the resulting bin heights, examine the effects small sample sizes and digitized data, and demonstrate the application to multi-dimensional histograms. The personal work done in this work is to create programs to verify the types found in the bibliography