Στατιστική ταξινόμηση

Συχνοτικές διαδικασίες

Οι πρώτες εργασίες για τη στατιστική ταξινόμηση πραγματοποιήθηκαν από τον Φίσερ,στο πλαίσιο των προβλημάτων των δύο ομάδων,που οδηγεί σε συνάρτηση γραμμική διακρίνουσα Φίσερ όπως ο κανόνας για την ανάθεση μιας ομάδας σε μια νέα παρατήρηση.Αυτές οι πρώτες εργασίες υποθέτουμε ότι τα δεδομένα-τιμές σε κάθε μία από τις δύο ομάδες είχαν μια πολυμεταβλητή κανονική κατανομή. Η επέκταση αυτού του πλαισίου σε περισσότερες από δύο ομάδες εξετάστηκαν επίσης με περιορισμούς που επιβάλουν ο κανόνας ταξινόμησης να είναι γραμμικός.Αργότερα το έργο για την πολυμεταβλητή κανονική κατανομή επέτρεψε στον ταξινομητή να είναι μη γραμμικός:αρκετοί από τους κανόνες ταξινόμησης μπορούν να προκύψουν με βάση ελαφρώς διαφορετικές ρυθμίσεις της απόστασης Mahalanobis,με μια νέα παρατήρηση που αποδόθηκε στην ομάδα της οποίας το κέντρο έχει τη χαμηλότερη ρυθμισμένη απόσταση από την παρατήρηση.

Διαδικασίες του Μπέυζ

Σε αντίθεση με τις συχνοτικές διαδικασίες,οι διαδικασίες ταξινόμησης του Μπέυζ παρέχουν ένα φυσικό τρόπο να συμπεριληφθούν τυχόν διαθέσιμες πληροφορίες σχετικά με τα σχετικά μεγέθη των υπο-πληθυσμών που συνδέονται με τις διάφορες ομάδες εντός του συνολικού πληθυσμού.OI διαδικασίες του Μπέυζ τείνουν να είναι υπολογιστικά ακριβές και,κατά τις ημέρες πριν αναπτυχθεί ο υπολογισμός Markov chain Monte Carlo,επινοήθηκαν προσεγγίσεις για τους κανόνες ομαδοποίησης του Μπέυζ.
Μερικές διαδικασίες του Μπέυζ περιλαμβάνουν τον υπολογισμό της πιθανότητας συμμετοχής στην ομάδα: αυτές μπορούν να θεωρηθούν πως δίνουν πιο πλήρη αποτέλεσματα της ανάλυσης δεδομένων από μια  απλή απόδοση μιας ενιαίας ομάδας-ετικέτας σε κάθε νέα παρατήρηση.

Δυαδική και πολυ κατάταξη ταξινόμηση

Η ταξινόμηση μπορεί να θεωρηθεί ως δύο ξεχωριστά προβλήματα – δυαδική ταξινόμηση και πολυ κατάταξη ταξινόμηση.Στην δυαδική ταξινόμηση, μια πιο κατανοητή εργασία,μόνο δύο κατηγορίες εμπλέκονται,ενώ η πολυ κατάταξη ταξινόμηση περιλαμβάνει την ανάθεση ενός αντικειμένου σε μία από τις πολλές κατηγορίες.Αφού πολλές μέθοδοι ταξινόμησης έχουν αναπτυχθεί ειδικά για την δυαδική ταξινόμηση,η πολυ κατάταξη ταξινόμηση συχνά απαιτεί τη συνδυασμένη χρήση πολλαπλών δυαδικών ταξινομητών.

Χαρακτηριστικά διανυσμάτων

Οι περισσότεροι αλγόριθμοι περιγράφουν ένα μεμονωμένο υπόδειγμα του οποίου η κατηγορία είναι να προβλεφθεί χρησιμοποιώντας ένα διάνυσμα χαρακτηριστικών του ατόμου,μετρήσιμες ιδιότητες της περίπτωσης.Κάθε ιδιότητα ορίζεται ως χαρακτηριστικό,επίσης είναι γνωστή στις στατιστική ως ερμηνευτική μεταβλητή (ή ανεξάρτητη μεταβλητή, αν και τα χαρακτηριστικά μπορεί να είναι ή να μην είναι στατιστικά ανεξάρτητες).Τα Χαρακτηριστικά μπορεί ποικιλοτρόπως να είναι δυαδικά (Π.χ. «αρσενικό» ή «θηλυκό»)? κατηγορηματικός (Π.χ. "Α", "Β", "ΑΒ" ή "O", για τον τύπο του αίματος)? τακτικός (π.χ. "μεγάλα", "μέσο" ή "μικρό")? ακέραια-τιμή (π.χ. ο αριθμός εμφανίσεων μιας συγκεκριμένης λέξης σε ένα e-mail)? ή πραγματική τιμή (π.χ. μια μέτρηση της αρτηριακής πίεσης).Αν το παράδειγμα είναι μια εικόνα, οι χαρακτηριστικές τιμές θα μπορούσαν να αντιστοιχούν στα πίξελ μιας εικόνας? αν η περίπτωση είναι ένα κομμάτι από κείμενο,οι χαρακτηριστικές τιμές θα μπορούσαν να είναι συχνότητες εμφάνισης από διαφορετικές λέξεις.Μερικοί αλγόριθμοι λειτουργούν μόνο από την άποψη των διακριτών στοιχείων και απαιτούν πραγματικές τιμές ή τα δεδομένα των ακέραιων-τιμών να διακριθούν σε ομάδες (Π.χ. λιγότερο από 5, μεταξύ 5 και 10, ή μεγαλύτερο από 10)

Αξιολόγηση

Η απόδοση της ταξινομητής εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά των δεδομένων που πρέπει να ταξινομηθούν.Δεν υπάρχει μοναδικός ταξινομητής που λειτουργεί καλύτερα για όλα τα προβλήματα που δίνονται (Ένα φαινόμενο που μπορεί να εξηγηθεί από το θεώρημα no-free-lunch ).Διάφορες εμπειρικές δοκιμές έχουν διεξαχθεί για να συγκρίνουν τις επιδόσεις της ταξινόμησης και να βρει τα χαρακτηριστικά των στοιχείων που καθορίζουν την απόδοση της ταξινόμησης.Καθορίζοντας ενός κατάλληλου ταξινομητή για ένα δεδομένο πρόβλημα είναι όμως ακόμα περισσότερο μια τέχνη παρά επιστήμη.
Τα μέτρα ακρίβειας και ανάκλησης είναι δημοφιλείς μετρήσεις που χρησιμοποιούνται για την αξιολόγηση της ποιότητας ενός συστήματος ταξινόμησης.Πιο πρόσφατα , τα λειτουργικά χαρακτηριστικά των καμπυλών του δέκτη έχουν χρησιμοποιηθεί για να αξιολογήσουν την ανταλλαγή μεταξύ αληθώς και ψευδώς θετικά ποσοστά των αλγορίθμων ταξινόμησης.
Ως μέτρηση απόδοσης,ο συντελεστής αβεβαιότητας έχει το πλεονέκτημα έναντι της απλής ακρίβειας από το γεγονός ότι δεν επηρεάζεται από τα σχετικά μεγέθη των διαφόρων κατηγοριών.Περαιτέρω, δεν θα τιμωρήσει έναν αλγόριθμο για την απλή αναδιάταξη των κατηγοριών.