Ανάλυση ανεξάρτητων συνιστωσών

Εισαγωγή

Όταν η υπόθεση ανεξαρτησίας είναι σωστή, ο τυφλός χωρισμός (με την Ανάλυση Ανεξάρτητων Συνιστωσών) ενός σύνθετου σήματος δίνει πολύ καλά αποτελέσματα. Επίσης χρησιμοποιείται για σήματα τα οποία υποτίθεται ότι δεν παράγονται από μίξη κάποιων σημάτων  για τον σκοπό της Ανάλυσης Ανεξάρτητων Συνιστωσών. Μια απλή εφαρμογή Ανάλυσης Ανεξάρτητων Συνιστωσών είναι το πρόβλημα κοκτέιλ πάρτυ, όπου τα υποβόσκοντα σήματα ομιλίας διαχωρίζονται από δείγματα δεδομένων που αποτελούνται από ανθρώπους που μιλάνε ταυτόχρονα σε ένα δωμάτιο. Συνήθως το πρόβλημα απλοποιείται υποθέτοντας μη χρονικές καθυστερήσεις ή ηχώ. Μια σημαντική παρατήρηση για σκέψη είναι όταν Ν πηγές είναι παρούσες, χρειάζονται τουλάχιστον Ν παρατηρητές (π.χ. μικρόφωνα) για να πάρουμε τα πραγματικά σήματα. Αυτό αποτελεί την τετράγωνη περίπτωση (J = D, οπού D είναι η εισερχόμενη διάσταση δεδομένων και  J  η διάσταση του μοντέλου). Έχουν επίσης ερευνηθεί και περιπτώσεις όπου έχουμε υποκαθορισμό (J <  D) ή υπερκαθορισμό (J > D).

Καθορίζοντας την συνιστώσα ανεξαρτησίας

Η ανάλυση ανεξάρτητων συνιστωσών βρίσκει τις ανεξάρτητες συνιστώσες  (όπως παράγοντες, λανθάνουσες μεταβλητές, πηγές) μεγιστοποιώντας τη στατιστική ανεξαρτησία των εκτιμώμενων συνιστωσών. Μπορούμε να επιλέξουμε μεταξύ πολλών τρόπων καθορισμού της ανεξαρτησίας, και αυτή η επιλογή διέπει τη μορφή του ICA αλγόριθμου. Οι δύο πιο γνωστοί καθορισμοί της ανεξαρτησίας για το ICA είναι
1) Ελαχιστοποίηση της Κοινής Πληροφορίας 
2) Μεγιστοποίηση της μη-Κανονικότητας
Η ελαχιστοποίηση των Mη κοινών Πληροφοριών (Minimization of Mutual Information, MMI) αποτελεί μια οικογένεια του ICA αλγόριθμου ποι χρησιμοποιεί μετρήσεις όπως η Απόκλιση Κουλμπακ-Λάιμπερ (Kullback-Leibler) και η μέγιστη εντροπία. Η οικογένεια της Μη-Κανονικότητας (non-Gaussianity) του ICA αλγόριθμου, έχοντας παρακινηθεί από το κεντρικό οριακό θεώρημα, χρησιμοποιεί κύρτωση και αρνητική εντροπία.
Τυπικοί αλγόριθμοι για την ανάλυση ανεξάρτητων συνιστωσών χρησιμοποιούν κεντροποίηση, θορυβοποίηση (συνήθως με την αποσύνθεση ιδιοτιμών (eigenvalue decomposition)), και μείωση διάστασης (dimensionality reduction) ως βήματα προεπεξεργασίας με σκοπό να απλουστευτεί και να μειωθεί η πολυπλοκότητα του προβλήματος για πραγματικούς επαναληπτικούς αλγορίθμους. Η θορυβοποίηση και η μείωση διάστασης μπορούν να επιτευχθούν με την ανάλυση βασικών συνιστωσών (principal component analysis) ή με την Αποσύνθεση μοναδικής τιμής (singular value decomposition). Η θορυβοποίηση εξασφαλίζει την 'a priori' ίση μεταχείριση όλων των διαστάσεων πριν την εκτέλεση του αλγορίθμου. Στους αλγορίθμους ανάλυσης ανεξάρτητων συνιστωσών συμπεριλαμβάνονται οι infomax, FastICA και JADE, αλλά υπάρχουν κι άλλοι. Γενικά, η ανάλυση ανεξάρτητων συνιστωσών δεν μπορεί να εντοπίσει τον πραγματικό αριθμό των πηγαίων σημάτων, τη μοναδική σωστή σειρά των πηγαίων σημάτων, ούτε τη σωστή κλιμάκωση (συμπεριλαμβανόμενου του προσήμου) των πηγαίων σημάτων.
Η ανάλυση ανεξάρτητων συνιστωσών είναι σημαντική για τον τυφλό διαχωρισμό σήματος και έχει πολλές πρακτικές εφαρμογές. Είναι στενά συνδεδεμένη με την έρευνα για την παραγωγή ενός παραγοντικού κώδικα (factorial code) των δεδομένων, δηλ. μια καινούρια διανυσματική αναπαράσταση κάθε διανύσματος δεδομένων έτσι ώστε αυτό να κωδικοποιείται μοναδικά από το αντίστοιχο διάνυσμα κώδικα (code vector) (loss-free coding), αλλά οι συνιστώσες του κώδικα να είναι στατιστικά ανεξάρτητες.

Μαθηματικοί ορισμοί

Η γραμμική ανάλυση ανεξάρτητων συνιστωσών μπορεί να διαιρεθεί σε αθόρυβες και θορυβώδεις περιπτώσεις, όπου οι αθόρυβες ICA είναι ειδικές περιπτώσεις των θορυβωδών ICA. Η μη γραμμική ICA θα πρέπει να θεωρείται ξεχωριστή περίπτωση.

Γραμμική Ανάλυση Ανεξάρτητων Συνιστωσών χωρίς θόρυβο

Οι συνιστώσες   του παρατηρουμένου τυχαίου διανύσματος   παράγονται ως άθροισμα των ανεξάρτητων συνιστωσών , :
σταθμισμένων από τα βάρη μίξης .
Το ίδιο μοντέλο παραγωγής μπορεί να γραφεί σε διανυσματική μορφή ως , οπού το παρατηρούμενο τυχαίο διάνυσμα   παρίσταται από τα διανύσματα βάσης . Η βάση διανυσμάτων    σχηματίζει τις στήλες του πίνακα μίξης   και η γενετήρια φόρμουλα μπορεί να γραφτεί ως , όπου .
Δοθέντων του μοντέλου και των συσχετισμών (δείγματα)   του τυχαίου διανύσματος , ο στόχος είναι να εκτιμηθούν ο πίνακας μίξης  και οι πηγές . Αυτό γίνεται με προσαρμοστικό υπολογισμό των διανυσμάτων  και θέτοντας μια  συνάρτηση κόστους η οποία είτε θα μεγιστοποιεί τη μη κανονικότητα (non-gaussianity) του υπολογισθέντος  ή θα ελαχιστοποιεί την κοινή πληροφορία. Σε μερικές περιπτώσεις μια 'a priori' γνώση της κατανομής πιθανοτήτων των πηγών μπορούν να χρησιμοποιηθούν στη συνάρτηση κόστους.
Οι αρχικές πηγές μπορούν να ανακτηθούν πολλαπλασιάζοντας τα παρατηρούμενα σήματα  με τον αντίστροφο πίνακα μίξης  . Εδώ θεωρείται ότι ο συμπτυγμένος πίνακας είναι τετράγωνος  (). Αν ο αριθμός των διανυσμάτων βάσης είναι μεγαλύτερος από τη διάσταση των παρατηρούμενων διανυσμάτων, , ο σκοπός υπερκαλύπτεται άλλα και πάλι το πρόβλημα είναι επιλύσιμο με ψευδοαντιστροφή.

Γραμμική Ανάλυση Ανεξάρτητων Συνιστωσών με θόρυβο

Με την επιπρόσθετη υπόθεση του μηδενικού μέσου και τον ασυσχετιστικο Γκαουσιανό θόρυβο , η Ανάλυση Ανεξάρτητων Συνιστωσών παίρνει τη μορφή .

Μη Γραμμική Ανάλυση Ανεξάρτητων Συνιστωσών

Η μίξη των πηγών δε χρειάζεται να είναι γραμμική. Χρησιμοποιώντας μια μη γραμμική συμπτυγμένη συνάρτηση    με παραμέτρους  το  μη γραμμικό  ICA μοντέλο είναι .

Εφαρμογές

Η ανάλυση ανεξάρτητων συνιστωσών μπορεί να επεκταθεί στην ανάλυση μη φυσικών σημάτων (non-physical signals). Για παράδειγμα η ανάλυση ανεξάρτητων συνιστωσών, έχει εφαρμοστεί να ανακαλύψει τα θέματα συζητήσεων σε μια λίστα φακέλων.