Συσχέτιση και εξάρτηση

Στις στατιστικές, η εξάρτηση είναι οποιαδήποτε στατιστική σχέση μεταξύ δύο τυχαίων μεταβλητών ή δύο σύνολα δεδομένων. Η συσχέτιση αναφέρεται σε μια ευρεία κατηγορία στατιστικών σχέσεων με τη συμμετοχή της εξάρτησης, αν και σε κοινή χρήση συχνότερα αναφέρεται στο βαθμό με τον οποίο δύο μεταβλητές έχουν μια γραμμική σχέση η μία με την άλλη. 
Γνωστά παραδείγματα εξαρτημένων φαινόμενων περιλαμβάνουν τη συσχέτιση μεταξύ των φυσικών φαινοτύπων των γονέων και των απογόνων τους, καθώς και τη συσχέτιση μεταξύ της ζήτησης για ένα προϊόν και την τιμή του. 
Οι συσχετισμοί είναι χρήσιμoi, διότι μπορεί να υποδείξουν μια προγνωστική σχέση που μπορεί να αξιοποιηθεί στην πράξη. Για παράδειγμα, ένα ηλεκτρικό εργαλείο μπορεί να παράγει λιγότερη ενέργεια σε μια ήπια μέρα με βάση τη συσχέτιση μεταξύ της ζήτησης ηλεκτρικής ενέργειας και των καιρικών συνθηκών. Σε αυτό το παράδειγμα υπάρχει μια αιτιώδης σχέση, επειδή τα ακραία καιρικά φαινόμενα προκαλούν τους ανθρώπους να χρησιμοποιούν περισσότερη ενέργεια για θέρμανση ή ψύξη * ωστόσο, η στατιστική εξάρτηση δεν επαρκεί για να αποδείξει την παρουσία της εν λόγω αιτιώδους σχέσης (δηλαδή,η συσχέτιση δε συνεπάγεται αιτιότητα).
Επισήμως, η εξάρτηση αναφέρεται σε οποιαδήποτε κατάσταση στην οποία τυχαίες μεταβλητές δεν πληρούν μια μαθηματική κατάσταση πιθανοτικής ανεξαρτησίας. Σε χαλαρή χρήση, η συσχέτιση μπορεί να αναφέρεται σε οποιοδήποτε απόκλιση δύο ή περισσότερων τυχαίων μεταβλητών από την ανεξαρτησία, αλλά τυπικά αναφέρεται σε πολλούς από τους πιο εξειδικευμένους τύπους σχέσης μεταξύ μέσων τιμών. Υπάρχουν διάφοροι συντελεστές συσχέτισης, συχνά συμβολίζονται ρ ή r, μετρώντας το βαθμό συσχέτισης. Οι πιο κοινοί από αυτούς είναι ο συντελεστής συσχέτισης Pearson, ο οποίος είναι ευαίσθητος μόνο σε μια γραμμική σχέση μεταξύ των δύο μεταβλητών (που μπορεί να υπάρχει ακόμη και αν η μία είναι μια μη γραμμική συνάρτηση της άλλης). Άλλοι συντελεστές συσχέτισης έχουν αναπτυχθεί για να είναι πιο γεροί από το συντελεστή συσχέτισης του Pearson – που είναι πιο ευαίσθητος σε μη γραμμικές σχέσεις. η Αμοιβαία πληροφορία μπορεί επίσης να εφαρμοστεί για να μετρήσει την εξάρτηση μεταξύ δύο μεταβλητών.

Άλλα μέτρα εξάρτησης μεταξύ των τυχαίων μεταβλητών

Οι πληροφορίες που παρέχονται από τον συντελεστή συσχέτισης δεν είναι αρκετές για να καθορίσουν την δομή της εξάρτησης μεταξύ τυχαίων μεταβλητών.  Ο συντελεστής συσχέτισης ορίζει εντελώς την δομή της εξάρτησης μόνο σε πολύ ειδικές περιπτώσεις, για παράδειγμα όταν η κατανομή είναι μια πολυμεταβλητή κανονική κατανομή. (Δείτε το παραπάνω διάγραμμα.) Στην περίπτωση που οι ελλειπτικές κατανομές χαρακτηρίζουν τις (υπερ-)ελλείψεις της ίσης πυκνότητας, ωστόσο, δεν χαρακτηρίζουν εντελώς την δομή της εξάρτησης (για παράδειγμα,για μια πολυμεταβλητή t-κατανομής  οι βαθμοί ελευθερίας καθορίζουν το επίπεδο  της εξάρτησης).
Η Απόσταση συσχέτιση και Μπράουν συνδιακύμανση / Μπράουν συσχέτιση θεσπίστηκαν για την αντιμετώπιση της ανεπάρκειας του συντελεστή συσχέτισης Pearson που μπορεί να είναι μηδέν  για εξαρτημένες τυχαίες μεταβλητές, η μηδενική απόσταση συσχέτισης και η μηδέν Brown συσχέτιση συνεπάγεται ανεξαρτησία.
Η Τυχαιοποιημένη Εξάρτηση του Συντελεστή είναι ένα υπολογιστικά αποδοτικό, επίπεδο με βάση το μέτρο της εξάρτησης μεταξύ πολλών τυχαίων μεταβλητών . Η RDC είναι αμετάβλητη όσον αφορά τις μη γραμμικές κλιμακώσεις τυχαίων μεταβλητών, είναι ικανή να ανακαλύψει ένα ευρύ φάσμα από λειτουργικά μοτίβα σύνδεσης και παίρνει την τιμή μηδέν για ανεξαρτησία.
Η αναλογία συσχέτισης  είναι σε θέση να ανιχνεύσει σχεδόν κάθε λειτουργική εξάρτηση, και η εντροπία με βάση την αμοιβαία πληροφορία, η συνολική συσχέτιση και η διπλή συνολική συσχέτιση είναι ικανή να ανιχνεύσει ακόμα ποιο γενικές εξαρτήσεις. Αυτές μερικές φορές αναφέρονται ως μέτρα συσχέτισης πολλαπλών στιγμών, σε σύγκριση με εκείνους που θεωρούν μόνο τη δεύτερη στιγμή (ζεύγη ή τετραγωνική) εξάρτηση.
Η πολυχωρική συσχέτιση είναι μια άλλη συσχέτιση που εφαρμόζεται σε τακτικά δεδομένα που έχει ως στόχο να εκτιμηθεί η συσχέτιση μεταξύ της θεωρίας των λανθάνων μεταβλητών.
Ένας τρόπος για να συλλάβει κανείς μια πιο ολοκληρωμένη άποψη για την δομή της εξάρτησης είναι να εξετάσει ένα επίπεδο μεταξύ τους.
Ο συντελεστής προσδιορισμού γενικεύει τον συντελεστή συσχέτισης για τις σχέσεις πέρα από την απλή γραμμική παλινδρόμηση.

Ευαισθησία στη κατανομή δεδομένων

Ο βαθμός εξάρτησης μεταξύ των μεταβλητών X και Y δεν εξαρτάται από την κλίμακα στην οποία οι μεταβλητές εκφράζονται. Δηλαδή, αν αναλύσουμε τη σχέση μεταξύ X και Y, τα μέτρα συσχέτισης  δεν επηρεάζονται από τη μετατροπή του X σε a + bX και Y σε c + dY, όπου a, b, c, και d είναι σταθερές (b και d είναι θετικά). Αυτό ισχύει και για τη συσχέτιση στατιστικών στοιχείων, καθώς και τον πληθυσμό τους ανάλογα. Για κάποια στατιστικά στοιχεία συσχέτισης, όπως το βαθμό του συντελεστή συσχέτισης, που είναι επίσης αμετάβλητα σε μονότονες μεταμορφώσεις των περιθωριακών κατανομών των Χ και/ή Y.
Τα περισσότερα μέτρα συσχέτισης είναι ευαίσθητα στον τρόπο με τον οποίο γίνεται η δειγματοληψία των X και Y. Οι Εξαρτήσεις τείνουν να γίνουν ισχυρότερες εάν προβληθούν πάνω από ένα ευρύτερο φάσμα τιμών. Έτσι, αν θεωρήσουμε τον συντελεστή συσχέτισης μεταξύ του ύψους των πατέρων και των γιων τους σε όλα τα ενήλικα αρσενικά, και το συγκρίνουμε με τον ίδιο συντελεστής συσχέτισης υπολογίζεται όταν οι πατέρες επιλέγονται να είναι μεταξύ 165 και 170 εκατοστά σε ύψος, η συσχέτιση θα είναι ασθενέστερη στην τελευταία περίπτωση. Διάφορες τεχνικές έχουν αναπτυχθεί που στοχεύουν στον περιορισμό του ευρους σε μία ή δύο μεταβλητές, και χρησιμοποιούνται συνήθως σε μετα-ανάλυση, η πιο κοινή είναι η περίπτωση II Thorndike's και η περίπτωση III εξισώσεις.
Διάφορα μέτρα συσχέτισης στην χρήση, μπορεί να είναι αόριστα για ορισμένες κοινές κατανομές των Χ και Υ. Για παράδειγμα, ο συντελεστής συσχέτισης Pearson ορίζεται με βάση τις στιγμές, και ως εκ τούτου θα είναι απροσδιόριστος αν οι στιγμές είναι απροσδιόριστες. Μέτρα εξάρτησης με βάση τα quantiles ορίζονται πάντοτε. Το δείγμα με βάση τα στατιστικά στοιχεία που προορίζονται για την εκτίμηση του πληθυσμού τα μέτρα της εξάρτησης μπορεί ή μπορεί να μην έχουν τις επιθυμητές στατιστικές ιδιότητες όπως το να είναι αμερόληπτη, ή ασυμπτωτικά συνεπής, με βάση τη χωρική δομή του πληθυσμού από τον οποίο ελήφθησαν τα δεδομένα .
Η ευαισθησία για τη κατανομή δεδομένων μπορεί να χρησιμοποιηθεί ως πλεονέκτημα. Για παράδειγμα, η κλίμακα αντιστοιχίας  έχει σχεδιαστεί για να χρησιμοποιεί την ευαισθησία ώστε να παίρνει συσχετίσεις μεταξύ γρήγορων στοιχείων των χρονοσειρών. Μειώνοντας το εύρος των τιμών με ελεγχόμενο τρόπο, οι συσχετισμοί σε μακροπρόθεσμη κλίμακα φιλτράρονται και μόνο οι συσχετισμοί σε σύντομες χρονικές κλίμακες θα αποκαλυφθούν.

Πίνακες συσχέτισης

Ο πίνακας συσχέτισης των n τυχαίων μεταβλητών X₁, ..., Xₙ είναι ο n × n πίνακας του οποίου τα i,j της εισόδου είναι corr(Xᵢ, Xⱼ). Αν τα μέτρα της συσχέτισης χρησιμοποιούνται ως συντελεστές, ο πίνακας συσχέτισης είναι ο ίδιος με τον πίνακα συνδιασποράς των τυποποιημένων τυχαίων μεταβλητών Xᵢ / σ (Xᵢ) για i = 1, ..., n. Αυτό ισχύει τόσο για τον πίνακα συσχετίσεων του πληθυσμού (στην περίπτωση αυτή το "σ" είναι η τυπική απόκλιση πληθυσμού), οσο για τον πίνακα συσχετίσεων του δείγματος (στην περίπτωση αυτή το "σ", δηλώνει η τυπική απόκλιση του δείγματος). Κατά συνέπεια, το καθένα είναι απαραιτήτως ένας θετικός-ημιθετικός πίνακας.
Ο πίνακας συσχετίσεων είναι συμμετρικος διότι η συσχέτιση μεταξύ των Xᵢ και Xⱼ είναι η ίδια όπως η συσχέτιση ανάμεσα σε Xⱼ και  Xi.

Συσχέτιση και αιτιότητα

Η συμβατική ρήση  "correlation does not imply causation" σημαίνει ότι η συσχέτιση δεν μπορεί να χρησιμοποιηθεί για να συναχθεί η ύπαρξη αιτιώδους σχέσης μεταξύ των μεταβλητών.Αυτή η ρήση δεν σημαίνει ότι οι συσχετισμοί δεν μπορεί να υποδηλώνουν την πιθανή ύπαρξη αιτιωδών σχέσεων. Ωστόσο, τα αίτια στα οποία βασίζεται η συσχέτιση, αν υπάρχει, μπορεί να είναι έμμεσα και άγνωστα, και οι υψηλές συσχέτισεις, ακόμα συμπίπτουν με τις σχέσεις  ταυτότητα (tautologies), όπου δεν υπάρχει αιτιώδης διαδικασία . Κατά συνέπεια , για τη θέσπιση συσχέτισης μεταξύ δύο μεταβλητών δεν αποτελεί επαρκή προϋπόθεση να δημιουργήσετε μια αιτιώδη σχέση (σε οποιαδήποτε κατεύθυνση).
Μια συσχέτιση μεταξύ της ηλικίας και το ύψος στα παιδιά είναι αρκετά αιτιολογικά διαφανείς, αλλά μια συσχέτιση μεταξύ της διάθεσης και της υγείας σε άτομα είναι λιγότερο έτσι. Η βελτιωμένη διάθεση οδηγεί σε βελτίωση της υγείας, ή  η καλή υγεία οδηγεί σε καλή διάθεση, ή και τα δύο; Ή μήπως κάποιος άλλος παράγοντας αποτελεί τη βάση και για τα δύο; Με άλλα λόγια, μια συσχέτιση μπορεί να ληφθεί ως αποδεικτικό στοιχείο για μια πιθανή αιτιώδη σχέση, αλλά δεν μπορεί να δείξει  ποια είναι η αιτιώδης σχέση, αν υπάρχει, ίσως είναι.

Συσχέτιση και γραμμικότητα

Ο συντελεστής συσχέτισης Pearson δείχνει τη δύναμη της γραμμικής σχέσης μεταξύ δύο μεταβλητών, η τιμή του όμως, γενικά, δεν χαρακτήριζει εντελώς τη σχέση τους.Ειδικότερα, αν η υπό όρους, μέση τιμή της Y δοσμένου X, που συμβολίζεται E(Y|X), δεν είναι γραμμική στο X, ο συντελεστής συσχέτισης θα καθορίσει πλήρως την μορφή της E(Y|X).
Η εικόνα στα δεξιά δείχνει διαγράμματα διασποράς της Anscombe κουαρτέτο, ένα σύνολο από τέσσερα διαφορετικά ζεύγη μεταβλητών δημιουργηθεί από Francis Anscombe. Οι τέσσερις y μεταβλητές έχουν την ίδια μέση τιμή (7.5), διακύμανση (4.12), συσχέτιση (0.816) και γραμμή παλινδρόμησης (y = 3 + 0.5x). Ωστόσο, όπως μπορεί να δει κανείς στα διαγράμματα, η κατανομή των μεταβλητών είναι πολύ διαφορετική. Στο πρώτο (πάνω αριστερά) φαίνεται να διανέμονται κανονικά, και αντιστοιχεί σε ότι θα περίμενε κανείς όταν εξετάζει δύο μεταβλητές που συσχετίζονται και μετά την παραδοχή της κανονικότητας. Στο δεύτερο (πάνω δεξιά) δεν κατανέμονται κανονικά, ενώ μπορεί να παρατηρηθεί μια προφανής σχέση μεταξύ των δύο μεταβλητών , όχι όμως γραμμική. Σε αυτή την περίπτωση, ο συντελεστής συσχέτισης Pearson δεν δείχνει ότι υπάρχει μια ακριβής λειτουργική σχέση: μόνο τον βαθμό στον οποίο αυτή η σχέση μπορεί να προσεγγισθεί με μια γραμμική σχέση. Στην τρίτη περίπτωση (κάτω αριστερά), η γραμμική σχέση είναι τέλεια, εκτός από μια εξαίρεση , η οποία ασκεί αρκετή επιρροή για να μειώσει το συντελεστή συσχέτισης από το 1 στο 0.816. Τέλος, το τέταρτο παράδειγμα (κάτω δεξιά) δείχνει πως μία ακραία τιμή είναι αρκετή για να παράγει ένα υψηλό συντελεστή συσχέτισης, ακόμα κι αν η σχέση μεταξύ των δύο μεταβλητών δεν είναι γραμμική.
Αυτά τα παραδείγματα δείχνουν ότι ο συντελεστής συσχέτισης, με μια συνοπτική στατιστική, δεν μπορεί να αντικαταστήσει την οπτική εξέταση των δεδομένων. Σημειώστε ότι τα παραδείγματα είναι μερικές φορές η αποδείξη ότι συντελεστής συσχέτισης Pearson προϋποθέτει ότι τα δεδομένα ακολουθούν κανονική κατανομή, αλλά αυτό δεν είναι σωστό.

Διμεταβλητή κανονική κατανομή

Αν ένα ζεύγος (X, Y) τυχαίων μεταβλητών ακολουθεί μια διμεταβλητή κανονική κατανομή, η υπό όρους, δηλαδή E(X|Y) είναι γραμμική συνάρτηση του Y, και η υπό συνθήκη μέση τιμή E(Y|X) είναι γραμμική συνάρτηση του X. Ο συντελεστής συσχέτισης r μεταξύ X και Y, μαζί με τις οριακές μέσες τιμές και τις διακυμάνσεις των X και Y, καθορίζουν αυτή τη γραμμική σχέση:
όπου E(X) και E(Y)  είναι οι αναμενόμενες τιμές των X και Y, αντίστοιχα, και σₓ και σy είναι οι τυπικές αποκλίσεις των X και Y, αντίστοιχα.

Μερική συσχέτιση

Αν ο πληθυσμός ή το συνόλο των δεδομένων που χαρακτηρίζεται από περισσότερες από δύο μεταβλητές, ένας μερικός συντελεστής συσχέτισης μετρά τη δύναμη της εξάρτησης μεταξύ δύο μεταβλητών που δεν εξηγείται από τον τρόπο με τον οποίο και οι δύο αλλάζουν ανάλογα με τις παραλλαγές σε ένα επιλεγμένο υποσύνολο των άλλων μεταβλητών.