Αποθήκη δεδομένων

Στην επιστήμη των υπολογιστών, μια αποθήκη δεδομένων (DW) είναι μια βάση δεδομένων που χρησιμοποιείται για την αναφορά και ανάλυση. Τα δεδομένα που είναι αποθηκευμένα στην αποθήκη φορτώνονται από το λειτουργικό σύστημα. Τα δεδομένα μπορεί να περάσουν μέσα από ένα λειτουργικό χώρο αποθήκευσης δεδομένων για τις πρόσθετες εργασίες πριν χρησιμοποιηθούν στις αποθήκες δεδομένων για την υποβολή εκθέσεων.
Μία αποθήκη δεδομένων διατηρεί τις λειτουργίες της σε τρία στρώματα: σταδιοποίηση, την ένταξη και την πρόσβαση. Η σταδιοποίηση χρησιμοποιείται για την αποθήκευση πρώτων δεδομένων με σκοπό τη χρήση τους από προγραμματιστές. Η ένταξη δεδομένων χρησιμοποιείται για την ενσωμάτωση δεδομένων ώστε να έχουν ένα επίπεδο αφαίρεσης από τους χρήστες. Το στρώμα πρόσβασης είναι για να εξάγουν τα επιθυμητά δεδομένα για τους χρήστες.
Οι αποθήκες δεδομένων μπορούν να υποδιαιρεθούν σε εξειδικευμένα υποσύνολα δεδομένων, τα λεγόμενα data marts. Τα data marts εφοδιάζουν επιμέρους υποσύνολα δεδομένων από μια αποθήκη.
Ο ορισμός της αποθήκης δεδομένων εστιάζει στην αποθήκευση δεδομένων. Η κύρια πηγή των δεδομένων ξεδιαλύνεται, μεταμορφώνεται, κατηγοριοποιείται και διατίθεται για χρήση από τους διαχειριστές και άλλους επαγγελματίες για την εξόρυξη δεδομένων, διαδικτυακής αναλυτικής επεξεργασίας, έρευνα αγοράς και υποστήριξης αποφάσεων. Ωστόσο, τα μέσα για την ανάκτηση και την ανάλυση δεδομένων, την εξαγωγή, μετατροπή και φόρτωση των δεδομένων, καθώς και η διαχείριση του λεξικού δεδομένων θεωρούνται επίσης ουσιώδεις συνιστώσες ενός συστήματος αποθήκευσης δεδομένων. Πολλές αναφορές για την αποθήκευση δεδομένων χρησιμοποιούν αυτό το ευρύτερο πλαίσιο. Έτσι, ένας γενικός ορισμός για την αποθήκευση δεδομένων περιλαμβάνει εργαλεία επιχειρηματικής ευφυΐας, εργαλεία για την εξαγωγή, μετατροπή και φόρτωση δεδομένων στο χώρο αποθήκευσης, καθώς και τα εργαλεία για τη διαχείριση και ανάκτηση των μεταδεδομένων.

Κανονικοποίηση έναντι τρισδιάστατης προσέγγισης στην αποθήκευση δεδομένων

Υπάρχουν δύο προσεγγίσεις που οδηγούν στην αποθήκευση δεδομένων σε μια αποθήκη δεδομένων - η πολυδιάστατη προσέγγιση και η κανονικοποιημένη προσέγγιση. Η πολυδιάστατη προσέγγιση, των οποίων οι υποστηρικτές αναφέρονται ως "Kimballites", πιστεύουν στην προσέγγιση Ralph Kimball, στην οποία αναφέρεται ότι η αποθήκη δεδομένων θα πρέπει να μοντελοποιηθεί χρησιμοποιώντας ένα τρισδιάστατο μοντέλο / αστέρι σχήμα. Η κανονικοποιημένη προσέγγιση, που ονομάζεται επίσης η 3NF μοντέλο, του οποίου οι υποστηρικτές αναφέρονται ως "Inmonites", πιστεύουν στην προσέγγιση Bill Inmon, στην οποία αναφέρεται ότι η αποθήκη δεδομένων θα πρέπει να μοντελοποιηθεί χρησιμοποιώντας ένα μοντέλο ER / κανονικοποιημένη μοντέλο.
Σε μια πολυδιάστατη προσέγγιση, τα στοιχεία συναλλαγής έχουν χωριστεί σε δύο «γεγονότα», τα οποία είναι γενικά αριθμητικά δεδομένα των συναλλαγών, ή "διαστάσεις", που είναι τα στοιχεία αναφοράς που δίνει το πλαίσιο των πραγματικών περιστατικών. Για παράδειγμα, σε μια συναλλαγή πώλησης μπορούν να χωριστούν σε γεγονότα όπως ο αριθμός των προϊόντων που διέταξε και την τιμή που καταβάλλεται για τα προϊόντα, και σε διαστάσεις, όπως η ημερομηνία παραγγελίας, το όνομα του πελάτη, τον αριθμό των προϊόντων, παραγγελίας ship-to και bill-to και καθιστά τον πωλητή υπεύθυνο για την παραλαβή της παραγγελίας.
Ένα βασικό πλεονέκτημα των διαστάσεων της προσέγγισης είναι ότι η αποθήκη δεδομένων είναι πιο εύκολο για τον χρήστη να κατανοήσει και να χρησιμοποιήσει. Επίσης, η ανάκτηση των δεδομένων από την αποθήκη δεδομένων τείνει να λειτουργεί πολύ γρήγορα. Οι δομές διαστάσεων είναι εύκολο να κατανοηθούν από τους επαγγελματίες χρήστες, επειδή η δομή χωρίζεται σε μετρήσεις/ στοιχεία και το περιεχόμενο/ διαστάσεις. Τα γεγονότα σχετίζονται με τις επιχειρηματικές διαδικασίες της οργάνωσης και λειτουργίας του συστήματος καθώς οι διαστάσεις τους περιέχονται στο πλαίσιο για τη μέτρηση (Kimball, Ralph, 2008).

Σχεδιασμός bottom-up

Ο Ralph Kimball, ένας γνώστης για τις αποθήκες δεδομένων, είναι υπέρ μιας προσέγγισης για το σχεδιασμό μίας αποθήκης δεδομένων, την οποία περιγράφει ως από-κάτω-προς-τα-πάνω (bottom-up).
Στην bottom-up προσέγγιση τα data marts αρχικά δημιουργούνται για να παρέχουν την υποβολή εκθέσεων και αναλυτικές ικανότητες για συγκεκριμένες επιχειρηματικές διαδικασίες. Στη μεθοδολογία του Kimball, η διαδικασία bottom-up είναι το αποτέλεσμα ενός αρχικού επιχειρησιακού προσανατολισμού ανάλυσης top-down για την διαμόρφωση των σχετικών επιχειρησιακών διαδικασιών.
Τα data marts περιέχουν, κατά κύριο λόγο, τις διαστάσεις και τα γεγονότα. Τα γεγονότα μπορούν να περιέχουν είτε ατομικά δεδομένα και, εφόσον είναι αναγκαίο, συνοπτικά δεδομένα. Τα μεμονωμένα data mart συχνά αποτελούν πρότυπο για ένα συγκεκριμένο επιχειρησιακό τομέα, όπως οι "Πωλήσεις" ή η "Παραγωγή". Αυτά τα data marts μπορούν τελικά να ενσωματωθούν για να δημιουργηθεί μια ολοκληρωμένη αποθήκη δεδομένων. Η ενσωμάτωση των data marts γίνεται μέσω της εφαρμογής που ο Kimball αποκαλεί ως «data warehouse bus architecture». Η αρχιτεκτονική αυτή είναι κατά κύριο λόγο μια συλλογή από δεδομένα με προσαρμοσμένες διαστάσεις και γεγονότα, τα οποία μοιράζονται (με ειδικό τρόπο) μεταξύ γεγονότων σε δύο ή περισσότερα data marts.
Η αυστηρή διατήρηση αυτής της αρχιτεκτονικής είναι θεμελιώδους σημασίας για τη διατήρηση της ακεραιότητας της αποθήκης δεδομένων. Το πιο σημαντικό καθήκον της διαχείρισης είναι η διασφάλιση ότι οι διαστάσεις μεταξύ των data marts είναι συνεπή. Με τα λεγόμενα του Kimball, αυτό σημαίνει ότι οι διαστάσεις "προσαρμόζονται".
Ορισμένοι θεωρούν ότι ένα πλεονέκτημα της μεθόδου Kimball, είναι πως η αποθήκη δεδομένων αποτελείται από έναν λογικό αριθμό μερών (όπως σε ένα λεωφορείο) και συγκεκριμένων data marts, και όχι ένα μεγάλο και συχνά περίπλοκο συγκεντρωτικό μοντέλο. Η επιχειρηματική αξία μπορούν να φανεί αμέσως μετά την δημιουργία των πρώτων data marts, και η ίδια η μέθοδος δίνει αποτελεσματικά μια διερευνητική και επαναληπτική προσέγγιση για την οικοδόμηση αποθηκών δεδομένων.
Για παράδειγμα, η προσπάθεια για αποθήκευση των δεδομένων θα μπορούσε να αρχίσει στο τμήμα "Πωλήσεις", με τη δημιουργία ενός Sales-data mart. Με την ολοκλήρωση των Sales-data mart, η επιχείρηση μπορεί να αποφασίσει να επεκτείνει τις δραστηριότητες αποθήκευσης στο, ας πούμε, "Τμήμα Παραγωγής" με αποτέλεσμα την δημιουργία του Production-data mart. Η απαίτηση για τα στοιχεία των Sales-data mart και των Production-data mart να είναι ολοκληρώσιμα, προκύπτει διότι μοιράζονται το ίδιο "Bus", που σημαίνει ότι η ομάδα αποθήκευσης δεδομένων έχει κάνει την προσπάθεια να εντοπίσει και να εφαρμόσει τις σύμφωνες διαστάσεις στο “Bus”, και ότι τα μεμονωμένα data marts συνδέονται με πληροφορίες από το “Bus”. Αυτό δεν απαιτεί το 100% της ευαισθητοποίησης από την έναρξη της προσπάθειας για αποθήκευση δεδομένων, κανένα σχέδιο δεν απαιτείται εκ των προτέρων. Τα Sales- data mart είναι καλό όπως είναι (με την προϋπόθεση ότι το “Bus” έχει ολοκληρωθεί) και την παραγωγή data mart μπορεί να κατασκευαστεί σχεδόν ανεξάρτητα από τα Sales- data mart (αλλά όχι ανεξάρτητα από το “Bus”).
Αν η ολοκλήρωση μέσω της αρχιτεκτονικής επιτευχθεί, η αποθήκη δεδομένων, μέσω των δύο data marts της, όχι μόνο θα είναι σε θέση να παραδώσει τις συγκεκριμένες πληροφορίες που τα επιμέρους data marts έχουν σκοπό να κάνουν, σε αυτό το παράδειγμα είτε οι πληροφορίες από τις "Πωλήσεις" ή της "Παραγωγή", αλλά μπορεί να προσφέρει περισσότερο εμπλουτισμένες πληροφορίες σχετικά με τις Πωλήσεις και την Παραγωγή, οι οποίες συχνά χρήζουν κρίσιμης επιχειρηματικής αξίας. Η ενσωμάτωση (ενδεχομένως) επιτυγχάνεται με έναν ευέλικτο τρόπο και ένα διαδραστικό τρόπο διαμόρφωσης.

Υβριδικός σχεδιασμός

Οι λύσεις της αποθήκης δεδομένων (DW) συχνά αποτελούν κομβικό σημείο για την αρχιτεκτονική δομή. Καθώς τα κληροδοτημένα συστήματα τροφοδοτούν την λύση της DW / BI συχνά περιλαμβάνουν τη διαχείριση των πελατειακών σχέσεων (Customer Relationship Management - CRM) και τις λύσεις σχετικά με τον επιχειρησιακό προγραμματισμό των πηγών (Enterprise Resource Planning - ERP), παράγουν μεγάλες ποσότητες δεδομένων. Για να εδραιωθούν τα διάφορα μοντέλα δεδομένων και να διευκολυνθεί η διαδικασία της εξαγωγή της φόρτωσης (Extract Transform Load - ETL), οι λύσεις της αποθήκης δεδομένων γίνονται συχνά χρήσιμες από μία επιχειρησιακή αποθήκη δεδομένων (Operation Data Store - ODS). Οι πληροφορίες από την ODS στη συνέχεια αναλύονται για την πραγματική αποθήκη δεδομένων. Για να μειωθούν τα πλεονάζοντα δεδομένα, μεγαλύτερα συστήματα θα αποθηκεύσουν πολλές φορές τα δεδομένα σε μια κανονικοποιημένη μορφή. Data marts για ειδικές εκθέσεις μπορούν στη συνέχεια να κατασκευαστούν πάνω από την λύση DW.
Η βάση δεδομένων της αποθήκης δεδομένων σε μια υβριδική λύση διατηρείται σε τρίτη κανονική μορφή για την εξάλειψη των πλεοναζόντων δεδομένων. Ωστόσο, μια κανονική σχεσιακή βάση δεδομένων δεν είναι αποτελεσματική για τις εκθέσεις της επιχειρηματικής ευφυΐας όπου τρισδιάστατη μοντελοποίηση είναι διαδεδομένη. Μικρά data marts μπορούν να ενημερώνονται για τα στοιχεία από την ενοποιημένη αποθήκη και να χρησιμοποιούν τα φιλτραρισμένα και συγκεκριμένα στοιχεία για τους πίνακες των γεγονότων και τις διαστάσεις που απαιτούνται. Η αποθήκη δεδομένων στην πραγματικότητα παρέχει μια ενιαία πηγή πληροφόρησης από την οποία τα data marts μπορούν να διαβαστούν, δημιουργώντας μια ιδιαίτερα ευέλικτη λύση από την άποψη του BI. Η υβριδική αρχιτεκτονική επιτρέπει σε μια αποθήκη δεδομένων να αντικατασταθεί με μια καλύτερη λύση διαχείρισης δεδομένων, όπου λειτουργεί χωρίς οι σταθερές πληροφορίες να παραμένουν.
Τα στοιχεία των δεδομένων της μοντελοποίησης Vault ακολουθούν “hub and spoke” αρχιτεκτονική. Αυτός ο τύπος μοντελοποίησης είναι ένα υβρίδιο του σχεδιασμού, που αποτελείται από τις καλύτερες πρακτικές και των δύο κανονικών μορφών σε σχήμα αστεριού. Το μοντέλο δεδομένων Vault δεν είναι μια αληθινή 3η κανονική μορφή, και παραβαίνει ορισμένους από τους κανόνες που υπαγορεύει που πρέπει να ακολουθεί η 3NF. Είναι, ωστόσο, μια top-down αρχιτεκτονική με στοιχεία bottom up ως προς τον σχεδιασμό. Το μοντέλο δεδομένων Vault έχει ως στόχο τη δημιουργία μίας αυστηρά ορισμένης αποθήκης δεδομένων. Δεν είναι προσανατολισμένη να είναι προσβάσιμη από τον τελικό χρήστη, όπως όταν χτίστηκε, αλλά εξακολουθεί να απαιτεί τη χρήση data mart αστεροειδούς σχήματος για επιχειρηματικούς σκοπούς.

Αποθήκες δεδομένων έναντι λειτουργικών συστημάτων

Τα λειτουργικά συστήματα βελτιστοποιούνται για διατήρηση της ακεραιότητας των δεδομένων και την ταχύτητα της καταγραφής των επιχειρηματικών συναλλαγών μέσω της χρήσης της κανονικοποίησης της βάσης δεδομένων και ένα μοντέλο Οντοτήτων-Σχέσεων. Οι σχεδιαστές λειτουργικών συστημάτων γενικά ακολουθούν κατά κανόνα τους Codd κανόνες της κανονικοποίησης της βάσης δεδομένων, προκειμένου να διασφαλιστεί η ακεραιότητα των δεδομένων. Το Codd καθορίζει τους πέντε αυστηρότερους κανόνες της κανονικοποίησης. Πλήρως κανονικοποιημένα σχέδια βάσης δεδομένων (δηλαδή, που ικανοποιούν και τους πέντε Codd κανόνες) οδηγούν συχνά σε πληροφορίες από μια επιχειρηματική συναλλαγή που αποθηκεύονται σε δεκάδες έως εκατοντάδες πίνακες. Σχεσιακές βάσεις δεδομένων είναι αποτελεσματικές στη διαχείριση των σχέσεων μεταξύ αυτών των πινάκων. Οι βάσεις δεδομένων έχουν πολύ γρήγορη εισαγωγή / ενημέρωση επιδόσεις, επειδή μόνο μια μικρή ποσότητα δεδομένων σε αυτούς τους πίνακες επηρεάζεται κάθε φορά που μια συναλλαγή βρίσκεται σε εξέλιξη. Τέλος, προκειμένου να βελτιώσει τις επιδόσεις, τα παλαιότερα δεδομένα συνήθως εκκαθαρίζονται περιοδικά από λειτουργικά συστήματα.
Οι αποθήκες δεδομένων βελτιστοποιούν τη χρήση τους ανάλογα με την ταχύτητα της ανάλυσης δεδομένων. Συχνά τα δεδομένα σε αποθήκες δεδομένων απομαλοποιούνται μέσω μιας διάστασης με βάση το μοντέλο. Επίσης, για την επιτάχυνση της ανάκτησης δεδομένων, τα δεδομένα αποθηκών δεδομένων αποθηκεύονται συχνά πολλές φορές-σε πιο κοκκώδη μορφή τους και σε συνοπτική μορφή που ονομάζεται αδρανή υλικά. Τα δεδομένα αποθήκης δεδομένων λαμβάνονται από το λειτουργικό σύστημα και παραμένουν στην αποθήκη δεδομένων, ακόμη και μετά τη διαγραφή τους από τα λειτουργικά συστήματα.

Εξέλιξη της οργανωτικής χρήσης

Οι όροι αυτοί αφορούν το επίπεδο πολυπλοκότητας της αποθήκης δεδομένων:

Αποσυνδεδεμένη λειτουργία αποθήκης δεδομένων

Οι αποθήκες δεδομένων σε αυτό το στάδιο της εξέλιξης ενημερώνονται σε τακτά χρονικά διαστήματα του χρόνου (συνήθως ημερήσια, εβδομαδιαία ή μηνιαία βάση) από τα λειτουργικά συστήματα και τα δεδομένα που είναι αποθηκευμένα σε μια ολοκληρωμένη αναφορά με γνώμονα τα δεδομένα.

Αποσυνδεδεμένη αποθήκη δεδομένων

Οι αποθήκες δεδομένων σε αυτό το στάδιο ενημερώνονται από τα δεδομένα στο επιχειρησιακό σύστημα σε τακτική βάση και τα δεδομένα αποθήκης δεδομένων που είναι αποθηκευμένα σε μια δομή δεδομένων σκοπό έχουν να διευκολύνουν την υποβολή εκθέσεων.

Από τα μέχρι στιγμής στοιχεία αποθήκης δεδομένων

Η διαδικτυακή ενσωμάτωση υπηρεσιών αποθήκης δεδομένων αποτελεί σε πραγματικό χρόνο το στάδιο αποθηκών δεδομένων την αποθήκη όπου ενημερώνεται για κάθε συναλλαγή που πραγματοποιείται με τα δεδομένα προέλευσης.

Ολοκληρωμένη αποθήκη δεδομένων

Αυτές οι αποθήκες δεδομένων συγκεντρώνουν τα στοιχεία από διαφορετικούς τομείς της επιχείρησης, έτσι ώστε οι χρήστες να αναζητήσουν τις πληροφορίες που χρειάζονται σε άλλα συστήματα.