Αριθμητική ανάλυση

Ιστορία

Το πεδίο της αριθμητικής ανάλυσης προηγείται της εφεύρεσης των σύγχρονων υπολογιστών κατά πολλούς αιώνες. Η γραμμική παρεμβολή ήταν ήδη σε χρήση πάνω από 2000 χρόνια πριν. Πολλοί μεγάλοι μαθηματικοί του παρελθόντος ήταν απορροφημένοι με την αριθμητική ανάλυση, όπως είναι προφανές από τα ονόματα των σημαντικών αλγορίθμων, όπως η μέθοδος του Νεύτωνα, η παρεμβολή Lagrange, η μέθοδος απαλοιφής Γκάους και η μέθοδος Όιλερ.
Για να διευκολυνθούν οι υπολογισμοί με το χέρι, μεγάλα βιβλία παρήχθησαν με τύπους και πίνακες των δεδομένων, όπως τα σημεία παρεμβολής και οι συντελεστές λειτουργίας. Χρησιμοποιώντας τους πίνακες αυτούς, υπολόγιζαν έως και 16 δεκαδικά ψηφία ή περισσότερα  για ορισμένες λειτουργίες, θα μπορούσε κανείς να κοιτάζει  προς τα πάνω τις τιμές για να συνδέσει σε δεδομένα τους τύπους και να επιτύχει πολύ καλές αριθμητικές εκτιμήσεις ορισμένων λειτουργιών. Η κανονικοποιημένη εργασία στον τομέα είναι η δημοσίευση NIST επιμελημένη από Abramowitz και Stegun, ένα 1000-και σελίδων βιβλίο ενός πολύ μεγάλου αριθμού τύπων που χρησιμοποιούμε συνήθως και τις λειτουργίες και τις αξίες τους σε πολλά σημεία. Οι τιμές λειτουργίας δεν είναι πλέον πολύ χρήσιμες όταν ένας υπολογιστής είναι διαθέσιμος, αλλά η μεγάλη λίστα των τύπων μπορεί ακόμα να είναι πολύ βολική.
Η μηχανική αριθμομηχανή επίσης αναπτύχθηκε ως ένα εργαλείο για υπολογισμό με το χέρι. Αυτοί οι υπολογιστές είχαν εξελιχθεί σε ηλεκτρονικούς υπολογιστές τη δεκαετία του 1940, και έπειτα ανακαλύφθηκε  ότι αυτοί οι υπολογιστές ήταν επίσης χρήσιμοι για διοικητικούς σκοπούς. Όμως, η ανακάλυψη του υπολογιστή επηρέασε επίσης τον τομέα της αριθμητικής ανάλυσης, δεδομένου ότι τώρα πλέον θα μπορούσαν να γίνουν και πιο πολύ πολύπλοκοι υπολογισμοί.

Διακριτοποίηση και αριθμητική ολοκλήρωση

Σε έναν δίωρο αγώνα, μετρήσαμε την ταχύτητα του αυτοκινήτου σε τρεις χρονικές στιγμές και τις καταγράψαμε στον παρακάτω πίνακα.
Ηδιακριτοποίηση θα μας έλεγε ότι η ταχύτητα του αυτοκινήτου ήταν σταθερή από 0:00 έως 0:40, μετά από 0:40 έως 1:20 και τέλος από 1:20 έως 2:00. Για παράδειγμα η συνολική απόσταση που ταξίδεψε στα πρώτα 40 λεπτά είναι περίπου (2/3h × 140 km/h) = 93.3 Χλμ. Αυτό θα μας επέτρεπε να εκτιμήσουμε την συνολική απόσταση ως εξής  93.3 χλμ + 100 kχλμ m + 120 χλμ  = 313.3 χλμ , αυτό είναι παράδειγμα αριθμητικής ολοκλήρωσης χρησιμοποιώντας άθροισμα Ρήμαν.
Οι άμεσες μέθοδοι υπολογίζουν τη λύση ενός προβλήματος σε πεπερασμένο αριθμό βημάτων. Αυτές οι μέθοδοι θα δώσουν σαφή απάντηση, εάν έχουν πραγματοποιηθεί με άπειρη αριθμητική ακρίβεια. Τα παραδείγματα περιλαμβάνουν την μέθοδος απαλοιφής του Γκάους, την παραγοντοποίηση QR για την επίλυση συστημάτων γραμμικών εξισώσεων, και τη μέθοδο simplex του γραμμικού προγραμματισμού. Στην πράξη, πεπερασμένη ακρίβεια χρησιμοποιείται και το αποτέλεσμα είναι μια προσέγγιση της πραγματική λύσης (με την παραδοχή της σταθερότητας).
Σε αντίθεση με τις άμεσους μεθόδους, οι επαναληπτικές μέθοδοι δεν αναμένεται να τελειώσουν σε ορισμένα βήματα. Ξεκινώντας από την αρχική υπόθεση, οι επαναληπτικές μέθοδοι αποτελούν διαδοχικές προσεγγίσεις που συγκλίνουν προς την ακριβή λύση μόνο στο όριο. Μια δοκιμή σύγκλισης προσδιορίζεται, προκειμένου να αποφασιστεί πότε μια αρκούντως ακριβή λύση (ευτυχώς) έχει βρεθεί. Ακόμη και χρησιμοποιώντας άπειρη αριθμητική ακρίβεια αυτές οι μέθοδοι δεν θα φθάσουν τη λύση μέσα σε ένα πεπερασμένο αριθμό βημάτων (γενικώς). Παραδείγματα αποτελούν η μέθοδος του Νεύτωνα, η μέθοδο διχοτόμησης, και η επανάληψη Jacobi. Στην υπολογιστική άλγεβρα πινάκων, οι επαναληπτικές μέθοδοι είναι γενικά απαραίτητες για μεγάλα προβλήματα.
Οι επαναληπτικές μέθοδοι είναι πιο συχνές από τις άμεσες μεθόδους στην αριθμητική ανάλυση. Μερικές μέθοδοι είναι άμεσες, κατ 'αρχήν, αλλά συνήθως χρησιμοποιούνται σαν να μην ήταν, π.χ. GMRES και η μέθοδος συζυγούς κλίσης. Για τις μεθόδους αυτές, ο αριθμός των βημάτων που απαιτούνται για να ληφθεί η ακριβή λύση είναι τόσο μεγάλος, ώστε η προσέγγιση είναι αποδεκτή με τον ίδιο τρόπο όπως και για μια επαναληπτική μέθοδο.

Διακριτοποίηση

Επιπλέον, τα συνεχή προβλήματα πρέπει μερικές φορές να αντικατασταθούν από ένα διακριτό πρόβλημα του οποίου η λύση ειναι γνωστή το κατά προσέγγιση από το συνεχές πρόβλημα. Αυτή η πρόοδος λέγεται διακριτοποίηση. Για παράδειγμα, η λύση μιας διαφορικής εξίσωσης είναι μία μαθηματική λειτουργία. Αυτή η λειτουργία πρέπει να εκπροσωπείται από ένα πεπερασμένο σύνολο δεδομένων, για παράδειγμα από την αξία του σε ένα πεπερασμένο αριθμό σημείων του τομέα του , ακόμη και αν αυτός ο τομέας ανήκει στη  Θεωρία συνόλων.

Παραγωγή και διάδωση των σφαλμάτων

Η μελέτη των σφαλμάτων αποτελεί ένα σημαντικό μέρος της αριθμητικής ανάλυσης. Υπάρχουν διάφοροι τρόποι με τους οποίους ένα σφάλμα μπορεί να εισαχθεί στην λύση του προβλήματος.

Στρογγυλοποίηση

Η στρογγυλοποίηση οφείλεται στο γεγονός ότι είναι αδύνατο να αναπαραστήσεις όλους τους πραγματικούς αριθμούς σε ένα μηχάνημα με πεπερασμένη μνήμη (πράγμα που ισχύει για όλους τους ψηφιακούς υπολογιστές).

Αποκοπή και σφάλμα διακριτοποίησης

Τα σφάλματα αποκοπής διαπράττονται όταν μία επαναληπτική μέθοδος τερματίζεται ή όταν μια μαθηματική διαδικασία προσεγγίζεται, και η προσεγγιστική λύση διαφέρει από την ακριβή λύση. Ομοίως, η διακριτοποίηση προκαλεί ένα σφάλμα διακριτοποίησης γιατί η επίλυση του διακριτού προβλήματος δεν συμπίπτει με την επίλυση του συνεχούς προβλήματος. Για παράδειγμα, σε μια επανάληψη για να υπολογιστεί η λύση του x³ + 4 = 28, μετά από περίπου 10 επαναλήψεις, καταλήγουμε στο συμπέρασμα ότι η ρίζα είναι περίπου 1,99. Έχουμε, λοιπόν, ένα σφάλμα αποκοπής της τάξης του 0,01.
Μόλις δημιουργείται σφάλμα, γενικά θα φανερώνεται μέσω του υπολογισμού. Για παράδειγμα, έχουμε ήδη επισημάνει ότι η λειτουργία + σε έναν υπολογιστή τσέπης (ή σε έναν ηλεκτρονικό υπολογιστή) είναι ανακριβής. Επομένως, ένας υπολογισμός του τύπου α + β + γ + δ + ε είναι ακόμη πιο ανακριβής.
Τι σημαίνει όταν λέμε ότι το σφάλμα αποκοπής δημιουργείται όταν υπολογίζουμε κατά προσέγγιση μια μαθηματική διαδικασία; Γνωρίζουμε ότι για να ενσωματώσουμε μια λειτουργία ακριβώς απαιτείται κάποιος να βρει το άθροισμα άπειρων τραπεζίων. Αλλά αριθμητικά μπορεί κανείς να βρει το άθροισμα πεπερασμένων μόνο τραπεζίων. Ομοίως, για να διαφοροποιηθεί μια λειτουργία, το στοιχείο απόκλισης πλησιάζει στο μηδέν αλλά, αριθμητικά, μπορούμε μόνο να επιλέξουμε μία πεπερασμένη τιμή στοιχείου διαφοροποίησης.

Τιμές των λειτουργιών της πληροφορικής

Ένα από τα πιο απλά προβλήματα είναι η αξιολόγηση της συνάρτησης σε ένα δεδομένο σημείο. Η πιο απλή προσέγγιση, το να συνδέεις μόνο τον αριθμό στον τύπο είναι μερικές φορές όχι πολύ αποτελεσματική. Για τα πολυώνυμα, μια καλύτερη προσέγγιση χρησιμοποιεί το σύστημα/σχήμα Horner, δεδομένου ότι μειώνει τον αναγκαίο αριθμό των πολλαπλασιασμών και προσθηκών. Γενικά, είναι σημαντικό να εκτιμούμε και να ελέγχουμε αριθμητικά τις στρογγυλοποιήσεις σφαλμάτων που προκύπτουν από τη χρήση της κινητής υποδιαστολής .

Παρεμβολή, παρέκταση, και παλινδρόμηση

Η παρεμβολή επιλύει το ακόλουθο πρόβλημα: δεδομένης της τιμής κάποιας άγνωστης συνάρτησης σε ορισμένα σημεία, τι τιμή έχει η συνάρτηση αυτή σε κάποιο άλλο σημείο μεταξύ των δεδομένων σημείων?
Η παρέκταση είναι πολύ όμοια με την παρεμβολή, με εξαίρεση ότι τώρα θέλουμε να βρούμε την αξία της άγνωστης συνάρτησης σε ένα σημείο που είναι έξω από τα δεδομένα σημεία.
Η παλινδρόμηση είναι επίσης παρόμοια, αλλά λαμβάνει υπόψη το γεγονός ότι τα δεδομένα δεν είναι ακριβή. Λαμβάνοντας υπόψη ορισμένα σημεία, και μια μέτρηση της τιμής κάποιας συνάρτησης σε αυτά τα σημεία (με σφάλμα), θέλουμε να προσδιορίσουμε την άγνωστη συνάρτηση. Η μέθοδος ελαχίστων τετραγώνων
είναι ένας δημοφιλής τρόπος για να επιτευχθεί αυτό.

Επίλυση εξισώσεων και συστημάτων εξισώσεων

Ένα άλλο βασικό πρόβλημα είναι ο υπολογισμός της λύσης κάποιας δεδομένη εξίσωσης. Δύο περιπτώσεις διακρίνονται συνήθως, ανάλογα με το αν η εξίσωση είναι γραμμική ή όχι. Για παράδειγμα,η εξίσωση  είναι γραμμική ενώ η  δεν είναι.
Πολλή προσπάθεια έχει γίνει για την ανάπτυξη μεθόδων για την επίλυση συστημάτων γραμμικών εξισώσεων. Πρότυπες άμεσες μέθοδοι, i.e., μέθοδοι που χρησιμοποιούν κάποια αποσύνθεση μαθηματικών μοντέλων είναι οι ελλειπτικές του Gauss, οι αποσύνθεσης LU , οι αποσύνθεσης Cholesky  για συμμετρικά μοντέλα (ή ερμιτιανά μοντέλα) και θετικά-οριστικά μοντέλα, και οι αποσύνθεσης QR για μη τετραγωνικούς πίνακες. Οι επαναληπτικές μέθοδοι όπως η μέθοδος Jacobi, η μέθοδος Gauss–Seidel, διαδοχικές υπερβολικής χαλάρωσης και κλίσης συζυγούς μεθόδους  προτιμώνται για μεγάλα συστήματα. Γενικά οι επαναληπτικές μέθοδοι μπορούν να αναπτυχθούν χρησιμοποιώντας ε΄να μαθηματικό μοντέλο.
Οι αλγόριθμοι Root-finding χρησιμοποιούνται στην επίλυση μη γραμμικών εξισώσεων (ονομάστηκαν έτσι από μία ρίζα μιας συνάρτησης για την οποία η λειτουργία δίνει μηδέν). Εάν η λειτουργία είναι παραγωγίσιμη και η παράγωγος είναι γνωστή, τότε η μέθοδος του Νεύτωνα είναι μία δημοφιλής επιλογή. Η γραμμικοποίηση είναι άλλη μια τεχνική για την επίλυση μη γραμμικών εξισώσεων.

Επίλυση ιδιοτιμών ή ιδιόμορφα προβλήματα αξιών

Αρκετά σημαντικά προβλήματα μπορούν να διατυπωθούν από την άποψη της αποσύνθεσης ιδιοτιμών ή αποσύνθεσης αξιών. Για παράδειγμα, η φασματική συμπίεσης της εικόνας ενός αλγορίθμου βασίζεται στην αποσύνθεση ιδιαζουσών ιδιοτιμών. Το αντίστοιχο εργαλείο στη στατιστική ονομάζεται ανάλυση σε κύριες συνιστώσες.

Λογισμικό

Από τα τέλη του εικοστού αιώνα, οι περισσότεροι αλγόριθμοι εφαρμόζονται σε μια ποικιλία γλωσσών προγραμματισμού. Η αποθήκη Netlib περιέχει διάφορες συλλογές από λογισμικά ρουτίνας για αριθμητικά προβλήματα, κυρίως σε Fortran και C. Διαφημιστικά προϊόντα που εφαρμόζουν πολλούς διαφορετικούς αριθμητικούς αλγορίθμους περιλαμβάνουν τις αριθμητικές βιβλιοθήκες  IMSL και τις αριθμητικές βιβλιοθήκες αλγορίθμων του ομίλου NAG. Μια ελεύθερη εναλλακτική λύση είναι η επιστημονική βιβλιοθήκη GNU.
Υπάρχουν πολλές δημοφιλής αριθμητικές εφαρμογές πληροφορικής όπως η MATLAB, η S-PLUS, η LabVIEW, και η IDL καθώς επίσης και ελεύθερες και ανοιχτές εναλλακτικές πηγές όπως η FreeMat, η Scilab, η GNU Octave (παρόμοια με τη Matlab), η IT++ (μια C++ βιβλιοθήκη), η R (παρόμοια με τη S-PLUS) και ορισμένες παραλλαγές της Python. Η απόδοση ποικίλλει ευρέως: ενώ ο φορέας και το μαθηματικό μοντέλο πράξεων είναι συνήθως γρήγορα, οι βρόχοι διανυσμάτων μπορεί να διαφέρουν στην ταχύτητα κατά περισσότερο από μία τάξη μεγέθους.
Πολλά αλγεβρικά συστήματα υπολογιστών όπως το Mathematica επίσης επωφελούνται από τη διαθεσιμότητα της αυθαίρετης αριθμητικής ακρίβειας η οποία μπορεί να προσφέρει πιο ακριβή αποτελέσματα.
Επίσης, οποιοδήποτε λογισμικό υπολογιστικών φύλλων μπορεί να χρησιμοποιηθεί για να λύσει απλά προβλήματα που αφορούν στην αριθμητική ανάλυση.