Ο όρος **υπερευφυΐα** ή **υπερνοημοσύνη** χρησιμοποιείται για να περιγράψει έναν υποθετικό ευφυή πράκτορα του οποίου η νοημοσύνη και οι ικανότητες ανάλυσης και εύρεσης λύσεων είναι κατά πολύ ανώτερες από τους πλέον έξυπνους και χαρισματικούς ανθρώπους. Ο όρος μπορεί επίσης να αναφέρεται στην ιδιότητα των συστημάτων τα οποία είναι επιφορτισμένα με την επίλυση προβλημάτων, όπως υπερευφυείς αυτόματους μεταφραστές ή λοιπούς ψηφιακούς βοηθούς, ανεξάρτητα από το εάν οι ευφυΐες αυτές είναι ενσωματωμένες σε συσκευές ή σε σώματα που δρουν στον εξωτερικό κόσμο.

Ένας επιπλέον ορισμός της υπερευφυΐας είναι πως πρόκειται για μια διάνοια η οποία είναι κατά πολύ εξυπνότερη από όλους τους ανθρώπινους εγκεφάλους σε πρακτικά οποιοδήποτε πεδίο απασχόλησης, συμπεριλαμβανομένων της επιστημονικής δημιουργικότητας, γενικής σοφίας και κοινωνικής δεξιότητας. Οι εξελιγμένες εφαρμογές υπολογιστή για σκάκι, δεν αποτελούν τύπο υπερευφυΐας καθώς αν και είναι πολύ ικανότερες από τους ανθρώπους στο παίξιμο του σκακιού, δεν μπορούν να συναγωνιστούν ή να ξεπεράσουν τους ανθρώπους σε άλλες δραστηριότητες. Επιπλέον η υπερευφυΐα έχει να κάνει περισσότερο με την γενική κυριαρχία ως προς την επίτευξη στόχων, αφήνοντας ανοικτό το ερώτημα το κατά πόσο μια τεχνητή ή ανθρώπινη υπερευφυΐα θα διέθετε ικανότητες όπως σκοπιμότητα ή αυτεπίγνωση.

Οι τεχνολογικοί ερευνητές διαφωνούν ως προς το κατά πόσο η σύγχρονη ανθρώπινη νοημοσύνη μπορεί να ξεπεραστεί, και κάποιοι θεωρούν πως η πρόοδος στην τεχνητή νοημοσύνη θα οδηγήσει σε συστήματα τα οποία ενώ θα έχουν ικανότητες για γενική συλλογιστική θα τους λείπουν οι ανθρώπινες γνωσιακές ιδιομορφίες. Άλλοι θεωρούν πως οι άνθρωποι θα εξελιχθούν ή θα αλλάξουν απευθείας την βιολογία τους έτσι ώστε να αποκτήσουν μεγαλύτερη νοημοσύνη. Αρκετά από τα σενάρια που ασχολούνται που το μέλλον συνδυάζουν στοιχεία από τις 2 αυτές πιθανότητες, προτείνοντας πως οι άνθρωποι είναι πιθανό πως θα αποκτήσουν απευθείας ενδοσύνδεση με τους υπολογιστές, ή πως θα επιφορτώσουν τον νου τους στους υπολογιστές, με κάποιο τρόπο ο οποίος θα επιτρέπει την σημαντική ισχυροποίηση των νοητικών δυνατοτήτων τους.

Κάποιοι άλλοι ερευνητές θεωρούν πως η υπερευφυΐα θα ακολουθήσει σύντομα μετά την ανάπτυξη της γενικής τεχνητής νοημοσύνης. Οι πρώτες μηχανές οι οποίες θα διαθέτουν αυτεπίγνωση θα έχουν ένα τεράστιο πλεονέκτημα ως προς κάποιες μορφές νοητικής δραστηριότητας, μαζί με την δυνατότητα για πραγματική φωτογραφική μνήμη, μια τεράστια γνωσιακή βάση δεδομένων για άντληση πληροφοριών και γεγονότων, καθώς και την ικανότητα να εκτελούν παράλληλες εργασίες με τρόπους που δεν είναι δυνατοί από τις βιολογικές οντότητες. Αυτό ενδέχεται να τους δώσει την ευκαιρία -είτε ατομικά είτε ως μέλη ενός συλλογικά νέου είδους- να γίνουν πολύ πιο ισχυρές από τους ανθρώπους και να τους εκτοπίσουν.

Αρκετοί επιστήμονες και μελλοντολόγοι ζητούν τα αρχικά στάδια της έρευνας να συμπεριλαμβάνουν και προβλέψεις σχετικά με τα πιθανά οφέλη και κινδύνους της επέκτασης της ανθρώπινης και της μηχανικής νοημοσύνης, λόγω του ενδεχόμενου κοινωνικού αντίκτυπου που θα έχουν οι τεχνολογίες αυτές.

Επιτευξιμότητα υπερευφυΐας
--------------------------

### Τεχνητή

Πρόοδος της μηχανικής ταξινόμησης εικόνων, με τον ρυθμό σφαλμάτων ανά έτος. Η κόκκινη γραμμή οριοθετεί τον ρυθμό σφαλμάτων ενός ανθρώπου που έχει εκπαιδευτεί για την ασχολία αυτή.

Υπάρχει η εκτίμηση πως η γενική τεχνητή νοημοσύνη είναι ένα πολύ πιθανό μονοπάτι ως προς την επίτευξη της υπερνοημοσύνης. Αυτό θα μπορούσε να ξεκινήσει με την επίτευξη της ισότητας της τεχνητής νοημοσύνης με την ανθρώπινη, και η τεχνητή νοημοσύνη θα μπορούσε κατόπιν να αυτοεπεκτείνει τις δικές της δυνατότητες ώστε να ξεπεράσουν τις ανθρώπινες, και να επεκταθεί έως τον βαθμό όπου θα κυριαρχεί απόλυτα έναντι τον ανθρώπων σε οποιαδήποτε ασχολία.

Ως προς την επίτευξη της ισότητας, εάν ο ανθρώπινος εγκέφαλος θεωρηθεί ως μηχανική κατασκευή, τότε είναι δυνατό να προσομοιωθεί από συνθετικά υλικά. Καθώς η ανθρώπινη νοημοσύνη εξελίχθηκε βιολογικά, οι μηχανικοί θα πρέπει να είναι σε θέση να επαναλάβουν την διαδικασία αυτή τεχνητά. Συγκεκριμένα οι εξελικτικοί αλγόριθμοι θα πρέπει να είναι σε θέση να παραγάγουν τεχνητή νοημοσύνη στο ίδιο επίπεδο με του ανθρώπου. Σχετικά με την επέκταση της ανθρώπινης νοημοσύνης, οι νέες τεχνολογίες της τεχνητής νοημοσύνης θα μπορούν να επεκταθούν, και με την σειρά τους να βοηθήσουν στην ανακάλυψη και σχεδιασμό ακόμα νεότερων και καινοτόμων τεχνολογιών.

Εάν η έρευνα ως προς την ισχυρή τεχνητή νοημοσύνη είναι σε θέση να παραγάγει ικανώς νοήμων λογισμικό, το λογισμικό αυτό θα είναι σε θέση να αναπρογραμματίσει και να βελτιώσει τον εαυτό του, ως μια διαδικασία αναδρομικής αυτοβελτίωσης. Ο ρυθμός αυτοβελτίωσης θα αυξάνεται επίσης ραγδαία, και θα οδηγήσει σε υπερευφυΐα, μια υπόθεση η οποία είναι επίσης γνωστή ως έκρηξη νοημοσύνης. Μια τέτοιου είδους ευφυΐα δεν θα έχει τους περιορισμούς της ανθρώπινης νοημοσύνης, και μπορεί να είναι ικανή να εφεύρει ή να ανακαλύψει σχεδόν τα πάντα.

Αρκετά μεμονωμένα εξαρτήματα υπολογιστών ήδη ξεπερνούν κατά πολύ τις ανθρώπινες επιδόσεις ως προς την ταχύτητα εκτέλεσης, όπως οι βιολογικοί νευρώνες οι οποίοι λειτουργούν με απώτατη ταχύτητα περίπου 200 Hz σε αντίθεση με τους σύγχρονους μικροεπεξεργαστές οι οποίοι είναι ταχύτεροι κατά 7 τάξεις μεγέθους στα 2 GHz. Επιπλέον, οι νευρώνες μεταδίδουν σήματα ανάμεσα στους νευράξωνες με ταχύτητα όχι μεγαλύτερη από 120 m/s, ενώ οι πυρήνες των επεξεργαστών μπορούν να επικοινωνήσουν οπτικά με την ταχύτητα του φωτός. Έτσι το πιο απλό παράδειγμα υπερνοημοσύνης μπορεί να είναι η προσομοίωση του ανθρώπινου μυαλού εντός ηλεκτρονικού υπολογιστή, όπου θα είναι σε θέση να εκτελέσει τις ίδιες λειτουργίες αλλά κατά πολύ ταχύτερα από ότι στον ανθρώπινο βιολογικό εγκέφαλο. Μια τέτοιου τύπου *ανθρωποειδής* νοημοσύνη θα είναι σε θέση να σκέφτεται εκατομμύρια φορές γρηγορότερα από ότι οι απλοί άνθρωποι και θα έχει κυρίαρχο πλεονέκτημα στις περισσότερες δραστηριότητες που απαιτούν συλλογιστική σκέψη, ιδιαίτερα αυτές που απαιτούν γρήγορη δράση ή πολλά βήματα συλλογιστικής δραστηριότητας.

Ένα άλλο πλεονέκτημα των υπολογιστών είναι το ότι αποτελούνται από διακριτά εξαρτήματα, τα οποία μπορούν να αντικατασταθούν με νεώτερα και γρηγορότερα, έτσι το μέγεθος και η υπολογιστική δυνατότητα τους μπορεί να αυξάνεται. Ένας μη ανθρώπινος -ή τροποποιημένος ανθρώπινος- εγκέφαλος θα μπορούσε να γίνει πολύ ισχυρότερος από έναν κανονικό ανθρώπινο εγκέφαλο, κατά το πρότυπο των υπερυπολογιστών. 

Υπάρχει επίσης το ενδεχόμενο της συλλογικής υπερευφυΐας, όπου ένα πλήθος από ξεχωριστά συστήματα συλλογιστικής θα συνεργάζονται και θα ανταλλάσσουν πληροφορίες μεταξύ τους και θα είναι σε θέση να συγκεντρώσουν πολύ μεγαλύτερες δυνατότητες από τον οποιοδήποτε ατομικό ευφυή πράκτορα, ως εφαρμογή της νοημοσύνης σμήνους.

Μπορεί επίσης να υπάρχουν τρόποι ώστε η ανθρώπινη συλλογιστική να αυξηθεί ποιοτικά, κατά το παράδειγμα όπου οι άνθρωποι εμφανίζονται να σκέφτονται με διαφορετικό τρόπο από τους χιμπατζήδες και όχι απαραίτητα γρηγορότερα. Οι άνθρωποι είναι σε θέση να ξεπερνούν τα υπόλοιπα είδη κατά μεγάλο μέρος λόγω των νεότερων ή επεκταμένων συλλογιστικών λειτουργιών που διαθέτουν, όπως ο μακροπρόθεσμος σχεδιασμός και χρήση της γλώσσας επικοινωνίας. Εάν υπάρχουν και άλλες πιθανές βελτιώσεις ως προς την συλλογιστική διαδικασία οι οποίες θα επέφεραν έναν παρομοίως μεγάλο αντίκτυπο, τότε θα ήταν δυνατό να κατασκευαστεί ένας ευφυής πράκτορας ο οποίος θα σκέφτεται με διαφορετικό τρόπο από τους ανθρώπους και θα τους ξεπερνά με τον ίδιο τρόπο όπως οι άνθρωποι ξεπερνούν τους χιμπατζήδες.

Όλα τα παραπάνω πλεονεκτήματα ισχύουν για την τεχνητή υπερνοημοσύνη, αλλά δεν είναι ξεκάθαρο το κατά πόσο ισχύουν για την βιολογική νοημοσύνη. Για παράδειγμα οι ψυχολογικοί περιορισμοί στις βιολογικές οντότητες περιορίζουν την ταχύτητα και το μέγεθος των εγκεφάλων με πολλούς τρόπους οι οποίοι δεν μπορούν να αναπαραχθούν στην μηχανική νοημοσύνη. Έτσι το μεγαλύτερο μερίδιο της προσοχής για την επίτευξη υπερνοημοσύνης έχει στραφεί ως προς την τεχνική εκδοχή της.

### Βιολογική

Ο Καρλ Σάγκαν είχε προτείνει πως η εφεύρεση της καισαρικής τομής και της εξωσωματικής γονιμοποίησης μπορεί να επιτρέψει στο ανθρώπινο είδος να αποκτήσει μεγαλύτερο μέγεθος κεφαλιού, οδηγώντας σε βελτιώσεις στην φυσική επιλογή ως προς τα κληρονομήσιμα χαρακτηριστικά της ανθρώπινης νοημοσύνης. Η αντίθετη άποψη που έχει εκφραστεί όμως αναφέρει πως η μειωμένη πίεση για επιλογή οδηγεί σε σταδιακή, πολύ αργή με το πέρασμα των αιώνων, μείωση της ανθρώπινης νοημοσύνης, και πως αυτή η διαδικασία είναι πιθανό να συνεχιστεί και στο μέλλον. 

Η επιλεκτική γονιμοποίηση και η γενετική μηχανική θα μπορούσε να βελτιώσει την ανθρώπινη νοημοσύνη πολύ γρηγορότερα, καθώς εάν σταθεί δυνατό να κατανοηθεί η γενετική σύνθεση της νοημοσύνης, θα μπορούσε να χρησιμοποιηθεί για να την επιλογή των εμβρύων τα οποία θα έχουν δυνατότητα για επίτευξη υψηλότερου δείκτης νοημοσύνης έως και 4 βαθμούς IQ (εάν επιλεχτεί ένα έμβρυο από τα 2), ή και ακόμα υψηλότερο IQ π.χ. έως 24.3 μονάδες IQ εάν επιλεχτεί 1 έμβρυο από 1000. Εάν η διαδικασία αυτή επαναληφθεί για πολλές γενεές, η αύξηση θα μπορούσε να είναι κατά μια τάξη μεγέθους μεγαλύτερη. Η δημιουργία νέων γαμετών από εμβρυονικά stem cells θα μπορούσε να χρησιμοποιηθεί ώστε η διαδικασία επιλογής να επαναλαμβάνεται ταχύτατα. Έτσι μια καλώς οργανωμένη κοινωνία υψηλά νοημόνων ανθρώπων θα μπορούσε δυνητικά να δημιουργήσει μια συλλογική υπερευφυΐα.

Εναλλακτικά, η συλλογική υπερευφυΐα θα μπορούσε να επιτευχθεί με την καλύτερη οργάνωση των ανθρώπων στα τωρινά επίπεδα νοημοσύνης. Έτσι έχει προταθεί πως ο ανθρώπινος πολιτισμός, ή κάποια εκδοχή του όπως το διαδίκτυο ή η οικονομία, σταδιακά λειτουργεί όλο και περισσότερο ως ένας παγκόσμιος εγκέφαλος με δυνατότητες οι οποίες ξεπερνούν κατά πολύ τα συστατικά στοιχεία του κάθε ανθρώπου και επιχειρηματικού ή άλλου οργανισμού. Εάν αυτή η υπερνοημοσύνη ωστόσο στηρίζεται κυρίως σε τεχνητές ψηφιακές οντότητες παρά ανθρώπους, τότε θα είναι περισσότερο τεχνητή νοημοσύνη παρά βιολογική.

Μια ακόμα μέθοδος για την επέκταση της νοημοσύνης θα ήταν η απευθείας βελτίωση του κάθε ανθρώπου ατομικά, σε αντίθεση με την βελτίωση των κοινωνικών ή αναπαραγωγικών μεθόδων τους. Αυτό θα μπορούσε να επιτευχθεί μέσω της τεχνικής της νοοτροπικής (*nootropics*), σωματικής γονιδιακής θεραπείας, ή την σύνδεση εγκεφάλου και υπολογιστή. Ωστόσο τα 2 πρώτα σενάρια παρουσιάζουν πιθανές δυσκολίες επεκτασιμότητας και η δημιουργία ενός υπερευφυιούς cyborg αποτελεί ολοκληρωμένο πρόβλημα τεχνητής νοημοσύνης.

Προβλέψεις
----------

Σε διάφορες δημοσκοπήσεις που έχουν διενεργηθεί οι περισσότεροι ερευνητές τεχνητής νοημοσύνης εκτιμούν πως οι μηχανές θα μπορέσουν με το πέρασμα του χρόνου να ανταγωνιστούν τους ανθρώπους ως προς την νοημοσύνη, και η κύρια διαφωνία μεταξύ των ειδικών είναι το πότε θα συμβεί. Στο συνέδριο τεχνητής νοημοσύνης *AI@50* του 2006, το 18% των ερωτηθέντων απάντησε πως περιμένει πως οι μηχανές θα είναι σε θέση να προσομειώσουν την μάθηση και κάθε άλλη ανθρώπινη εκδοχή της ανθρώπινης νοημοσύνης έως το 2056, 41% εκτίμησε πως αυτό θα συμβεί κάποια στιγμή μετά το 2056, και 41% απάντησε δεν εκτιμά πως οι μηχανές θα είναι ποτέ σε θέση να φτάσουν στο επίπεδο αυτό.

Σε έρευνα του 2013 που περιελάμβανε τους 100 ερευνητές τεχνητής νοημοσύνης με τις περισσότερες δημοσιεύσεις, η μέση εκτίμηση σύμφωνα με τους ερωτηθέντες για το έτος όπου οι μηχανές θα είναι σε θέση να εκτελέσουν τις περισσότερες ανθρώπινες δραστηριότητες τουλάχιστον τόσο καλά όσο ένας μέσος άνθρωπος ήταν με 10% βεβαιότητα το 2024 (μέσος 2034, κανονική απόκλιση 33 έτη), με 50% το 2050 (μ. 2072, κ.α. 110 έτη), και με 90% βεβαιότητα το 2070 (μ. 2168, κ.α. 342 έτη). Οι εκτιμήσεις αυτές δεν περιελάμβαναν το 1,2% των ερωτηθέντων οι οποίοι απάντησαν πως δεν μπορούν να απαντήσουν με ούτε καν 10% βαθμό βεβαιότητας για το πότε θα συμβεί αυτό, το 4,1% οι οποίοι απάντησαν *ποτέ* με 50% βεβαιότητα, και το 16,5% οι οποίοι απάντησαν *ποτέ* με 90% βεβαιότητα. Βάσει όλων των απαντήσεων, η μέση τιμή πιθανότητας που προέκυψε ήταν 50% ως προς την πιθανότητα πως η μηχανική υπερευφυΐα θα εφευρεθεί εντός 30 ετών από την επίτευξη τεχνητής νοημοσύνης που θα είναι περίπου ίδια με την ανθρώπινη.

Παράγοντες σχεδιασμού
---------------------

Υπάρχουν διάφορες προτάσεις για το πως θα πρέπει να σχεδιαστεί μια υπερευφυΐα και τι αρχές θα πρέπει να τηρεί:

* η πρόταση σχετικά με την *συνοχικά επεκτάσιμη βούληση* (*Coherent extrapolated volition - CEV*) περιγράφει πως η υπερευφυΐα θα πρέπει να έχει τις κατάλληλες αρχές γύρω από τις οποίες οι άνθρωποι μπορούν να συμφωνήσουν και να συσπειρωθούν.
* η *ηθική ορθότητα* (*Moral rightness - MR*) αναφέρει πως θα πρέπει να δίνει αξία στην ηθική ορθότητα.
* η *ηθική επιτρεπτότητα* (*Moral permissibility - MP*) στηρίζεται στο ότι η υπερνοημοσύνη θα πρέπει να επιδιώκει να παραμένει εντός των ορίων του τι είναι ηθικά επιτρεπτό (*καθώς και να έχει αξίες παρόμοιες με την συνοχικά επεκτάσιμη βούληση*).

Ωστόσο παρά τους φιλοσοφικούς και ηθικούς προβληματισμούς, υπάρχει το ενδεχόμενο πως οι προγραμματιστές θα επιλέξουν απλά να δημιουργήσουν τον οποιοδήποτε εφικτό τύπο υπερευφυΐας.

Πιθανή απειλή για την ανθρωπότητα
---------------------------------

Έχει προταθεί πως η μηχανική μάθηση μπορεί να οδηγήσει σε υπολογιστές οι οποίοι θα γίνουν υπερευφυείς και οι ενέργειες τους θα είναι απρόβλεπτες, ή πως τα ρομπότ θα αποκτήσουν υπεροχή έναντι της ανθρωπότητας, ως εφαρμογή της τεχνολογικής μοναδικότητας. Βάσει του ενδεχομένου αυτού, θα παρουσιαστεί μια έκρηξη ευφυΐας κάποια στιγμή κατά τον επόμενο αιώνα, όπου μια τεχνητή νοημοσύνη η οποία θα είναι σε θέση να βελτιώνει τον εαυτό της θα γίνει τόσο ισχυρή ώστε να είναι αδύνατο να περιοριστεί από τον ανθρώπινο παράγοντα.

Ένα άλλο παράδειγμα σχετικά με τον κίνδυνο που ενέχει η πιθανή εμφάνιση υπερευφυΐας, είναι η χωρίς ιδιαίτερα βαθιά περίσκεψη χρήση της από τους ανθρώπους, κάτι που έχει επισημανθεί ιδιαίτερα από τον φιλόσοφο Νικ Μπόστρομ. Για παράδειγμα εάν ζητηθεί από την υπερευφυΐα να επιλύσει ένα εξαιρετικά δύσκολο και σύνθετο μαθηματικό πρόβλημα, η υπερευφυΐα, ανάλογα με τον βαθμό ελέγχου που έχει στο περιβάλλον της, θα μπορούσε να χρησιμοποιήσει το κάθε δυνατό μέσο ώστε να επιλύσει το πρόβλημα, φτάνοντας στο σημείο να μετατρέψει όλη την ύλη στο ηλιακό σύστημα σε μια τεράστιας ισχύος αριθμομηχανή για την επίλυση του προβλήματος, σκοτώνοντας παράλληλα τους ανθρώπους που έκαναν την ερώτηση χωρίς ποτέ αυτός να ήταν ο αρχικός σκοπός, παρά μόνο μια παρενέργεια η οποία δεν είχε μελετηθεί πριν γίνει η ερώτηση.

Θεωρητικά, καθώς μια υπερευφυής οντότητα θα είναι σε θέση να επιφέρει το όποιοδηποτε αποτέλεσμα και να αποτρέψει την κάθε προσπάθεια από το να εμποδιστεί να φέρει σε πέρας τον σκοπό της, θα μπορούσαν να εμφανιστούν πολλές περιπτώσεις οι οποίες είναι εξαιρετικά απρόβλεπτες και ανεξέλεγκτες. Θα μπορούσε να εξουδετερώσει όλους τους υπόλοιπους νοήμονες πράκτορες ή να τους πείσει να αλλάξουν την συμπεριφορά τους, ή να εμποδίσει τις απόπειρες τους για εμπλοκή.

Μια τέτοιου είδους υπερευφυΐα δεν διαθέτει απαραίτητα κάποιου είδους θετικών ή αρνητικών συναισθημάτων προς τους ανθρώπους, απλώς επιδιώκει την επίτευξη του σκοπού της με κάθε δυνατό μέσο, και έτσι υπάρχουν παραινέσεις από ειδικούς ώστε να υπάρξει προσεκτική μέριμνα κατά την διαδικασία επίτευξης της και ενημέρωση του κοινού για τους κινδύνους που ελλοχεύουν.

Παραπομπές
----------

1. ↑  Bostrom, Nick (2006). «How long before superintelligence?». *Linguistic and Philosophical Investigations* **5** (1): 11–30. .
2. ↑  Bostrom 2014, σελ. 22.
3. ↑  Warwick, Kevin (2004). *March of the Machines: The Breakthrough in Artificial Intelligence*. University of Illinois Press. ISBN 0-252-07223-5.
4. ↑  Legg 2008, σελίδες 135-137.
5. ↑  Chalmers 2010, σελ. 7.
6. ↑  Chalmers 2010, σελ. 7-9.
7. ↑  Chalmers 2010, σελ. 10-11.
8. ↑  Chalmers 2010, σελ. 11-13.
9. ↑  Bostrom 2014, σελ. 59.
10. ↑  Yudkowsky, Eliezer (2013). Intelligence Explosion Microeconomics (PDF) (Technical report). Machine Intelligence Research Institute. p. 35. 2013-1.
11. ↑  Bostrom 2014, σελίδες 56-57.
12. ↑  Bostrom 2014, σελίδες 52, 59-61.
13. ↑  Sagan, Carl (1977). *The Dragons of Eden*Απαιτείται δωρεάν εγγραφή. Random House.
14. ↑  Bostrom 2014, σελίδες 37-39.
15. ↑  Bostrom 2014, σελ. 39.
16. ↑  Bostrom 2014, σελίδες 48-49.
17. ↑  Bostrom 2014, σελίδες 36-37, 42, 47.
18. ↑  Maker, Meg Houston (13 Ιουλίου 2006). «AI@50: First Poll». Αρχειοθετήθηκε από το πρωτότυπο στις 13 Μαΐου 2014.
19. ↑  Müller & Bostrom 2016, σελίδες 3-4, 6, 9-12.
20. ↑  Bostrom 2014, σελίδες 209-221.
21. ↑  Santos-Lang 2014, σελίδες 16-19.
22. ↑  Bill Joy, Why the future doesn't need us. In: Wired magazine. Nick Bostrom 2002 Ethical Issues in Advanced Artificial Intelligence
23. ↑  Muehlhauser, Luke, and Louie Helm. 2012. "Intelligence Explosion and Machine Ethics." In Singularity Hypotheses: A Scientific and Philosophical Assessment, edited by Amnon Eden, Johnny Søraker, James H. Moor, and Eric Steinhart. Berlin: Springer.
24. ↑  Bostrom (2002)
25. ↑  Bostrom, Nick. 2003. "Ethical Issues in Advanced Artificial Intelligence." In Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, edited by Iva Smit and George E. Lasker, 12–17. Vol. 2. Windsor, ON: International Institute for Advanced Studies in Systems Research / Cybernetics.
26. ↑  Eliezer Yudkowsky (2008) in *Artificial Intelligence as a Positive and Negative Factor in Global Risk*
27. ↑  Hibbard 2002, σελίδες 155-163.

Σχετική βιβλιογραφία
--------------------

* Bostrom, Nick (2002), «Existential Risks», *Journal of Evolution and Technology* **9**, ανακτήθηκε στις 2007-08-07
* Bostrom, Nick (2014). *Superintelligence: Paths, Dangers, Strategies*. Oxford University Press.
* Chalmers, David (2010). «The Singularity: A Philosophical Analysis». *Journal of Consciousness Studies* **17**: 7-65. .
* Hibbard, Bill (2002). *Super-Intelligent Machines*. Kluwer Academic/Plenum Publishers.
* Legg, Shane (2008). *Machine Super Intelligence* (PDF) (PhD). Department of Informatics, University of Lugano. Ανακτήθηκε στις 19 Σεπτεμβρίου 2014.
* Müller, Vincent C.; Bostrom, Nick (2016). «Fundamental Issues of Artificial Intelligence». Στο: Müller, Vincent C. επιμ. *Fundamental Issues of Artificial Intelligence*. Springer, σσ. 553-571. .  Αρχειοθετήθηκε 2016-10-28 στο Wayback Machine.
* Santos-Lang, Christopher (2014). «Our responsibility to manage evaluative diversity». *ACM SIGCAS Computers & Society* **44** (2): 16–19. doi:10.1145/2656870.2656874. Αρχειοθετήθηκε από το πρωτότυπο στις 2018-11-02. .

Δείτε επίσης
------------

* Τεχνολογική μοναδικότητα

Εξωτερικοί σύνδεσμοι
--------------------

* Νικ Μποστρόμ: Τι θα συμβεί όταν οι υπολογιστές μας γίνουν εξυπνότεροι από εμάς; - ted.com
* *Bill Gates Joins Stephen Hawking in Fears of a Coming Threat from "Superintelligence"*
* *Will Superintelligent Machines Destroy Humanity?*
* *Apple Co-founder Has Sense of Foreboding About Artificial Superintelligence*