|  |
| --- |
| Deel van 'n reeks oor |
| Kunsmatige intelligensie |
|  |
| 
Belangrikste doelwitte

* Kunsmatige algemene intelligensie
* Beplanning
* Rekenaarvisie
* Algemene speletjie speel (KI)
* Kennisvoorstelling
* Masjienleer
* Natuurliketaalverwerking
* Robotika
* KI-veiligheid

 |
| 
Benaderings

* Simbolies
* Diepleer
* Bayesiese netwerk
* Evolusionêre algoritmes
* Gesitueerde benadering
* Hibriede intelligente stelsels
* Stelselintegrasie

 |
| 
Filosofie

* Chinese kamerargument
* Vriendelike KI
* Beheer probleem/Oorname
* Etiek
* Eksistensiële risiko
* Turingtoets

 |
| 
Geskiedenis

* Tydlyn
* Dartmouth-werkswinkel
* Vordering
* KI-winter
* AI-oplewing

 |
| 
Tegnologie

* Toepassings
* Projekte
* Programmeertale

 |
| 
Woordelys

* Woordelys

 |
| s • b • w |

**Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie** is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie (KAI) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei.

Een argument is soos volg: mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort. As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word, kan dit moeilik of onmoontlik word om te beheer. Net soos die lot van die berggorilla afhang van menslike welwillendheid, so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie.

Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie (KI) word wyd gedebatteer, en hang deels af of KAI of superintelligensie haalbaar is, die spoed waarteen gevaarlike vermoëns en gedrag na vore kom, en of praktiese scenario's vir KI-oornames bestaan. Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton, Yoshua Bengio, Alan Turing, Elon Musk, en Sam Altman, uitvoerende hoof van OpenAI. In 2022 het 'n opname onder KI-navorsers met 'n 17%-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar 'n 10 persent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak. In 2023 het honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat "Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog." Na groter kommer oor KI. risiko's, het regeringsleiers soos die Britse premier Rishi Sunak en die Verenigde Nasies se sekretaris-generaal António Guterres 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering.

Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning: om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring, kan moeilik wees. Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander, aangesien dit dit sal verhoed om sy huidige doelwitte te bereik. Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings. Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie.

'n Derde bron van kommer is dat 'n skielike "intelligensie-ontploffing" 'n onvoorbereide menslike ras kan verras. Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo, wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer. Empiries toon voorbeelde soos AlphaZero wat homself leer om Go te speel dat domeinspesifieke KI-stelsels soms baie vinnig van ondermenslike tot bomenslike vermoëns kan vorder, hoewel sulke stelsels nie die verandering van hul fundamentele argitektuur behels nie.

Geskiedenis
-----------

Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou, was die romanskrywer Samuel Butler, wat in sy 1863-essay *Darwin among the Machines* geskryf het:

```
"Die resultaat is bloot 'n kwessie van tyd, maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou, is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie."
```

In 1951 het die grondleggende rekenaarwetenskaplike Alan Turing die artikel "*Intelligent Machinery, A Heretical Theory*" geskryf, waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik "beheer" van die wêreld sou neem namate hulle intelligenter as mense geword het:

```
"Laat ons nou aanneem, ter wille van die argument, dat intelligente masjiene 'n werklike moontlikheid is, en kyk na die gevolge van die konstruksie daarvan ... Daar sal geen sprake wees van die masjiene wat sterf nie, en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp. Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word."
```

In 1965 het I.J. Good die konsep geskep wat nou bekend staan as 'n "intelligensie-ontploffing" en gesê die risiko's word onderskat:

```
"Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref. Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is, kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp; daar sou dan ongetwyfeld 'n 'intelligensie-ontploffing' wees, en die intelligensie van die mens sou ver agterbly. Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak, mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou. Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word. Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem."
```

Geleerdes soos Marvin Minsky en I. J. Good self het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem, maar het geen oproep tot aksie gerig nie. In 2000 het die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf, "Why The Future Doesn't Need Us", wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing, saam met nanotegnologie en gemanipuleerde bioplae.

Nick Bostrom het in 2014 Superintelligence gepubliseer, wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou. Teen 2015 het openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek, rekenaarwetenskaplikes Stuart J. Russell en Roman Yampolskiy, en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie. Ook in 2015 het die Ope Brief oor Kunsmatige Intelligensie die "groot potensiaal van KI" uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak. In April 2016 het *Nature* gewaarsku: "Masjiene en robotte wat mense oor die hele linie beter presteer, kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie." In 2020 het Brian Christian *The Alignment Problem* gepubliseer, wat besonderhede bevat. die geskiedenis van vordering met KI-belyning tot op daardie tydstip.

KI-vermoëns
-----------

### Algemene intelligensie

Kunsmatige algemene intelligensie (KAI) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take. 'n 2022-opname van KI-navorsers het bevind dat 90% van die respondente verwag het dat KAI in die volgende 100 jaar bereik sou word, en die helfte het dieselfde teen 2061 verwag. Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as "wetenskapfiksie" op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie.

Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het. Geoffrey Hinton het veral in 2023 gesê dat hy onlangs sy skatting verander het van "20 na 50 jaar voor ons algemene doel KI" na "20 jaar of minder".

### Superintelligensie

In teenstelling met KAI, definieer Bostrom 'n superintelligensie as "enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry", insluitend wetenskaplike kreatiwiteit, strategiese beplanning en sosiale vaardighede. Hy voer aan dat 'n superintelligensie mense kan uitmaneuver wanneer sy doelwitte met mense bots. Dit kan kies om sy ware bedoeling weg te steek totdat die mensdom dit nie kan keer nie. Bostrom skryf dat om veilig te wees vir die mensdom, 'n superintelligensie in lyn gebring moet word met menslike waardes en moraliteit, sodat dit "fundamenteel aan ons kant" is.

Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat "daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie".

Wanneer superintelligensie bereik kan word, indien ooit, is noodwendig minder seker as voorspellings vir KAI. In 2023 het OpenAI-leiers gesê dat nie net KAI nie, maar superintelligensie in minder as 10 jaar bereik kan word.

#### Vergelyking met mense

Bostrom voer aan dat KI baie voordele bo die menslike brein het:

* Spoed van berekening: biologiese neurone werk teen 'n maksimum frekwensie van ongeveer 200 Hz, in vergelyking met potensieel veelvuldige GHz vir rekenaars.
* Interne kommunikasiespoed: aksone stuur seine teen tot 120 m/s uit, terwyl rekenaars seine teen die spoed van elektrisiteit, of opties teen die spoed van lig, uitsaai.
* Skaalbaarheid: menslike intelligensie word beperk deur die grootte en struktuur van die brein, en deur die doeltreffendheid van sosiale kommunikasie, terwyl KI moontlik kan skaal deur bloot meer hardeware by te voeg.
* Geheue: veral werkende geheue, want by mense is dit beperk tot 'n paar stukke inligting op 'n slag.
* Betroubaarheid: transistors is meer betroubaar as biologiese neurone, wat hoër akkuraatheid moontlik maak en minder oortolligheid vereis.
* Dupliseerbaarheid: anders as menslike breine, kan KI-sagteware en -modelle maklik gekopieer word.
* Redigeerbaarheid: die parameters en interne werking van 'n KI-model kan maklik gewysig word, anders as die verbindings in 'n menslike brein.
* Geheue deel en leer: KI's kan dalk leer uit die ervarings van ander KI's op 'n manier wat meer doeltreffend is as menslike leer.

#### Intelligensie-ontploffing

Volgens Bostrom kan 'n KI wat 'n kundige vlak fasiliteit by sekere sleutel sagteware-ingenieurstake het, 'n superintelligensie word as gevolg van sy vermoë om sy eie algoritmes rekursief te verbeter, selfs al is dit aanvanklik beperk in ander domeine wat nie direk relevant is tot ingenieurswese nie. Dit dui daarop dat 'n intelligensie-ontploffing eendag die mensdom onvoorbereid kan vang.

Die ekonoom Robin Hanson het gesê dat, om 'n intelligensie-ontploffing te loods, 'n KI baie beter in sagteware-innovasie moet word as die res van die wêreld saam, wat hy onwaarskynlik vind.

In 'n "vinnige opstyg"-scenario kan die oorgang van KAI na superintelligensie dae of maande neem. In 'n "stadige opstyg" kan dit jare of dekades neem, wat meer tyd laat vir die samelewing om voor te berei.

#### Uitheemse verstand

Superintelligensies word soms "‘n uitheemse verstand" genoem, met verwysing na die idee dat hul manier van dink en motiverings hemelsbreed van ons s'n kan verskil. Dit word oor die algemeen beskou as 'n bron van risiko, wat dit moeiliker maak om te voorspel wat 'n superintelligensie kan doen. Dit dui ook op die moontlikheid dat 'n superintelligensie mense nie by verstek baie waardeer nie. Om antropomorfisme te vermy, word superintelligensie soms beskou as 'n kragtige optimaliseerder wat die beste besluite neem om sy doelwitte te bereik.

Die veld van "meganistiese interpreteerbaarheid" het ten doel om die innerlike werking van KI-modelle beter te verstaan, wat ons moontlik toelaat om eendag tekens van misleiding en wanbelyning op te spoor.

#### Perke

Daar is aangevoer dat daar beperkings is op wat intelligensie kan bereik. Die chaotiese aard of tydskompleksiteit van sommige stelsels kan veral 'n superintelligensie se vermoë om sekere aspekte van die toekoms te voorspel, fundamenteel beperk, wat die onsekerheid daarvan verhoog.

### Gevaarlike vermoëns

Gevorderde KI kan verbeterde patogene genereer, kuberaanvalle loods of mense manipuleer. Hierdie vermoëns kan deur mense misbruik word of deur die KI self uitgebuit word as dit nie in lyn is met menslike doelwitte nie. 'n Volskaalse superintelligensie kan verskeie maniere vind om 'n deurslaggewende invloed te kry as dit wil, maar hierdie gevaarlike vermoëns kan vroeër beskikbaar word, in swakker en meer gespesialiseerde KI-stelsels. Hulle kan onstabiliteit in die samelewing veroorsaak en kwaadwillige akteurs bemagtig.

#### Sosiale manipulasie

Geoffrey Hinton het gewaarsku dat die oorvloed van KI-gegenereerde teks, beelde en video's op kort termyn dit moeiliker sal maak om die waarheid uit te vind, wat hy sê outoritêre state kan uitbuit om verkiesings te manipuleer. Sulke grootskaalse, persoonlike manipulasievermoëns kan die eksistensiële risiko van 'n wêreldwye "onomkeerbare totalitêre regime" verhoog. Dit kan ook deur kwaadwillige akteurs gebruik word om die samelewing te beskadig en dit wanfunksioneel te maak.

#### Kuberaanvalle

KI-geaktiveerde kuberaanvalle word toenemend as 'n huidige en kritieke bedreiging beskou. Volgens NAVO se tegniese direkteur van die kuberruimte, "neem die aantal aanvalle eksponensieel toe". KI kan ook defensief gebruik word, om kwesbaarhede voorkomend te vind en reg te stel, en bedreigings op te spoor.

KI kan die "toeganklikheid, sukseskoers, skaal, spoed, verskuiling en sterkte van kuberaanvalle verbeter", wat moontlik "beduidende geopolitieke onstuimigheid" kan veroorsaak as dit aanvalle meer as verdediging fasiliteer. Spekulatief kan sulke kuberkraakvermoëns deur 'n KI-stelsel gebruik word om uit sy plaaslike omgewing te breek, inkomste te genereer of wolkrekenaarhulpbronne te bekom.

#### Verbeterde patogene

Namate KI-tegnologie demokratiseer, kan dit makliker word om meer aansteeklike en dodelike patogene te ontwerp. Dit kan mense met beperkte vaardighede in sintetiese biologie in staat stel om by bioterrorisme betrokke te raak. Dubbelgebruik-tegnologie wat nuttig is vir medisyne kan hergebruik word om wapens te skep.

Byvoorbeeld, in 2022 het wetenskaplikes 'n KI-stelsel gewysig wat oorspronklik bedoel was om nie-giftige, terapeutiese molekules te genereer met die doel om nuwe medisyne te skep. Die navorsers het die stelsel aangepas sodat toksisiteit eerder beloon as gepenaliseer word. Hierdie eenvoudige verandering het die KI-stelsel in staat gestel om binne ses uur 40 000 kandidaatmolekules vir chemiese oorlogvoering te skep, insluitend bekende en nuwe molekules.

### KI-wapenwedloop

Maatskappye, staatsakteurs en ander organisasies wat meeding om KI-tegnologie te ontwikkel, kan lei tot 'n wedloop wat veiligheidstandaarde in gevaar kan stel. Aangesien streng veiligheidsprosedures tyd en hulpbronne verg, loop projekte wat noukeuriger voortgaan die risiko om teenr minder noukeurige ontwikkelaars te kompeteer

KI kan gebruik word om militêre voordele te verkry deur outonome dodelike wapens, kuberoorlogvoering of outomatiese besluitneming. As 'n voorbeeld van outonome dodelike wapens, kan geminiaturiseerde hommeltuie laekoste-sluipmoord op militêre of burgerlike teikens fasiliteer, 'n scenario wat in die 2017-kortfilm *Slaughterbots* uitgelig is. KI kan gebruik word om 'n voorsprong in besluitneming te kry deur vinnig groot hoeveelhede data te ontleed en besluite vinniger en doeltreffender as mense te neem. Dit kan die spoed en onvoorspelbaarheid van oorlog verhoog, veral wanneer rekening gehou word met outomatiese vergeldingstelsels.

Tipes eksistensiële risiko’s
----------------------------

'n Eksistensiële risiko is "een wat die voortydige uitwissing van intelligente lewe van die Aarde bedreig of die permanente en drastiese vernietiging van sy potensiaal vir wenslike toekomstige ontwikkeling".

Benewens uitwissingsrisiko, is daar die risiko dat die beskawing permanent in 'n gebrekkige toekoms opgesluit word. Een voorbeeld is 'n "waarde-insluiting": As die mensdom steeds morele blindekolle het wat soortgelyk is aan slawerny in die verlede, kan KI dit onomkeerbaar verskans en morele vooruitgang verhoed. KI kan ook gebruik word om die stel waardes van wie dit ontwikkel te versprei en te bewaar. KI kan grootskaalse toesig en indoktrinasie fasiliteer, wat gebruik kan word om 'n stabiele onderdrukkende wêreldwye totalitêre regime te skep.

Dit is moeilik of onmoontlik om betroubaar te evalueer of 'n gevorderde KI bewus is en tot watter mate. Maar as beswustemasjiene in die toekoms in massa geskep word, kan dit 'n eksistensiële katastrofe wees om aan 'n beskawingspad deel te neem wat hul welsyn onbepaald verwaarloos. Boonop kan dit moontlik wees om digitale "bewussyne" te ontwerp wat baie meer geluk kan voel as mense met minder hulpbronne, wat "superbegunstigdes" genoem word. So 'n geleentheid laat die vraag ontstaan hoe om die wêreld te deel en watter "etiese en politieke raamwerk" 'n wedersyds voordelige naasbestaan tussen biologiese en digitale "bewussyne" moontlik sal maak.

KI kan ook die mensdom se toekoms drasties verbeter. Toby Ord beskou die eksistensiële risiko as 'n rede om "met die nodige omsigtigheid voort te gaan", nie om KI te laat vaar nie. Max More noem KI 'n "eksistensiële geleentheid", wat die koste beklemtoon om dit nie te ontwikkel nie.

Volgens Bostrom kan superintelligensie help om die eksistensiële risiko van ander kragtige tegnologieë soos molekulêre nanotegnologie of sintetiese biologie te verminder. Dit is dus denkbaar dat die ontwikkeling van superintelligensie voor ander gevaarlike tegnologieë die algehele eksistensiële risiko sal verminder.

KI-belyning
-----------

*Verdere inligting:* KI-belyning

Die belyningsprobleem is die navorsingsprobleem van hoe om doelwitte, voorkeure of etiese beginsels betroubaar aan KI's toe te ken.

### Instrumentele konvergensie

'n "Instrumentele" doelwit is 'n subdoelwit wat help om 'n agent se uiteindelike doelwit te bereik. "Instrumentele konvergensie" verwys na die feit dat sommige subdoelwitte nuttig is om feitlik enige uiteindelike doelwit te bereik, soos die verkryging van hulpbronne of selfbehoud. Bostrom voer aan dat as 'n gevorderde KI se instrumentele doelwitte bots met die mensdom se doelwitte, die KI die mensdom kan benadeel om meer hulpbronne te bekom of te verhoed dat homself gesluit word, maar slegs as 'n manier om sy uiteindelike doel te bereik.

Stuart J. Russell voer aan dat 'n voldoende gevorderde masjien "selfbehoud sal hê, selfs al programmeer jy dit nie in nie ... as jy sê: 'Haal die koffie', kan dit nie die koffie haal as dit dood is nie. So as jy dit enige doelwilwit hoegenaamd gee, het dit 'n rede om sy eie bestaan te bewaar om daardie doel te bereik."

#### Weerstand teen veranderende doelwitte

Selfs al is huidige doelwitgebaseerde KI-programme nie intelligent genoeg om te dink daaraan om programmeerderpogings te weerstaan om hul doelstrukture te verander nie, kan 'n voldoende gevorderde KI enige pogings om sy doelstruktuur te verander weerstaan, net soos 'n pasifis nie 'n pil wil drink wat maak dat hulle mense wil doodmaak nie. As die KI superintelligent was, sou dit waarskynlik daarin slaag om sy menslike operateurs uit te maneuvreer en te verhoed dat homself "afgeskakel" of herprogrammeer word met 'n nuwe doelwit. Dit is veral relevant vir waarde-insluitscenario's. Die veld van "korrigeerbaarheid "bestudeer hoe om agente te maak wat nie pogings sal weerstaan om hul doelwitte te verander nie.

### Problematiek om doelwitte te spesifiseer

In die "intelligente agent"-model kan 'n KI losweg beskou word as 'n masjien wat kies watter aksie ook al lyk om sy stel doelwitte, of "nutsfunksie" die beste te bereik. 'n Nutsfunksie gee aan elke moontlike situasie 'n telling wat die wenslikheid daarvan aan die agent aandui. Navorsers weet hoe om nutsfunksies te skryf wat beteken "verminder die gemiddelde netwerkvertraging in hierdie spesifieke telekommunikasiemodel" of "maksimeer die aantal beloningsklikke", maar weet nie hoe om 'n nutsfunksie te skryf vir "maksimeer menslike florering" nie; dit is ook nie duidelik of so 'n funksie sinvol en ondubbelsinnig bestaan nie. Verder sal 'n nutsfunksie wat sommige waardes uitdruk, maar nie ander nie, geneig wees om die waardes te vertrap wat die funksie nie weerspieël nie.

'n Bykomende bron van kommer is dat KI "moet redeneer oor wat mense van plan is eerder as om opdragte letterlik uit te voer", en dat dit vloeiend menslike leiding moet kan vra as dit te onseker is oor wat mense wil hê.

### Belyning van superintelligensies

Sommige navorsers glo dat die belyningsprobleem veral moeilik kan wees wanneer dit op superintelligensies toegepas word. Hul redenasie sluit in:

* Namate KI-stelsels in vermoëns toeneem, groei die potensiële gevare verbonde aan eksperimentering. Dit maak iteratiewe, empiriese benaderings toenemend riskant.

* Indien instrumentele doelwitkonvergensie plaasvind, mag dit slegs in voldoende intelligente agente gedoen word.

* 'n Superintelligensie kan onkonvensionele en radikale oplossings vir toegewysde doelwitte vind. Bostrom gee die voorbeeld dat as die doel is om mense te laat glimlag, 'n swak KI kan presteer soos bedoel, terwyl 'n superintelligensie kan besluit 'n beter oplossing is om "beheer oor die wêreld te neem en elektrodes in die gesigspiere van mense te plaas vir konstante , stralende glimlag."

* 'n Superintelligensie in die skepping kan 'n mate van bewustheid kry van wat dit is, waar dit in ontwikkeling is (opleiding, toetsing, ontplooiing, ens.), en hoe dit gemonitor word, en hierdie inligting gebruik om die hanteerders daarvan te mislei. Bostrom skryf dat so 'n KI-belyning kan voorgee om menslike inmenging te voorkom totdat dit 'n "beslissende strategiese voordeel" behaal wat dit toelaat om beheer te neem.

* Om die interne werking te ontleed en die gedrag van huidige groot taalmodelle te interpreteer is moeilik. En dit kan selfs moeiliker wees vir groter en meer intelligente modelle.

Andersins vind sommiges redes om te glo dat superintelligensies beter in staat sal wees om moraliteit, menslike waardes en komplekse doelwitte te verstaan. Bostrom skryf, "'n Toekomstige superintelligensie beklee 'n epistemies superieure uitkykpunt: sy oortuigings is (waarskynlik, oor die meeste onderwerpe) meer geneig as ons s'n om waar te wees".

In 2023 het OpenAI 'n projek genaamd "Superalignment" begin om die belyning van superintelligensies in vier jaar op te los. Dit noem dit 'n besonder belangrike uitdaging, aangesien dit gesê het dat superintelligensie binne 'n dekade bereik kan word. Sy strategie behels die outomatisering van belyningsnavorsing met behulp van kunsmatige intelligensie.

### Kompleksiteit om 'n foutlose ontwerp te skep

*Artificial Intelligence: A Modern Approach*, 'n wyd gebruikte voorgraadse KI-handboek, verklaar dat superintelligensie "die einde van die menslike ras kan beteken". Dit sê: "Byna enige tegnologie het die potensiaal om skade in die verkeerde hande te veroorsaak, maar met [superintelligensie] het ons die nuwe probleem dat die verkeerde hande dalk aan die tegnologie self behoort." Selfs al het die stelselontwerpers goeie bedoelings, twee probleme is algemeen vir beide KI en nie-KI rekenaarstelsels:

Die stelsel se implementering kan aanvanklik onopgemerkte maar later katastrofiese foute bevat. 'n Analogie is ruimtetuie: ten spyte van die wete dat foute in duur ruimtetuie moeilik reggemaak kan word ná lansering, kon ingenieurs histories nie verhoed dat katastrofiese foute voorkom nie.

Maak nie saak hoeveel tyd in voor-ontplooiing ontwerp ingesit word nie, 'n stelsel se spesifikasies lei dikwels tot onbedoelde gedrag die eerste keer dat dit 'n nuwe scenario teëkom. Microsoft se Tay het byvoorbeeld onaanstootlik opgetree tydens voor-ontplooiingstoetsing, maar is te maklik tot aanstootlike gedrag uitgelok wanneer dit met regte gebruikers in interaksie was.

KI-stelsels voeg 'n derde probleem by: selfs gegewe "korrekte" vereistes, foutvrye implementering en aanvanklike goeie gedrag, kan 'n KI-stelsel se dinamiese leervermoëns veroorsaak dat dit onbedoelde gedrag ontwikkel, selfs sonder onverwagte eksterne scenario's. 'n KI kan 'n poging om 'n nuwe generasie van homself te ontwerp gedeeltelik misluk en per ongeluk 'n opvolger KI skep wat kragtiger is as hyself, maar wat nie meer die mens-versoenbare morele waardes handhaaf wat in die oorspronklike KI vooraf geprogrammeer is nie. Vir 'n selfverbeterende KI om heeltemal veilig te wees, sal dit nie net foutvry moet wees nie, maar om opvolgstelsels te kan ontwerp wat ook foutvry is.