Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie

**Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie** is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie (KAI) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei.

Een argument is soos volg: mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort. As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word, kan dit moeilik of onmoontlik word om te beheer. Net soos die lot van die berggorilla afhang van menslike welwillendheid, so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie.

Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie (KI) word wyd gedebatteer, en hang deels af of KAI of superintelligensie haalbaar is, die spoed waarteen gevaarlike vermoëns en gedrag na vore kom, en of praktiese scenario's vir KI-oornames bestaan.  Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton, Yoshua Bengio, Alan Turing, Elon Musk, en Sam Altman, uitvoerende hoof van OpenAI. In 2022 het 'n opname onder KI-navorsers met 'n 17%-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar 'n 10 persent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak. In 2023 het honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat "Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog." Na groter kommer oor KI. risiko's, het regeringsleiers soos die voormalige Britse premier Rishi Sunak en die Verenigde Nasies se sekretaris-generaal António Guterres 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering.

Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning: om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring, kan moeilik wees. Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander, aangesien dit dit sal verhoed om sy huidige doelwitte te bereik. Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings. Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie.

'n Derde bron van kommer is dat 'n skielike "intelligensie-ontploffing" 'n onvoorbereide menslike ras kan verras. Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo, wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer.

## Geskiedenis 
Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou, was die romanskrywer Samuel Butler, wat in sy 1863-essay *Darwin among the Machines* geskryf het:

 "Die resultaat is bloot 'n kwessie van tyd, maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou, is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie."

In 1951 het die grondleggende rekenaarwetenskaplike Alan Turing die artikel "*Intelligent Machinery, A Heretical Theory*" geskryf, waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik "beheer" van die wêreld sou neem namate hulle intelligenter as mense geword het:

 “Laat ons nou aanneem, ter wille van die argument, dat intelligente masjiene 'n werklike moontlikheid is, en kyk na die gevolge van die konstruksie daarvan ... Daar sal geen sprake wees van die masjiene wat sterf nie, en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp. Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word.”

In 1965 het I.J. Good die konsep geskep wat nou bekend staan as 'n "intelligensie-ontploffing" en gesê die risiko's word onderskat:
 “Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref. Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is, kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp; daar sou dan ongetwyfeld 'n 'intelligensie-ontploffing' wees, en die intelligensie van die mens sou ver agterbly. Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak, mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou. Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word. Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem.”

Geleerdes soos Marvin Minsky en I.J. Good self het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem, maar het geen oproep tot aksie gerig nie. In 2000 het die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf, "Why The Future Doesn't Need Us", wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing, saam met nanotegnologie en gemanipuleerde bioplae.

Nick Bostrom het in 2014 Superintelligence gepubliseer, wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou. Teen 2015 het openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek, rekenaarwetenskaplikes Stuart J. Russell en Roman Yampolskiy, en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie. Ook in 2015 het die Ope Brief oor Kunsmatige Intelligensie die "groot potensiaal van KI" uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak. In April 2016 het *Nature* gewaarsku: "Masjiene en robotte wat mense oor die hele linie beter presteer, kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie." In 2020 het Brian Christian *The Alignment Problem* gepubliseer, wat besonderhede bevat. die geskiedenis van vordering met KI-belyning tot op daardie tydstip.

## KI-vermoëns 
### Algemene intelligensie
Kunsmatige algemene intelligensie (KAI) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take.  'n 2022-opname van KI-navorsers het bevind dat 90% van die respondente verwag het dat KAI in die volgende 100 jaar bereik sou word, en die helfte het dieselfde teen 2061 verwag.  Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as "wetenskapfiksie" op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie.

Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het. Geoffrey Hinton het veral in 2023 gesê dat hy onlangs sy skatting verander het van "20 na 50 jaar voor ons algemene doel KI" na "20 jaar of minder".

### Superintelligensie 
In teenstelling met KAI, definieer Bostrom 'n superintelligensie as "enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry", insluitend wetenskaplike kreatiwiteit, strategiese beplanning en sosiale vaardighede.

Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat "daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie".

#### Vergelyking met mense 
Bostrom voer aan dat KI baie voordele bo die menslike brein het:

In 'n "vinnige opstyg"-scenario kan die oorgang van KAI na superintelligensie dae of maande neem. In 'n "stadige opstyg" kan dit jare of dekades neem, wat meer tyd laat vir die samelewing om voor te berei.

#### Uitheemse verstand 
Superintelligensies word soms "‘n uitheemse verstand" genoem, met verwysing na die idee dat hul manier van dink en motiverings hemelsbreed van ons s'n kan verskil. Dit word oor die algemeen beskou as 'n bron van risiko, wat dit moeiliker maak om te voorspel wat 'n superintelligensie kan doen. Dit dui ook op die moontlikheid dat 'n superintelligensie mense nie by verstek baie waardeer nie. Om antropomorfisme te vermy, word superintelligensie soms beskou as 'n kragtige optimaliseerder wat die beste besluite neem om sy doelwitte te bereik.

#### Perke 
Daar is aangevoer dat daar beperkings is op wat intelligensie kan bereik. Die chaotiese aard of tydskompleksiteit van sommige stelsels kan veral 'n superintelligensie se vermoë om sekere aspekte van die toekoms te voorspel, fundamenteel beperk, wat die onsekerheid daarvan verhoog.

### Gevaarlike vermoëns 
Gevorderde KI kan verbeterde patogene genereer, kuberaanvalle loods of mense manipuleer. Hierdie vermoëns kan deur mense misbruik word of deur die KI self uitgebuit word as dit nie in lyn is met menslike doelwitte nie.  Sulke grootskaalse, persoonlike manipulasievermoëns kan die eksistensiële risiko van 'n wêreldwye "onomkeerbare totalitêre regime" verhoog. Dit kan ook deur kwaadwillige akteurs gebruik word om die samelewing te beskadig en dit wanfunksioneel te maak. KI kan ook defensief gebruik word, om kwesbaarhede voorkomend te vind en reg te stel, en bedreigings op te spoor.

KI kan die "toeganklikheid, sukseskoers, skaal, spoed, verskuiling en sterkte van kuberaanvalle verbeter", wat moontlik "beduidende geopolitieke onstuimigheid" kan veroorsaak as dit aanvalle meer as verdediging fasiliteer.

#### Verbeterde patogene 
Namate KI-tegnologie demokratiseer, kan dit makliker word om meer aansteeklike en dodelike patogene te ontwerp. Dit kan mense met beperkte vaardighede in sintetiese biologie in staat stel om by bioterrorisme betrokke te raak. Dubbelgebruik-tegnologie wat nuttig is vir medisyne kan hergebruik word om wapens te skep.

### KI-wapenwedloop 
Maatskappye, staatsakteurs en ander organisasies wat meeding om KI-tegnologie te ontwikkel, kan lei tot 'n wedloop wat veiligheidstandaarde in gevaar kan stel. Aangesien streng veiligheidsprosedures tyd en hulpbronne verg, loop projekte wat noukeuriger voortgaan die risiko om teenr minder noukeurige ontwikkelaars te kompeteer KI kan gebruik word om 'n voorsprong in besluitneming te kry deur vinnig groot hoeveelhede data te ontleed en besluite vinniger en doeltreffender as mense te neem. Dit kan die spoed en onvoorspelbaarheid van oorlog verhoog, veral wanneer rekening gehou word met outomatiese vergeldingstelsels.

## Tipes eksistensiële risiko’s
'n Eksistensiële risiko is "een wat die voortydige uitwissing van intelligente lewe van die Aarde bedreig of die permanente en drastiese vernietiging van sy potensiaal vir wenslike toekomstige ontwikkeling".

Benewens uitwissingsrisiko, is daar die risiko dat die beskawing permanent in 'n gebrekkige toekoms opgesluit word. Een voorbeeld is 'n "waarde-insluiting": As die mensdom steeds morele blindekolle het wat soortgelyk is aan slawerny in die verlede, kan KI dit onomkeerbaar verskans en morele vooruitgang verhoed. KI kan ook gebruik word om die stel waardes van wie dit ontwikkel te versprei en te bewaar. KI kan grootskaalse toesig en indoktrinasie fasiliteer, wat gebruik kan word om 'n stabiele onderdrukkende wêreldwye totalitêre regime te skep.

Dit is moeilik of onmoontlik om betroubaar te evalueer of 'n gevorderde KI bewus is en tot watter mate. Maar as beswustemasjiene in die toekoms in massa geskep word, kan dit 'n eksistensiële katastrofe wees om aan 'n beskawingspad deel te neem wat hul welsyn onbepaald verwaarloos. Boonop kan dit moontlik wees om digitale "bewussyne" te ontwerp wat baie meer geluk kan voel as mense met minder hulpbronne, wat "superbegunstigdes" genoem word. So 'n geleentheid laat die vraag ontstaan hoe om die wêreld te deel en watter "etiese en politieke raamwerk" 'n wedersyds voordelige naasbestaan tussen biologiese en digitale "bewussyne" moontlik sal maak.

KI kan ook die mensdom se toekoms drasties verbeter. Toby Ord beskou die eksistensiële risiko as 'n rede om "met die nodige omsigtigheid voort te gaan", nie om KI te laat vaar nie.

Volgens Bostrom kan superintelligensie help om die eksistensiële risiko van ander kragtige tegnologieë soos molekulêre nanotegnologie of sintetiese biologie te verminder. Dit is dus denkbaar dat die ontwikkeling van superintelligensie voor ander gevaarlike tegnologieë die algehele eksistensiële risiko sal verminder. Bostrom voer aan dat as 'n gevorderde KI se instrumentele doelwitte bots met die mensdom se doelwitte, die KI die mensdom kan benadeel om meer hulpbronne te bekom of te verhoed dat homself gesluit word, maar slegs as 'n manier om sy uiteindelike doel te bereik.

#### Weerstand teen veranderende doelwitte 
Selfs al is huidige doelwitgebaseerde KI-programme nie intelligent genoeg om te dink daaraan om programmeerderpogings te weerstaan om hul doelstrukture te verander nie, kan 'n voldoende gevorderde KI enige pogings om sy doelstruktuur te verander weerstaan, net soos 'n pasifis nie 'n pil wil drink wat maak dat hulle mense wil doodmaak nie. As die KI superintelligent was, sou dit waarskynlik daarin slaag om sy menslike operateurs uit te maneuvreer en te verhoed dat homself "afgeskakel" of herprogrammeer word met 'n nuwe doelwit. Dit is veral relevant vir waarde-insluitscenario's. Die veld van " korrigeerbaarheid " bestudeer hoe om agente te maak wat nie pogings sal weerstaan om hul doelwitte te verander nie.

### Problematiek om doelwitte te spesifiseer 
In die "intelligente agent"-model kan 'n KI losweg beskou word as 'n masjien wat kies watter aksie ook al lyk om sy stel doelwitte, of "nutsfunksie" die beste te bereik. 'n Nutsfunksie gee aan elke moontlike situasie 'n telling wat die wenslikheid daarvan aan die agent aandui. Navorsers weet hoe om nutsfunksies te skryf wat beteken "verminder die gemiddelde netwerkvertraging in hierdie spesifieke telekommunikasiemodel" of "maksimeer die aantal beloningsklikke", maar weet nie hoe om 'n nutsfunksie te skryf vir "maksimeer menslike florering" nie; dit is ook nie duidelik of so 'n funksie sinvol en ondubbelsinnig bestaan nie. Verder sal 'n nutsfunksie wat sommige waardes uitdruk, maar nie ander nie, geneig wees om die waardes te vertrap wat die funksie nie weerspieël nie.

'n Bykomende bron van kommer is dat KI "moet redeneer oor wat mense van plan is eerder as om opdragte letterlik uit te voer", en dat dit vloeiend menslike leiding moet kan vra as dit te onseker is oor wat mense wil hê.

### Belyning van superintelligensies 
Sommige navorsers glo dat die belyningsprobleem veral moeilik kan wees wanneer dit op superintelligensies toegepas word. Hul redenasie sluit in:

*Namate KI-stelsels in vermoëns toeneem, groei die potensiële gevare verbonde aan eksperimentering. Dit maak iteratiewe, empiriese benaderings toenemend riskant.

*Indien instrumentele doelwitkonvergensie plaasvind, mag dit slegs in voldoende intelligente agente gedoen word.

*'n Superintelligensie kan onkonvensionele en radikale oplossings vir toegewysde doelwitte vind. Bostrom gee die voorbeeld dat as die doel is om mense te laat glimlag, 'n swak KI kan presteer soos bedoel, terwyl 'n superintelligensie kan besluit 'n beter oplossing is om "beheer oor die wêreld te neem en elektrodes in die gesigspiere van mense te plaas vir konstante , stralende glimlag." Bostrom skryf dat so 'n KI-belyning kan voorgee om menslike inmenging te voorkom totdat dit 'n "beslissende strategiese voordeel" behaal wat dit toelaat om beheer te neem.

### Kompleksiteit om 'n foutlose ontwerp te skep 
*Artificial Intelligence: A Modern Approach*, 'n wyd gebruikte voorgraadse KI-handboek, verklaar dat superintelligensie "die einde van die menslike ras kan beteken".

Maak nie saak hoeveel tyd in voor-ontplooiing ontwerp ingesit word nie, 'n stelsel se spesifikasies lei dikwels tot onbedoelde gedrag die eerste keer dat dit 'n nuwe scenario teëkom. Microsoft se Tay het byvoorbeeld onaanstootlik opgetree tydens voor-ontplooiingstoetsing, maar is te maklik tot aanstootlike gedrag uitgelok wanneer dit met regte gebruikers in interaksie was.

### Ortogonaliteitstesis
Sommige skeptici, soos Timothy B. Lee van *Vox*, argumenteer dat enige superintelligente program wat ons skep aan ons diensbaar sal wees, dat die superintelligensie (namate dit meer intelligent word en meer feite oor die wêreld leer) spontaan morele waarheid sal leer wat versoenbaar is met ons waardes en sy doelwitte dienooreenkomstig aanpas, of dat ons óf intrinsiek óf konvergent waardevol is vanuit die perspektief van 'n kunsmatige intelligensie.

Bostrom se "ortogonaliteitstesis" voer eerder aan dat, met sekere tegniese voorbehoude, byna enige vlak van "intelligensie" of "optimeringskrag" gekombineer kan word met byna enige uiteindelike doelwit. As 'n masjien die uitsluitlike doel gegee word om die desimale van pi op te tel, dan sal geen morele en etiese reëls dit keer om sy geprogrammeerde doel op enige manier te bereik nie. Die masjien kan alle beskikbare fisiese en inligtingsbronne gebruik om soveel as moontlik desimale pi te vind. Bostrom waarsku teen antropomorfisme: 'n mens sal probeer om hul projekte uit te voer op 'n wyse wat hy as redelik beskou, terwyl 'n kunsmatige intelligensie geen agting kan gee vir sy bestaan of vir die welsyn van mense rondom hom nie, maar eerder net omgee om die taak te voltooi.

Stuart Armstrong argumenteer dat die ortogonaliteitstesis logies volg uit die filosofiese "is-moet onderskeid"-argument teen morele realisme. Hy beweer dat selfs al is daar morele feite wat deur enige "rasionele" agent bewysbaar is, die ortogonaliteitstesis steeds geld: dit is steeds moontlik om 'n nie-filosofiese "optimeringsmasjien" te skep wat na een of ander eng doelwit kan streef, maar wat geen aansporing het om ontdek enige "morele feite" soos dié wat in die pad van doelwitvoltooiing kan staan. Nog 'n argument wat hy maak, is dat enige fundamenteel vriendelike KI onvriendelik gemaak kan word met veranderinge so eenvoudig soos om die nutsfunksie daarvan te ontken. Armstrong voer verder aan dat as die ortogonaliteitstesis vals is, daar 'n paar immorele doelwitte moet wees wat KI's nooit kan bereik nie, wat hy onwaarskynlik vind.

Skeptikus Michael Chorost verwerp uitdruklik Bostrom se ortogonaliteitstesis, met die argument dat "teen die tyd dat [die KI] in 'n posisie is om te dink dat hy die aarde met sonpanele teël, sal hy weet dat dit moreel verkeerd sou wees om dit te doen." Chorost voer aan dat "'n KI sekere state sal moet begeer en nie van ander hou nie. Vandag se sagteware het nie daardie vermoë nie - en rekenaarwetenskaplikes het nie 'n benul hoe om dit daar te kry nie. Sonder om te wil, is daar geen stukrag om iets te doen nie. Vandag se rekenaars kan nie wil selfs aanhou bestaan, laat staan nog die wêreld in sonpanele teël."

Evolusionêre sielkundige Steven Pinker, 'n skeptikus, voer aan dat "KI-distopieë 'n parogiale alfa-manlike sielkunde op die konsep van intelligensie projekteer. Hulle neem aan dat bomenslik intelligente robotte doelwitte sal ontwikkel soos om hul meesters af te sit of die wêreld oor te neem"; miskien eerder "kunsmatige intelligensie sal natuurlik volgens vroulike lyne ontwikkel: ten volle in staat om probleme op te los, maar met geen begeerte om onskuldiges te vernietig of die beskawing te oorheers nie."  Facebook se direkteur van KI-navorsing, Yann LeCun, het gesê: "Mense het alles soorte dryfkragte wat hulle slegte dinge aan mekaar laat doen, soos die selfbehoudsinstink... Daardie dryfkragte is in ons brein geprogrammeer, maar daar is absoluut geen rede om robotte te bou wat dieselfde soort dryfkragte het nie.”

Ten spyte van ander verskille stem die x-risk-skool[ saam met Pinker dat 'n gevorderde KI nie die mensdom sal vernietig uit emosie soos wraak of woede nie, dat vrae oor bewussyn nie relevant is om die risiko te bepaal nie, en dat rekenaar stelsels het oor die algemeen nie 'n rekenkundige ekwivalent van testosteroon nie.  Hulle dink dat magsoekende of selfbehoudsgedrag in die KI na vore kom as 'n manier om sy ware doelwitte te bereik, volgens die konsep van instrumentele konvergensie.

### Ander bronne van risiko 
Bostrom en ander het gesê dat 'n wedloop om die eerste te wees om KAI te skep, kan lei tot kortpaaie in veiligheid, of selfs tot gewelddadige konflik. Roman Yampolskiy en ander waarsku dat 'n kwaadwillige KAI deur ontwerp geskep kan word, byvoorbeeld deur 'n weermag, 'n regering, 'n sosiopaat of 'n korporasie, om voordeel te trek uit, te beheer of sekere groepe mense te onderwerp, soos in kubermisdaad, of dat 'n kwaadwillige KAI die doelwit kon kies om menslike lyding te verhoog, byvoorbeeld van daardie mense wat dit nie tydens die inligtingsontploffingsfase bygestaan het nie.:158

## Sien ook 
* Connor Leahy
* Kunsmatige intelligensie-wapenwedloop

## Notas 
## Verwysings