Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie

Eksistensiële risiko as gevolg van kunsmatige algemene intelligensie is die hipotese dat aansienlike vordering in kunsmatige algemene intelligensie (KAI) tot menslike uitwissing of 'n ander onomkeerbare globale katastrofe kan lei.

Een argument is soos volg: mense oorheers ander spesies omdat die menslike brein oor eiesoortige vermoëns beskik wat ander diere kort. As KI die mensdom in algemene intelligensie sou oortref en superintelligent sou word, kan dit moeilik of onmoontlik word om te beheer. Net soos die lot van die berggorilla afhang van menslike welwillendheid, so kan die lot van die mensdom afhang van die optrede van 'n toekomstige masjien superintelligensie.

Die geloofwaardigheid van eksistensiële katastrofe as gevolg van kunsmatige intelligensie (KI) word wyd gedebatteer, en hang deels af of KAI of superintelligensie haalbaar is, die spoed waarteen gevaarlike vermoëns en gedrag na vore kom, en of praktiese scenario's vir KI-oornames bestaan.  Kommer oor superintelligensie is uitgespreek deur vooraanstaande rekenaarwetenskaplikes en tegniese uitvoerende hoofde soos Geoffrey Hinton, Yoshua Bengio, Alan Turing, In ‘n 1951 lesing Turing, Alan, Intelligent machinery, a heretical theory. Lesing aan die '51 Society' in Manchester, besoek op 2022-07-22, 1951, The Turing Digital Archive by https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4,  bl 16, geargiveer 26 September 2022, argief https://web.archive.org/web/20220926004549/https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4,  Turing het aangevoer dat "Dit lyk waarskynlik dat sodra die masjiendenkmetode begin het, dit nie lank sal neem om ons swak kragte te oortref nie. Daar sal geen sprake wees van die masjiene wat doodgaan nie, en hulle sal met mekaar kan praat om hul te verskerp. Ons behoort dus op 'n stadium te verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word." Ook in 'n lesing wat oor die BBC }}}} het hy die mening uitgespreek: "As 'n masjien kan dink, dink dit dalk meer intelligent as ons, en waar moet ons dan wees? Selfs al kan ons die masjiene in 'n diensbare posisie hou, byvoorbeeld deur die krag af te skakel by strategiese oomblikke, moet ons as 'n spesie baie nederig voel. . . . Hierdie nuwe gevaar . . . is beslis iets wat ons angs kan gee." Elon Musk, en Sam Altman, uitvoerende hoof van OpenAI. In 2022 het 'n opname onder KI-navorsers met 'n 17%-reaksiekoers bevind dat die meerderheid respondente geglo het dat daar 'n 10 persent of groter kans is dat ons onvermoë om KI te beheer 'n eksistensiële katastrofe sal veroorsaak. In 2023 het honderde KI-kundiges en ander noemenswaardige figure 'n verklaring onderteken dat "Die versagting van die risiko van uitwissing van KI 'n wêreldwye prioriteit moet wees saam met ander maatskaplike skaalrisiko's soos pandemies en kernoorlog." Na groter kommer oor KI. risiko's, het regeringsleiers soos die voormalige Britse premier Rishi Sunak en die Verenigde Nasies se sekretaris-generaal António Guterres 'n beroep gedoen op 'n groter fokus op wêreldwye KI-regulering.

Twee bronne van kommer spruit uit die probleme van KI-beheer en -belyning: om 'n superintelligente masjien te beheer of dit in lyn met mens-versoenbare waardes in te bring, kan moeilik wees. Baie navorsers glo dat 'n superintelligente masjien pogings sal weerstaan om dit uit te skakel of sy doelwitte te verander, aangesien dit dit sal verhoed om sy huidige doelwitte te bereik. Dit sal uiters moeilik wees om 'n superintelligensie in lyn te bring met die volle breedte van beduidende menslike waardes en beperkings., cited in  Daarteenoor argumenteer skeptici soos rekenaarwetenskaplike Yann LeCun dat superintelligente masjiene geen begeerte vir selfbehoud sal hê nie.

'n Derde bron van kommer is dat 'n skielike "intelligensie-ontploffing" 'n onvoorbereide menslike ras kan verras. Sulke scenario's neem die moontlikheid in ag dat 'n KI wat meer intelligent is as sy skeppers in staat kan wees om homself rekursief te verbeter teen 'n eksponensieel toenemende tempo, wat te vinnig verbeter vir sy hanteerders en die gemeenskap in die algemeen om te beheer. Empiries toon voorbeelde soos AlphaZero wat homself leer om Go te speel dat domeinspesifieke KI-stelsels soms baie vinnig van ondermenslike tot bomenslike vermoëns kan vorder, hoewel sulke stelsels nie die verandering van hul fundamentele argitektuur behels nie.

 Geskiedenis 
Een van die vroegste skrywers wat ernstige kommer uitgespreek het dat hoogs gevorderde masjiene eksistensiële risiko's vir die mensdom kan inhou, was die romanskrywer Samuel Butler, wat in sy 1863-essay Darwin among the Machines geskryf het:Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.'  Modern Philology, Vol. 72, No. 4 (Mei 1975), bl. 365–383

 "Die resultaat is bloot 'n kwessie van tyd, maar dat die tyd sal aanbreek wanneer die masjiene die ware oppergesag oor die wêreld en sy inwoners sal hou, is wat geen persoon met 'n ware filosofiese verstand vir 'n oomblik kan bevraagteken nie."

In 1951 het die grondleggende rekenaarwetenskaplike Alan Turing die artikel "Intelligent Machinery, A Heretical Theory" geskryf, waarin hy voorgestel het dat kunsmatige algemene intelligensies waarskynlik "beheer" van die wêreld sou neem namate hulle intelligenter as mense geword het:

 “Laat ons nou aanneem, ter wille van die argument, dat intelligente masjiene 'n werklike moontlikheid is, en kyk na die gevolge van die konstruksie daarvan ... Daar sal geen sprake wees van die masjiene wat sterf nie, en hulle sal in staat wees om te praat met mekaar om hul verstand op te skerp. Ons moet dus op 'n stadium verwag dat die masjiene beheer sal neem, op die manier wat in Samuel Butler se Erewhon genoem word.”

In 1965 het I.J. Good die konsep geskep wat nou bekend staan as 'n "intelligensie-ontploffing" en gesê die risiko's word onderskat:
 “Laat 'n ultra-intelligente masjien gedefinieer word as 'n masjien wat al die intellektuele aktiwiteite van enige man hoe slim ook al kan oortref. Aangesien die ontwerp van masjiene een van hierdie intellektuele aktiwiteite is, kan 'n ultra-intelligente masjien selfs beter masjiene ontwerp; daar sou dan ongetwyfeld 'n 'intelligensie-ontploffing' wees, en die intelligensie van die mens sou ver agterbly. Die eerste ultra-intelligente masjien is dus die laaste uitvinding wat die mens ooit moet maak, mits die masjien gemaklik genoeg is om ons te vertel hoe om dit onder beheer te hou. Dit is eienaardig dat hierdie punt so selde buite wetenskapfiksie gemaak word. Dit is soms die moeite werd om wetenskapfiksie ernstig op te neem.”I.J. Good, "Speculations Concerning the First Ultraintelligent Machine"  (HTML  ), Advances in Computers, vol. 6, 1965.

Geleerdes soos Marvin Minsky en I.J. Good self het soms kommer uitgespreek dat 'n superintelligensie beheer kon oorneem, maar het geen oproep tot aksie gerig nie. In 2000 het die rekenaarwetenskaplike en Sun-medestigter Bill Joy 'n invloedryke essay geskryf, "Why The Future Doesn't Need Us", wat superintelligente robotte identifiseer as 'n hoë-tegnologie gevaar vir menslike oorlewing, saam met nanotegnologie en gemanipuleerde bioplae.

Nick Bostrom het in 2014 Superintelligence gepubliseer, wat sy argumente voorgehou het dat superintelligensie 'n eksistensiële bedreiging inhou. Teen 2015 het openbare figure soos fisici Stephen Hawking en Nobelpryswenner Frank Wilczek, rekenaarwetenskaplikes Stuart J. Russell en Roman Yampolskiy, en entrepreneurs Elon Musk en Bill Gates hul kommer uitgespreek oor die risiko's van superintelligensie. Ook in 2015 het die Ope Brief oor Kunsmatige Intelligensie die "groot potensiaal van KI" uitgelig en meer navorsing aangemoedig oor hoe om dit robuust en voordelig te maak. In April 2016 het Nature gewaarsku: "Masjiene en robotte wat mense oor die hele linie beter presteer, kan self verbeter buite ons beheer - en hul belange strook dalk nie met ons s'n nie." In 2020 het Brian Christian The Alignment Problem gepubliseer, wat besonderhede bevat. die geskiedenis van vordering met KI-belyning tot op daardie tydstip.

 KI-vermoëns 
Algemene intelligensie
Kunsmatige algemene intelligensie (KAI) word tipies gedefinieer as 'n stelsel wat ten minste so goed presteer as mense in die meeste of alle intellektuele take.  'n 2022-opname van KI-navorsers het bevind dat 90% van die respondente verwag het dat KAI in die volgende 100 jaar bereik sou word, en die helfte het dieselfde teen 2061 verwag.  Intussen verwerp sommige navorsers eksistensiële risiko's van KAI as "wetenskapfiksie" op grond van hul hoë vertroue dat KAI nie binnekort geskep sal word nie.

Deurbrake in groot taalmodelle het daartoe gelei dat sommige navorsers hul verwagtinge heroorweeg het. Geoffrey Hinton het veral in 2023 gesê dat hy onlangs sy skatting verander het van "20 na 50 jaar voor ons algemene doel KI" na "20 jaar of minder".

 Superintelligensie 
In teenstelling met KAI, definieer Bostrom 'n superintelligensie as "enige intellek wat die kognitiewe prestasie van mense in feitlik alle terreine van belang aansienlik oorskry", insluitend wetenskaplike kreatiwiteit, strategiese beplanning en sosiale vaardighede. Hy voer aan dat 'n superintelligensie mense kan uitmaneuver wanneer sy doelwitte met mense bots. Dit kan kies om sy ware bedoeling weg te steek totdat die mensdom dit nie kan keer nie. Syndicated  at Business Insider  Bostrom skryf dat om veilig te wees vir die mensdom, 'n superintelligensie in lyn gebring moet word met menslike waardes en moraliteit, sodat dit "fundamenteel aan ons kant" is.

Stephen Hawking het aangevoer dat superintelligensie fisies moontlik is omdat "daar geen fisiese wet is wat verhoed dat deeltjies georganiseer word op maniere wat selfs meer gevorderde berekeninge uitvoer as die rangskikkings van deeltjies in menslike breine nie".

Wanneer superintelligensie bereik kan word, indien ooit, is noodwendig minder seker as voorspellings vir KAI. In 2023 het OpenAI-leiers gesê dat nie net KAI nie, maar superintelligensie in minder as 10 jaar bereik kan word.

 Vergelyking met mense 
Bostrom voer aan dat KI baie voordele bo die menslike brein het:
 Spoed van berekening: biologiese neurone werk teen 'n maksimum frekwensie van ongeveer 200 Hz, in vergelyking met potensieel veelvuldige GHz vir rekenaars. 
Interne kommunikasiespoed: aksone stuur seine teen tot 120 m/s uit, terwyl rekenaars seine teen die spoed van elektrisiteit, of opties teen die spoed van lig, uitsaai.
Skaalbaarheid: menslike intelligensie word beperk deur die grootte en struktuur van die brein, en deur die doeltreffendheid van sosiale kommunikasie, terwyl KI moontlik kan skaal deur bloot meer hardeware by te voeg.
Geheue: veral werkende geheue, want by mense is dit beperk tot 'n paar stukke inligting op 'n slag.
Betroubaarheid: transistors is meer betroubaar as biologiese neurone, wat hoër akkuraatheid moontlik maak en minder oortolligheid vereis.
 Dupliseerbaarheid: anders as menslike breine, kan KI-sagteware en -modelle maklik gekopieer word.
Redigeerbaarheid: die parameters en interne werking van 'n KI-model kan maklik gewysig word, anders as die verbindings in 'n menslike brein.
Geheue deel en leer: KI's kan dalk leer uit die ervarings van ander KI's op 'n manier wat meer doeltreffend is as menslike leer.

 Intelligensie-ontploffing 
Volgens Bostrom kan 'n KI wat 'n kundige vlak fasiliteit by sekere sleutel sagteware-ingenieurstake het, 'n superintelligensie word as gevolg van sy vermoë om sy eie algoritmes rekursief te verbeter, selfs al is dit aanvanklik beperk in ander domeine wat nie direk relevant is tot ingenieurswese nie. Dit dui daarop dat 'n intelligensie-ontploffing eendag die mensdom onvoorbereid kan vang.

Die ekonoom Robin Hanson het gesê dat, om 'n intelligensie-ontploffing te loods, 'n KI baie beter in sagteware-innovasie moet word as die res van die wêreld saam, wat hy onwaarskynlik vind.

In 'n "vinnige opstyg"-scenario kan die oorgang van KAI na superintelligensie dae of maande neem. In 'n "stadige opstyg" kan dit jare of dekades neem, wat meer tyd laat vir die samelewing om voor te berei.

 Uitheemse verstand 
Superintelligensies word soms "‘n uitheemse verstand" genoem, met verwysing na die idee dat hul manier van dink en motiverings hemelsbreed van ons s'n kan verskil. Dit word oor die algemeen beskou as 'n bron van risiko, wat dit moeiliker maak om te voorspel wat 'n superintelligensie kan doen. Dit dui ook op die moontlikheid dat 'n superintelligensie mense nie by verstek baie waardeer nie. Om antropomorfisme te vermy, word superintelligensie soms beskou as 'n kragtige optimaliseerder wat die beste besluite neem om sy doelwitte te bereik.

Die veld van "meganistiese interpreteerbaarheid" het ten doel om die innerlike werking van KI-modelle beter te verstaan, wat ons moontlik toelaat om eendag tekens van misleiding en wanbelyning op te spoor.

 Perke 
Daar is aangevoer dat daar beperkings is op wat intelligensie kan bereik. Die chaotiese aard of tydskompleksiteit van sommige stelsels kan veral 'n superintelligensie se vermoë om sekere aspekte van die toekoms te voorspel, fundamenteel beperk, wat die onsekerheid daarvan verhoog.

 Gevaarlike vermoëns 
Gevorderde KI kan verbeterde patogene genereer, kuberaanvalle loods of mense manipuleer. Hierdie vermoëns kan deur mense misbruik word of deur die KI self uitgebuit word as dit nie in lyn is met menslike doelwitte nie. 'n Volskaalse superintelligensie kan verskeie maniere vind om 'n deurslaggewende invloed te kry as dit wil, maar hierdie gevaarlike vermoëns kan vroeër beskikbaar word, in swakker en meer gespesialiseerde KI-stelsels. Hulle kan onstabiliteit in die samelewing veroorsaak en kwaadwillige akteurs bemagtig.

 Sosiale manipulasie 
Geoffrey Hinton het gewaarsku dat die oorvloed van KI-gegenereerde teks, beelde en video's op kort termyn dit moeiliker sal maak om die waarheid uit te vind, wat hy sê outoritêre state kan uitbuit om verkiesings te manipuleer.  Sulke grootskaalse, persoonlike manipulasievermoëns kan die eksistensiële risiko van 'n wêreldwye "onomkeerbare totalitêre regime" verhoog. Dit kan ook deur kwaadwillige akteurs gebruik word om die samelewing te beskadig en dit wanfunksioneel te maak.

 Kuberaanvalle 
KI-geaktiveerde kuberaanvalle word toenemend as 'n huidige en kritieke bedreiging beskou. Volgens NAVO se tegniese direkteur van die kuberruimte, "neem die aantal aanvalle eksponensieel toe". KI kan ook defensief gebruik word, om kwesbaarhede voorkomend te vind en reg te stel, en bedreigings op te spoor.

KI kan die "toeganklikheid, sukseskoers, skaal, spoed, verskuiling en sterkte van kuberaanvalle verbeter", wat moontlik "beduidende geopolitieke onstuimigheid" kan veroorsaak as dit aanvalle meer as verdediging fasiliteer. Spekulatief kan sulke kuberkraakvermoëns deur 'n KI-stelsel gebruik word om uit sy plaaslike omgewing te breek, inkomste te genereer of wolkrekenaarhulpbronne te bekom.

 Verbeterde patogene 
Namate KI-tegnologie demokratiseer, kan dit makliker word om meer aansteeklike en dodelike patogene te ontwerp. Dit kan mense met beperkte vaardighede in sintetiese biologie in staat stel om by bioterrorisme betrokke te raak. Dubbelgebruik-tegnologie wat nuttig is vir medisyne kan hergebruik word om wapens te skep.

Byvoorbeeld, in 2022 het wetenskaplikes 'n KI-stelsel gewysig wat oorspronklik bedoel was om nie-giftige, terapeutiese molekules te genereer met die doel om nuwe medisyne te skep. Die navorsers het die stelsel aangepas sodat toksisiteit eerder beloon as gepenaliseer word. Hierdie eenvoudige verandering het die KI-stelsel in staat gestel om binne ses uur 40 000 kandidaatmolekules vir chemiese oorlogvoering te skep, insluitend bekende en nuwe molekules.

 KI-wapenwedloop 
Maatskappye, staatsakteurs en ander organisasies wat meeding om KI-tegnologie te ontwikkel, kan lei tot 'n wedloop wat veiligheidstandaarde in gevaar kan stel. Aangesien streng veiligheidsprosedures tyd en hulpbronne verg, loop projekte wat noukeuriger voortgaan die risiko om teenr minder noukeurige ontwikkelaars te kompeteer

KI kan gebruik word om militêre voordele te verkry deur dodelike outonome wapenstelsel, kuberoorlogvoering of outomatiese besluitneming. As 'n voorbeeld van outonome dodelike wapens, kan geminiaturiseerde hommeltuie laekoste-sluipmoord op militêre of burgerlike teikens fasiliteer, 'n scenario wat in die 2017-kortfilm Slaughterbots uitgelig is. KI kan gebruik word om 'n voorsprong in besluitneming te kry deur vinnig groot hoeveelhede data te ontleed en besluite vinniger en doeltreffender as mense te neem. Dit kan die spoed en onvoorspelbaarheid van oorlog verhoog, veral wanneer rekening gehou word met outomatiese vergeldingstelsels.

Tipes eksistensiële risiko’s 
'n Eksistensiële risiko is "een wat die voortydige uitwissing van intelligente lewe van die Aarde bedreig of die permanente en drastiese vernietiging van sy potensiaal vir wenslike toekomstige ontwikkeling".

Benewens uitwissingsrisiko, is daar die risiko dat die beskawing permanent in 'n gebrekkige toekoms opgesluit word. Een voorbeeld is 'n "waarde-insluiting": As die mensdom steeds morele blindekolle het wat soortgelyk is aan slawerny in die verlede, kan KI dit onomkeerbaar verskans en morele vooruitgang verhoed. KI kan ook gebruik word om die stel waardes van wie dit ontwikkel te versprei en te bewaar. KI kan grootskaalse toesig en indoktrinasie fasiliteer, wat gebruik kan word om 'n stabiele onderdrukkende wêreldwye totalitêre regime te skep.

Dit is moeilik of onmoontlik om betroubaar te evalueer of 'n gevorderde KI bewus is en tot watter mate. Maar as beswustemasjiene in die toekoms in massa geskep word, kan dit 'n eksistensiële katastrofe wees om aan 'n beskawingspad deel te neem wat hul welsyn onbepaald verwaarloos. Boonop kan dit moontlik wees om digitale "bewussyne" te ontwerp wat baie meer geluk kan voel as mense met minder hulpbronne, wat "superbegunstigdes" genoem word. So 'n geleentheid laat die vraag ontstaan hoe om die wêreld te deel en watter "etiese en politieke raamwerk" 'n wedersyds voordelige naasbestaan tussen biologiese en digitale "bewussyne" moontlik sal maak.

KI kan ook die mensdom se toekoms drasties verbeter. Toby Ord beskou die eksistensiële risiko as 'n rede om "met die nodige omsigtigheid voort te gaan", nie om KI te laat vaar nie. Max More noem KI 'n "eksistensiële geleentheid", wat die koste beklemtoon om dit nie te ontwikkel nie.

Volgens Bostrom kan superintelligensie help om die eksistensiële risiko van ander kragtige tegnologieë soos molekulêre nanotegnologie of sintetiese biologie te verminder. Dit is dus denkbaar dat die ontwikkeling van superintelligensie voor ander gevaarlike tegnologieë die algehele eksistensiële risiko sal verminder.

 KI-belyning 
Verdere inligting: KI-belyning

Die belyningsprobleem is die navorsingsprobleem van hoe om doelwitte, voorkeure of etiese beginsels betroubaar aan KI's toe te ken.

 Instrumentele konvergensie 
'n "Instrumentele" doelwit is 'n subdoelwit wat help om 'n agent se uiteindelike doelwit te bereik. "Instrumentele konvergensie" verwys na die feit dat sommige subdoelwitte nuttig is om feitlik enige uiteindelike doelwit te bereik, soos die verkryging van hulpbronne of selfbehoud.Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, bl. 483-492). Bostrom voer aan dat as 'n gevorderde KI se instrumentele doelwitte bots met die mensdom se doelwitte, die KI die mensdom kan benadeel om meer hulpbronne te bekom of te verhoed dat homself gesluit word, maar slegs as 'n manier om sy uiteindelike doel te bereik.

Stuart J. Russell voer aan dat 'n voldoende gevorderde masjien "selfbehoud sal hê, selfs al programmeer jy dit nie in nie ... as jy sê: 'Haal die koffie', kan dit nie die koffie haal as dit dood is nie. So as jy dit enige doelwilwit hoegenaamd gee,  het dit 'n rede om sy eie bestaan te bewaar om daardie doel te bereik."

 Weerstand teen veranderende doelwitte 
Selfs al is huidige doelwitgebaseerde KI-programme nie intelligent genoeg om te dink daaraan om programmeerderpogings te weerstaan om hul doelstrukture te verander nie, kan 'n voldoende gevorderde KI enige pogings om sy doelstruktuur te verander weerstaan, net soos 'n pasifis nie 'n pil wil drink wat maak dat hulle mense wil doodmaak nie. As die KI superintelligent was, sou dit waarskynlik daarin slaag om sy menslike operateurs uit te maneuvreer en te verhoed dat homself "afgeskakel" of herprogrammeer word met 'n nuwe doelwit. Dit is veral relevant vir waarde-insluitscenario's. Die veld van " korrigeerbaarheid " bestudeer hoe om agente te maak wat nie pogings sal weerstaan om hul doelwitte te verander nie.Nota "[...]Daar is verskeie belowende lyne van belyningsnavorsing wat verband hou om agente toe te laat om hul beloningsfunksies op te dateer om beter by ons s'n te pas. Een daarvan is die breë stel idees rondom "regstelbaarheid" - hoe om agente te maak wat nie veranderinge aan hul doelwitte weerstaan nie.[...]"

 Problematiek om doelwitte te spesifiseer 
In die "intelligente agent"-model kan 'n KI losweg beskou word as 'n masjien wat kies watter aksie ook al lyk om sy stel doelwitte, of "nutsfunksie" die beste te bereik. 'n Nutsfunksie gee aan elke moontlike situasie 'n telling wat die wenslikheid daarvan aan die agent aandui. Navorsers weet hoe om nutsfunksies te skryf wat beteken "verminder die gemiddelde netwerkvertraging in hierdie spesifieke telekommunikasiemodel" of "maksimeer die aantal beloningsklikke", maar weet nie hoe om 'n nutsfunksie te skryf vir "maksimeer menslike florering" nie; dit is ook nie duidelik of so 'n funksie sinvol en ondubbelsinnig bestaan nie. Verder sal 'n nutsfunksie wat sommige waardes uitdruk, maar nie ander nie, geneig wees om die waardes te vertrap wat die funksie nie weerspieël nie.Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.

'n Bykomende bron van kommer is dat KI "moet redeneer oor wat mense van plan is eerder as om opdragte letterlik uit te voer", en dat dit vloeiend menslike leiding moet kan vra as dit te onseker is oor wat mense wil hê.

 Belyning van superintelligensies 
Sommige navorsers glo dat die belyningsprobleem veral moeilik kan wees wanneer dit op superintelligensies toegepas word. Hul redenasie sluit in:

Namate KI-stelsels in vermoëns toeneem, groei die potensiële gevare verbonde aan eksperimentering. Dit maak iteratiewe, empiriese benaderings toenemend riskant.

Indien instrumentele doelwitkonvergensie plaasvind, mag dit slegs in voldoende intelligente agente gedoen word.

'n Superintelligensie kan onkonvensionele en radikale oplossings vir toegewysde doelwitte vind. Bostrom gee die voorbeeld dat as die doel is om mense te laat glimlag, 'n swak KI kan presteer soos bedoel, terwyl 'n superintelligensie kan besluit 'n beter oplossing is om "beheer oor die wêreld te neem en elektrodes in die gesigspiere van mense te plaas vir konstante , stralende glimlag."

'n Superintelligensie in die skepping kan 'n mate van bewustheid kry van wat dit is, waar dit in ontwikkeling is (opleiding, toetsing, ontplooiing, ens.), en hoe dit gemonitor word, en hierdie inligting gebruik om die hanteerders daarvan te mislei. Bostrom skryf dat so 'n KI-belyning kan voorgee om menslike inmenging te voorkom totdat dit 'n "beslissende strategiese voordeel" behaal wat dit toelaat om beheer te neem.

Om die interne werking te ontleed en die gedrag van huidige groot taalmodelle te interpreteer is moeilik. En dit kan selfs moeiliker wees vir groter en meer intelligente modelle.

Andersins vind sommiges redes om te glo dat superintelligensies beter in staat sal wees om moraliteit, menslike waardes en komplekse doelwitte te verstaan. Bostrom skryf, "'n Toekomstige superintelligensie beklee 'n epistemies superieure uitkykpunt: sy oortuigings is (waarskynlik, oor die meeste onderwerpe) meer geneig as ons s'n om waar te wees".

In 2023 het OpenAI 'n projek genaamd "Superalignment" begin om die belyning van superintelligensies in vier jaar op te los. Dit noem dit 'n besonder belangrike uitdaging, aangesien dit gesê het dat superintelligensie binne 'n dekade bereik kan word. Sy strategie behels die outomatisering van belyningsnavorsing met behulp van kunsmatige intelligensie.

 Kompleksiteit om 'n foutlose ontwerp te skep 
Artificial Intelligence: A Modern Approach, 'n wyd gebruikte voorgraadse KI-handboek, verklaar dat superintelligensie "die einde van die menslike ras kan beteken". Dit sê: "Byna enige tegnologie het die potensiaal om skade in die verkeerde hande te veroorsaak, maar met [superintelligensie] het ons die nuwe probleem dat die verkeerde hande dalk aan die tegnologie self behoort." Selfs al het die stelselontwerpers goeie bedoelings, twee probleme is algemeen vir beide KI en nie-KI rekenaarstelsels:

Die stelsel se implementering kan aanvanklik onopgemerkte maar later katastrofiese foute bevat. 'n Analogie is ruimtetuie: ten spyte van die wete dat foute in duur ruimtetuie moeilik reggemaak kan word ná lansering, kon ingenieurs histories nie verhoed dat katastrofiese foute voorkom nie.

Maak nie saak hoeveel tyd in voor-ontplooiing ontwerp ingesit word nie, 'n stelsel se spesifikasies lei dikwels tot onbedoelde gedrag die eerste keer dat dit 'n nuwe scenario teëkom. Microsoft se Tay het byvoorbeeld onaanstootlik opgetree tydens voor-ontplooiingstoetsing, maar is te maklik tot aanstootlike gedrag uitgelok wanneer dit met regte gebruikers in interaksie was.

KI-stelsels voeg 'n derde probleem by: selfs gegewe "korrekte" vereistes, foutvrye implementering en aanvanklike goeie gedrag, kan 'n KI-stelsel se dinamiese leervermoëns veroorsaak dat dit onbedoelde gedrag ontwikkel, selfs sonder onverwagte eksterne scenario's. 'n KI kan 'n poging om 'n nuwe generasie van homself te ontwerp gedeeltelik misluk en per ongeluk 'n opvolger KI skep wat kragtiger is as hyself, maar wat nie meer die mens-versoenbare morele waardes handhaaf wat in die oorspronklike KI vooraf geprogrammeer is nie. Vir 'n selfverbeterende KI om heeltemal veilig te wees, sal dit nie net foutvry moet wees nie, maar om opvolgstelsels te kan ontwerp wat ook foutvry is.

 Ortogonaliteitstesis
Sommige skeptici, soos Timothy B. Lee van Vox, argumenteer dat enige superintelligente program wat ons skep aan ons diensbaar sal wees, dat die superintelligensie (namate dit meer intelligent word en meer feite oor die wêreld leer) spontaan morele waarheid sal leer wat versoenbaar is met ons waardes en sy doelwitte dienooreenkomstig aanpas, of dat ons óf intrinsiek óf konvergent waardevol is vanuit die perspektief van 'n kunsmatige intelligensie.

Bostrom se "ortogonaliteitstesis" voer eerder aan dat, met sekere tegniese voorbehoude, byna enige vlak van "intelligensie" of "optimeringskrag" gekombineer kan word met byna enige uiteindelike doelwit. As 'n masjien die uitsluitlike doel gegee word om die desimale van pi op te tel, dan sal geen morele en etiese reëls dit keer om sy geprogrammeerde doel op enige manier te bereik nie. Die masjien kan alle beskikbare fisiese en inligtingsbronne gebruik om soveel as moontlik desimale pi te vind. Bostrom waarsku teen antropomorfisme: 'n mens sal probeer om hul projekte uit te voer op 'n wyse wat hy as redelik beskou, terwyl 'n kunsmatige intelligensie geen agting kan gee vir sy bestaan of vir die welsyn van mense rondom hom nie, maar eerder net omgee om die taak te voltooi.

Stuart Armstrong argumenteer dat die ortogonaliteitstesis logies volg uit die filosofiese "is-moet onderskeid"-argument teen morele realisme. Hy beweer dat selfs al is daar morele feite wat deur enige "rasionele" agent bewysbaar is, die ortogonaliteitstesis steeds geld: dit is steeds moontlik om 'n nie-filosofiese "optimeringsmasjien" te skep wat na een of ander eng doelwit kan streef, maar wat geen aansporing het om ontdek enige "morele feite" soos dié wat in die pad van doelwitvoltooiing kan staan. Nog 'n argument wat hy maak, is dat enige fundamenteel vriendelike KI onvriendelik gemaak kan word met veranderinge so eenvoudig soos om die nutsfunksie daarvan te ontken. Armstrong voer verder aan dat as die ortogonaliteitstesis vals is, daar 'n paar immorele doelwitte moet wees wat KI's nooit kan bereik nie, wat hy onwaarskynlik vind. Full text available here .

Skeptikus Michael Chorost verwerp uitdruklik Bostrom se ortogonaliteitstesis, met die argument dat "teen die tyd dat [die KI] in 'n posisie is om te dink dat hy die aarde met sonpanele teël, sal hy weet dat dit moreel verkeerd sou wees om dit te doen." Chorost voer aan dat "'n KI sekere state sal moet begeer en nie van ander hou nie. Vandag se sagteware het nie daardie vermoë nie - en rekenaarwetenskaplikes het nie 'n benul hoe om dit daar te kry nie. Sonder om te wil, is daar geen stukrag om iets te doen nie. Vandag se rekenaars kan nie wil selfs aanhou bestaan, laat staan nog die wêreld in sonpanele teël."

 Antropomorfiese argumente 
Antropomorfiese argumente veronderstel dat, soos masjiene meer intelligent word, hulle baie menslike eienskappe sal begin vertoon, soos moraliteit of 'n dors na mag. Alhoewel antropomorfiese scenario's algemeen in fiksie voorkom, verwerp die meeste geleerdes wat oor die eksistensiële risiko van kunsmatige intelligensie skryf dit.  In plaas daarvan word gevorderde KI-stelsels tipies as intelligente agente gemodelleer.

Die akademiese debat is tussen diegene wat bekommerd is dat KI die mensdom kan vernietig en diegene wat glo dat KI nie die mensdom sal vernietig nie. Albei kante het beweer dat die ander se voorspellings oor 'n KI se gedrag onlogiese antropomorfisme is. Die skeptici beskuldig voorstanders van antropomorfisme omdat hulle glo dat 'n KAI natuurlik mag begeer; voorstanders beskuldig sommige skeptici van antropomorfisme omdat hulle glo dat 'n KAI van nature menslike etiese norme sal waardeer.

Evolusionêre sielkundige Steven Pinker, 'n skeptikus, voer aan dat "KI-distopieë 'n parogiale alfa-manlike sielkunde op die konsep van intelligensie projekteer. Hulle neem aan dat bomenslik intelligente robotte doelwitte sal ontwikkel soos om hul meesters af te sit of die wêreld oor te neem"; miskien eerder "kunsmatige intelligensie sal natuurlik volgens vroulike lyne ontwikkel: ten volle in staat om probleme op te los, maar met geen begeerte om onskuldiges te vernietig of die beskawing te oorheers nie."  Facebook se direkteur van KI-navorsing, Yann LeCun, het gesê: "Mense het alles soorte dryfkragte wat hulle slegte dinge aan mekaar laat doen, soos die selfbehoudsinstink... Daardie dryfkragte is in ons brein geprogrammeer, maar daar is absoluut geen rede om robotte te bou wat dieselfde soort dryfkragte het nie.”

Ten spyte van ander verskille stem die x-risk-skool[ saam met Pinker dat 'n gevorderde KI nie die mensdom sal vernietig uit emosie soos wraak of woede nie, dat vrae oor bewussyn nie relevant is om die risiko te bepaal nie, en dat rekenaar stelsels het oor die algemeen nie 'n rekenkundige ekwivalent van testosteroon nie.  Hulle dink dat magsoekende of selfbehoudsgedrag in die KI na vore kom as 'n manier om sy ware doelwitte te bereik, volgens die konsep van instrumentele konvergensie.

 Ander bronne van risiko 
Bostrom en ander het gesê dat 'n wedloop om die eerste te wees om KAI te skep, kan lei tot kortpaaie in veiligheid, of selfs tot gewelddadige konflik.. Roman Yampolskiy en ander waarsku dat 'n kwaadwillige KAI deur ontwerp geskep kan word, byvoorbeeld deur 'n weermag, 'n regering, 'n sosiopaat of 'n korporasie, om voordeel te trek uit, te beheer of sekere groepe mense te onderwerp, soos in kubermisdaad, of dat 'n kwaadwillige KAI die doelwit kon kies om menslike lyding te verhoog, byvoorbeeld van daardie mense wat dit nie tydens die inligtingsontploffingsfase bygestaan het nie.:158

 Sien ook 
 Connor Leahy
 Kunsmatige intelligensie-wapenwedloop

 Notas 

 Verwysings 

Kategorie:Kunsmatige intelligensie