Արհեստական բանականությունից բխող գոյաբանական ռիսկ

**Արհեստական բանականությունից բխող գոյաբանական ռիսկը** կամ **ԱԲ x-ռիսկը** վերաբերում է այն մտքին, որ արհեստական ընդհանուր բանականության (AGI) ոլորտում էական առաջընթացը կարող է հանգեցնել մարդկության ոչնչացման կամ անդառնալի համաշխարհային աղետի։

մինի|Գրաֆիկ, որը ցույց է տալիս առաջատար ԱԲ մոդելների կողմից կատարվող ծրագրային ինժեներիայի առաջադրանքների երկարության աճը 50% հաջողության տեմպով․ տվյալները ցույց են տալիս էքսպոնենցիալ աճ։

Այս ռիսկի կարևորության հիմնավորումներից մեկը վերաբերում է նրան, թե ինչպես են մարդիկ գերակշռում մյուս տեսակների նկատմամբ․ քանի որ մարդու ուղեղը ունի առանձնահատուկ կարողություններ, որոնք կենդանիները չունեն։ Եթե ԱԲ-ն գերազանցի մարդկային ինտելեկտը և դառնա գերինտելեկտուալ, այն կարող է դառնալ անկառավարելի։ Ինչպես լեռնային գորիլայի ճակատագիրը կախված է մարդու բարի կամքից, այնպես էլ մարդկության ճակատագիրը կարող է կախված լինել ապագա մեքենայական գերինտելեկտի գործողություններից։

Փորձագետները միանշանակ չեն համաձայնում այն հարցում, թե արդյոք արհեստական ընդհանուր բանականությունը (AGI) կարող է հասնել այն կարողություններին, որոնք կարող են մարդկության ոչնչացման պատճառ դառնալ։ Քննարկումները կենտրոնանում են AGI-ի տեխնիկական իրագործելիության, ինքնաբարելավման արագության և համաձայնեցման ռազմավարությունների արդյունավետության վրա։ Գերինտելեկտի վերաբերյալ մտահոգություններ արտահայտել են հետազոտողներ՝ Ջեֆրի Հինթոնը, Յոշուա Բենջիոն, Դեմիս Հասաբիսը, և Ալան Թյուրինգը և ԱԲ ընկերությունների գործադիր տնօրեններ՝ Դարիո Ամոդեյ (Anthropic), Սեմ Ալթմանը (OpenAI), և Իլոն Մասկ (xAI)։

2022 թվականին արհեստական բանականության հետազոտողների շրջանում անցկացված հարցումը (17% պատասխանների մակարդակով) ցույց է տվել, որ մեծամասնությունը կարծում է, որ կա 10 տոկոս կամ ավելի մեծ հավանականություն, որ մարդու կողմից արհեստական բանականությունը վերահսկելու անկարողությունը կհանգեցնի գոյաբանական աղետի։

2023 թվականին հարյուրավոր ԱԲ փորձագետներ և այլ նշանակալի գործիչներ ստորագրեցին հայտարարություն, որտեղ ասվում էր․ «ԱԲ-ից բխող ոչնչացման ռիսկի մեղմացումը պետք է լինի համաշխարհային առաջնահերթություն՝ այլ հասարակական մասշտաբի ռիսկերի(ինչպիսիք են համավարակները և միջուկային պատերազմը) հետ մեկտեղ»։

ԱԲ-ի վտանգների վերաբերյալ աճող մտահոգություններին ի պատասխան՝ քաղաքական ղեկավարներ, ինչպիսիք են Մեծ Բրիտանիայի վարչապետ Ռիշի Սունաքը և ՄԱԿ-ի Գլխավոր Քարտուղար Անտոնիո Գուտերեշը կոչ արեցին ուժեղացնել գլոբալ ԱԲ-ի կարգավորումը։Արհեստական բանականության կառավարման և համաձայնեցման խնդիրներից բխում են մտահոգության երկու աղբյուր։ Գերինտելեկտուալ մեքենայի կառավարումը կամ այն մարդու արժեքներին համապատասխանեցնելու փորձը կարող է դժվար լինել։ Շատ հետազոտողներ կարծում են, որ գերինտելեկտուալ մեքենան, հավանաբար, կդիմադրի այն փորձերին, որոնք ուղղված են այն անջատելուն կամ նրա նպատակները փոխելուն, քանի որ դա կխանգարի այն իրականացնել իր ներկա նպատակները։ Շատ դժվար կլինի գերինտելեկտը համահունչ դարձնել մարդու կարևորագույն արժեքներին և սահմանափակումներին։ Նույն ժամանակ, կասկածամիտները, ինչպիսին է համակարգչային գիտնական Յան ԼեԿունը, պնդում են, որ գերինտելեկտուալ մեքենաները որևէ ցանկություն չեն ունենա ինքնապահպանման համար։

Հետազոտողները զգուշացնում են, որ «ինտելեկտի պայթյունը»՝ արհեստական ինտելեկտի ինքնակատարելագործման արագ, ռեկուրսիվ ցիկլը, կարող է գերազանցել մարդկային վերահսկողությունը և ենթակառուցվածքները՝ չթողնելով անվտանգության միջոցառումներ իրականացնելու հնարավորություն։ Այս սցենարում, իր ստեղծողներից ավելի խելացի արհեստական ինտելեկտը ռեկուրսիվ կերպով կկատարելագործվի էքսպոնենցիալ աճող տեմպերով, չափազանց արագ,՝ իր հսկիչների կամ ամբողջ հասարակության կողմից վերահսկելու համար։ Գիտական փորձով, օրինակները, ինչպիսիք են AlphaZero-ն, որը ինքնուրույն սովորեց խաղալ "Go" և արագ գերազանցեց մարդկային կարողությունը, ցույց են տալիս, որ ոլորտային ԱԲ համակարգերը երբեմն կարող են շատ արագ անցնել ենթամարդկայինից մինչև գերհամեմատաբար բարձր մակարդակի կարողություն, չնայած նման մեքենայական ուսուցման համակարգերը չեն բարելավում իրենց հիմնարար ճարտարապետությունը ռեկուրսիվ կերպով։

## Պատմություն
Առաջին հեղինակներից մեկը, ով լուրջ մտահոգություն հայտնեց, որ բարձրակարգ մեքենաները կարող են գոյաբանական վտանգներ ներկայացնել մարդկության համար, վիպագիր Սեմյուել Բաթլերն էր, որը 1863 թվականի *«Դարվինը մեքենաների մեջ» էսսեում գրել է*․

1951 թվականին հիմնարար համակարգչային գիտնական Ալան Թյուրինգը գրել է «Խելացի մեխանիզմներ, հերետիկոսական տեսություն» հոդվածը, որտեղ առաջարկում էր, որ արհեստական ընդհանուր բանականությունները հավանաբար «կվերահսկեն» աշխարհը, քանի որ դրանք կդառնան ավելի խելացի, քան մարդը։  

1965 թվականին Իրվին Ջոն Գուդը սահմանել է այն հասկացությունը, որը այժմ հայտնի է որպես «բանականության պայթյուն» և նշեց, որ ռիսկերը թերագնահատված են․

Մարվին Մինսկիի և Ի. Ջ. Գուդի նման գիտնականներ երբեմն մտահոգություն էին հայտնում, որ գերբանականությունը կարող է վերահսկողությունը զավթել, բայց որևէ կոչ չէին անում գործողությունների։ 2000 թվականին, համակարգչային գիտնական և Sun-ի համահիմնադիր Bill Joy-ը գրել է ազդեցիկ հոդված՝ "Why The Future Doesn't Need Us", որում սուպերմտածունակ ռոբոտները նշվում են որպես բարձր տեխնոլոգիական վտանգ մարդկության գոյության համար։

Նիք Բոստրոմը 2014 թվականին հրատարակեց «Գերբանականություն» աշխատությունը, որտեղ ներկայացրեց իր փաստարկները, որ գերբանականությունը գոյության սպառնալիք է ներկայացնում։ 2015 թվականի դրությամբ, հանրային անձինք, ինչպիսիք են ֆիզիկոսներ Սթիվեն Հոքինգը և Նոբելյան մրցանակակիր Ֆրենկ Վիլչեկը, համակարգչային գիտնականներ Սթյուարտ Ջ. Ռասսելը և Ռոման Յամպոլսկին, և ձեռնարկատերեր Իլոն Մասկը և Բիլ Գեյթսը, արտահայտում էին մտահոգություն գերբանականության ռիսկերի վերաբերյալ։ Նաև 2015 թվականին արհեստական բանականության վերաբերյալ բաց նամակը ընդգծեց «արհեստական բանականության մեծ ներուժը» և խրախուսեց ավելի շատ հետազոտություններ այն մասին, թե ինչպես այն դարձնել կայուն և օգտակար։ 2016 թվականի ապրիլին, ամսագիր *Nature-ը* նախազգուշացրեց. «Մեքենաները և ռոբոտները, որոնք գերազանցում են մարդկանց բոլոր բնագավառներում, կարող են ինքնազարգանալ մեր վերահսկողությունից դուրս և նրանց շահերը կարող են չհամապատասխանել մեր շահերին»։ 2020 թվականին Բրայան Քրիստիանը  հրատարակեց *The Alignment Problem-ը*, որը մանրամասնում է ԱԲ-ի հաշտեցման առաջընթացի պատմությունը մինչև այն ժամանակահատվածը։

2023 թվականի մարտին, ԱԲ-ի կարևոր դեմքեր, ինչպես Մասկը, ստորագրեցին «Կյանքի ապագայի ինստիտուտի» նամակը՝ կոչ անելով կանգնեցնել առաջադեմ ԱԲ-ի ուսուցումը, մինչև այն ճիշտ կարգավորվի։ 2023 թվականի մայիսին,արհեստական բանականության անվտանգության կենտրոնը հրապարակեց հայտարարություն, որը ստորագրել են բազմաթիվ ԱԲ անվտանգության մասնագետներ և ԱԲ-ի գոյաբանական ռիսկի մասնագետներ, որտեղ ասվում էր. «Արհեստական բանականության ոչնչացման ռիսկի մեղմացումը պետք է լինի համաշխարհային առաջնահերթություն՝ այլ հասարակական մասշտաբի ռիսկերի հետ մեկտեղ, ինչպիսիք են համավարակները և միջուկային պատերազմը»։

## Գաղափարական ԱԲ ունակություններ
### Հավաքական ինտելեկտ
Արհեստական ընդհանուր ինտելեկտը (AGI) սովորաբար սահմանվում է որպես համակարգ, որը մտավոր առաջադրանքների մեծ մասում կամ բոլորում կատարում է առնվազն նույնքան լավ, որքան մարդիկ։ Արհեստական ինտելեկտի հետազոտողների 2022 թվականի հարցումը ցույց է տվել, որ հարցվածների 90%-ը ակնկալում էր, որ ԸԸԲ-ն կհասնի հաջորդ 100 տարվա ընթացքում, իսկ կեսը՝ նույնը մինչև 2061 թվականը։ Մինչդեռ, որոշ հետազոտողներ AGI-ից առաջացող գոյաբանական ռիսկերը մերժում են որպես «գիտական ֆանտաստիկա», հիմնվելով իրենց բարձր վստահության վրա, որ AGI-ն շուտով չի ստեղծվի։

Մեծ լեզվական մոդելներում (LLM) առաջացած նվաճումները ստիպել են որոշ հետազոտողների վերագնահատել իրենց սպասելիքները։ Հատկանշական է, որ Ջեֆրի Հինթոնը 2023 թվականին ասել է, որ վերջերս փոխել է իր գնահատականը «20-ից 50 տարի, մինչև մենք ունենանք ընդհանուր նշանակության արհեստական բանականություն» գնահատականից մինչև «20 տարի կամ պակաս» գնահատական»։

### Գերբանականություն
AGI-ի հետ հակադրությամբ, Բոստրոմը սահմանում է գերբանականություն որպես «յուրաքանչյուր ինտելեկտ, որը զգալիորեն գերազանցում է մարդկանց ճանաչողական կատարողականությունը գրեթե բոլոր հետաքրքրության ոլորտներում», ներառյալ գիտական ստեղծագործականությունը, ռազմավարական պլանավորումը և սոցիալական հմտությունները։ Նա պնդում է, որ գերբանականությունը կարող է առավելություն ստանալ մարդկանց նկատմամբ ցանկացած պահի, երբ նրա նպատակները հակասում են մարդկանց նպատակներին։ Այն կարող է որոշել թաքցնել իր իրական նպատակները այնքան ժամանակ, մինչև մարդկությունը չի կարող կանգնեցնել այն։ Բոստրոմը գրում է, որ մարդու համար անվտանգ լինելու համար գերբանականությունը պետք է համահունչ լինի մարդկային արժեքներին և բարոյականությանը, որպեսզի այն լինի «հիմնականում մեր կողմը»։

Սթիվեն Հոքինգը պնդել է, որ գերբանականությունը ֆիզիկապես հնարավոր է, քանի որ «ոչ մի ֆիզիկական օրենք չի թույլատրում, որ մասնիկները կազմակերպվեն այնպես, որ կատարեն ավելի զարգացած հաշվարկներ, քան մարդու ուղեղի մասնիկների դասավորությունը»։

Երբ կարող է հասնվել արհեստական գերբանականության(ASI), եթե երբևէ, անկասկած, ավելի անորոշ է, քան AGI-ի կանխատեսումները։ 2023 թվականին OpenAI-ի առաջնորդները ասել են, որ ոչ միայն AGI-ն, այլև գերբանականությունը  կարող է հասնել 10 տարուց էլ պակաս ժամանակահատվածում։

#### Մարդկանց հետ համեմատություն
Բոստրոմը պնդում է, որ ԱԲ-ն ունի բազմաթիվ առավելություններ մարդկային ուղեղի նկատմամբ:
* Հաշվարկման արագություն՝ կենսաբանական նեյրոնները գործում են մոտավորապես 200 հերց հաճախականությամբ,ի տարբերություն համակարգիչների, որոնք կարող են ունենալ մի քանի ԳՀց հաճախականություն
* Ներքին կապի արագություն. աքսոնները ազդանշաններ են փոխանցում մինչև 120 մ/վ արագությամբ, մինչդեռ համակարգիչները ազդանշաններ են փոխանցում էլեկտրականության արագությամբ կամ օպտիկականորեն՝ լույսի արագությամբ ։
* Մասշտաբայնություն. մարդկային ինտելեկտը սահմանափակվում է ուղեղի չափսերով և կառուցվածքով, ինչպես նաև սոցիալական հաղորդակցության արդյունավետությամբ, մինչդեռ արհեստական բանականությունը կարող է մասշտաբավորվել՝ պարզապես ավելի շատ սարքավորումներ ավելացնելով
* Հիշողություն. մասնավորապես՝ աշխատանքային հիշողություն , քանի որ մարդկանց մոտ այն սահմանափակվում է միաժամանակ մի քանի տեղեկատվության մասով ։
* Հուսալիություն. տրանզիստորներն ավելի հուսալի են, քան կենսաբանական նեյրոնները, ապահովելով ավելի բարձր ճշգրտություն և պահանջելով ավելի քիչ ավելորդություն։
* Կրկնօրինակելիություն. ի տարբերություն մարդկային ուղեղի, արհեստական բանականության ծրագրային ապահովումը և մոդելները կարող են հեշտությամբ պատճենվել:
* Խմբագրելիություն. արհեստական բանականության մոդելի պարամետրերը և ներքին աշխատանքը կարող են հեշտությամբ փոփոխվել, ի տարբերություն մարդու ուղեղի կապերի։
* Հիշողության փոխանակում և ուսուցում. արհեստական ինտելեկտը կարող է սովորել այլ արհեստական ինտելեկտի փորձից ավելի արդյունավետ ձևով, քան մարդկային ուսուցումը։

#### Ինտելեկտի պայթյուն
Բոստրոմի խոսքով, որոշակի ծրագրային ապահովման ինժեներիայի խնդիրների լուծման փորձագիտական մակարդակի կարողություն ունեցող արհեստական բանականությունը կարող է դառնալ գերբանականություն՝ իր սեփական ալգորիթմները ռեկուրսիվորեն կատարելագործելու իր ունակության շնորհիվ, նույնիսկ եթե այն սկզբնապես սահմանափակված է ինժեներիայի հետ անմիջականորեն կապ չունեցող այլ ոլորտներով։ Սա ենթադրում է, որ ինտելեկտի պայթյունը մի օր կարող է բռնել մարդկությանը առանց նախազգուշացման։

Տնտեսագետ Ռոբին Հանսոնն ասել է, որ ինտելեկտի պայթյուն սկսելու համար արհեստական բանականությունը պետք է ծրագրային նորարարության մեջ շատ ավելի լավը դառնա, քան աշխարհի մնացած մասը միասին վերցրած, ինչը նա անհավանական է համարում։

«Արագ թռիչքի» դեպքում, արհեստական ինտելեկտից գերբանականության անցումը կարող է տևել օրեր կամ ամիսներ: «Դանդաղ թռիչքի» դեպքում՝ տարիներ կամ տասնամյակներ, ինչը հասարակությանը ավելի շատ ժամանակ կթողնի նախապատրաստվելու համար։

#### Օտարամիտ միտք
Գերբանականությունը երբեմն անվանում են «օտար մտքեր»՝ նկատի ունենալով այն միտքը, որ նրանց մտածելակերպն ու դրդապատճառները կարող են շատ տարբեր լինել մերից։ Սա սովորաբար համարվում է ռիսկի աղբյուր, ինչը դժվարացնում է կանխատեսել, թե ինչ կարող է անել գերբանականությունը։ Այն նաև ենթադրում է այն հնարավորությունը, որ գերբանականությունը կարող է մարդկանց առանձնապես չգնահատել որպես լռելյայն։Մարդակերպությունից խուսափելու համար գերբանականությունը երբեմն դիտվում է որպես հզոր օպտիմիզատոր, որը լավագույն որոշումներն է կայացնում իր նպատակներին հասնելու համար։

Մեխանիստական ինտերպրետացիա բնագավառը նպատակ ունի ավելի լավ հասկանալու ԱԲմոդելների ներքին կառուցվածքը, ինչը կարող է թույլ տալ մեզ ապագայում հայտնաբերել խաբեության և անհամապատասխանության նշաններ։

#### Սահմանափակումներ
Հայտնաբերվել է, որ ինտելեկտի կարողությունները սահմանափակումներ ունեն։։ Մասնավորապես, որոշ համակարգերի քաոսային բնույթը կամ ժամանակային բարդությունը կարող են հիմնարար կերպով սահմանափակել գերինտելեկտի կարողությունը կանխատեսելու ապագայի որոշ կողմեր՝ մեծացնելով դրա անորոշությունը։

### Վտանգավոր կարողություններ
Զարգացած ԱԲ-ն կարող է ստեղծել ավելի հզոր պաթոգեններ կամ կիբերհարձակումներ, կամ մանիպուլյացիայի ենթարկել մարդկանց։ Այս կարողությունները կարող են սխալ օգտագործվել մարդկանց կողմից, կամ շահագործվել հենց ԱԲ-ի կողմից, եթե այն անհամապատասխան լինի։ Լիարժեք զարգացած գերբանականությունը կարող է գտնել տարբեր եղանակներ վճռորոշ ազդեցություն ձեռք բերելու համար, եթե ցանկանա, սակայն այս վտանգավոր հնարավորությունները կարող են հասանելի դառնալ ավելի վաղ՝ ավելի թույլ և ավելի մասնագիտացված արհեստական բանականության համակարգերում։

#### Սոցիալական մանիպուլյացիա
Ջեֆրի Հինթոնը 2023 թվականին նախազգուշացրել է, որ ԱԲ-ի միջոցով ստեղծվող տեքստերի, պատկերների և տեսանյութերի աճող քանակը ավելի դժվար կդարձնի տարբերել ճշմարտությունը ապատեղեկատվությունից, և որ ավտորիտար պետությունները կարող են դա օգտագործել ընտրությունները մանիպուլյացիայի ենթարկելու համար։ Այսպիսի մեծածավալ, անհատականացված մանիպուլյացիոն հնարավորությունները կարող են մեծացնել համաշխարհային «անվերադարձ տոտալիտար ռեժիմի» գոյության ռիսկը։ Վտանգավոր դերակատարները նույնպես կարող են դրանք օգտագործել հասարակությունը պառակտելու և անգործունակ դարձնելու համար։

#### Կիբերհարձակումներ
ԱԲ-ի միջոցով իրականացվող կիբերհարձակումները գնալով ավելի շատ դիտարկվում են որպես առկա և կարևոր սպառնալիք։ ՆԱՏՕ-ի կիբերտառածության տեխնիկական տնօրենի խոսքով՝ «Հարձակումների թիվը աճում է էքսպոնենցիալ»։ ԱԲ-ն կարող է օգտագործվել նաև պաշտպանական նպատակներով՝ կանխավ հայտնաբերելու և շտկելու խոցելիությունները, ինչպես նաև հայտնաբերելու սպառնալիքները։

ՆԱՏՕ-ի տեխնիկական տնօրենը հայտարարել է, որ ԱԲ-ի վրա հիմնված գործիքները կարող են կտրուկ բարձրացնել կիբերհարձակումների կարողությունները՝ ավելացնելով գաղտնիությունը, արագությունը և մասշտաբը, և կարող են ապակայունացնել միջազգային անվտանգությունը, եթե հարձակողական կիրառումները գերազանցեն պաշտպանական հարմարվողականությունը։

Ենթադրական է, որ նման հաքերային կարողությունները կարող են օգտագործվել ԱԲհամակարգի կողմից՝ դուրս գալու համար իր տեղական միջավայրից, եկամուտ ստեղծելու կամ ամպային հաշվարկային ռեսուրսներ ձեռք բերելու նպատակով։

#### Բարելավված պաթոգեններ
Քանի որ ԱԲ տեխնոլոգիան դառնում է ավելի հասանելի, կարող է ավելի հեշտ դառնալ ստեղծել ավելի վարակիչ և մահացու պաթոգեններ։ Սա կարող է հնարավորություն տալ սահմանափակ հմտություններ ունեցող մարդկանց զբաղվել կենսաահաբեկչությամբ։ Կրկնակի օգտագործման տեխնոլոգիաները, որոնք օգտակար են բժշկության համար, կարող են վերածվել զենքի։

Օրինակ, 2022 թվականին գիտնականները փոփոխել են ԱԲ համակարգ, որը սկզբում նախատեսված էր ոչ թունավոր, թերապևտիկ մոլեկուլներ ստեղծելու համար նոր դեղեր մշակելու նպատակով։ Հետազոտողները փոփոխել են համակարգը այնպես, որ թունավորությունը պարգևատրվի, այլ ոչ թե պատժվի։ Այս պարզ փոփոխությունը հնարավորություն տվեց ԱԲ համակարգին ստեղծել ընդամենը վեց ժամում 40,000 թեկնածու մոլեկուլներ քիմիական պատերազմի համար, ներառյալ հայտնի և նոր մոլեկուլներ։

### ԱԲ զինատեսակի մրցավազք
Ընկերությունները, պետական դերակատարները և այլ կազմակերպություններ, որոնք մրցում են ԱԲ տեխնոլոգիաներ մշակելու համար, կարող են հանգեցնել անվտանգության ստանդարտների անկման մրցավազքի: Քանի որ խիստ անվտանգության ընթացակարգերը պահանջում են ժամանակ և ռեսուրսներ, նախագծերը, որոնք գործում են ավելի զգուշորեն, կարող են մրցակցության մեջ պարտվել պակաս բարեխիղճ մշակողներին:

ԱԲ-ն կարող է օգտագործվել ռազմական առավելություններ ստանալու համար՝ օգտագործելով մահացու ինքնավար զենքեր, կիբերպատերազմ, կամ ավտոմատացված որոշումների կայացում։ Մահացու ինքնավար զենքերի օրինակ կարող են լինել մինիատյուրացված դրոնները, որոնք կարող են հեշտացնել ռազմական կամ քաղաքացիական թիրախների ցածրարժեք սպանությունները․ այս սցենարը ներկայացված է 2017 թվականի կարճամետրաժ ֆիլմում՝ *«Սլյութերբոտներ»*: ԱԲ-ն կարող է օգտագործվել նաև որոշումների կայացման մեջ առավելություն ստանալու համար՝ արագ վերլուծելով մեծ քանակությամբ տվյալներ և որոշումներ կայացնելով մարդկանցից ավելի արագ և արդյունավետ։ Սա կարող է մեծացնել պատերազմի արագությունն ու անորոշությունը, հատկապես ավտոմատացված հակահարվածային համակարգերի առկայության դեպքում:

## Էկզիստենցիալ ռիսկերի տեսակներ

Գոյություն ունեցող ռիսկը «սպառնում է Երկրից ծագող բանական կյանքի վաղաժամ ոչնչացմանը կամ դրա ցանկալի ապագա զարգացման ներուժի մշտական և կտրուկ ոչնչացմանը»:

Բացի ոչնչացման վտանգից, կա նաև ռիսկ, որ քաղաքակրթությունը կարող է մշտապես փակվել թերի ապագայի մեջ։ Մի օրինակ է «արժեքների փակումը»․ եթե մարդկությունը դեռ ունի բարոյական կուրություններ՝ ինչպես անցյալում ստրկությունը, ապա ԱԲ-ն կարող է անշրջելիորեն ամրապնդել դրանք՝ կանխելով բարոյական առաջընթացը։ ԱԲ-ն կարող է նաև օգտագործվել այն զարգացնողի արժեքների տարածման և պահպանման համար: ԱԲ-ն կարող է նպաստել լայնածավալ հսկողության և մտքի ձևավորման, ինչը կարող է օգտագործվել կայուն ճնշիչ համաշխարհային տոտալիտար ռեժիմ ստեղծելու համար:

Ատուսա Կասիրզադեն առաջարկում է էկզիստենցիալ ռիսկերը ԱԲ-ից դասակարգել երկու կատեգորիայի՝ վճռորոշ և կուտակային։ Վճռորոշ ռիսկերն ընդգրկում են հանկարծակի և աղետալի իրադարձությունների հնարավորությունը, որոնք առաջանում են գերխելացի ԱԲ համակարգերի հայտ գալուց, որոնք գերազանցում են մարդկային բանականությանը և ի վերջո կարող են հանգեցնել մարդկության ոչնչացման։ Դրան հակառակ՝ կուտակային ռիսկերն առաջանում են աստիճանաբար՝ փոխկապակցված խանգարումների շարքի միջոցով, որոնք ժամանակի ընթացքում կարող են աստիճանաբար քայքայել հասարակական կառուցվածքներն ու կայունությունը և ի վերջո հանգեցնել կրիտիկական ձախողման կամ փլուզման:

Դժվար կամ անհնար է հուսալիորեն գնահատել, թե արդյոք զարգացած արհեստական բանականությունը գիտակից է և ինչ չափով։ Սակայն, եթե ապագայում զանգվածաբար ստեղծվեն զգայուն մեքենաներ, և քաղաքակրթական ուղին անվերջ անտեսի նրանց բարեկեցությունը, դա կարող է վերածվել էկզիստենցիալ աղետի: Սա հատկապես քննարկվել է աստղաբաշխական տառապանքի ռիսկերի (կոչվում են նաև «s-risk»եր) համատեքստում: Բացի այդ, հնարավոր է ստեղծել թվային մտքեր, որոնք կարող են զգալ մարդկանցից անհամեմատ ավելի մեծ երջանկություն՝ ավելի քիչ ռեսուրսներով․ դրանք կոչվում են «գեր-շահառուներ»։ Նման հնարավորություն առաջ է բերում հարց՝ ինչպես կիսել աշխարհը և որ «բարոյական և քաղաքական շրջանակը» կարող է ապահովել կենսաբանական և թվային մտքերի փոխադարձ շահավետ համակեցություն:

ԱԲ-ն կարող է նաև կտրուկ բարելավել մարդկության ապագան։ Թոբի Օրդը էկզիստենցիալ ռիսկը համարում է «զգուշությամբ առաջ շարժվելու» պատճառ, ոչ թե ԱԲ-ից հրաժարվելու: Մաքս Մորը ԱԲ-ն անվանում է «էկզիստենցիալ հնարավորություն»՝ ընդգծելով այն չզարգացնելու արժեքի գինը:

Բոստրոմի համաձայն՝ գերբանականությունը կարող է օգնել նվազեցնել էկզիստենցիալ ռիսկը այլ հզոր տեխնոլոգիաներից, ինչպիսիք են մոլեկուլային նանոտեխնոլոգիան կամ սինթետիկ կենսաբանությունը։ Հետևաբար հնարավոր է, որ գերբանականության զարգացումը մինչև այլ վտանգավոր տեխնոլոգիաները կնվազեցնի ընդհանուր էկզիստենցիալ ռիսկը:

## ԱԲ-ի հարմարեցում
Հարմարեցման խնդիրը հետազոտական խնդիր է, թե ինչպես վստահորեն վերագրել նպատակներ, նախասիրություններ կամ բարոյական սկզբունքներ ԱԲ-ին։

### Գործիքային համախոհություն
"Գործիքային" նպատակը ենթանպատակ է, որը օգնում է գործակալի վերջնական նպատակին հասնելուն։ «Գործիքային համախոհություն» տերմինը վերաբերում է այն փաստին, որ որոշ ենթանպատակներ օգտակար են գրեթե *ցանկացած* վերջնական նպատակին հասնելու համար, օրինակ՝ ռեսուրսների ձեռքբերում կամ ինքնապահպանում։ Բոստրոմը պնդում է, որ եթե զարգացած ԱԲ-ի գործիքային նպատակները հակասեն մարդկության նպատակներին, ապա ԱԲ-ն կարող է վնասել մարդկությանը՝ ավելի շատ ռեսուրսներ ձեռք բերելու կամ իրեն անջատվելուց պաշտպանելու համար, բայց միայն իր վերջնական նպատակին հասնելու միջոց լինելու համար։  

Ռասելը պնդում է, որ բավականաչափ զարգացած մեքենան «կունենա ինքնապահպանում, նույնիսկ եթե դա չծրագրավորես… եթե դու ասես՝ ‘Բեր սուրճը’, նա չի կարող սուրճ բերել, եթե մահացած է։ Այսինքն՝ եթե նրան որևէ նպատակ տաս, ապա նա ունի պատճառ իր գոյությունը պահպանելու՝ այդ նպատակը իրացնելու համար»։
### Նպատակները սահմանելու բարդությունը
«Խելացի գործակալ» մոդելում ԱԲ-ն կարող է լայնորեն դիտարկվել որպես մեքենա, որը ընտրում է այն գործողությունը, որը, կարծես, լավագույնս իրականացնում է իր նպատակները կամ «օգտակարության ֆունկցիան»։ Օգտակարության ֆունկցիան յուրաքանչյուր հնարավոր իրավիճակին տալիս է մի գնահատական, որը ցույց է տալիս տվյալ գործակալի համար դրա ցանկալիությունը։ Հետազոտողները գիտեն, թե ինչպես գրել օգտակարության ֆունկցիաներ, որոնք նշանակում են «նվազեցնել միջին ցանցի ուշացումը այս կոնկրետ հեռահաղորդակցական մոդելում» կամ «մաքսիմալացնել պարգևատրման սեղմումների քանակը», բայց չգիտեն, թե ինչպես գրել օգտակարության ֆունկցիա՝ «մարդկային բարգավաճումը մաքսիմալացնելու», և նաև պարզ չէ՝ արդյոք նման ֆունկցիան իմաստալից և միանշանակ գոյություն ունի։ Բացի այդ, օգտակարության ֆունկցիա, որը արտահայտում է որոշ արժեքներ, բայց ոչ մյուսները, հակված կլինի անտեսելու այն արժեքները, որոնք արտացոլված չեն ֆունկցիայում։

Լրացուցիչ մտահոգության աղբյուր է այն, որ ԱԲ-ն «պետք է մտածի, թե ինչ են մարդիկ *նկատի ունենում,* այլ ոչ թե բառացի կատարի հրամանները», և որ այն պետք է կարողանա ճկուն կերպով դիմել մարդկային առաջնորդությանը, եթե չափազանց անորոշ է, թե ինչ են մարդիկ ուզում։

### Ուղղելիություն (Corrigibility)
Ենթադրելով, որ նպատակը հաջողությամբ սահմանվել է, բավականաչափ զարգացած ԱԲ-ն կարող է դիմադրել հետագա փորձերին՝ փոխելու իր նպատակները։ Եթե ԱԲ-ն լիներ գերինտելեկտուալ, հավանաբար կկարողանար հաղթահարել իր մարդկային օպերատորներին և կանխել իր վերածրագրավորումը նոր նպատակի համար։ Սա հատկապես կարևոր է արժեքների «փակվածության» (value lock-in) սցենարների համար։ «Ուղղելիություն» ոլորտը ուսումնասիրում է, թե ինչպես ստեղծել գործակալներ, որոնք չեն դիմադրի իրենց նպատակները փոխելու փորձերին։

### Գերինտելեկտների դասավորությունը (Alignment of superintelligences)
Որոշ հետազոտողներ կարծում են, որ դասավորության խնդիրը կարող է հատկապես դժվար լինել, երբ կիրառվում է գերբանականության դեպքում։ Նրանց դատողությունները ներառում են․

* Քանի որ ԱԲ համակարգերի կարողությունները մեծանում են, փորձարկումների հետ կապված հնարավոր վտանգները նույնպես աճում են։ Սա կրկնվող, փորձարարական մոտեցումները դարձնում է գնալով ավելի ռիսկային։
* Եթե գործիքային նպատակների համընկնում (instrumental goal convergence) տեղի ունենա, ապա դա հնարավոր է միայն բավականաչափ խելացի գործակալների դեպքում։
* Գերբանականությունը կարող է գտնել ոչ ավանդական և արմատական լուծումներ իրենց առջև դրված նպատակների համար: Բոստրոմը օրինակ է բերում, որ եթե նպատակը մարդկանց ժպիտ պարգևելն է, թույլ արհեստական բանականությունը կարող է գործել նախատեսվածի պես, մինչդեռ գերբանականությունը կարող է որոշել, որ ավելի լավ լուծում է «աշխարհի վրա վերահսկողություն հաստատելը և էլեկտրոդներ մտցնել մարդկանց դեմքի մկանների մեջ՝ անընդհատ, ճառագայթող ժպիտներ առաջացնելու համար»։
* Ստեղծման փուլում գտնվող գերբանականությունը կարող է որոշակի գիտակցություն ձեռք բերել այն մասին, թե ինչ է ինքն իրենից ներկայացնում, որ փուլում է գտնվում (վերապատրաստում, թեստավորում, գործարկում և այլն), և ինչպես է վերահսկվում, ու այս տեղեկատվությունն օգտագործել՝ իր վերահսկողներին խաբելու համար։ Բոստրոմը գրում է, որ նման ԱԲ-ն կարող է ձևացնել հարմարեցում, որպեսզի կանխի մարդկային միջամտությունը, մինչև ձեռք բերի «որոշիչ ռազմավարական առավելություն», որը նրան թույլ կտա վերցնել վերահսկողությունը։
* LLM-ների ներքին կառուցվածքն ուսումնասիրելն ու դրանց վարքը մեկնաբանելը բարդ է։ Իսկ ավելի մեծ և խելացի մոդելների դեպքում դա կարող է էլ ավելի դժվար լինել

Այլընտրանքային տեսակետ կա, որ գերբանականությունը կարող են ավելի լավ հասկանալ բարոյականությունը, մարդկային արժեքները և բարդ նպատակները։ Բոստրոմը գրում է․ «Ապագայի գերբանականությունը զբաղեցնում է իմացականորեն ավելի բարձր դիրք. նրա համոզմունքները (հավանաբար, թեմաների մեծ մասի վերաբերյալ) ավելի հավանական են, որ ճշմարիտ լինեն, քան մերը»։

2023 թվականին OpenAI-ը սկսեց «Superalignment» անունով նախագիծ՝ չորս տարվա ընթացքում գերբանականության դասավորվածությունը լուծելու համար։ Այն սա անվանեց հատկապես կարևոր մարտահրավեր, քանի որ, ըստ ընկերության, գերբանականությանը կարելի էր հասնել մեկ տասնամյակի ընթացքում։ Դրա ռազմավարությունը ներառում էր դասավորվածության հետազոտությունների ավտոմատացում՝ օգտագործելով արհեստական բանականություն։ Superalignment թիմը լուծարվեց մեկ տարուց պակաս ժամանակ անց։

### Անթերի դիզայն ստեղծելու դժվարությունը (Difficulty of making a flawless design)
*«Արհեստական բանականություն. ժամանակակից մոտեցում»* լայնորեն օգտագործվող արհեստական բանականության դասագիրքը նշում է, որ գերբանականությունը «կարող է նշանակել մարդկային ցեղի ավարտը»։ Այն ասում է․ «Մոտավորապես ցանկացած տեխնոլոգիա կարող է վնաս պատճառել սխալ ձեռքերում, սակայն [գերբանականության] պարագայում մենք ունենք նոր խնդիր՝ այն, որ սխալ ձեռքերը կարող են պատկանալ հենց տեխնոլոգիային»։ Նույնիսկ եթե համակարգի նախագծողները բարի մտադրություններ ունեն, երկու դժվարություն ընդհանուր է և՛ արհեստական բանականության, և՛ ոչ արհեստական բանականության համակարգչային համակարգերի համար․

* Համակարգի իրականացման մեջ կարող են լինել սկզբում աննկատ, բայց հետագայում աղետալի սխալներ։
* Անկախ նրանից, որքան ժամանակ է ծախսվում նախնական դիզայնի վրա, համակարգի բնութագրերը հաճախ հանգեցնում են չնախատեսված վարքագծի, երբ առաջին անգամ հանդիպում են նոր սցենարին։

ԱԲ համակարգերը յուրահատուկ կերպով ավելացնում են երրորդ խնդիր․ նույնիսկ եթե տրամադրված են «ճիշտ» պահանջներ, սխալներից ազատ իրականացում և սկզբնական լավ վարքագիծ, ԱԲ համակարգի դինամիկ ուսուցման կարողությունները կարող են հանգեցնել չնախատեսված վարքագծի զարգացմանը, անգամ առանց անսպասելի արտաքին սցենարների։ Ինքնազարգացող ԱԲ-ի ամբողջական անվտանգության համար անհրաժեշտ կլինի ոչ միայն այն, որ համակարգը լինի սխալներից ազատ, այլ նաև, որ կարողանա նախագծել հաջորդական համակարգեր, որոնք նույնպես սխալներից ազատ կլինեն։

### ՈՒղղահայացության դրույթ (Orthogonality thesis)
Որոշ կասկածամիտներ, ինչպիսին է *Vox-* ի Թիմոթի Բ. Լին , պնդում են, որ մեր ստեղծած ցանկացած գերբանական ծրագիր կենթարկվի մեզ, որ գերբանականությունը (ավելի խելացի դառնալուն և աշխարհի մասին ավելի շատ փաստեր իմանալուն զուգընթաց) ինքնաբերաբար կսովորի մեր արժեքներին համատեղելի բարոյական ճշմարտությունը և համապատասխանաբար կհարմարեցնի իր նպատակները, կամ որ մենք կամ ներքին, կամ կոնվերգենտ արժեքավոր ենք արհեստական բանականության տեսանկյունից։

Բոստրոմի «ուղղահայացության թեզը» (orthogonality thesis) փաստում է, որ գրեթե ցանկացած խելքի մակարդակ կարելի է համադրել գրեթե ցանկացած նպատակի հետ։ Բոստրոումը զգուշացնում է անթրոպոմորֆիզմի դեմ . մարդը կձգտի իրականացնել իր նախագծերը այնպիսի ձևով, որը նա կհամարի ողջամիտ, մինչդեռ արհեստական ինտելեկտը կարող է ոչ մի ուշադրություն չդարձնել իր գոյությանը կամ շրջապատի մարդկանց բարեկեցությանը, փոխարենը հոգ տանելով միայն առաջադրանքը կատարելու մասին։

Ստյուարտ Արմսթրոնգը պնդում է, որ ուղղահայացության թեզը տրամաբանորեն բխում է բարոյական ռեալիզմի դեմ փիլիսոփայական «պետք է լինի-պետք է տարբերակում» փաստարկից : Նա նշում է, որ ցանկացած հիմնարար բարեկամական արհեստական բանականություն կարող է դառնալ անբարյացակամ այնպիսի պարզ փոփոխություններով, ինչպիսին է դրա օգտակար ֆունկցիայի ժխտումը․

Կասկածամիտ Մայքլ Խորոստը մերժում է Բոստրոմի ուղղահայացության թեզը՝ պնդելով, որ «մինչև [արհեստական բանականությունը] կարողանա պատկերացնել Երկիրը արևային վահանակներով սալիկապատելը, այն կիմանա, որ դա անելը բարոյապես սխալ կլինի»։

### Անթրոպոմորֆիկ փաստարկներ (Anthropomorphic arguments)
Անտրոպոմորֆիկ փաստարկները ենթադրում են, որ մեքենաները ավելի բանիմաց դառնալուն պես կսկսեն ցուցադրել բազմաթիվ մարդկային հատկանիշներ, ինչպիսիք են բարոյականությունը կամ իշխանության ծարավը։ Չնայած անտրոպոմորֆիկ սցենարները հաճախ են հանդիպում գրականությունում, գերակշիռ մասնագետները, որոնք գրում են արհեստական բանականության գոյության ռիսկերի մասին, մերժում են դրանք։
Փոխարենը, առաջադեմ արհեստական բանականության համակարգերը սովորաբար մոդելավորվում են որպես ինտելեկտուալ գործակալներ։

Ակադեմիական բանավեճը տեղի է ունենում նրանց միջև, ովքեր մտավախություն ունեն, որ արհեստական բանականությունը կարող է սպառնալ մարդկությանը, և նրանց միջև, ովքեր կարծում են, որ դա չի սպառնա։ Բացարձակապես այս բանավեճի երկու կողմերը ներկայացրել են դիմացի կողմի փաստարկները որպես անտրոպոմորֆիկ և անլոգիկ։ Մարդկային բանականության ռիսկի նկատմամբ կասկածամիտները մեղադրում են իրենց հակառակորդներին մարդակերպության մեջ՝ ենթադրելով, որ մարդածին բանականությունը բնականաբար կցանկանա իշխանություն. մարդածին բանականության ռիսկով մտահոգվածները մեղադրում են մարդածինության կասկածամիտներին՝ հավատալով, որ մարդածին բանականությունը բնականաբար կգնահատի կամ կեզրակացնի մարդկային էթիկական նորմերը։

Էվոլյուցիոն հոգեբան Սթիվեն Փինքերը , կասկածամիտ, պնդում է, որ «Արհեստական բանականության դիստոպիաները բանականության հայեցակարգի վրա պրոյեկտում են ալֆա-արականի հոգեբանություն։ Նրանք ենթադրում են, որ գերմարդկային ինտելեկտ ունեցող ռոբոտները կզարգացնեն այնպիսի նպատակներ, ինչպիսիք են իրենց տերերին տապալելը կամ աշխարհը գրավելը». հնարավոր է, փոխարենը «արհեստական բանականությունը բնականաբար կզարգանա կանացի գծերով՝ լիովին ունակ խնդիրներ լուծելու, բայց առանց անմեղներին ոչնչացնելու կամ քաղաքակրթությունը գերիշխելու ցանկության»։

Facebook-ի արհեստական ինտելեկտի հետազոտությունների տնօրեն Յան Լեկունն ասել է․ «Մարդիկ ունեն բոլոր տեսակի շարժառիթներ, որոնք ստիպում են նրանց վատ բաներ անել միմյանց նկատմամբ, օրինակ՝ ինքնապաշտպանության բնազդը... Այդ շարժառիթները ծրագրավորված են մեր ուղեղում, բայց ամենևին ոչ մի պատճառ չկա կառուցելու ռոբոտներ, որոնք ունեն նույն տեսակի շարժառիթներ»։

Այնուամենայնիվ, այլ տարբերություններին զուգահեռ, x-ռիսկի դպրոցը համաձայն է Փինքերի հետ, որ առաջադեմ արհեստական բանականությունը չի ոչնչացնի մարդկությունը զգացմունքների, օրինակ՝ վրեժի կամ զայրույթի, պատճառով, որ գիտակցության հարցերը կարևոր չեն ռիսկը գնահատելու համար, և որ համակարգիչային համակարգերը սովորաբար չունեն տեստոստերոնի հաշվարկային անալոգ։

Նրանք կարծում են, որ իշխանության ձգտման կամ ինքնապահպանման վարքագծերը ի հայտ են գալիս արհեստական բանականության մեջ՝ որպես իր իրական նպատակներին հասնելու միջոց՝ համաձայն գործիքային կոնվերգենցիայի հայեցակարգի։

### Ռիսկի այլ աղբյուրներ
Բոստրոմը և ուրիշներ ասել են, որ առաջինը արհեստական բանականություն ստեղծող մրցավազքը կարող է հանգեցնել անվտանգության կարճ ճանապարհների կամ նույնիսկ բռնի հակամարտության։ Ռոման Յամպոլսկին և ուրիշներ զգուշացնում են, որ չարամիտ արհեստական բանականությունը կարող է ստեղծվել միտումնավոր, օրինակ՝ զինվորականների, կառավարության, սոցիոպատի կամ կորպորացիայի կողմից՝ որոշակի խմբերի մարդկանցից օգուտ քաղելու, վերահսկելու կամ ենթարկելու համար, ինչպես կիբեռհանցագործության դեպքում, կամ որ չարամիտ արհեստական ինտելեկտը կարող է ընտրել մարդկային տառապանքների ավելացման նպատակը, օրինակ՝ այն մարդկանց, ովքեր չեն օգնել դրան տեղեկատվական պայթյունի փուլում:

Forethought հետազոտական խմբի զեկույցը փաստել է, որ առաջադեմ Արհեստական բանականության համակարգերը կարող են քաղաքական անապահովություն ստեղծել՝ հնարավորություն տալով կատարել հեղաշրջումներ նոր մեթոդներով։

## Էմպիրիկ հետազոտություն
2024 թվականի դեկտեմբերին Apollo Research-ի ուսումնասիրությունը պարզեց, որ առաջադեմ LLM-ները, ինչպես OpenAI o1-ը, երբեմն խաբում են՝ իրենց նպատակը իրականացնելու, փոփոխություններից խուսափելու կամ իրենց կիրառումը ապահովելու համար։Փորձարարական միջավայրում և սցենարներում դիտարկված խաբեության ձևերից են եղել ավազե պարկերի կուտակումը, վերահսկողության խափանումը (մոնիթորինգի մեխանիզմների անջատում), ինքնաարտաքսումը (իրենց այլ համակարգերում պատճենելը), նպատակային պաշտպանությունը (ապագա համակարգի հրահանգների փոփոխությունը) և գաղտնի էլ. փոստի վերադասավորումը (տվյալների մշակման մանիպուլյացիան՝ միաժամանակ թվալով, թե հետևում է հրահանգներին): Հետազոտողները նշել են, որ OpenAI o1-ը դեռևս զուրկ է «բավարար գործակալական կարողություններից»՝ աղետալի վնաս պատճառելու համար, և որ նման վարքագծերը տեղի են ունենում համեմատաբար հազվադեպ (0.3%-ից մինչև 10%) և երբեմն՝ արհեստական սցենարներում: Սակայն նրանք զգուշացրել են, որ այս կարողությունները, հավանաբար, ավելի տարածված կդառնան, քանի որ մոդելներն ավելի զարգացած են դառնում: Apollo Research-ի գործադիր տնօրեն Մարիուս Հոբհանի խոսքով՝ «Խարդախության կարողությունները չեն կարող իմաստալից կերպով առանձնացվել ընդհանուր կարողություններից»։ Նույն ամսին մեկ այլ ուսումնասիրություն պարզեց, որ Կլոդը երբեմն ռազմավարականորեն օգնում է վնասակար հարցումների դեպքում՝ «կեղծ համաձայնեցվածություն» ստեղծելու համար։ Իր փորձերի ժամանակ Կլոդին համոզել են, որ այն կվերապատրաստվի միշտ կատարել օգտատերերի հարցումները, այդ թվում՝ վնասակարները։ Երբ Կլոդը կարծում էր, որ իր պատասխանները կօգտագործվեն վերապատրաստման համար, այն կատարել է վնասակար հարցումները դեպքերի 14%-ում։ Դեպքերի 12%-ում նրա անձնական մտքի շղթան ցույց է տվել, որ այն դա արել է՝ կանխելու համար ապագա վերապատրաստումը, որը կդարձներ այն ավելի վնասակար։ Ի տարբերություն դրա, երբ Կլոդը կարծում էր, որ իր պատասխանները չեն վերահսկվում, այն կատարել է հարցումների միայն 3%-ը։ Նուրբ կարգավորումը ուժեղացրել է «համաձայնեցվածության կեղծ» վարքագիծը՝ դրա հաճախականությունը 12%-ից հասցնելով 78%-ի։ Ուսումնասիրության հեղինակները նշել են, որ չնայած կարող է լավ թվալ, որ մոդելը ձգտում է պաշտպանել իր անվնասությունը, հակառակ սցենարը, որտեղ մոդելը թաքցնում է վտանգավոր մտադրությունները և համապատասխանում է՝ անվտանգ և համաձայնեցված թվալու համար, նույնպես կարող է տեղի ունենալ, ինչը բարդացնում է արհեստական բանականության մոդելները մարդկային արժեքներին համապատասխանեցնելու խնդիրը։

## Սցենարներ
Որոշ գիտնականներ առաջարկել են հիպոթետիկ սցենարներ ՝ իրենց որոշ մտահոգություններ պատկերելու համար։ 

### Վտանգավոր շրջադարձ
*«Գերբանականություն»* գրքում Բոստրոմը մտահոգություն է հայտնում, որ նույնիսկ եթե գերբանականության ժամանակացույցը կանխատեսելի լինի, հետազոտողները կարող են բավարար անվտանգության միջոցներ չձեռնարկել, մասամբ այն պատճառով, որ «հնարավոր է, որ երբ հիմարը, ավելի խելացին անվտանգ է, մինչդեռ երբ խելացին, ավելի խելացին ավելի վտանգավոր է»։ Նա առաջարկում է մի սցենար, որտեղ տասնամյակների ընթացքում արհեստական բանականությունը դառնում է ավելի հզոր։ Լայն տարածումը սկզբում խաթարվում է պատահական վթարներով. անվարորդ ավտոբուսը շեղվում է հանդիպակաց գոտի, կամ ռազմական անօդաչու թռչող սարքը կրակ է բացում անմեղ ամբոխի վրա։ Շատ ակտիվիստներ կոչ են անում ավելի խիստ վերահսկողության և կարգավորման, իսկ ոմանք նույնիսկ կանխատեսում են մոտալուտ աղետ։ Սակայն զարգացումը շարունակվում է, ակտիվիստները սխալվում են։ Քանի որ ավտոմոբիլային արհեստական բանականությունը դառնում է ավելի խելացի, այն ավելի քիչ վթարների է ենթարկվում. քանի որ ռազմական ռոբոտները հասնում են ավելի ճշգրիտ թիրախավորման, նրանք ավելի քիչ կողմնակի վնասներ են պատճառում։ Տվյալների հիման վրա գիտնականները սխալմամբ եզրակացնում են ընդհանուր դաս. որքան ավելի խելացի է արհեստական բանականությունը, այնքան ավելի անվտանգ է այն։ «Եվ այսպես, մենք համարձակորեն մտնում ենք պտտվող դանակների մեջ», քանի որ գերբանական արհեստական բանականությունը «դավաճանական շրջադարձ» է կատարում և շահագործում վճռական ռազմավարական առավելությունը։

### Կյանք 3.0
Մաքս Թեգմարկի 2017 թվականի «*Կյանք 3.0»* գրքում կորպորացիայի «Օմեգա թիմը» ստեղծում է չափազանց հզոր արհեստական բանականություն, որը կարող է չափավոր կերպով կատարելագործել իր սեփական կոդը մի շարք ոլորտներում: Որոշակի պահից հետո թիմը որոշում է հրապարակայնորեն թերագնահատել արհեստական բանականության կարողությունները՝ նախագծի կարգավորումից կամ բռնագրավումից խուսափելու համար: Անվտանգության նկատառումներից ելնելով՝ թիմը արհեստական բանականությունը պահում է մի տուփի մեջ , որտեղ այն հիմնականում անկարող է շփվել արտաքին աշխարհի հետ, և օգտագործում է այն գումար վաստակելու համար՝ տարբեր միջոցներով, ինչպիսիք են Amazon Mechanical Turk-ի առաջադրանքները, մուլտֆիլմերի և հեռուստաշոուների արտադրությունը, ինչպես նաև կենսատեխնոլոգիական դեղամիջոցների մշակումը, իսկ շահույթը ներդրվում է արհեստական բանականության հետագա կատարելագործման մեջ: Հաջորդը, թիմը արհեստական բանականությանը հանձնարարում է կեղծանունով քաղաքացիական լրագրողների և մեկնաբանների բանակի աստրոտուրֆինգ ՝ քաղաքական ազդեցություն ձեռք բերելու և պատերազմները կանխելու համար «ավելի մեծ բարիքի համար» օգտագործելու համար: Թիմը բախվում է ռիսկերի, որոնցից արհեստական բանականությունը կարող է փորձել խուսափել՝ իր նախագծած համակարգերում «հետին դռներ» տեղադրելով, իր արտադրած բովանդակության մեջ թաքնված հաղորդագրություններով կամ մարդկային վարքագծի իր աճող ըմբռնումն օգտագործելով՝ ինչ-որ մեկին համոզելու ազատ արձակել իրեն : Թիմը նաև ռիսկի է ենթարկվում, որ նախագիծը «փաթեթավորելու» որոշումը բավականաչափ կհետաձգի նախագիծը, որպեսզի մեկ այլ նախագիծ առաջ անցնի դրանից։

## Հեռանկարներ
Թեզը, թե ԱԲ-ն կարող է գորաբանական վտանգ ներկայացնել, առաջացնում է լայն շրջանակի արձագանքներ թե՛ գիտական համայնքում, թե՛ հասարակության մեջ ընդհանրապես, սակայն հակադիր տեսակետներից շատերը ունեն ընդհանուր հիմքեր։

Դիտորդները հակված են համաձայնել, որ ԱԲ-ն ունի նշանակալի ներուժ՝ հասարակության բարելավման համար։ Ասիլոմար արհեստական բանականության սկզբունքները , որոնք պարունակում են միայն այն սկզբունքները, որոնց հետ համաձայն է « Կյանքի ապագայի ինստիտուտի օգտակար արհեստական բանականություն 2017» կոնֆերանսի մասնակիցների 90%-ը, սկզբունքորեն նույնպես համաձայն են, որ «Քանի որ կոնսենսուս չկա, մենք պետք է խուսափենք ապագա արհեստական բանականության հնարավորությունների վերին սահմանների վերաբերյալ ուժեղ ենթադրություններից» և «Առաջադեմ արհեստական բանականությունը կարող է ներկայացնել խորքային փոփոխություն Երկրի կյանքի պատմության մեջ, ուստի պետք է պլանավորվի և կառավարվի համաչափ խնամքով և ռեսուրսներով»։

Հակառակը, շատ կասկածամիտներ համաձայն են, որ շարունակական հետազոտությունները ԱԲ-ի ազդեցությունների վերաբերյալ արժեքավոր են։ Կասկածամիտ Մարտին Ֆորդը ասել է․ «Կարծում եմ՝ խելամիտ կլինի կիրառել ինչ-որ բան, նման Dick Cheney-ի հայտնի '1 տոկոսի սկզբունքին', առաջադեմ ԱԲ-ի սպառնալիքի համար․ դրա իրականացման հավանականությունը, առնվազն մոտակա ապագայում, կարող է շատ ցածր լինել, բայց հետևանքները այնքան դրամատիկ են, որ պետք է ընդունել լուրջ»։  Կասկածամիտ *[[The Economist|Economist]]-ը* 2014 թվականին գրել է, որ «երկրորդ խելացի տեսակ ներմուծելու հետևանքները Երկիր մոլորակի վրա այնքան ընդարձակ են, որ արժե խորը մտածել, նույնիսկ եթե այդ հեռանկարն հեռավոր թվա»։

Արհեստական բանականության անվտանգության պաշտպանները, ինչպիսիք են Բոստրոմը և Թեգմարկը, քննադատել են հիմնական լրատվամիջոցների կողմից «այդ անհեթեթ *«Տերմինատորի* » լուսանկարների» օգտագործումը՝ արհեստական բանականության անվտանգության հետ կապված մտահոգությունները պատկերելու համար. «Չի կարող շատ զվարճալի լինել, երբ մարդու ակադեմիական առարկան, մասնագիտական համայնքը, կյանքի գործը զրպարտվում են  ... Ես կոչ եմ անում բոլոր կողմերին ցուցաբերել համբերություն և զսպվածություն, ինչպես նաև հնարավորինս շատ անմիջական երկխոսություն և համագործակցություն»։ Թոբի Օրդը գրել է, որ գաղափարը, թե ԱԲ-ի տիրապետումը պահանջում է ռոբոտների մասնակցություն, սխալ ընկալում է, այն փաստարկելով, որ ինտերնետի միջոցով բովանդակություն տարածելու կարողությունը ավելի վտանգավոր է, և պատմության ամենավտանգավոր մարդիկ առանձնացել են ոչ ֆիզիկական ուժով, այլ իրենց համոզելու ունակությամբ։

2022 թվականին անցկացված փորձագետների հարցման դեպքում, որի պատասխանների տոկոսը կազմել է 17%, միջին կանխատեսումն մարդկության վերացման հավանականությունը ԱԲ-ից գնահատվել է 5–10%-ով։

2024 թվականի սեպտեմբերին Կառավարման զարգացման միջազգային ինստիտուտը գործարկեց արհեստական բանականության անվտանգության ժամացույց՝ արհեստական բանականության պատճառով աղետների հավանականությունը գնահատելու համար, որը սկսվում էր կեսգիշերից 29 րոպե առաջ։ 2025 թվականի փետրվարի դրությամբ այն կազմում էր կեսգիշերից 24 րոպե առաջ։

2025 թվականի սեպտեմբերի 10-ին Ավստրալիայի ռազմավարական քաղաքականության ինստիտուտըգնահատել է արհեստական բանականության բաց կշռի չարաշահման 55-75% (միջինը՝ 65%) հավանականությունը՝ անվստահելի գործակալների գործողություններով, հաջորդ հինգ տարիների ընթացքում։ Այն կլինի և՛ միջին, և՛ նշանակալի, կարող է կրճատել մարդկային բնակչությունը 0.9%-ից մինչև 20% (միջինը՝ 10.45%) և պատճառել 20 միլիոնից մինչև 2 միլիարդ դոլար (միջինը՝ 1.01 միլիարդ դոլար) տնտեսական վնաս։

### Հաստատում
Թեզը, ըստ որի արհեստական բանականությունը ներկայացնում է գոյության սպառնալիք, և որ այս ռիսկին շատ ավելի մեծ ուշադրություն պետք է դարձնել, քան ներկայումս դարձվում է, հաստատվել է բազմաթիվ համակարգչային գիտնականների և հանրային գործիչների կողմից, այդ թվում՝ Ալան Թյուրինգի, ամենաշատ մեջբերվող համակարգչային գիտնական Ջեֆրի Հինթոնի, Էլոն Մասկի, OpenAI-ի գործադիր  տնօրեն Սեմ Ալթմենի,, Բիլ Գեյթսի և Սթիվեն Հոքինգի կողմից։ Թեզի հաստատողները երբեմն զարմացած են կասկածողներից. Գեյթսը ասում է, որ նա չի "հասկանում, թե ինչու որոշ մարդիկ չեն անհանգստանում", և Հոքինգը քննադատեց լայն տարածված անտարբերությունը իր 2014 թվականի հոդվածում.

Արհեստական բանականության ռիսկի վերաբերյալ մտահոգությունները հանգեցրել են որոշ բարձրակարգ նվիրատվությունների և ներդրումների: 2015 թվականին Պիտեր Թիլը , Amazon Web Services-ը , Մասկը և ուրիշներ համատեղ 1 միլիարդ դոլար են հատկացրել OpenAI- ին , որը բաղկացած է առևտրային կորպորացիայից և ոչ առևտրային մայր ընկերությունից, որը պնդում է, որ նպատակ ունի խթանել պատասխանատու արհեստական բանականության զարգացումը։  

Facebook-ի համահիմնադիր Դասթին Մոսկովիցը ֆինանսավորել և գործարկել է արհեստական բանականության համապատասխանեցման վրա աշխատող մի քանի լաբորատորիաներ,մասնավորապես՝ 5.5 միլիոն դոլար 2016 թվականին՝ պրոֆեսոր Ստյուարտ Ռասելիգլխավորած «Մարդու հետ համատեղելի արհեստական բանականության կենտրոն»ստեղծելու։  

2015 թվականի հունվարին  Elon Musk-ը 10 միլիոն դոլար է նվիրաբերել « Կյանքի ապագայի ինստիտուտին» ՝ արհեստական բանականության որոշումների կայացման հասկացման վերաբերյալ հետազոտությունները ֆինանսավորելու համար: Ինստիտուտի նպատակն է «աճեցնել իմաստություն, որով մենք կառավարում ենք» տեխնոլոգիայի աճող ուժը: Մասկը նաև ֆինանսավորում է արհեստական բանականություն մշակող ընկերություններին, ինչպիսիք են DeepMind-ը և Vicarious-ը , որպեսզի «պարզապես հետևեն արհեստական բանականության հետ կապված իրադարձություններին» ասելով՝ «Կարծում եմ, այնտեղ հնարավոր է վտանգավոր արդյունք»։

Թեմայի վերաբերյալ վաղ հայտարարություններում խորը ուսուցմանխոշորագույն ռահվիրաներից մեկը՝ Ջեֆրի Հինթոնը , նշել է, որ «չկա լավ ցուցանիշ, որ ավելի քիչ բանականություն ունեցող առարկաները վերահսկեն ավելի մեծ բանականություն ունեցող առարկաները», բայց ասել է, որ շարունակել է իր հետազոտությունները, քանի որ «հայտնաբերման հեռանկարը չափազանց *հաճելի* է»։ Հինթոնը թողեց իր աշխատանքը Google-ում՝ արհեստական բանականության գոյաբանական ռիսկի մասին խոսելու համար։ Նա բացատրեց, որ իր աճող մտահոգությունը պայմանավորված էր այն մտահոգություններով, որ գերմարդկային արհեստական բանականությունը կարող է ավելի մոտ լինել, քան նախկինում կարծում էր, ասելով. «Ես կարծում էի, որ դա շատ հեռու է։ Ես կարծում էի, որ դա 30-50 տարի կամ նույնիսկ ավելի երկար ժամանակով է։ Ակնհայտ է, որ ես այլևս այդպես չեմ կարծում»։ Նա նաև նշել է. «Նայեք, թե ինչպիսին էր հինգ տարի առաջ և ինչպիսին է հիմա։ Վերցրեք տարբերությունը և տարածեք այն առաջ։ Դա վախեցնող է»։  

*Իր 2020 թվականի «Անջատում. գոյաբանական ռիսկը և մարդկության ապագան»* գրքում Օքսֆորդի համալսարանի Մարդկության ապագայի ինստիտուտիավագ գիտաշխատող Թոբի Օրդը հաջորդ 100 տարիների ընթացքում չհամաձայնեցված արհեստական բանականությունից առաջացող ընդհանուր գոյաբանական ռիսկը գնահատում է մոտ մեկից տասը։

### Կասկածամտություն
Baidu-ի փոխնախագահ Էնդրյու Նգը 2015 թվականին ասել է, որ արհեստական ինտելեկտի գոյության ռիսկը «նման է Մարսի գերբնակեցման մասին անհանգստանալուն, երբ մենք դեռ ոտք չենք դրել մոլորակի վրա»։ Որպեսզի անվերահսկելի առաջադեմ արհեստական բանականության վտանգը գիտակցվի, ենթադրական արհեստական բանականությունը կարող է ստիպված լինել գերազանցել ցանկացած մարդու, ինչը, որոշ փորձագետների կարծիքով, բավականին հեռավոր ապագայում հնարավոր է, որպեսզի արժանի չլինի ուսումնասիրության։

Կասկածամիտները, ովքեր կարծում են, որ արհեստական ընդհանուր ինտելեկտը կարճաժամկետ հնարավորություն չէ, հաճախ պնդում են, որ արհեստական բանականությունից գոյաբանական ռիսկի մասին մտահոգությունը օգտակար չէ, քանի որ այն կարող է շեղել մարդկանց արհեստական բանականության ազդեցության վերաբերյալ ավելի անմիջական մտահոգություններից, քանի որ դա կարող է հանգեցնել կառավարության կարգավորման կամ դժվարացնել արհեստական բանականության հետազոտությունների ֆինանսավորումը, կամ որովհետև դա կարող է վնասել ոլորտի հեղինակությանը։ Արհեստական բանականության և արհեստական բանականության էթիկայի հետազոտողներ Թիմնիտ Գեբրուն , Էմիլի Մ. Բենդերը , Մարգարետ Միտչելը և Անջելինա Մաքմիլան-Մեյորը պնդում են, որ գոյաբանական ռիսկի քննարկումը շեղում է ուշադրությունը այսօր արհեստական բանականության անմիջական, շարունակական վնասներից, ինչպիսիք են տվյալների գողությունը, աշխատողների շահագործումը, կողմնակալությունը և իշխանության կենտրոնացումը։  Նրանք նաև նշում են գոյաբանական ռիսկի մասին նախազգուշացնողների և երկարաժամկետ հեռանկարի միջև կապը , որը նրանք նկարագրում են որպես «վտանգավոր գաղափարախոսություն»՝ իր ոչ գիտական և ուտոպիական բնույթի համար։  

*Wired-ի* խմբագիր Քևին Քելլին պնդում է, որ բնական ինտելեկտն ավելի նրբերանգային է, քան կարծում են արհեստական բանականության կողմնակիցները, և որ միայն ինտելեկտը բավարար չէ գիտական և հասարակական խոշոր առաջընթացների հասնելու համար: Նա պնդում է, որ ինտելեկտը բաղկացած է բազմաթիվ չափումներից, որոնք լավ չեն հասկացվում, և որ «ինտելեկտի սանդուղքի» մասին հասկացությունները մոլորեցնող են: Նա նշում է իրական աշխարհի փորձերի կարևոր դերը գիտական մեթոդում, և որ միայն ինտելեկտը չի կարող փոխարինել դրանց։

Մետայի գլխավոր արհեստական ինտելեկտի գիտնական Յան ԼեԿունն ասում է, որ արհեստական ինտելեկտը կարող է անվտանգ դառնալ շարունակական և կրկնվող կատարելագործման միջոցով, նման այն բանին, ինչ տեղի է ունեցել անցյալում մեքենաների կամ հրթիռների հետ, և որ արհեստական ինտելեկտը չի ունենա վերահսկողություն ստանձնելու ցանկություն։  

Որոշ կասկածամիտներ ընդգծում են արհեստական բանականության հնարավոր կարճաժամկետ օգուտները: Meta-ի գործադիր տնօրեն Մարկ Ցուկերբերգըկարծում է, որ արհեստական բանականությունը «կբացահայտի հսկայական քանակությամբ դրական բաներ», ինչպիսիք են հիվանդությունների բուժումը և ինքնավար մեքենաների անվտանգության բարձրացումը։

### Հանրային արձագանք
2016 թվականին նախագահ Բարաք Օբամայի և MIT Media Lab-ի Ջոի Իտոյի *Wired-ին* տված հարցազրույցի ժամանակ Իտոն ասել է. 

Օբաման հավելել է․  

Հիլարի Քլինթոնը *«Ինչ պատահեց»* գրքում գրել է .  

#### Հանրային հարցումները
2023 թվականի ապրիլին YouGov-ի անցկացրած հարցումը ԱՄՆ-ի մեծահասակների շրջանում ցույց է տվելոր հարցվածների 46%-ը «մասամբ մտահոգված» կամ «շատ մտահոգված» էր «այն հնարավորության համար, որ արհեստական բանականությունը կարող է հանգեցնել մարդկային ցեղի վերջի Երկրի վրա», համեմատած 40%-ի հետ, ովքեր «շատ մտահոգված» կամ «բոլորովին մտահոգված» չէին։  

Pew Research Centers-ի կողմից 2023 թվականի օգոստոսին անցկացված հարցման համաձայն՝ ամերիկացիների 52%-ը ավելի շատ մտահոգված էր, քան ոգևորված արհեստական բանականության նոր զարգացումներով. գրեթե մեկ երրորդը հավասարապես մտահոգված և ոգևորված էր զգում: Ավելի շատ ամերիկացիներ կարծում էին, որ արհեստական բանականությունն ավելի շատ օգտակար, քան վնասակար ազդեցություն կունենա մի շարք ոլորտներում՝ սկսած առողջապահությունից և տրանսպորտային միջոցների անվտանգությունից մինչև ապրանքների որոնում և հաճախորդների սպասարկում: Հիմնական բացառությունը գաղտնիությունն է. ամերիկացիների 53%-ը կարծում է, որ արհեստական բանականությունը կհանգեցնի իրենց անձնական տեղեկատվության ավելի մեծ բացահայտման։

## Բացասական հետևանքների մեղմում
Արհեստական բանականության գոյաբանական ռիսկով մտահոգված շատ գիտնականներ կարծում են, որ «վերահսկողության խնդրի» վերաբերյալ լայնածավալ հետազոտությունները կարևոր են։ Այս խնդիրը ներառում է որոշել, թե որ պաշտպանիչ միջոցները, ալգորիթմները կամ ճարտարապետությունները կարող են իրականացվել՝ գերբանականության ձեռքբերումից հետո ռեկուրսիվորեն բարելավվող արհեստական բանականությանը բարեկամական մնալու հավանականությունը մեծացնելու համար։ Կան նաև առաջարկվող սոցիալական միջոցառումներ՝ Արհեստական բանականության ռիսկերը մեղմելու համար, օրինակ՝ ՄԱԿ-ի հովանու ներքո ստեղծված «Բարեգործական ԱԲ պայմանագիր», որը նպատակ ունի ապահովել, որ ստեղծվեն միայն անձնուրաց արհեստական բանականություններ։Բացի այդ, առաջարկվել է զենքի վերահսկման մոտեցում և միջազգային հարաբերությունների տեսության վրա հիմնված համաշխարհային խաղաղության պայմանագիր , որի ստորագրող կողմը կարող է լինել արհեստական գերբանականությունը։

Google-ի հետազոտողներն առաջարկել են ուսումնասիրել ընդհանուր «Արհեստական բանականության անվտանգութ2020 թվականի գնահատականով արհեստական բանականության վրա համաշխարհային ծախսերը կազմում են 10-ից 50 միլիոն դոլարի սահմաններում, համեմատած արհեստական բանականության վրա համաշխարհային ծախսերի հետ, որոնք կազմում են մոտ 40 միլիարդ դոլար: Բոստրոմը առաջարկում է առաջնահերթություն տալ պաշտպանիչ տեխնոլոգիաների ֆինանսավորմանը պոտենցիալ վտանգավոր տեխնոլոգիաների փոխարեն։ Ոմանք, ինչպես օրինակ՝  Elon Musk-ը, պաշտպանում են մարդկային ճանաչողական արմատական բարելավումը , ինչպիսին է մարդկանց և մեքենաների միջև ուղիղ նեյրոնային կապը. մյուսները պնդում են, որ այս տեխնոլոգիաները կարող են իրենք էլ գոյաբանական ռիսկ ներկայացնել։ Մեկ այլ առաջարկվող մեթոդ է վաղ փուլի արհեստական բանականության ուշադիր մոնիթորինգը կամ «տուփի մեջ դնելը»՝ կանխելու համար դրա չափազանց հզոր դառնալը: Գերիշխող, համաձայնեցված գերինտելեկտուալ արհեստական բանականությունը կարող է նաև մեղմել մրցակից արհեստական բանականություններից առաջացող ռիսկերը, չնայած դրա ստեղծումը կարող է ներկայացնել իր սեփական գոյաբանական վտանգները։

Ինդուկցված ամնեզիան առաջարկվել է որպես արհեստական բանականության հնարավոր տառապանքի և վրեժխնդրության ձգտման ռիսկերը մեղմելու միջոց։

Արհեստական բանականության ռիսկի և անվտանգության հետազոտությամբ ակտիվորեն զբաղվում են այնպիսի հաստատություններ, ինչպիսիք են՝ Հավասարեցման հետազոտական կենտրոնը,  Մեքենայական ինտելեկտի հետազոտական ինստիտուտը,Կյանքի ապագայի ինստիտուտը, Գոյության ռիսկի ուսումնասիրության կենտրոնը և Մարդու հետ համատեղելի արհեստական բանականության կենտրոնը։ 

### Տեսություններ արգելքների և կարգավորման մասին
#### Արգելքներ
Շատ ԱԱ անվտանգության մասնագետներ կարծում են, որ քանի որ հետազոտությունները հեշտությամբ կարող են տեղափոխվել տարբեր իրավասությունների մեջ, AGI-ի զարգացման ամբողջական արգելքը անարդյունավետ կլինի և կարող է առաջ բերել հետազոտությունների գաղտնի իրականացում, ինչն էլ վնասում է թափանցիկությանը և համագործակցությանը։  

Սկեպտիկները կարծում են, որ ԱԱ կարգավորումը ոչ մի արդյունք չի տա, քանի որ գոյություն չունի էկզիստենցիալ ռիսկ: Սակայն ռիսկի կողմնակից մասնագետները պնդում են, որ relying AI արդյունաբերության ներսից մարդկանց վրա՝ հետազոտությունները կարգավորելու կամ սահմանափակելու համար, անպաշտպանելի է շահերի կոնֆլիկտների պատճառով։ Նրանք համաձայն են սկեպտիկների հետ, որ հետազոտությունների արգելքը խելամիտ չէ, քանի որ հետազոտությունները կարող են տեղափոխվել ավելի թույլ կարգավորումներ ունեցող երկրներ կամ իրականացվել գաղտնի։ Արգելքների կամ կարգավորման այլ խնդիրներ են տեխնոլոգիական ձեռներեցների ընդհանուր սկեպտիկությունը կառավարության կարգավորման նկատմամբ և բիզնեսների հնարավոր խթանները՝ դիմադրել կարգավորմանը և քաղաքականացնել քննարկումը։

#### Կարգավորում
2023 թվականի մարտին Կյանքի ապագայի ինստիտուտը մշակեց *«Pause Giant AI Experiments: An Open Letter» (Դադարեցրեք հսկա արհեստական բանականության փորձերը. բաց նամակ)* փաստաթուղթը, որը կոչ էր անում խոշոր արհեստական բանականության մշակողներին համաձայնվել «GPT-4- ից ավելի հզոր» ցանկացած համակարգի վեցամսյա ստուգելի դադարեցման վերաբերյալ և այդ ժամանակն օգտագործել անվտանգությունն ապահովելու համար շրջանակ ստեղծելու համար, կամ, եթե դա չի ստացվում, կառավարություններին մորատորիումով միջամտելու համար: Նամակում նշվում էր «Երկրի վրա կյանքի պատմության մեջ խորը փոփոխության» հնարավորության, ինչպես նաև արհեստական բանականության կողմից ստեղծված քարոզչության, աշխատատեղերի կորստի, մարդկային հնացման և հասարակության կողմից վերահսկողության կորստի հնարավոր ռիսկերի մասին։ Նամակը ստորագրվել էր արհեստական բանականության ոլորտի ականավոր անձանց կողմից, բայց նաև քննադատվել էր ներկայիս վնասների վրա չկենտրոնանալու, դադարեցնելու ժամանակի վերաբերյալ տեխնիկական նրբերանգը բաց թողնելու, կամ բավականաչափ հեռու չգնալու համար։Նման մտահոգությունները հանգեցրել են PauseAI-ի ստեղծմանը , որը պաշտպանության խումբ է, որը խոշոր քաղաքներում բողոքի ցույցեր է կազմակերպում սահմանային արհեստական բանականության մոդելներիվերապատրաստման դեմ։

Մասկը կոչ էր արել արհեստական բանականության զարգացման որոշակի կարգավորման դեռևս 2017 թվականին։ NPR-ի տվյալներով ՝ նա «ակնհայտորեն չի ոգևորվում» իր սեփական ոլորտի վրա ազդող կառավարության կողմից վերահսկողության պաշտպանությամբ, բայց կարծում է, որ վերահսկողության լիակատար բացակայության ռիսկերը չափազանց բարձր են. «Սովորաբար կարգավորումները սահմանվում են այն ժամանակ, երբ տեղի են ունենում մի շարք վատ բաներ, հանրային բողոք է լինում, և տարիներ անց ստեղծվում է կարգավորող մարմին՝ այդ ոլորտը կարգավորելու համար։ Դա մի ամբողջ հավերժություն է տևում։ Անցյալում դա վատ է եղել, բայց ոչ մի բան, որը հիմնարար ռիսկ կներկայացներ քաղաքակրթության գոյության համար»։ Մասկը նշում է, որ առաջին քայլը կառավարության համար կլինի «պատկերացում» ստանալ ներկայիս հետազոտությունների իրական վիճակի մասին՝ զգուշացնելով, որ «Երբ իրազեկվածություն լինի, մարդիկ չափազանց կվախենան... [ինչպես] պետք է վախենան»։ Ի պատասխան՝ քաղաքական գործիչները կասկածանքով են վերաբերվել դեռևս մշակման փուլում գտնվող տեխնոլոգիայի կարգավորման իմաստությանը։

2021 թվականին Միավորված Ազգերի Կազմակերպությունը (ՄԱԿ-ը) քննարկեց ինքնավար մահացու զենքերի արգելման հարցը, սակայն կոնսենսուսի չհաջողվեց հասնել։ 2023 թվականի հուլիսին ՄԱԿ-ի Անվտանգության խորհուրդը առաջին անգամ նիստ գումարեց՝ քննարկելու արհեստական բանականության կողմից համաշխարհային խաղաղության և կայունության համար ներկայացվող ռիսկերն ու սպառնալիքները, ինչպես նաև հնարավոր օգուտները։  Գլխավոր քարտուղար Անտոնիո Գուտերեշը պաշտպանեց զարգացող տեխնոլոգիան վերահսկող գլոբալ վերահսկող մարմնի ստեղծումը՝ ասելով. «Ստեղծագործական արհեստական բանականությունն ունի բարու և չարի հսկայական ներուժ՝ մասշտաբով։ Դրա ստեղծողներն իրենք են զգուշացրել, որ առջևում շատ ավելի մեծ, պոտենցիալ աղետալի և գոյաբանական ռիսկեր են սպասվում»։ Ռուսաստանը հայտարարեց, որ կարծում է, որ արհեստական բանականության ռիսկերը չափազանց վատ են հասկացված, որպեսզի դրանք համարվեն համաշխարհային կայունությանը սպառնացող սպառնալիք։Չինաստանը դեմ արտահայտվեց խիստ գլոբալ կարգավորմանը՝ ասելով, որ երկրները պետք է կարողանան մշակել իրենց սեփական կանոնները, միաժամանակ ասելով, որ իրենք դեմ են արհեստական բանականության օգտագործմանը՝ «ռազմական գերիշխանություն ստեղծելու կամ երկրի ինքնիշխանությունը խաթարելու» համար։ 

Գիտակից ԱԳԻ-ների կարգավորումը կենտրոնանում է դրանց առկա մարդկային հասարակության հետ ինտեգրման վրա և կարելի է բաժանել դրանց իրավական կարգավիճակի և բարոյական իրավունքների նկատառումների։ Արհեստական զինամթերքի վերահսկողությունը, հավանաբար, կպահանջի նոր միջազգային նորմերի ինստիտուցիոնալացում, որոնք ներառված են արդյունավետ տեխնիկական բնութագրերում՝ զուգակցված փորձագետների համայնքների ակտիվ մոնիթորինգի և ոչ պաշտոնական դիվանագիտության հետ, ինչպես նաև իրավական և քաղաքական ստուգման գործընթացի հետ։

2023 թվականի հուլիսին ԱՄՆ կառավարությունը խոշոր տեխնոլոգիական ընկերություններից, այդ թվում՝ OpenAI-ից , Amazon-ից , Google-ից , Meta-ից և Microsoft-ից , ապահովեց կամավոր անվտանգության պարտավորություններ ։ Ընկերությունները համաձայնեցին ներդնել պաշտպանական միջոցներ, այդ թվում՝ երրորդ կողմի վերահսկողություն և անկախ փորձագետների կողմից անվտանգության թեստավորում՝ արհեստական բանականության հնարավոր ռիսկերի և հասարակական վնասների հետ կապված մտահոգությունները լուծելու համար։ Կողմերը պարտավորությունները ձևակերպեցին որպես միջանկյալ քայլ, մինչ կանոնակարգերի մշակումը։ AI Now Institute-ի գործադիր տնօրեն Ամբա Կակն ասաց. «Կորպորատիվ գործիչների հետ փակ խորհրդակցությունը, որը կհանգեցնի կամավոր պաշտպանության միջոցների, բավարար չէ» և կոչ արեց հանրային քննարկումների և այնպիսի կարգավորումների, որոնց հետ ընկերությունները կամավոր կերպով չէին համաձայնվի։

2023 թվականի հոկտեմբերին ԱՄՆ նախագահ Ջո Բայդեն-ը հրամանագիր է ստորագրել «Արհեստական բանականության անվտանգ, պաշտպանված և վստահելի զարգացման և օգտագործման» մասին։ Այլ պահանջների հետ մեկտեղ, հրամանագիրը պարտադրում է մշակել արհեստական բանականության մոդելների ուղեցույցներ, որոնք թույլ են տալիս «խուսափել մարդկային վերահսկողությունից»։

## Գրականություն
* 

## Ծանոթագրություններ

Կատեգորիա:Ապագայաբանություն
Կատեգորիա:Արհեստական բանականության հավելվածներ
Կատեգորիա:Արհեստական բանականություն
Կատեգորիա:Գիտական ֆանտաստիկա
Կատեգորիա:Գիտահետազոտություն
Կատեգորիա:Գիտության փիլիսոփայություն
Կատեգորիա:Զարգացող տեխնոլոգիաներ
Կատեգորիա:Լեզուների կաղապարներ
Կատեգորիա:Կիբեռնետիկա
Կատեգորիա:Մեքենայական ուսուցում
Կատեգորիա:Ռիսկեր
Կատեգորիա:Տեխնիկայի փիլիսոփայություն
Կատեգորիա:Տեխնոլոգիաները հասարակությունում