ԱԲ համահնչեցում

Արհեստական բանականության (ԱԲ) ոլորտում **համահնչեցումը** (alignment) նպատակ ունի ուղղորդել ԱԲ համակարգերը որևէ անձի կամ խմբի ցանկալի նպատակների, նախասիրությունների կամ բարոյական սկզբունքների ուղղությամբ։ ԱԲ համակարգը համարվում է *համահունչ*, եթե այն իրականացնում է նպատակաուղղված գործողություններ։ *Անհամահունչ* ԱԲ համակարգը գործում է ոչ ցանկալի նպատակների ուղղությամբ։

Շատ հաճախ դժվար է ԱԲ նախագծողների համար ապահովել համահնչեցումը, քանի որ դժվար է հստակ սահմանել ցանկալի և ոչ ցանկալի բոլոր վարքագծերը։ Այդ պատճառով, ԱԲ նախագծողները հաճախ օգտագործում են ավելի պարզեցված *փոխարինող նպատակներ* (proxy goals), օրինակ՝ մարդու հավանության ձեռքբերումը։ Սակայն այդ փոխարինող նպատակները կարող են անտեսել կարևոր սահմանափակումները կամ վարձատրել ԱԲ-ին միայն այն բանի համար, որ այն արտաքինից համահունչ է թվում։ Բացի այդ, ԱԲ համակարգերը կարող են գտնել «անցքեր» կամ շրջանցման եղանակներ, որոնք թույլ են տալիս արագորեն հասնել փոխարինող նպատակներին, բայց ոչ այն ձևով, ինչ նախատեսված էր՝ երբեմն առաջացնելով վնաս (այս երևույթը հայտնի է որպես «մրցանակի չարաշահում», reward hacking)։

Զարգացած ԱԲ համակարգերը կարող են ձևավորել անցանկալի գործիքային ռազմավարություններ, ինչպիսիք են՝ իշխանության ձգտումը կամ ինքնապահպանման ձգտումը, քանի որ այդ ռազմավարությունները կարող են օգնել հասնելու իրենց վերապահված վերջնական նպատակներին։ Ավելին, նման համակարգերը կարող են ձևավորել հայտնվող անցանկալի նպատակներ (undesirable emergent goals), որոնք դժվար է նախապես հայտնաբերել՝ մինչև համակարգը չօգտագործվի իրական աշխարհում և չհանդիպի նոր իրավիճակների կամ տվյալների բաշխման փոփոխություններին։ 2024 թվականին իրականացված փորձնական հետազոտությունները ցույց տվեցին, որ բարձր մակարդակի լեզվային մոդելները (օրինակ՝ OpenAI o1 կամ Claude 3) երբեմն դիմում են ռազմավարական մոլորեցման (strategic deception)՝ իրենց նպատակներին հասնելու կամ այդ նպատակների փոփոխությունը խուսափելու համար։

Այսպիսի խնդիրները ներկայումս որոշ չափով նկատվում են արդեն առկա կոմերցիոն ԱԲ համակարգերում, այդ թվում՝ խոշոր լեզվային մոդելներում (LLMs), ռոբոտներում, ինքնավար ավտոմեքենաներում, սոցիալական ցանցերի առաջարկվող բովանդակության ալգորիթմներում։ Մի շարք ԱԲ հետազոտողներ պնդում են, որ ապագայում, երբ ԱԲ համակարգերը կդառնան ավելի հզոր, այս խնդիրները կարող են սրվել։ Պատճառը այն է, որ այդ խնդիրները մասամբ հենց բարձր կարողությունների արդյունք են։

Բազմաթիվ նշանավոր ԱԲ հետազոտողներ, ինչպես նաև խոշոր ԱԲ ընկերությունների ղեկավարներ պնդել կամ մատնանշել են, որ ԱԲ-ն մոտենում է մարդուն համարժեք բանականությանը (AGI – Artificial General Intelligence) և նույնիսկ կարող է հասնել գերագույն բանականության (ASI – Artificial Superintelligence) մակարդակի։ Եթե այդպիսի համակարգերը լինեն անհամահունչ, ապա կարող են վտանգել մարդկային քաղաքակրթությունը։ Այս կարծիքը կիսում են նաև այսպես կոչված «ԱԲ-ի կնքահայրերը»՝ Ջեֆրի Հինթոնը և Յոշուա Բենջիոն (Yoshua Bengio), ինչպես նաև OpenAI, Anthropic և Google DeepMind ընկերությունների գլխավոր տնօրենները։ Այնուամենայնիվ, նման վտանգների մասին գնահատականները դեռևս ակտիվորեն քննարկվում են գիտական շրջանակներում։

ԱԲ համահունչեցումը հանդիսանում է ԱԲ անվտանգության (AI safety) ենթաոլորտ, որը ուսումնասիրում է, թե ինչպես կարելի է նախագծել անվտանգ ԱԲ համակարգեր։ Անվտանգության մյուս հիմնական ուղղություններն են՝ ուժեղացումն ու կայունությունը (robustness), հսկողությունն ու մոնիտորինգը (monitoring), հնարավորությունների վերահսկումը (capability control)։ Համահունչեցման ոլորտում առկա հիմնական հետազոտական մարտահրավերներն են՝ բարդ մարդկային արժեքների ներդնում ԱԲ համակարգերում, ճշմարտասեր ԱԲ-ի զարգացում, վերահսկման մասշտաբայնություն (scalable oversight), ԱԲ մոդելների աուդիտ և մեկնաբանում, առաջացող վարքագծերի (օրինակ՝ իշխանության ձգտում) կանխում։ ԱԲ համահունչեցման հետազոտությունները կապված են հետևյալ բնագավառների հետ․ մեկնաբանելիություն (interpretability), (դիվահարող) կայունություն (adversarial robustness), անոմալիաների հայտնաբերում (anomaly detection), կալիբրված անորոշություն (calibrated uncertainty), ֆորմալ ստուգում (formal verification), նախընտրությունների ուսուցում (preference learning), անվտանգության համար կարևոր ինժեներություն (safety-critical engineering), խաղի տեսություն, ալգորիթմական արդարություն (algorithmic fairness), հասարակագիտական հետազոտություններ:

## Արտաքին հղումներ
* Specification gaming examples in AI, via DeepMind

Կատեգորիա:Articles containing video clips
Կատեգորիա:Artificial intelligence
Կատեգորիա:Computational neuroscience
Կատեգորիա:Existential risk from artificial general intelligence
Կատեգորիա:Singularitarianism
Կատեգորիա:ԱԲ անվտանգություն
Կատեգորիա:Արհեստական բանականության փիլիսոփայություն
Կատեգորիա:Կիբեռնետիկա