**Ընկերական արհեստական բանականություն** (անգլ.՝ Friendly artificial intelligence), հիպոթետիկ արհեստական ընդհանուր բանականություն, որը դրական ազդեցություն ունի մարդկության վրա։ Այն արհեստական բանականության էթիկայի մի մասն է և սերտորեն կապված է մեքենայական էթիկայի հետ։ Մինչ մեքենայական էթիկան զբաղվում է, թե ինչպես պետք է վարվի արհեստականորեն բանական գործակալը, ընկերական արհեստական բանականության ուսումնասիրությունները կենտրոնացած են, թե ինչպես գործնականում իրականացնել այս վարքագիծը և ապահովել այն համարժեք սահմանափակումներով։

Ստուգաբանություն և օգտագործում
------------------------------

Էլիեզեր Յուդկովսկի. Արհեստական բանականության հետազոտող և «ընկերական արհեստական բանականություն» տերմինի ստեղծող
Տերմինը հորինել է Էլիեզեր Յուդկովսկին, ով առավել հայտնի է այս գաղափարի տարածման համար։ Արհեստական բանականության առաջատարը՝ դասագիրք Ստյուարտ Ջ. Ռասելի և Պիտեր Նորվիգի «Արհեստական բանականություն. ժամանակակից մոտեցում»-ը, նկարագրում է հետևյալ գաղափարը․

> Յուդկովսկին (2008) մանրամասն պատմում է, թե ինչպես ստեղծել ընկերական արհեստական բանականություն։ Նա պնդում է, որ ընկերականությունը (մարդուն չվնասելու ցանկություն) պետք է նախագծել հենց սկզբից, բայց որ դիզայներները պետք է գիտակցեն, որ իրենց սեփական նախագծերը կարող են անսարք լինել, և որ ռոբոտը կսովորի և կզարգանա ժամանակի ընթացքում։ Այսպիսով, խնդիրը մեխանիզմի մշակումն է `սահմանել ստուգման և հաշվեկշիռների համակարգում արհեստական բանականությունը զարգացնելու մեխանիզմ և համակարգերին տրամադրել օգտակար գործառույթներ, որոնք կմնան ընկերական` նման փոփոխությունների ֆոնին։
> 
> 

«Ընկերական»-ն այս համատեքստում օգտագործվում է որպես տեխնիկական տերմինաբանություն և ընտրում է անվտանգ ու օգտակար նյութեր, որոնք պարտադիր չէ, որ խոսակցական իմաստով «ընկերական» լինեն։ Այս հայեցակարգը հիմնականում օգտագործվում է հետադարձաբար ինքնազարգացող արհեստական գործակալների հետ քննարկումների համատեքստում, որոնք արագորեն զարգանում են բանականության մեջ ՝ այն հիմքով, որ այս հիպոթետիկ տեխնոլոգիան կունենա մեծ, արագ և վերահսկելի ազդեցություն մարդկային հասարակության վրա։

Ոչ բարեկամական արհեստական բանականության ռիսկերը
-----------------------------------------------

Արհեստական բանականության մասին մտահոգության արմատները շատ հին են։ Քեվին ԼաԳրանդեուրը ցույց տվեց, որ արհեստական բանականությանը բնորոշ սպառնալիքներ հին գրականության մեջ կարելի է տեսնել արհեստական մարդոիդ ծառաների մոտ, ինչպիսիք են գոլեմը կամ Աուրիլացի և Ռոջեր Բեկոնի պրոտո-ռոբոտները։ Այդ պատմություններում այս մարդոիդ արարածների արտակարգ ինտելեկտը և ուժը բախվում են ստրուկների իրենց կարգավիճակի հետ (որոնք իրենց բնույթով դիտվում են որպես ենթա-մարդ) և աղետալի հակամարտություն են առաջացնում։ Մինչև 1942 թվականը այս թեմաները Իսահակ Ասիմովին հուշում էին, որպեսզի ստեղծի «Ռոբոտաշինության երեք օրենքները» - սկզբունքներ, որոնք սերտորեն կապում են բոլոր ռոբոտներին իրենց գեղարվեստական գրականության հետ, որոնց նպատակն է կանխել նրանց բողոքը իրենց ստեղծողների դեմ կամ թույլ չտալ, որ վնաս հասցնեն։

Մեր ժամանակներում, երբ գերժամանակակից արհեստական բանականության հեռանկարը ավելի է զարգանում, փիլիսոփա Նիկ Բոստրոմն ասել է, որ մարդկային էթիկայի հետ չհամապատասխանող արհեստական բանականության համակարգերը վտանգավոր են, քանի դեռ ծայրահեղ միջոցներ չեն ձեռնարկվել մարդկության անվտանգությունն ապահովելու համար։ Նա այսպես արտահայտվեց․

> Ըստ էության, մենք պետք է ենթադրենք, որ «գերբանականությունը» կարող է հասնել իր առջև դրված ցանկացած նպատակի։ Ուստի չափազանց կարևոր է, որ այն նպատակները, որոնցով մենք օժտում ենք նրան, և նրա ողջ մոտիվացիայի համակարգը «մարդու հանդեպ ընկերական լինեն»։
> 
> 

2008-ին Էլիեզեր Յուդկովսկին կոչ արեց ստեղծել «ընկերական արհեստական բանականություն» ՝ առաջադեմ արհեստական բանականության գոյություն ունեցող ռիսկերը նվազեցնելու համար։ Նա բացատրում է. «արհեստական բանականություն ո՛չ ատում է ձեզ, ո՛չ էլ սիրում, բայց դուք կազմված եք ատոմներից, որոնք նա կարող է օգտագործել այլ բաների համար»:

Սթիվ Օմոհունդրոն ասում է, որ արհեստական բանականությունը բավականին առաջադեմ համակարգ է, եթե այն ակնհայտորեն չի հակազդում, ապա ցույց կտա մի շարք հիմնական «մղումներ», ինչպիսիք են ռեսուրսների ձեռքբերումը, ինքնապահպանումը և շարունակական ինքնակատարելագործումը` ելնելով ցանկացած նպատակային համակարգի ներքին բնույթից, և որ այդ մղումները, «առանց հատուկ նախազգուշացման», արհեստական ինտելեկտին կստիպեն անցանկալի վարքագիծ դրսևորել։

Ալեքսանդր Վիսներ-Գրոսը ասում է, որ արհեստական բանականությունը ձգտում է առավելագույնի հասցնել իր ապագա գործողությունների ազատությունը, և մենք այն կարող ենք ընկերական համարել, եթե դրա պլանավորման հորիզոնն ավելի երկար լինի, քան որոշակի շեմ, և կհամարվի ոչ ընկերական, եթե պլանավորման հորիզոնն այդ շեմից կարճ լինի։

Լյուկ Մյուլհաուզերը, գրելով Մեքենայական բանականության հետազոտությունների ինստիտուտի համար, խորհուրդ է տալիս մեքենայական էթիկայի հետազոտողներին ընդունել այն, ինչ Բրյուս Շնայերը անվանել է «Անվտանգության մտածողություն»․ ոչ թե մտածեք ինչպես է համակարգը գործելու, այլ պատկերացրեք, թե ինչպես այն կարող է ձախողվել։ Օրինակ, նա ենթադրում է, որ նույնիսկ արհեստական բանականությունը, որը միայն ճշգրիտ կանխատեսումներ է անում և հաղորդակցվում է տեքստային ինտերֆեյսի միջոցով, կարող է վնասակար լինել։

2014 թվականին Լյուկ Մյուլհաուզերն ու Նիկ Բոստրոմն ընդգծեցին «ընկերական արհեստական բանականության» անհրաժեշտությունը, սակայն միևնույն ժամանակ «ընկերական» սուպերինտելեկտի մշակման դժվարությունները, օրինակ ՝ հակաֆակտային բարոյական մտածողության ծրագրավորման միջոցով, զգալի են։

Համաձայնեցված էքստրապոլացված կամք
---------------------------------

Յուդկովսկին առաջ է քաշում համաձայնեցված էքստրապոլացված կամքի մոդելը։ Նրա խոսքով ՝ համաձայնեցված էքստրապոլացված կամքը մարդկանց ընտրությունն է և այն գործողությունները, որոնք մարդիկ հավաքականորեն կձեռնարկեին, եթե «մենք ավելին իմանայինք, ավելի արագ մտածեինք, ավելի շատ մարդիկ լինեին և ավելի մոտ լինեինք միմյանց»:

Ընկերական արեստական բանականությունն ուղղակիորեն մարդկային ծրագրավորողների կողմից նախագծված լինելու փոխարեն, պետք է մշակված լինի «արեստական բանականության սերմի» կողմից, որը ծրագրավորված է նախ ուսումնասիրելու մարդկային բնությունը, այնուհետև արտադրել արեստական բանականություն, որը մարդկությունը կցանկանար ստանալ, հաշվի առնելով բավարար ժամանակ և խորաթափանցություն՝ գոհացուցիչ պատասխանների հասնելու համար։ «Ընկերականության» վերջնական չափանիշը հանդիսանում է օբյեկտիվ բարոյականության որոշման մետա-էթիկական խնդրի պատասխանը (գուցե արտահայտված մաթեմատիկական նպատակներով կամ որոշման այլ տեսական ֆորմալիզմի տեսքով). էքստրապոլացված կամքը նախատեսված է այն ամենի համար, ինչն օբյեկտիվորեն կամենում է մարդկությունը, դիտարկված ամեն ինչ, բայց այն կարող է որոշվել միայն ժամանակակից, ներկայիս մարդկության հոգեբանական և ճանաչողական հատկանիշների շնորրհիվ։

Այլ մոտեցումներ
---------------

Սթիվ Օմոհունդրոն առաջարկել է արհեստական բանականության «փայտամած» մոտեցումը, որում արհեստական բանականության անվտանգ սերունդներից մեկը օգնում է կառուցել հաջորդ կանխատեսելիորեն անվտանգ սերունդը։

Սեթ Բաումը պնդում է, որ անվտանգ, սոցիալապես օգտակար արհեստական բանականության կամ արհեստական ընդհանուր բանականության զարգացումն արհեստական բանականության հետազոտական համայնքների սոցիալական հոգեբանության ֆունկցիան է, և, հետևաբար, կարող է սահմանափակվել արտաքին և ներքին բնույթի չափանիշներով։ Ներքին շարժառիթները կարող են ուժեղացվել, երբ հաղորդագրությունները ռեզոնանսվում են արհեստական բանականության մշակողների հետ. Բաումը պնդում է, որ, ի տարբերություն դրա․ «Օգտակար արհեստական բանականության վերաբերյալ գոյություն ունեցող հաղորդագրությունները միշտ չէ, որ լավ ձևակերպված են»։ Բաումը պաշտպանում է «Համագործակցային հարաբերություններ և արհեստական բանականության հետազոտողների դրական շրջանակը» և նախազգուշացնում է արհեստական բանականության հետազոտողներին բնութագրել որպես «օգտակար ծրագրեր հետապնդող չցանկացողներ»:

«Համատեղելի մարդ» գրքում, արհեստական բանականության հետազոտող Ստյուարտ Ջ. Ռասելը թվարկում է երեք սկզբունք, որոնցով պետք է առաջնորդվել օգտակար մեքենաների մշակման ժամանակ։ Նա շեշտում է, որ այդ սկզբունքները նախատեսված չեն հստակ մեքենաների կոդավորման համար, ավելի շատ նախատեսված են դրանք մշակող մարդկանց համար։ Սկզբունքները հետևյալն են․

|  |  |  |
| --- | --- | --- |
|  | 1. Մեքենայի միակ նպատակը մարդկային նախապատվություններն առավելագույնս իրականացնելն է ։

2. Մեքենան ի սկզբանե վստահ չէ, թե որոնք են այդ նախապատվությունները։
3. Մարդու նախապատվությունների վերաբերյալ տեղեկատվության վերջնական աղբյուրը մարդու վարքագիծն է։ |  |

«Նախապատվությունները», որոնց մասին նշում է Ռասելը, «համապարփակ են. դրանք ընդգրկում են այն ամենը, ինչը ձեզ կարող է հետաքրքրել, կամայականորեն հեռու ապագայում»: Նմանապես, «վարքագիծը» ներառում է տարբերակների միջև ցանկացած ընտրություն, իսկ անորոշությունն այնպիսին է, որ որոշակի հավանականություն, որը կարող է լինել բավականին փոքր, պետք է վերագրվի ցանկացած տրամաբանորեն հնարավոր մարդկային նախապատվությանը։

Հանրային քաղաքականություն
-------------------------

Ջեյմս Բարրաթը, «Մեր վերջնական գյուտ»-ի հեղինակը, առաջարկել է, որ «պետք է ստեղծվի պետական-մասնավոր համագործակցություն՝ անվտանգության գաղափարների փոխանակման համար, Ատոմային էներգիայի միջազգային գործակալության նման մի բան, սակայն կորպորացիաների հետ համագործակցությամբ։ Նա արհեստական բանականության հետազոտողներին հորդորում է գումարել հանդիպում, ինչպիսին է Ասիլոմար վերականգնող ԴՆԹ-ի խորհրդաժողովը, որտեղ քննարկվում են կենսատեխնոլոգիայի ռիսկերը։

Ջոն ՄաքԳիննիսը կոչ է անում կառավարություններին արագացնել ընկերական արհեստական բանականության հետազոտությունները։ Քանի որ ընկերական արհեստական բանականության նպատակակետերը պարտադիր չէ, որ ակնառու լինեն, նա առաջարկում է Առողջապահության ազգային ինստիտուտին նման մի մոդել, որտեղ «Համակարգչային և ճանաչողական գիտնականների փորձագիտական խմբերը կխրախուսեն նախագծերը և կընտրեն այնպիսի ծրագրեր, որոնք նախատեսված են ինչպես արհեստական բանականության առաջխաղացման, այնպես էլ ապահովելու համար, որ նման ձեռքբերումները ուղեկցվում են համապատասխան երաշխիքներով»։ ՄաքԳիննիսը կարծում է, որ «փորձագիտական գնահատականն ավելի լավ է, քան կանոնակարգը` լուծելու այն տեխնիկական խնդիրները, որոնք հնարավոր չէ բյուրոկրատական մանդատների միջոցով ձեռք բերել»։ ՄաքԳիննիսը նշում է, որ իր առաջարկը հակասում է մեքենայական բանականության հետազոտական ինստիտուտի առաջարկին, որն ընդհանուր առմամբ նպատակ ունի խուսափել կառավարության ներգրավվածությունից ընկերական արհեստական բանականության մեջ։

Ըստ Գարի Մարկուսի, տարեկան գումարները, որոնք ծախսվում են մեքենայական բարքերը զարգացնելու համար, չնչին են։

Քննադատություն
--------------

Քննադատներից ոմանք կարծում են, որ ինչպես մարդկային մակարդակի արհեստական բանականությունն ու գերբանականությունը քիչ հավանական են, այնպես էլ բարեկամական արհեստական բանականությունը ևս քիչ հավանական է:«***Գարդիան***»-ի հոդվածում Ալան Ուինֆիլդը մարդկային մակարդակի արհեստական բանականությունը համեմատում է թեթև ճանապարհորդության հետ՝ դժվարության տեսանկյունից և ասում է, որ չնայած մեզ անհրաժեշտ է «զգույշ և պատրաստ լինել, բայց միևնույն է մենք չպետք է կենտրոնանանք գերբանականության ռիսկերի վրա»։ Մյուս կողմից, Բոյլեսը և Ջոակինը պնդում են, որ Լյուկ Մյուլհաուզերի և Նիք Բոստրոմի առաջարկը ` ստեղծել ընկերական արհեստական բանականություն, կեղծ է։ Դա այն պատճառով է, որ Մյուլհաուզերը և Բոստրոմը, ըստ երևույթին, հավատարիմ են այն գաղափարին, որ բանական մեքենաները կարող են ծրագրավորված լինել հակակոռուպցիոն մտածելու այն բարոյական արժեքների մասին, որոնք մարդիկ կունենային։ «Արհեստական բանականությունը և հասարակությունը» ամսագրում հրապարակված հոդվածում Բոյլսը և Ջոակինը պնդում են, որ նման արհեստական բանականությունն այնքան էլ ընկերական չի լինի՝ հաշվի առնելով հետևյալը. նախորդ հակաճգնաժամային պայմանների անսահման քանակությունը, որոնք պետք է ծրագրավորված լինեն մեքենայում, բարոյական արժեքների հավաքագրման կանխելու դժվարությունը, այսինքն, արժեքներ, որոնք ներկայումս ավելի իդեալական են, քան մարդկային էակներինը, և ակնհայտ բացը հակաֆակտային հնությունների և դրանցից բխող իդեալական արժեքների միջև։

Որոշ փիլիսոփաներ պնդում են, որ ցանկացած իսկապես «բանական» գործակալ, լինի դա արհեստական, թե մարդկային, բնականաբար, բարեսիրտ կլինի․ այս տեսակետից, ընկերական արհեստական բանականության ստեղծման համար նախատեսված կանխամտածված նախազգուշական միջոցները կարող են ավելորդ կամ նույնիսկ վնասակար լինել։ Այլ քննադատներ կասկածի տակ են դնում արհեստական բանականությունը ընկերական լինելը։ Ադամ Քեյփերը և Արի Ն․ Շուլմանը, «Նոր Ատլանտիս» տեխնոլոգիական ամսագրի խմբագիրները, ասում են, որ արհեստական բանականության մեջ երբեք հնարավոր չի լինի երաշխավորել «ընկերական» վարքագիծը, քանի որ էթիկական բարդության խնդիրները չեն զիջում ծրագրային ապահովման առաջընթացին կամ հաշվողական հզորության ավելացմանը։ Նրանք գրում են, որ չափանիշները, որոնց վրա հիմնված են ընկերական արհեստական բանականության տեսությունները, գործում են «միայն այն դեպքում, երբ մարդը ունի ոչ միայն կանխատեսման մեծ լիազորություններ բազում հնարավոր արդյունքների հավանականության վերաբերյալ, այլև վստահություն և համաձայնություն այն մասին, թե ինչպես են գնահատում տարբեր արդյունքները։

Տես նաև
-------

* OpenAI

Ծանոթագրություններ
------------------

1. ↑  Tegmark, Max (2014). "Life, Our Universe and Everything". *Our Mathematical Universe: My Quest for the Ultimate Nature of Reality* (First ed.). ISBN 9780307744258. Its owner may cede control to what Eliezer Yudkowsky terms a "Friendly AI,"...
2. ↑  Russell, Stuart; Norvig, Peter (2009). *Artificial Intelligence: A Modern Approach*. Prentice Hall. ISBN 978-0-13-604259-4.
3. ↑  Leighton, Jonathan (2011). *The Battle for Compassion: Ethics in an Apathetic Universe*. Algora. ISBN 978-0-87586-870-7.
4. ↑  Russell, Stuart; Norvig, Peter (2010). *Artificial Intelligence: A Modern Approach*. Prentice Hall. ISBN 978-0-13-604259-4.
5. ↑  Wallach, Wendell; Allen, Colin (2009). *Moral Machines: Teaching Robots Right from Wrong*. Oxford University Press, Inc. ISBN 978-0-19-537404-9.
6. ↑  Kevin LaGrandeur. "The Persistent Peril of the Artificial Slave". *Science Fiction Studies*. Retrieved 2013 թ․ մայիսի 6.
7. ↑  Isaac Asimov (1964). "Introduction". *The Rest of the Robots*. Doubleday. ISBN 0-385-09041-2.
8. ↑  Eliezer Yudkowsky (2008) in *Artificial Intelligence as a Positive and Negative Factor in Global Risk*
9. ↑  Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483-492).
10. ↑  Bostrom, Nick (2014). *Superintelligence: Paths, Dangers, Strategies*. Oxford: Oxford University Press. ISBN 9780199678112. Chapter 7: The Superintelligent Will.
11. ↑  'How Skynet Might Emerge From Simple Physics*, io9, Published 2013-04-26.*
12. ↑  Wissner-Gross, A. D.; Freer, C. E. (2013). "Causal entropic forces" (PDF). *Physical Review Letters*. **110** (16): 168702. Bibcode:2013PhRvL.110p8702W. doi:10.1103/PhysRevLett.110.168702. PMID 23679649. Արխիվացված է the original (PDF) 2020 թ․ հունվարի 11-ին. Retrieved 2020 թ․ օգոստոսի 25.
13. ↑  Muehlhauser, Luke (2013 թ․ հուլիսի 31). "AI Risk and the Security Mindset". *Machine Intelligence Research Institute*. Retrieved 2014 թ․ հուլիսի 15.
14. ↑  Muehlhauser, Luke; Bostrom, Nick (2013 թ․ դեկտեմբերի 17). "WHY WE NEED FRIENDLY AI". *Think*. **13** (36): 41–47. doi:10.1017/s1477175613000316. ISSN 1477-1756.
15. ↑  Boyles, Robert James M.; Joaquin, Jeremiah Joven (2019 թ․ հուլիսի 23). "Why friendly AIs won't be that friendly: a friendly reply to Muehlhauser and Bostrom". *AI & SOCIETY*. **35** (2): 505–507. doi:10.1007/s00146-019-00903-0. ISSN 0951-5666.
16. ↑  Chan, Berman (2020 թ․ մարտի 4). "The rise of artificial intelligence and the crisis of moral passivity". *AI & SOCIETY* (in անգլերեն). doi:10.1007/s00146-020-00953-9. ISSN 1435-5655.
17. 1 2  "Coherent Extrapolated Volition" (PDF). Intelligence.org. Retrieved 2015 թ․ սեպտեմբերի 12.
18. 1 2  Hendry, Erica R. (2014 թ․ հունվարի 21). "What Happens When Artificial Intelligence Turns On Us?". Smithsonian.com. Retrieved 2014 թ․ հուլիսի 15.
19. ↑  Baum, Seth D. (2016 թ․ սեպտեմբերի 28). "On the promotion of safe and socially beneficial artificial intelligence". *AI & Society*. **32** (4): 543–551. doi:10.1007/s00146-016-0677-0. ISSN 0951-5666.
20. 1 2 3 4  Russell, Stuart (2019 թ․ հոկտեմբերի 8). *Human Compatible: Artificial Intelligence and the Problem of Control*. United States: Viking. ISBN 978-0-525-55861-3. OCLC 1083694322.
21. ↑  McGinnis, John O. (Summer 2010). "Accelerating AI". *Northwestern University Law Review*. **104** (3): 1253–1270. Retrieved 2014 թ․ հուլիսի 16.
22. ↑  Marcus, Gary (2012 թ․ նոյեմբերի 24). "Moral Machines". *The New Yorker*. Retrieved 2014 թ․ հուլիսի 30.
23. ↑  Winfield, Alan. "Artificial intelligence will not turn into a Frankenstein's monster". *The Guardian*. Retrieved 2014 թ․ սեպտեմբերի 17.
24. ↑  Muehlhauser, Luke; Bostrom, Nick (2014). "Why we need friendly AI". *Think*. **13** (36): 41–47. doi:10.1017/S1477175613000316.
25. ↑  Boyles, Robert James M.; Joaquin, Jeremiah Joven (2019). "Why Friendly AIs won't be that Friendly: A Friendly Reply to Muehlhauser and Bostrom". *AI & Society*: 1–3. doi:10.1007/s00146-019-00903-0.
26. ↑  Kornai, András. "Bounding the impact of AGI". Journal of Experimental & Theoretical Artificial Intelligence ahead-of-print (2014): 1-22. "...the essence of AGIs is their reasoning facilities, and it is the very logic of their being that will compel them to behave in a moral fashion... The real nightmare scenario (is one where) humans find it advantageous to strongly couple themselves to AGIs, with no guarantees against self-deception."
27. ↑  Adam Keiper and Ari N. Schulman. "The Problem with 'Friendly' Artificial Intelligence". The New Atlantis. Retrieved 2012 թ․ հունվարի 16.

Գրականություն
-------------

* Yudkowsky, E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. In *Global Catastrophic Risks*, Oxford University Press, 2008.
* Omohundro, S. 2008 The Basic AI Drives Appeared in AGI-08 - Proceedings of the First Conference on Artificial General Intelligence
* Mason, C. 2008 Human-Level AI Requires Compassionate Intelligence Archived 2022-01-09 at the Wayback Machine. Appears in AAAI 2008 Workshop on Meta-Reasoning:Thinking About Thinking

Արտաքին հղումներ
----------------

* Ethical Issues in Advanced Artificial Intelligence by Nick Bostrom
* What is Friendly AI? — A brief description of Friendly AI by the Machine Intelligence Research Institute.
* Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures — A near book-length description from the MIRI
* Critique of the MIRI Guidelines on Friendly AI
* Commentary on MIRI's Guidelines on Friendly AI — by Peter Voss.
* The Problem with ‘Friendly’ Artificial Intelligence — On the motives for and impossibility of FAI; by Adam Keiper and Ari N. Schulman.