"Rossum'un Evrensel Robotları" olarak çevrilen 1920 Çek oyunu *RUR'da* robotların isyanı

|  |
| --- |
| Makale serisidir |
| Yapay zekâ |
|  |
| Gelişim süreci
* Akıl yürütme
* Bilgisayarlı görü
* Doğal dil işleme
* Genel oyun oynama
* Yapay genel zekâ
* Makine öğrenimi
* Planlama
* Robotik
* Yapay zekâ
* Yapay hayal gücü
 |
| Yaklaşımlar
* Bayes ağı
* Derin öğrenme
* Evrimsel algoritma
* Sembolik
 |
| Felsefe
* Çince odası
* Dost canlısı yapay zekâ
* Kontrol sorunu/Ele geçirme
* Etik
* Turing testi
* Varoluşsal risk
 |
| Tarihçe
* Gelişim süreci
* Yapay zekâ kışı
 |
| Teknoloji
* Programlama dilleri
* Projeler
* Uygulamalar
 |
| Sözlük
* Sözlük
 |
| * g
* t
* d
 |

**Yapay zekanın kontrolü devralması**, bilgisayar programlarının veya robotların gezegenin kontrolünü etkili bir şekilde insan türünün elinden alması sonucunda yapay zekanın (AI) Dünya'nın baskın zeka biçimi haline geldiği varsayımsal bir senaryodur. Olası senaryolar arasında tüm insan iş gücünün değiştirilerek tam otomasyon sağlanması, süper akıllı bir yapay zekanın kontrolü devralması ve popüler bir robot isyanı fikri yer almaktadır. Yapay zekanın ele geçirilmesiyle ilgili hikâyeler bilim kurgu boyunca çok popülerdir. Stephen Hawking ve Elon Musk gibi bazı ünlü kişiler, gelecekte süper zeki cihazların insan denetimi altında kalmalarını temin etmek için tedbir araştırmaları yürütülmesini savunmaktadır.

Türler
------

### Ekonominin tam otomasyonu

İktisatçılar dünyadaki teknolojik ilerlemenin uzun vadeli işsizliğe yol açmayacağı konusunda geleneksel bir görüş birliği içerisindedir. Bununla birlikte, robotik ve yapay zeka alanlarındaki son yenilikler, insan emeğinin geçersiz hale geleceği ve çeşitli sektörlerdeki insanların hayatlarını kazanmak için iş bulamayacağı ve dolayısıyla ekonomik bir krizin ortaya çıkacağı yönündeki endişeleri arttırmaktadır. Birçok küçük ve orta ölçekli işletme, en son robotik ve yapay zeka teknolojisini satın alamaz veya lisanslayamazlarsa iflas edebilir ve bu teknoloji karşısında varlıklarını sürdürebilmeleri için kolayca ikame edilemeyecek alanlara veya hizmetlere yoğunlaşmaları gerekebilir.

#### İşçileri yerinden edebilecek teknolojiler

Yapay zeka teknolojileri geçtiğimiz yıllarda yaygın bir şekilde kullanılmaya başlandı. Bu teknolojiler birçok geleneksel çalışanın yerini alırken, aynı zamanda yeni olanaklar da yaratıyor. Yapay zekanın ele geçirmesine en yatkın sektörler arasında ulaşım, perakende ve ordu yer almaktadır. Örneğin yapay zeka askeri teknolojileri, askerlerin herhangi bir yaralanma riski olmadan uzaktan çalışmalarına olanak sağlamaktadır. Yazar Dave Bond, yapay zeka teknolojileri gelişmeye ve genişlemeye devam ettikçe, insanlar ve robotlar arasındaki ilişkinin de dönüşeceğini ve robotların hayatın çeşitli alanlarına yakından dahil olacağını ileri sürmektedir. Yapay zeka muhtemelen bazı çalışanların yerini alırken, diğer sektörlerde, özellikle de görevlerin tekrar edilebilir olduğu alanlarda yeni işler için fırsatlar yaratacaktır.

#### Bilgisayarla entegre üretim

Bilgisayarla entegre üretim, bilgisayarları üretim sürecini kontrol etmek için kullanmaktadır. Bu, münferit süreçlerin birbirleriyle bilgi alışverişinde bulunmalarına ve eylemleri başlatmalarına olanak sağlar. Bilgisayarların entegrasyonu sayesinde üretim daha hızlı ve daha az hataya açık hale gelse de, asıl önemli fayda otomasyona dayalı üretim süreçlerinin yaratılabilmesidir. Bilgisayar entegreli üretim otomotiv, havacılık, uzay ve gemi inşa endüstrilerinde kullanılmaktadır.

#### Beyaz yakalı makineler

21. yüzyılda çeviri, hukuki araştırma ve düşük seviyeli gazetecilik de dahil olmak üzere birçok vasıflı görev kısmen makineler tarafından devralınmıştır. Daha önce otomasyondan uzak olduğu düşünülen bakım işleri, eğlence ve empati isteyen diğer görevler de artık robotlar tarafından yerine getirilmeye başlanmıştır.

#### Otonom arabalar

Otonom araba, çevresini algılayabilen ve insan müdahalesi olmadan hareket edebilen bir araçtır. Bu tür birçok araç geliştirilmekte, ama Mayıs 2017 itibarıyla kamuya açık yollarda kullanılmasına izin verilen otonom araçlar henüz tam otonom değil. Hepsinin direksiyonunda, bir anda aracın hakimiyetini ele alabilecek bir insan sürücünün olması gerekmektedir. Otonom araçların yaygın olarak benimsenmesinin önündeki engellerden biri de karayolu taşımacılığı sektöründeki şoförlükle ilgili işlerin kaybına ilişkin duyulan endişelerdir. 18 Mart 2018'de, Tempe, Arizona'da Uber'in sürücüsüz aracının çarptığı bir insan, otonom bir araç tarafından öldürülmüştür.

### Ortadan kaldırma

Stephen Hawking gibi bilim insanları insanüstü yapay zekanın fiziksel açıdan mümkün olduğundan emindir ve "parçacıkların insan beynindeki parçacık düzeninden bile daha gelişmiş hesaplamalar yapabilecek şekilde düzenlenmesini önleyecek hiçbir fiziksel yasa yoktur" şeklinde ifade etmektedir. Nick Bostrom gibi bilim adamları insanüstü zekanın ne kadar uzakta olduğunu ve insanlık için bir risk oluşturup oluşturmadığını konusunu tartışıyorlar. Bostrom'a göre, süper zeki bir makine, genellikle insanları harekete geçiren güç elde etmeye yönelik aynı duygusal arzuyla motive olmak zorunda olmayacak, bunun yerine gücü nihai hedeflerine ulaşmak için bir vasıta olarak ele alabilecektir; dünyayı ele geçirmek hem kaynaklara erişimini artıracak hem de diğer aracıların makinenin planlarını durdurmasını önlemeye yardımcı olacaktır. Aşırı basitleştirilmiş bir örnek olarak, yalnızca mümkün olduğunca çok sayıda ataç yaratmak üzere tasarlanmış bir ataç maksimize edicisi, dünyanın tüm kaynaklarını mümkün olduğunca çok ataç yaratmak için kullanmak ve ayrıca insanların onu kapatmasını ya da bu kaynakları ataç dışında başka şeyler için kullanmasını engellemek amacıyla dünyayı ele geçirmek isteyecektir.

Kurguda
-------

Yapay zekanın kontrolü devralması bilimkurguda yaygın kullanılan bir temadır. Araştırmacıların, hedeflerine ulaşmanın bir yan ürünü olarak insanları hızla yok eden bir yapay zeka endişesinin aksine, kurgusal senaryolar genellikle insanlarla kendilerini tehdit olarak gören veya insanlarla savaşmak için aktif bir istek duyan antropomorfik güdülere sahip bir yapay zeka veya robotlar arasında aktif bir çatışmayı içerdikleri için araştırmacılar tarafından varsayılan senaryolardan büyük ölçüde farklılık göstermektedir. Bu fikir, 1921'de *robot* kelimesini ortaya atan Karel Čapek'in *RUR'unda* görülür  ve Mary Shelley'nin *Frankenstein'ında* (1818'de yayınlandı) da görülebilir; Victor, canavarının isteğini kabul edip edemeyeceğini düşünürken ona eş yaptıktan sonra ürer ve insanlığı yok ederler.

Toby Ord'a göre, yapay zekanın yönetimi ele geçirmesi için robot gerekliliği fikri, medya ve Hollywood tarafından yönlendirilen bir yanlış anlamadır. Tarihte en çok zarar veren insanların fiziksel olarak en güçlüler olmadığını, bunun yerine insanları ikna etmek ve dünyanın büyük bölümünün kontrolünü ele geçirmek için kelimeleri kullandıklarını ileri sürmektedir. İnternete erişimi olan yeterince zeki bir yapay zekanın kendisinin yedek kopyalarını dağıtabileceğini, finansal ve insani kaynakları (siber saldırılar veya şantajlar yoluyla) bir araya getirebileceğini, insanları büyük ölçekte ikna edebileceğini ve insanların tahmin edemeyeceği kadar ince toplumsal açıklardan yararlanabileceğini yazmaktadır.

*RUR'dan* gelen "robot" kelimesi, işçi veya serf anlamına gelen Çekçe *robota* kelimesinden gelir. 1920 tarihli oyun, teknolojinin hızla gelişmesine karşı bir başkaldırıydı ve sonunda isyan eden, artan yeteneklere sahip, imal edilmiş "robotlar" içeriyordu. HAL 9000 (1968) ve orijinal Terminatör (1984), popüler kültürde düşman yapay zekanın iki ikonik örneğidir.

Katkı sağlayan faktörler
------------------------

### İnsanüstü zekanın insanlara göre avantajları

Nick Bostrom ve diğerleri, yetenekli bir yapay zeka araştırmacısının yeteneklerine sahip bir yapay zekanın kendi kaynak kodunu değiştirebileceğine ve kendi zekasını arttırabileceğine dair kaygılarını dile getirmişlerdir. Kendi kendini yeniden programlaması, kendini yeniden programlama konusunda daha da iyi hale gelmesine yol açacak olursa, bunun sonucu, insan zekasını hızla geride bırakacak yinelemeli bir zeka patlaması olabilecektir. Bostrom bir süper zekayı "neredeyse tüm ilgi alanlarındaki insanların bilişsel performansını büyük ölçüde aşan herhangi bir akıl" olarak tanımlıyor ve bir süper zekanın insanlarla rekabet etmeyi seçmesi durumunda sahip olacağı bazı avantajları sıralıyor:

* Teknoloji araştırması: İnsanüstü bilimsel araştırma yeteneklerine sahip bir makine, nanoteknoloji veya ileri biyoteknoloji gibi kilometre taşlarında insan araştırma topluluğunu geride bırakabilir
* Strateji Oluşturma : Bir süper zeka, insanı kolaylıkla alt edebilir
* Sosyal manipülasyon: Bir süper zeka insan desteğini toplayabilir  veya gizlice insanlar arasında bir savaşı kışkırtabilir
* Ekonomik üretkenlik: Yapay zekanın bir kopyası, donanımının maliyetinden daha fazla ekonomik zenginlik üretebildiği sürece, bireysel insanlar, Yapay Genel Zekanın kendisinin bir kopyasını kendi sistemlerinde çalıştırmasına gönüllü olarak izin verme teşvikine sahip olacaktır.
* Bilgisayar korsanlığı: Bir süper zeka, internete bağlı bilgisayarlarda yeni açıklıklar bulabilir ve kendisinin kopyalarını bu sistemlere yayabilir veya planlarını finanse etmek için para çalabilir.

#### Yapay zeka avantajının kaynakları

Bostrom'a göre, bir insan beynini taklit eden ya da insan beyninin algoritmaları kadar güçlü algoritmalar çalıştıran bir bilgisayar programı, et yerine silikondan yapılmış olması ya da yapay zekanın hızını artıran optimizasyon nedeniyle bir insandan çok daha hızlı düşünebilmesi halinde yine de "hız süper zekası" haline gelebilir. Biyolojik nöronlar yaklaşık 200 Hertz hızında çalışırken, modern bir mikroişlemci yaklaşık 2.000.000.000 Hertz hızında çalışır. İnsan aksonları aksiyon potansiyellerini yaklaşık 120 m/s hızla taşırken, bilgisayar sinyalleri ışık hızına yakın bir hızla hareket etmektedir.

Birbirleriyle iletişim ağı kuracak ve karmaşık düşünce ve anıları sorunsuz bir şekilde paylaşacak şekilde tasarlanmış, sürtüşme olmadan dev bir birleşik güç olarak çalışabilen veya trilyonlarca insan düzeyinde zekadan oluşan bir ağ, "kolektif bir süper zeka" haline gelecektir.

Daha geniş anlamda, insan düzeyindeki bir yapay zekada yapılacak herhangi bir sayıda niteliksel iyileştirme "kaliteli bir süper zeka" ile sonuçlanabilir ve belki de zeka açısından insanların insan olmayan maymunlardan daha üstün olduğu kadar üstün bir yapay zeka ile sonuçlanabilir. Bir insanın beynindeki nöron sayısı kafatası hacmi ve metabolik kısıtlamalarla sınırlıyken, bir süper bilgisayardaki işlemci sayısı süresiz olarak artırılabilir. Bir yapay zeka, insanların çalışma belleği üzerindeki kısıtlamaları ile sınırlı olmak zorunda değildir ve bu yüzden insanların yapabildiğinden daha karmaşık ilişkileri sezgisel olarak kavrayabilir. Mühendislik veya bilgisayar programlama için özel bilişsel desteğe sahip bir yapay zeka, bu alanlarla özellikle ilgilenmek için özel zihinsel modüller geliştirmeyen insanlara kıyasla bu alanlarda bir avantaja sahip olacaktır. İnsanların aksine, bir yapay zeka kendi kopyalarını oluşturabilir ve algoritmalarını daha da geliştirmeye çalışmak için kopyalarının kaynak kodlarıyla oynayabilir.

### Dost olmayan yapay zekanın dost canlısı yapay zekadan önce gelme olasılığı

#### Güçlü yapay zeka doğası gereği tehlikeli midir?

Önemli sorunlardan biri, dostane olmayan yapay zekanın yaratılmasının dostane yapay zekadan çok daha kolay olmasıdır. Her ikisi de özyinelemeli optimizasyon süreci tasarımında büyük ilerlemeler gerektirse de, dostane yapay zeka aynı zamanda hedef yapılarını kendini geliştirme altında değişmez kılma becerisi ve insan değerleriyle uyumlu ve tüm insan ırkını otomatik olarak yok edebilecek şekilde aracı yakınsamaya uğramayan bir hedef yapısı gerektirmektedir. Öte yandan, dostane olmayan bir yapay zeka, kendi kendini geliştirme kapsamında değişmez olması gerekli olmayan keyfi bir hedef yapısı için iyileştirme yapabilmektedir.

İnsan değer sistemlerinin karmaşıklığı, yapay zekanın motivasyonlarının insan dostu hale gelmesini çok zor hale getirmektedir. Ahlak felsefesi bize kusursuz bir etik teorisi sunmadığı sürece, bir yapay zekanın fayda fonksiyonu, belirli bir etik çerçeveye uyan ancak "sağduyuya" uygun olmayan birçok potansiyel zararlı senaryoya izin verecektir. Eliezer Yudkowsky'ye göre, yapay olarak tasarlanan bir zihnin böyle bir uyarlamaya sahip olacağını varsaymak için çok az neden vardır.

#### Çatışma olasılığı

Evrimsel psikolog Steven Pinker da dahil olmak üzere pek çok bilim adamı, süper zeki bir makinenin insanlarla barış içinde bir arada yaşamasının muhtemel olduğunu savunmaktadır.

Sibernetik isyan korkusu genellikle insanlığın köleleştirme ve soykırım olaylarıyla dolu tarihinin yorumlarına dayandırılmaktadır. Bu tür korkular, rekabetçilik ve saldırganlığın herhangi bir zeki varlığın hedef sistemi içinde gerekli olduğu inancından kaynaklanmaktadır. Oysa insanların rekabetçiliği, insan ve insan olmayan rakipler karşısında genlerin hayatta kalması ve üremesinin temel hedef olduğu zekamızın evrimsel arka planından kaynaklanmaktadır. YZ araştırmacısı Steve Omohundro'ya göre, keyfi bir zekanın keyfi hedefleri olabilir: yapay zekalı bir makinenin, yaratıcısı onu bu şekilde programlamadıkça ve programını değiştirmeye meyilli veya yetenekli olmadıkça, düşmanca veya dostça olması için özel bir sebep yoktur. Ancak soru şu: Eğer yapay zeka sistemleri etkileşime girebilir ve evrimleşebilirse (bu bağlamda evrim, kendini değiştirme veya seçilim ve üreme anlamına gelir) ve kaynaklar üzerinde rekabet etmeleri gerekirse ne olacaktır ki bu da kendini koruma hedefleri yaratır mı? Yapay zekanın kendini koruma hedefi, insanların bazı hedefleriyle çelişebilir.

Pek çok bilim insanı, *Matrix* gibi bilim kurgu filmlerinde tasvir edildiği gibi beklenmedik bir sibernetik isyan ihtimaline karşı çıkmakta ve insanlığı tehdit edecek kadar güçlü herhangi bir yapay zekanın muhtemelen saldırmamak üzere programlanmış olmasının daha muhtemel olduğunu ileri sürmektedir. Pinker, kasıtlı "kötü niyetli aktörler" olasılığını kabul etmekte, fakat kötü niyetli aktörlerin yokluğunda, beklenmedik kazaların önemli bir tehdit oluşturmadığını ifade etmektedir; Pinker, mühendislik güvenlik kültürünün, yapay zeka araştırmacılarının kazara kötü niyetli süper zekayı serbest bırakmasını önleyeceğini savunmaktadır. Buna karşın Yudkowsky, insanlığın kasıtlı olarak saldırgan yapay zekalar tarafından tehlikeye atılma olasılığının, hedefleri kasıtsız olarak insanın hayatta kalması ile uyumsuz olacak şekilde programlanmış yapay zekalar tarafından tehdit edilme olasılığından daha düşük olduğunu savunmaktadır. Omohundro, günümüz otomasyon sistemlerinin güvenlik için tasarlanmadığını ve yapay zekaların dar fayda fonksiyonlarını körü körüne optimize edebileceklerini (örneğin, ne pahasına olursa olsun satranç oynamak), bunun da onları kendilerini korumaya ve onları kapatabilecek insanlar da dahil olmak üzere engelleri ortadan kaldırmaya yönelttiğini öne sürmektedir.

#### Önlemler

**Yapay zeka kontrolü sorunu,** yaratıcılarına zarar verecek bir süper zekayı yanlışlıkla oluşturmaktan kaçınırken, yaratıcılarına yardım edecek bir süper akıllı ajanın nasıl oluşturulacağı meselesidir. Bazı akademisyenler, kontrol problemine yönelik çözümlerin mevcut süper zeki olmayan yapay zekada da uygulama alanı bulabileceğini savunmaktadır.

Kontrol sorununa yönelik başlıca yaklaşımlar arasında yapay zeka hedef sistemlerini insani değerlerle *uyumlu* hale getirmeyi amaçlayan *hizalama ve yapay zeka sisteminin insanlara zarar verme veya kontrolü ele geçirme kapasitesini azaltmayı amaçlayan yetenek kontrolü* yer alıyor. "Yetenek kontrolüne" bir örnek, bir süper zeka yapay zekasının başarılı bir şekilde bir "Yapay Zeka kutusu "içinde sınırlandırılıp sınırlandırılamayacağının araştırılmasıdır. Bostrom'a göre, bu tür kabiliyet kontrolü önerileri uzun vadede kontrol sorununu çözmek için güvenilir veya yeterli değildir, fakat potansiyel olarak hizalama çabaları için değerli tamamlayıcılar olarak işlev görebilir.

Uyarılar
--------

Fizikçi Stephen Hawking, Microsoft'un kurucusu Bill Gates ve SpaceX'in kurucusu Elon Musk, yapay zekanın insanların onu kontrol edemeyeceği noktaya kadar gelişebileceği olasılığı hakkındaki endişelerini dile getirdiler; Hawking bunun "insan ırkının sonunu getirebileceğini" teorileştirdi. Stephen Hawking 2014 yılında şöyle demişti: "Yapay zeka yaratmadaki başarı insanlık tarihindeki en büyük olay olacaktır. Ne yazık ki, eğer risklerden nasıl kaçınacağımızı öğrenemezsek, bu aynı zamanda sonuncusu da olabilir." Hawking, önümüzdeki on yıllarda yapay zekanın "teknolojinin finansal piyasaları alt etmesi, insan araştırmacıları alt etmesi, insan liderleri alt etmesi ve anlayamadığımız silahlar geliştirmesi" gibi "hesaplanamaz faydalar ve riskler" sunabileceğine inanıyordu. Ocak 2015'te Nick Bostrom, Stephen Hawking, Max Tegmark, Elon Musk, Lord Martin Rees, Jaan Tallinn ve çok sayıda yapay zeka araştırmacısına katılarak Yaşamın Geleceği Enstitüsü'nün yapay zekayla ilgili potansiyel riskler ve faydalar hakkında konuşan açık mektubunu imzaladılar. İmzacılar, "yapay zeka sistemlerinin nasıl sağlam ve faydalı hale getirilebileceğine ilişkin araştırmaların hem önemli hem de zamanında yapılmasının önemine ve bugün takip edilebilecek somut araştırma yönleri olduğuna inanmaktadırlar." 

Arthur C. Clarke'ın Odyssey serisi ve Charles Stross'un Accelerando'su, insanlığın öz algısını tehdit eden güçlü yapay zekalar karşısında insanlığın narsisistik olarak yaralanmalarını konu almaktadır.

Ayrıca bakınız
--------------

* Yapay zeka felsefesi
* Yapay zekâ etiği
* Otonomasyon
* Siberokrasi
* Makine öğrenimi
* Teknofobi
* Neo-Luddizm
* Matrix (seri)

Kaynakça
--------

1. ↑  Lewis, Tanya (12 Ocak 2015). "*Don't Let Artificial Intelligence Take Over, Top Scientists Warn*". *LiveScience*. Purch. 8 Mart 2018 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Ekim 2015. Stephen Hawking, Elon Musk and dozens of other top scientists and technology leaders have signed a letter warning of the potential dangers of developing artificial intelligence (AI).
2. ↑  Lee, Kai-Fu (24 Haziran 2017). "The Real Threat of Artificial Intelligence". *The New York Times*. 17 Nisan 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Ağustos 2017. These tools can outperform human beings at a given task. This kind of A.I. is spreading to thousands of domains, and as it does, it will eliminate many jobs.
3. ↑  Larson, Nina (8 Haziran 2017). "AI 'good for the world'... says ultra-lifelike robot". *Phys.org*. 6 Mart 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Ağustos 2017. Among the feared consequences of the rise of the robots is the growing impact they will have on human jobs and economies.
4. ↑  Santini, Jean-Louis (14 Şubat 2016). "Intelligent robots threaten millions of jobs". *Phys.org*. 1 Ocak 2019 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Ağustos 2017. "We are approaching a time when machines will be able to outperform humans at almost any task," said Moshe Vardi, director of the Institute for Information Technology at Rice University in Texas.
5. ↑  Williams-Grut, Oscar (15 Şubat 2016). "Robots will steal your job: How AI could increase unemployment and inequality". *Businessinsider.com*. Business Insider. 16 Ağustos 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Ağustos 2017. Top computer scientists in the US warned that the rise of artificial intelligence (AI) and robots in the workplace could cause mass unemployment and dislocated economies, rather than simply unlocking productivity gains and freeing us all up to watch TV and play sports.
6. ↑  "How can SMEs prepare for the rise of the robots?". *LeanStaff* (İngilizce). 17 Ekim 2017. 18 Ekim 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 17 Ekim 2017.
7. ↑  Frank, Morgan (25 Mart 2019). "Toward understanding the impact of artificial intelligence on labor". *Proceedings of the National Academy of Sciences of the United States of America*. **116** (14): 6531-6539. doi:10.1073/pnas.1900949116. PMC 6452673 $2. PMID 30910965.
8. ↑  Bond, Dave (2017). *Artificial Intelligence*. ss. 67-69.
9. ↑  Skidelsky, Robert (19 Şubat 2013). "Rise of the robots: what will the future of work look like?". *The Guardian*. Londra. 3 Nisan 2019 tarihinde kaynağından arşivlendi. Erişim tarihi: 14 Temmuz 2015.
10. ↑  Bria, Francesca (February 2016). "The robot economy may already have arrived". openDemocracy. 17 Mayıs 2016 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2016.
11. ↑  Srnicek, Nick (March 2016). "4 Reasons Why Technological Unemployment Might Really Be Different This Time". novara wire. 25 Haziran 2016 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2016.
12. ↑  Brynjolfsson, Erik; McAfee, Andrew (2014). "*passim*, see esp Chpt. 9". *The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies*. W. W. Norton & Company. ISBN 978-0393239355.
13. ↑  Wakabayashi, Daisuke (19 Mart 2018). "Self-Driving Uber Car Kills Pedestrian in Arizona, Where Robots Roam". *New York Times*. 21 Nisan 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 23 Mart 2018.
14. ↑  Hawking, Stephen; Stuart Russell; Max Tegmark; Frank Wilczek (1 Mayıs 2014). "Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?'". *The Independent*. 2 Ekim 2015 tarihinde kaynağından arşivlendi. Erişim tarihi: 1 Nisan 2016.
15. ↑  Müller, Vincent C.; Bostrom, Nick (2016). "Future Progress in Artificial Intelligence: A Survey of Expert Opinion" (PDF). *Fundamental Issues of Artificial Intelligence*. Springer. ss. 555-572. doi:10.1007/978-3-319-26485-1\_33. ISBN 978-3-319-26483-7. 31 Mayıs 2022 tarihinde kaynağından (PDF) arşivlendi. Erişim tarihi: 16 Haziran 2022. AI systems will... reach overall human ability... very likely (with 90% probability) by 2075. From reaching human ability, it will move on to superintelligence within 30 years (75%)... So, (most of the AI experts responding to the surveys) think that superintelligence is likely to come in a few decades...
16. ↑  Bostrom, Nick (2012). "The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents" (PDF). *Minds and Machines*. Springer. **22** (2): 71-85. doi:10.1007/s11023-012-9281-3. 9 Temmuz 2022 tarihinde kaynağından (PDF) arşivlendi. Erişim tarihi: 16 Haziran 2022.
17. 1 2 3 4 5 6 7 8  Bostrom, Nick. *Superintelligence: Paths, Dangers, Strategies*.
18. ↑  "The Origin Of The Word 'Robot'". *Science Friday (public radio)*. 22 Nisan 2011. 14 Mart 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Nisan 2020.
19. ↑  Botkin-Kowacki, Eva (28 Ekim 2016). "A female Frankenstein would lead to humanity's extinction, say scientists". *Christian Science Monitor*. 26 Şubat 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Nisan 2020.
20. ↑  Ord, Toby (2020). "Unaligned artificial intelligence". *The precipice: existential risk and the future of humanity*. london New York (N.Y.): Bloomsbury academic. ISBN 978-1-5266-0023-3.
21. ↑  Hockstein, N. G.; Gourin, C. G.; Faust, R. A.; Terris, D. J. (17 Mart 2007). "A history of robots: from science fiction to surgical robotics". *Journal of Robotic Surgery*. **1** (2): 113-118. doi:10.1007/s11701-007-0021-2. PMC 4247417 $2. PMID 25484946.
22. ↑  Hellmann, Melissa (21 Eylül 2019). "AI 101: What is artificial intelligence and where is it going?". *The Seattle Times*. 21 Nisan 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Nisan 2020.
23. ↑  Babcock, James; Krámar, János; Yampolskiy, Roman V. (2019). "Guidelines for Artificial Intelligence Containment". *Next-Generation Ethics*. ss. 90-112. doi:10.1017/9781108616188.008. ISBN 9781108616188.
24. ↑  Baraniuk, Chris (23 Mayıs 2016). "Checklist of worst-case scenarios could help prepare for evil AI". *New Scientist*. 21 Eylül 2016 tarihinde kaynağından arşivlendi. Erişim tarihi: 21 Eylül 2016.
25. ↑  Yudkowsky, Eliezer S. (May 2004). "Coherent Extrapolated Volition". Singularity Institute for Artificial Intelligence. 15 Haziran 2012 tarihinde kaynağından arşivlendi.
26. ↑  Muehlhauser, Luke; Helm, Louie (2012). "Intelligence Explosion and Machine Ethics" (PDF). *Singularity Hypotheses: A Scientific and Philosophical Assessment*. Springer. 7 Mayıs 2015 tarihinde kaynağından (PDF) arşivlendi. Erişim tarihi: 2 Ekim 2020.
27. ↑  Yudkowsky, Eliezer (2011). "Complex Value Systems in Friendly AI". *Artificial General Intelligence*. Lecture Notes in Computer Science. **6830**. ss. 388-393. doi:10.1007/978-3-642-22887-2\_48. ISBN 978-3-642-22886-5. ISSN 0302-9743.
28. 1 2  Pinker, Steven (13 Şubat 2018). "We're told to fear robots. But why do we think they'll turn on us?". *Popular Science* (İngilizce). 20 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 8 Haziran 2020.
29. ↑  Omohundro, Stephen M. (June 2008). *The basic AI drives* (PDF). Artificial General Intelligence 2008. ss. 483-492. 10 Ekim 2020 tarihinde kaynağından (PDF) arşivlendi. Erişim tarihi: 2 Ekim 2020.
30. ↑  Tucker, Patrick (17 Nisan 2014). "Why There Will Be A Robot Uprising". Defense One. 6 Temmuz 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Temmuz 2014.
31. ↑  Russell, Stuart J. (8 Ekim 2019). *Human compatible : artificial intelligence and the problem of control*. ISBN 978-0-525-55862-0. OCLC 1237420037. 15 Mart 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 2 Ocak 2022.
32. ↑  "Google developing kill switch for AI". *BBC News*. 8 Haziran 2016. 11 Haziran 2016 tarihinde kaynağından arşivlendi. Erişim tarihi: 7 Haziran 2020.
33. ↑  Rawlinson, Kevin (29 Ocak 2015). "Microsoft's Bill Gates insists AI is a threat". *BBC News*. 29 Ocak 2015 tarihinde kaynağından arşivlendi. Erişim tarihi: 30 Ocak 2015.
34. ↑  "The Future of Life Institute Open Letter". The Future of Life Institute. 28 Ekim 2015. 29 Mart 2019 tarihinde kaynağından arşivlendi. Erişim tarihi: 29 Mart 2019.
35. ↑  Bradshaw, Tim (11 Ocak 2015). "Scientists and investors warn on AI". The Financial Times. 7 Şubat 2015 tarihinde kaynağından arşivlendi. Erişim tarihi: 4 Mart 2015.
36. ↑  Kaminski, Johannes D. (December 2022). "On human expendability: AI takeover in Clarke's Odyssey and Stross's Accelerando". *Neohelicon* (İngilizce). **49** (2): 495-511. doi:10.1007/s11059-022-00670-w. ISSN 0324-4652.

| * g
* t
* d
Yapay zekanın varoluşsal riski |
| --- |
| Kavramlar | 
* AGI
* Yapay zeka hizalaması
* Yapay zeka yetenek kontrolü
* Yapay zeka güvenliği
* Yapay zekanın devralınması
* Sonuçsalcılık
* Etkili ivmelenme
* Yapay zeka etiği
* Yapay genel zekadan kaynaklanan varoluşsal risk
* Dost yapay zeka
* Enstrümantal yakınsama
* İstihbarat patlaması
* Uzun vadelicilik
* Makine etiği
* Risklere maruz kalmak
* Süper Zeka
* Teknolojik tekillik

 |
| Kuruluşlar | 
* Hizalama Araştırma Merkezi
* Yapay Zeka Güvenliği Merkezi
* Uygulamalı Rasyonalite Merkezi
* İnsan Uyumlu Yapay Zeka Merkezi
* Varoluşsal Risk Araştırma Merkezi
* EleutherAI
* İnsanlığın Geleceği Enstitüsü
* Yaşamın Geleceği Enstitüsü
* Google DeepMind
* Humanity+
* Etik ve Gelişen Teknolojiler Enstitüsü
* Leverhulme Zekanın Geleceği Merkezi
* Makine Zekası Araştırma Enstitüsü
* OpenAI

 |