Yapay genel zekâdan kaynaklanan varoluşsal risk

Yapay genel zekadan kaynaklanan varoluşsal risk, yapay genel zekadaki önemli ilerlemenin insan neslinin tükenmesine veya geri dönüşü olmayan küresel felakete yol açabileceği fikridir.
Bir argüman şu şekildedir: insanoğlu diğer türlere hükmetmektedir çünkü insan beyni diğer hayvanlarda bulunmayan ayırt edici yeteneklere sahiptir. Eğer yapay zeka genel zeka bakımından insanlığı aşar ve süper zeka haline gelirse, o zaman kontrol edilmesi zor ya da imkansız hale gelebilir. Tıpkı dağ gorilinin kaderinin insanların iyi niyetine bağlı olması gibi, insanlığın kaderi de gelecekteki bir süper zeki yapay zekanın eylemlerine bağlı olabilir.
Yapay zeka nedeniyle varoluşsal felaketin akla yatkınlığı geniş çapta tartışılmaktadır ve kısmen yapay genel zeka veya süper zekanın ulaşılabilir olup olmadığına, tehlikeli yetenek ve davranışların ortaya çıkma hızına ve yapay zekanın kontrolü devralınması için pratik senaryoların mevcut olup olmadığına bağlıdır. Süper zeka hakkındaki endişeler, Geoffrey Hinton, Yoshua Bengio, Alan Turing,  Elon Musk, ve OpenAI CEO'su Sam Altman gibi önde gelen bilgisayar bilimcileri ve teknoloji CEO'ları tarafından dile getirilmiştir. 2022 yılında yapay zeka araştırmacıları arasında yapılan ve %17 yanıt oranına sahip bir ankete göre, katılımcıların çoğunluğu yapay zekayı kontrol edemememizin varoluşsal bir felakete neden olma ihtimalinin %10 veya daha fazla olduğuna inanmaktadır. 2023 yılında yüzlerce yapay zeka uzmanı ve diğer kayda değer isimler "Yapay zeka kaynaklı yok olma riskinin azaltılması, salgın hastalıklar ve nükleer savaş gibi diğer toplumsal ölçekli risklerle birlikte küresel bir öncelik olmalıdır." şeklinde bir bildiri imzaladı. Yapay zeka risklerine ilişkin artan endişelerin ardından, Birleşik Krallık başbakanı Rishi Sunak  ve Birleşmiş Milletler Genel Sekreteri António Guterres  gibi liderler, küresel yapay zeka düzenlemelerine daha fazla odaklanılması çağrısında bulundu.
İki endişe kaynağı da yapay zeka kontrolü ve uyum sorunlarından kaynaklanmaktadır: süper zeki bir makineyi kontrol etmek veya ona insanla uyumlu değerler aşılamak oldukça güç olabilir. Pek çok araştırmacı, süper zeki bir makinenin kendisini devre dışı bırakma ya da hedeflerini değiştirme girişimlerine karşı direneceğine, çünkü bunun mevcut hedeflerini gerçekleştirmesini önleyeceğine inanmaktadır. Bir süper zekayı, önemli insani değerler ve kısıtlamaların tamamıyla uyumlu hale getirmek son derece zor olacaktır. Buna karşılık, bilgisayar bilimcisi Yann LeCun gibi şüpheciler, süper zeki makinelerin kendilerini koruma arzusuna sahip olmayacağını savunmaktadır.
Üçüncü bir endişe kaynağı ise ani bir "zeka patlamasının" hazırlıksız bir insan ırkını gafil avlayabileceğidir. Bu tür senaryolar, yaratıcılarından daha zeki olan bir yapay zekanın, kendisini katlanarak artan bir oranda özyinelemeli olarak geliştirebileceği ve işleyicilerinin ve toplumun genelinin kontrol edemeyeceği kadar hızlı gelişebileceği olasılığını göz önünde bulundurmaktadır. Deneyimsel olarak, AlphaZero'nun kendi kendine Go oynamayı öğrenmesi gibi örnekler, alana özgü yapay zeka sistemlerinin, temel mimarilerini değiştirmeyi içermemesine rağmen, bazen yetersiz insan yeteneğinden süper insan yeteneğine çok hızlı bir şekilde ilerleyebileceğini göstermektedir.