Trí tuệ nhân tạo tổng quát
Rủi ro > Rủi ro hiện hữu > Nguy cơ mất kiểm soát và sự tuyệt chủng của con người

Lý thuyết rằng AI có thể gây ra rủi ro tồn vong cho con người và rằng rủi ro này cần được chú ý nhiều hơn là một chủ đề gây tranh cãi. Tuy nhiên, nhiều nhân vật nổi tiếng, các nhà nghiên cứu AI và CEO của các công ty AI như Elon Musk, Bill Gates, Geoffrey Hinton, Yoshua Bengio, Demis Hassabis và Sam Altman đã ủng hộ quan điểm này vào năm 2023.
Vào năm 2014, Stephen Hawking đã chỉ trích sự thờ ơ phổ biến:
| 0 | 1 | 2 |
| --- | --- | --- |
| “ | Khi đứng trước những tương lai có thể mang lại lợi ích và rủi ro không thể tính toán, chắc chắn các chuyên gia đang làm mọi điều có thể để đảm bảo kết quả tốt nhất, đúng không? Sai. Nếu một nền văn minh ngoài hành tinh vượt trội gửi cho chúng ta một thông điệp nói rằng, 'Chúng tôi sẽ đến trong vài thập kỷ,' chúng ta có chỉ đơn giản trả lời, 'OK, gọi cho chúng tôi khi bạn đến đây – chúng tôi sẽ để đèn sáng và chờ?' Chắc là không – nhưng điều này gần như đang xảy ra với AI. | ” |
Số phận của loài người đôi khi được so sánh với số phận của loài khỉ bị đe dọa bởi các hoạt động của con người. So sánh này nói rằng trí thông minh cao hơn cho phép con người thống trị loài khỉ, làm cho chúng dễ bị tổn thương theo những cách mà chúng không thể lường trước. Kết quả là, loài khỉ đã trở thành một loài có nguy cơ tuyệt chủng, không phải vì ác ý, mà chỉ là hậu quả từ các hoạt động của con người.
Nhà phê bình Yann LeCun cho rằng AGI sẽ không có mong muốn thống trị con người và chúng ta nên cẩn thận không nhân hóa AI bằng cách suy diễn ý định của chúng như chúng ta làm với con người. Ông nói rằng con người sẽ không đủ "thông minh để thiết kế ra những cỗ máy siêu thông minh, nhưng lại quá ngớ ngẩn đến mức đưa ra những mục tiêu vô lý mà không có biện pháp an toàn." Ở chiều ngược lại, khái niệm "hội tụ công cụ" (instrumental convergence) cho thấy rằng bất kể mục tiêu của "tác nhân thông minh" (intelligent agent) là gì, chúng sẽ có lý do để cố gắng tồn tại và tìm cách nắm thêm quyền lực như các bước trung gian để đạt được mục tiêu. Điều này không yêu cầu phải có cảm xúc.
Nhiều học giả lo ngại về rủi ro tồn vong và ủng hộ việc nghiên cứu thêm để giải quyết "vấn đề kiểm soát AI" (AI alignment) nhằm trả lời câu hỏi: những loại biện pháp an toàn, thuật toán hoặc kiến trúc nào mà lập trình viên có thể triển khai để tối đa hóa khả năng rằng "AI cải tiến đệ quy" (recursively-improving AI) sẽ tiếp tục hoạt động một cách thân thiện thay vì trở nên phá hoại sau khi đạt đến siêu trí tuệ? Giải quyết vấn đề kiểm soát sẽ trở nên phức tạp bởi cuộc chạy đua vũ trang AI (có thể dẫn đến "cuộc chạy đua đến đáy" của các biện pháp an toàn để phát hành sản phẩm trước đối thủ cạnh tranh), và việc sử dụng AI trong các hệ thống vũ khí.
Lý thuyết, rằng AI có thể gây ra rủi ro tồn vong, cũng có những người phản đối. Những người hoài nghi thường cho rằng Trí tuệ nhân tạo tổng quát khó có thể xảy ra trong ngắn hạn, hoặc rằng lo ngại về AGI làm phân tán sự chú ý khỏi các vấn đề liên quan đến AI hiện tại. Cựu chuyên gia chống gian lận của Google Shuman Ghosemajumder cho rằng đối với nhiều người bên ngoài ngành công nghệ, các chatbot hiện tại và mô hình ngôn ngữ lớn (LLM) đã được xem như thể chúng là AGI, dẫn đến hiểu lầm và lo ngại nhiều hơn.
Những người hoài nghi đôi khi cho rằng lý thuyết này mang tính chất tôn giáo ngầm, với niềm tin phi lý về khả năng siêu trí tuệ thay thế niềm tin phi lý về một Chúa toàn năng. Một số nhà nghiên cứu tin rằng các chiến dịch truyền thông về rủi ro tồn vong của AI từ các nhóm AI như OpenAI, Anthropic, DeepMind và Conjecture có thể là nỗ lực để kiểm soát quy định và làm tăng sự quan tâm đến sản phẩm của họ.
Vào năm 2023, các CEO của Google DeepMind, OpenAI và Anthropic, cùng với các nhà lãnh đạo ngành và nhà nghiên cứu khác, đã ra một tuyên bố chung khẳng định rằng "Giảm thiểu rủi ro tuyệt chủng từ AI nên là ưu tiên toàn cầu, bên cạnh những rủi ro tầm cỡ xã hội khác như đại dịch và chiến tranh hạt nhân."