Context: Russell mulai dengan menegaskan bahwa model standar penelitian AI, di mana definisi utama keberhasilan adalah menjadi lebih baik dan lebih baik dalam mencapai tujuan manusia yang ditentukan kaku, secara berbahaya salah arah. Tujuan tersebut mungkin tidak benar-benar mencerminkan apa yang dirancang oleh perancang manusia, seperti dengan gagal untuk memperhitungkan nilai-nilai manusia yang tidak termasuk dalam tujuan. Jika AI yang dikembangkan sesuai dengan model standar untuk menjadi super cerdas, kemungkinan tidak sepenuhnya mencerminkan nilai-nilai manusia dan bisa menjadi bencana bagi umat manusia. Russell menegaskan bahwa tepat karena garis waktu untuk mengembangkan AI tingkat manusia atau super cerdas sangat tidak pasti, penelitian keselamatan harus dimulai sesegera mungkin, karena juga sangat tidak pasti berapa lama waktu yang dibutuhkan untuk menyelesaikan penelitian tersebut. Russell berpendapat bahwa kemajuan berkelanjutan dalam kemampuan AI adalah karena tekanan ekonomi. Tekanan seperti itu sebenarnya dapat dilihat dalam teknologi AI yang ada seperti mobil self-driving dan asisten pribadi. Lebih banyak penelitian yang gagal untuk memperhitungkan nilai-nilai manusia yang tidak termasuk dalam tujuan, mungkin tidak sepenuhnya mencerminkan nilai-nilai manusia dan dapat menjadi bencana bagi umat manusia. Russell menyimpulkan bahwa tidak ada bukti yang cukup untuk mempertanyakan masalah yang terkait dengan pengembangan AI, dan bahwa tidak ada bukti yang cukup untuk mencegah masalah yang tidak dapat dihindari.

Mengingat ringkasan berikut dari buku "Human Compatible" oleh Stuart Russell, apa yang penulis usulkan untuk mengatasi keterbatasan pendekatan standar untuk mengembangkan AI?

Russell menyarankan bahwa AI harus dilatih dengan cara yang membuat mereka secara bertahap mendapatkan pengetahuan tentang apa yang benar-benar bermanfaat bagi manusia. AI yang dikembangkan dengan cara ini akan bekerja sama dengan manusia sambil meninggalkan mereka dengan tingkat otonomi yang cukup tinggi.