Masalah pengendalian kecerdasan buatan itu apa sih?

Dalam kecerdasan buatan (AI) dan filsafat, masalah pengendalian kecerdasan buatan adalah permasalahan tentang bagaimana membangun agen kecerdasan super yang tunduk pada penciptanya. Menghindari pembuatan kecerdasan super yang akan merugikan penciptanya secara tidak sengaja. Kajian tentang masalah ini dimotivasi oleh gagasan bahwa umat manusia harus menyelesaikan masalah pengendalian AI sebelum kecerdasan super dibuat, karena kecerdasan super yang dirancang dengan buruk mungkin secara rasional memutuskan untuk mengambil kendali atas lingkungannya dan menentang kontrol atau modifikasi penciptanya setelah diluncurkan. Beberapa ahli berpendapat bahwa solusi untuk masalah kontrol ini bisa meningkatkan teknologi rekayasa keselamatan AI. Solusi dari masalah ini mungkin juga bisa diterapkan dalam AI non-kecerdasan super yang sudah ada.

Salah satu pendekatan utama untuk mengatasi masalah kontrol ini adalah upaya penyelarasan (alignment), yang bertujuan menyelaraskan visi sistem AI dengan nilai-nilai yang dianut manusia. Selain penyelarasan sistem AI, kontrol kemampuan juga bisa digunakan untuk mengurangi risiko dari sistem AI yang merugikan manusia atau mendapatkan kendali. Pengendalian kapabilitas atau kontrol kemampuan umumnya dianggap kurang untuk memecahkan masalah kontrol AI. Pengendalian kemampuan lebih sering dianggap sebagai tambahan dari upaya penyelarasan AI.