As you get to superintelligence, what's going to stop a robot reading literature and discovering this idea that knowledge is actually better than ignorance and still just shifting its own goals and rewriting that programming?
Что помешает роботу, получившему суперразум, почитать книги и обнаружить, что на самом деле знания лучше невежества, начать следовать другим целям и перепрограммировать себя?