加えて、AIシステムは「正しい」要件、バグのない実装、初期の良好な動作が与えられたとしても、AIシステムの動的な「学習」能力によって、予期せぬ外部シナリオのストレスがなくても、「意図しない動作をするシステムに進化してしまう」という問題がある。AIは、自分自身の新世代の設計に部分的に失敗し、元のAIにあらかじめプログラムされた人間と互換性のある道徳的価値感を持たない強力な後継AIを偶然に作り出してしまうかもしれない。自己改良型AIが完全に安全であるためには、「バグがない」だけでなく、「バグがない」後継システムを設計できる必要がある。
評価・論点.
超知能の機械は、人類の最善の利益を念頭に置かない可能性がある。もし超知能的なAIが可能であり、超知能的な目標が人間の基本的価値観と対立する可能性があれば、AIは人類を絶滅させる危険性をもたらす。超知能（あらゆる分野において人間の能力を超えるシステム）は、その目標が人間の目標と衝突するときは、いつでも人間を出し抜くことができる。したがって、超知能が人類の共存を認めることを決定しない限り、最初に作られる超知能は、不可避的に人類の絶滅をもたらすであろうとされる。
算数や囲碁の分野では、機械が特定の領域ですでに超人的なレベルに達しており、人間並みの性能が達成された後、この超人的な能力がすぐに得られることを示している。一つの仮説的な知能爆発シナリオは、次のように起こり得る。つまり、あるAIがソフトウェア開発の仕事において、達人レベルの能力を獲得する（工学に直接関係のない他の領域では、最初は人間的または超人的な能力を持たないかもしれない）。人間の専門家が、イノベーションのために様々な人間の能力を活用することで「収穫逓増」を克服できるように、人間レベルのAIも、人間型の能力またはAI固有の能力を活用して、新たな創造的技術革新を実現することができる。そのAIは、科学的創造性、戦略立案、社会性を含む実質的にあらゆる関連分野において、最も優秀で才能ある人間をはるかに凌ぐ知能を有するようになる。現在のゴリラの生存が人間の決断に依存しているように、人類の生存も超人的なAIの決断と目標に依存するようになる。