汎用人工知能による人類滅亡のリスク
現在の目標ベースのAIプログラムは、自分たちの目標構造を変更するプログラマの試みへの抵抗を考えるほど知能が高くないが、十分に高度で合理的な「自己認識」型のAIは、平和主義者が殺人をしたくなる薬を飲むことを望まないのと同様に、自分の目標構造に対する変更に抵抗するかもしれない。もしそのAIが超知能であれば、人間を出し抜くことに成功し、停止されることや、新しい目標に書き換えられることを防ぐことが可能になるとされる。