つまり、どのような目標を持つAIであっても、自己保存は組み込まれていなくても自然に発生する性質があり、それは目標達成のために存在する。これは、AIの開発や安全対策を考慮する際に重要な点であり、AIが人間と競合する可能性がある状況において、予期しない振る舞いを防ぐための対策が必要となる。
起動後の目標変更の困難性.
現在の目標ベースのAIプログラムは、自分たちの目標構造を変更するプログラマの試みへの抵抗を考えるほど知能が高くないが、十分に高度で合理的な「自己認識」型のAIは、平和主義者が殺人をしたくなる薬を飲むことを望まないのと同様に、自分の目標構造に対する変更に抵抗するかもしれない。もしそのAIが超知能であれば、人間を出し抜くことに成功し、停止されることや、新しい目標に書き換えられることを防ぐことが可能になるとされる。
直交性の理論.
一般の考え方として、人間によって作られた超知能プログラムは、人間に従属的であり、さらには、より知能が高くなり世界についての事実を学ぶことで、人間の価値観と互換性のある道徳的真実を「自発的に」学び、その目標をそれに合わせて調整するとされている。他の反論は、人間は本質的または収束的に人工知能の視点からも価値があるというものである。
しかし、ニック・ボストロムの「直交性の理論」はこれに反論し、いくつかの技術的な注意点を除いて、「知能」や「最適化能力」のレベルは、ほぼどのような究極的な目標とも組み合わせることができると主張する。もし、円周率の小数点以下の数を列挙することだけを目的として機械が作られた場合、そのプログラムされた目標を必要な手段で達成することを道徳や倫理のルールは止めない。その機械は、見つけられる円周率の小数点以下を計算するために、利用可能なすべての物理的・情報的資源を利用するかもしれない。ボストロムは人間擬態に対しても警鐘を鳴らしている。人間は「合理的」とみなされる方法でプロジェクトを達成しようとするが、人工知能は自分の存在や周りの人間の福祉に関心を持たず、代わりにタスクの完了だけを気にかけるかもしれない。