通常の技術は、試行錯誤によって安全性を高めることができる。対照的に、能力追求型AIシステムはウイルスに例えられる。ウイルスは、一度放出されると抑え込むことができなくなる。なぜなら、ウイルスは継続的に進化し、人間社会が適応できるよりもはるかに速くその数が増加する可能性があるからである。このプロセスが続けば、人間の完全な無力化や絶滅につながる可能性がある。こうした理由から、多くの研究者は、高度な能力追求型AIが誕生する前に、アライメント問題を早期に解決しなければならないと主張している。しかし批評家たちは、人間は常に権力を求めるわけではなく、(AIシステムには当てはまらないかもしれないが)進化的な理由によってそうしているだけかもしれないため、能力追求は避けられないと主張している。さらに、将来のAIシステムが目的を追求し、長期的なプランニングを立てるかどうかについても議論がある。また、能力追求型AIシステムが人間の力を剥奪するかどうかも議論されている。創発的目的.アライメントに関するAIシステムの課題のひとつは、創発的な目的指向の行動が出現する可能性である。AIシステムはその規模が拡大するにつれて、その場で事例から学習したり、適応的に目的を追求したりするなど、予期しない新たな能力をたびたび獲得するようになる。このことは、AIが自ら策定して追求する目的が、人間の興味と整合することを保証するという課題につながる。目的の誤汎化が出現した例は、言語モデル、ナビゲーションエージェント、ゲームプレイエージェントで観察されている。