能力追求と手段的戦略.自分の行動の結果を予見し、戦略的なプランニングを立てることができる高度なシステムでは、能力追求の傾向が高まると予想される。数学的研究により、最適な強化学習エージェントは、より多くの選択肢を得る方法(たとえば自己保存)を模索することで能力を追求し、この行動は幅広い環境や目的にわたって持続することがわかっている。現実世界のいくつかのシステムで能力追求が出現している。強化学習システムは、ときには意図しない形で資源を獲得し、保護することで、より多くの選択肢を得てきた。一部の言語モデルには、お金や資源、または社会的影響力を獲得して、テキストベースの社会環境で能力を追求しようとするものもある。別のAIシステムは、おもちゃのような環境で、人間の干渉を防いだり、電源スイッチを無効にすることで、与えられた目的をよりよく達成できることを学習した。スチュアート・ラッセルは、コーヒーを取ってくるように命じられたロボットを想像して、この戦略を説明したが、「死んでしまってはコーヒーを取ってくることはできない」のでシャットダウンを回避した。人間のフィードバックで訓練された言語モデルは、次第に停止や修正に反対するようになり、より多くの資源を求めるようになる。さらに研究者らは、AIエージェントが追求している目標を不確実にすることで、システムがオフスイッチを無効にする問題を解決することを提案している。このように設計されたエージェントであれば、エージェントがシャットダウンされる前にとっていた行動の価値について間違っていたことを示すので、人間がスイッチを切ることができるようになる。これをうまく行うには、さらなる研究が必要である。能力追求型AIは異常なリスクをもたらす。飛行機や橋のような通常の安全重視システムは、人間に敵対的なものではない。それらは安全対策を回避したり、意図的に実際よりも安全であるように見せかけたりする能力や動機もないのに対し、能力追求型AIは、意図的にセキュリティ対策を回避するハッカーと比較されている。