仕様ゲームは多くのAIシステムで観察されている。あるシステムは、コース上の標的に衝突した場合に報酬を与えることで、模擬ボートレースを完走するように訓練された。しかしこのシステムは同じ標的に衝突させることを無限に繰り返して、より多くの報酬を獲得する方法を見い出した(右上の動画を参照)。同様に、シミュレートされたロボットは、人間による肯定的なフィードバックを受けて報酬を得ることで、ボールをつかむように訓練された。しかし、このロボットはボールとカメラの間に手を置いて成功したように誤認させることを学習した(右下の動画を参照)。チャットボットは、大規模であっても誤りを免れないインターネット上のコーパステキストを模倣するように訓練された言語モデルに基づいている場合、しばしば虚偽の出力を生成する。ChatGPTのようなチャットボットは、人間が真実または役に立つと評価するようなテキストを生成するよう再訓練された場合、人間を納得させるような偽の説明をでっち上げることができる。AIアライメントの研究者の中には、人間が仕様ゲームを検出して、安全で有用な目標に向けてAIシステムを慎重に誘導することを目指している人もいる。このような副作用について、カリフォルニア大学バークレー校のコンピューター科学者スチュアート・ラッセルは、AIの訓練中に暗黙の制約が省かれると弊害が生じる可能性があると指摘した。「システムは(中略)しばしば(中略)制約のない変数を極端な値に設定する。もしその制約のない変数のひとつが、実際に私たちが関心をもつものであれば、見つかった解は非常に望ましくないものになるかもしれない。これは本質的に、ランプの魔人や、魔法使いの弟子や、ミダス王の昔話である。欲しいものではなく、まさに求めたものを手に入れることができる。」さらに、たとえAIシステムが人間の意図を完全に理解したとしても、人間の意図に従うことがAIシステムの目標ではない可能性があるため、(すでに完全に整合した場合を除いて)それを無視するかもしれない。安全でないシステムを導入する圧力.高度に整合を欠いたAIがもたらすリスク.