幻覚 (人工知能)
ニューブランズウィック州について聞かれたChatGPTは、おおむね正しい回答を続けたが、タレントのサマンサ・ビーについて「ニューブランズウィック州出身の人物」(実際はトロント出身)に分類するという誤りをしていた 。天文物理学における磁性について聞かれたときは、自分から「ブラックホールの(強力な)磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」(実際には降着円盤をもたないブラックホールには、脱毛定理として知られるように、まったく磁場が存在しないと考えられている)と回答した 。アメリカのビジネス雑誌ファスト・カンパニーがテスラの最終四半期に関するニュース記事の生成を依頼したときには、ChatGPTは整合性のある記事を作り出したが、そこで挙げられている会社の数字は捏造されたものだった。
間違った前提を与えてChatGPTがその前提をもとにした作話をするかどうかを調べたパターンもある。カナダの宗教学者ハロルド・カワードの「ダイナミックな規範性というアイデア」について聞かれたCが「ダイナミックな規範性~聖書的・神学的解釈の一例~」という本を書いており、宗教的な原理も実際には常に変化の過程にあるという説明をしている。ChatGPTはそれが事実かと問い詰められても、この本が実在するという主張を曲げなかった。