OpenAI Codex
OpenAIのデモンストレーションでは、非効率なコードや、コードサンプルに由来する一度きりの癖のような欠陥が明らかになった。OpenAIの最高技術責任者であるGreg Brockmanは、The Vergeとのインタビューで、『(Codexは)あなたが求めているのが何かを正確に理解していないことがあり、試行錯誤が必要になる場合もある。』と述べた。OpenAIの研究者は、Codexが多段階またはより高度な要求に苦戦し、しばしば失敗したり直感に反する動作をすることを発見した。また、初心者プログラマーによる過度の依存、学習データに基づく偏り、脆弱なコードによるセキュリティへの影響など、安全性に関わるいくつかの問題も挙げられた。
VentureBeatは、Codexは公開データを使って訓練されるため、悪意のあるコードが意図的にアップロードされることによる「データ・ポイズニング」に対して脆弱である可能性があると述べている。ニューヨーク大学の研究者の調査では、リスクの高い共通脆弱性タイプ一覧(英語版)(CWE)に関連するシナリオで、GitHub Copilot(Codexを採用)が生成したコードの約40%に、不具合やその他の悪用できる設計の欠陥が含まれていた。