GPT-4
GPT-4は人間の言語(自然言語)指示から、直接ソースコードを出力することが可能である。JavaScriptにて「テトリス」や「ポン」を作成するように命じられれば60秒で、「パックマン」は90秒で完全にプレイ可能なコードを作成できる。
OpenAIはGPT-4を発表した記事において、「GPT-4はGPT-3.5よりも遥かに創造的で信頼性が高く、より細かい指示に対応できる」と紹介している。GPT-4は25000語以上のテキストを同時に読み取ることができ、これは以前のバージョンに比べると大幅に改良されている。
GPT-4は「安全性のリスク」と「競争上のリスク」を考慮し、あえてパラメータを明示するのを控えている。技術報告書内では人間とAIのデータを用いて強化学習を行ったという事実以外は、モデルサイズ、ハードウェア、アーキテクチャ、トレーニング方法、訓練データ、人間のフィードバックからの強化学習に何人月を投じたかなどの開示はしていない。
そのため、GPT-4の正確なパラメータ数は不明である。ザ・ヴァージはGPT-3は1750億個のパラメータを持つのに対してGPT-4は100兆個のパラメータを持つと報じていたが、前述の理由でOpenAIのCEOであるサム・アルトマンはこれを「まったくのでたらめだ」と否定している。