GPT-3
GPT-3の構築者であるOpenAIは、もともと、2015年に非営利法人として設立された。2019年、OpenAIは、このモデルがフェイクニュース(虚偽報道)を永続させるという懸念を挙げて、それまでのオープンソースの慣習を破り、GPT-3の前身モデルを公開しなかった。OpenAIは最終的に、オリジナルなモデルの8%のサイズのGPT-2を公開した。同年、OpenAIは営利企業となるため再編成された。2020年、マイクロソフトは、OpenAIへ数十億ドルを投資し、マイクロソフトの製品とサービス向けにGPT-3の独占的ライセンスを取得したと発表した。この契約により、OpenAIは公開APIを提供し、ユーザーはGPT-3にテキストを送信してモデルの出力を受け取ることができるが、GPT-3のソースコードにアクセスできるのはマイクロソフトのみとなる。
GPT-3のような大規模な言語モデルは、Googleの一部のAI倫理研究者から、モデルの訓練と保存が環境に与える影響についての批判を受けており、2021年にTimnit GebruとEmily M. Benderが共著した論文で詳述されている。
2020年5月28日、OpenAIの31人の技術者と研究者のグループによるarXivの査読前論文で、第3世代の『最先端の言語モデル』であるGPT-3の開発について説明された。チームは、GPT-3の容量をその前身のGPT-2よりも2桁以上増やし、GPT-3をこれまでで最大の非スパース言語モデルにした。(補足: スパースモデルでは、パラメータ(英語版)の多くが定数に設定されているため、パラメータの総数が多くても、意味のある情報は少なくなる。)GPT-3は構造的に前身モデルと類似しているので、精度が向上したのは容量とパラメータ数の増加によると考えられる。GPT-3の容量は、当時知られていた2番目に大きなマイクロソフトのTuring NLGの10倍になる。
7種類のモデルがある。これらには GPT-3.5 と Codex は含まれない。
text-curie-001 - 2024年1月4日に提供終了
text-babbage-001 - 2024年1月4日に提供終了
text-ada-001 - 2024年1月4日に提供終了
davinci - 2024年1月4日に提供終了し、davinci-002 に置き換わる
curie - 2024年1月4日に提供終了し、curie-002 に置き換わる
babbage - 2024年1月4日に提供終了し、babbage-002 に置き換わる
ada - 2024年1月4日に提供終了し、ada-002 に置き換わる