GPT-3
GPT-3のモデルアーキテクチャはGPT-2モデルのマイナーチェンジ版である。アーキテクチャ上の変更点は以下の通り:
アテンションレイヤー構造(スパースアテンション等)
アーキテクチャはほぼ同一であるが、GPT-3はGPT-2より大きなモデルとなっている。モデル上の変更点は以下の通り:
モデルパラメータサイズ: 175億(dense等価で約10倍)
その他
GPT-3やその他の言語ジェネレーターに基づく自動文章作成技術の使用が増加していることから、学問的誠実性に関する懸念が高まり、大学や学校が何をもって剽窃(ひょうせつ、盗作)などの学問的不正行為とみなすのかという問題が生じている。GPTは、12年間に6,000万ドメインから収集された著作権保護された記事、インターネット上の投稿、ウェブページ、書籍のコレクションであるCommon Crawlデータセットのデータを用いて構築された。TechCrunchによると、この学習データにはBBC、The New York Times、Reddit、オンライン書籍の全文などの著作物が含まれているという。OpenAIは、米国特許商標庁(USPTO)からの「人工知能イノベーションの知的財産保護に関する2019年のコメント要請」に対する回答で、『現行法のもとでは、(GPTモデルなどの)AIシステムの訓練は公正利用に合致する』と主張したが、『この点に関する適切な判例がないことから、OpenAIや私たちのような他のAI開発者は、かなりの法的不確実性とコンプライアンス・コストに直面している』と述べている。
招待状には、このAPIは、通常の単一のユースケースではなく、ほぼ「あらゆる英語のタスク」を完了できる汎用的な『テキスト入力、テキスト出力』型のインターフェースを備えていると説明されている。OpenAI GPT-3 APIの非公開の早期リリースにアクセスしたあるユーザーによると、GPT-3は、いくつかの簡単なプロンプトだけで『驚くほど意味の通ったテキスト』を書くことができ、『不気味なほど優秀』だったという。最初の実験では、米国の80名の被験者に、200語程度の短い記事が人間によって書かれたものか、GPT-3によって書かれたものかを判断するように求められた。その結果、被験者は52%の確率で正しく判断し、ランダムに推測するよりもわずかに優れていた。
2021年11月18日、OpenAIは、APIに無制限にアクセスできるように保護手段を実装したことを発表した。OpenAIは、開発者がOpenAIのコンテンツポリシーを順守するのに役立つコンテンツモデレーションツールを提供した。2022年1月27日、OpenAIは、InstructGPTと総称される最新のGPT-3言語モデルが、同社のAPIで使用されるデフォルトの言語モデルになることを発表した。
GPT-3は数千億個の単語で訓練されており、CSS、JSX、Pythonなどのプログラミング言語でコーディングすることも可能である。GPT-3の学習データはすべてを網羅しているため、個別の言語タスクのために訓練を追加する必要はない。この学習データにはときどき有害言語が含まれており、GPT-3は学習データを模倣した結果、有害言葉を発生することがある。ワシントン大学の研究によると、GPT-3は、同様の自然言語処理モデルであるGPT-2やCTRLと同程度の毒性基準で有毒言語を生成することがわかった。OpenAIは、GPT-3が生成する有毒言語の量を制限するために、いくつかの戦略を実装した。その結果、GPT-3は、前身モデルであるGPT-1よりも有毒言語の生成が少なくなったものの、Wikipediaのデータのみで学習した言語モデルであるCTRL Wikiよりも有毒言語は生成が多く、毒性基準も高かった。
2020年6月11日、OpenAIは、ユーザーがこの新しい技術の『長所と限界を探る』ために、使いやすいGPT-3 API『機械学習ツールセット』へのアクセスを要求できることを発表した。