GPT-2
2019年には、GPT-2を利用し、ユーザーの入力に基づいて動的なテキストアドベンチャーを提供するAI Dungeon(英語版)が発表された。2021年現在、AI Dungeonは、オプションの有料アップグレードとしてGPT-3の最大リリースAPIへのアクセスを提供し、無料版ではGPT-3の2番目に大きなリリースを使用した。AI Dungeonを中心に設立されたLatitudeは、2021年に開業資金(英語版)330万ドルを調達した。いくつかのウェブサイトでは、GPT-2やその他のTransformerモデルのさまざまなインスタンスの対話的なデモンストレーションを公開している。
2021年2月、問題を抱えたティーンエージャー向けの危機管理センターが、カウンセラーが十代の模擬患者と会話をしてトレーニングするために、GPT-2由来のチャットボットの使用を始めると発表した(この使用は純粋に内部目的であり、GPT-2はティーンエージャー自身と交信しなかった)。
GPTアーキテクチャは、ディープラーニング(深層学習)によるニューラルネットワーク、具体的には「トランスフォーマー(Transformer)モデル」を実装しており、これまでの回帰型や畳み込み型のアーキテクチャの代わりに「アテンション」を使用している。アテンション機構により、モデルは、入力テキストの中から最も関連性が高いと予測される部位に選択的に焦点を当てることができる。このモデルでは、並列化を大幅に向上させることができ、RNN/CNN/LSTMに基づくモデルのこれまでのベンチマークよりも優れた性能を発揮している。
OpenAIは、2019年11月、GPT-2言語モデルの完全版(15億個のパラメータを含む)を公開した。GPT-2に続いて、1,750億個のパラメータを含むGPT-3が、2020年に公開される予定だった(そのソースコードは公開されていない)。GPT-3へのアクセスは、OpenAIとマイクロソフトが提供するアプリケーションプログラミングインタフェース(API)を通じてのみ提供されている。
Generative Pre-trained Transformer 2(GPT-2) は、2019年2月にOpenAIによって開発されたオープンソースの人工知能ソフトウェアである。GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い、時には人間と見分けがつかないようなテキスト出力を生成するが、長い文章を生成すると繰り返したり意味不明な表現になることもある。GPT-2は、多目的学習器であり、特定のタスク(仕事)を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され、パラメータ数と訓練用データセットがともに10倍に増加した。