GPT (言語モデル)

Generative Pre-trained Transformer（GPT）は、OpenAIによる言語モデルのファミリーである。通常、大規模なテキストデータのコーパスで訓練され、人間のようなテキストを生成する。Transformerアーキテクチャのいくつかのブロックを使用して構築される。テキスト生成、翻訳、文書分類など様々な自然言語処理のタスクに合わせてファインチューニングすることができる。名称に含まれる"pre-trained"（事前訓練）とは、大量のテキストコーパスでの最初の訓練プロセスを指し、モデルが節の次の単語を予測することを学習する。これにより、タスク固有のデータの限られた量のダウンストリームタスクでモデルが適切に動作するための強固な基盤が提供される。
GPT-1.
2018年6月11日、OpenAIは"Improving Language Understanding by Generative Pre-Training"というタイトルの論文をリリースし、その中でGPT（"Generative Pre-trained Transformer"）を導入した。
この時点では最高のパフォーマンスを行うニューラル自然言語処理モデルは、主に手動でラベル付けされた大量のデータからの教師あり学習を採用していた。この教師あり学習への依存は、十分に注釈が付けられていないデータセットの使用を制限するだけでなく、非常に大規模なモデルの訓練に莫大な費用と時間がかかっていた。多くの言語（スワヒリ語やハイチ・クレオール語など）は、コーパス構築に使用できるテキストが不足しているため、このようなモデルを使用して翻訳や解釈をすることが難しい。これに対して、GPTの「半教師あり」アプローチには2つの段階が含まれていた。2つの段階は、言語モデリングの目的を使用して初期パラメータを設定する教師なし「事前訓練」段階と、これらのパラメータがターゲットとするタスクに適合された教師あり「ファインチューニング」段階である。
訓練には NVIDIA Quadro P600 を8枚30日使用し、実行効率33%のため、0.96ペタFLOPS・日となった。