GPT (言語モデル)
GPT(Generative pre-trained transformers)は、OpenAIによる言語モデルのファミリーである。通常、大規模なテキストデータのコーパスで訓練され、人間のようなテキストを生成する。Transformerアーキテクチャのいくつかのブロックを使用して構築される。テキスト生成、翻訳、文書分類など様々な自然言語処理のタスクに合わせてすることができる。名称に含まれる"pre-trained"（事前訓練）とは、大量のテキストコーパスでの最初の訓練プロセスを指し、モデルが節の次の単語を予測することを学習する。これにより、タスク固有のデータの限られた量のダウンストリームタスクでモデルが適切に動作するための強固な基盤が提供される。