GPT (言語モデル)

GPT（、GPT（ジーピーティー）とは？意味・用語説明）とは、OpenAIによる言語モデルのファミリーのことである。通常、大規模なテキストデータのコーパスで訓練され、人間的な文章を生成する。

Transformerアーキテクチャのデコーダー部分のみを使用し、Universal Language Model Fine-tuning(ULMFiT)と同じ言語モデルアプローチを採用している。テキスト生成、翻訳、文書分類など諸々の自然言語処理に合わせてファインチューニングできる。名称に含まれる"pre-trained"（事前訓練）とは、大量のテキストコーパスによる最初の訓練プロセスを指し、モデルは、各節に続く単語を予測するよう学習する。これによりもたらされる強固な基盤によって、各処理固有の下流処理が限定的なデータ量であってもモデルが適切に動作する。

GPT-1
2018年6月11日、OpenAIは"Improving Language Understanding by Generative Pre-Training"というタイトルの論文をリリースし、その中でGPT（Generative Pre-trained Transformer）を導入した。

この時点では最高のパフォーマンスを行うニューラル自然言語処理モデルは、主に手動でラベル付けされた大量のデータからの教師あり学習を採用していた。この教師あり学習への依存は、十分に注釈が付けられていないデータセットの使用を制限するだけでなく、非常に大規模なモデルの訓練に莫大な費用と時間がかかっていた。多くの言語（スワヒリ語やハイチ・クレオール語など）は、コーパス構築に使用できるテキストが不足しているため、このようなモデルを使用して翻訳や解釈をすることが難しい。これに対して、GPTの「半教師あり」アプローチには2つの段階が含まれていた。2つの段階は、言語モデリングの目的を使用して初期パラメータを設定する教師なし「事前訓練」段階と、これらのパラメータがターゲットとするタスクに適合された教師あり「ファインチューニング」段階である。

訓練には NVIDIA Quadro P600 を8枚30日使用し、実行効率33%のため、0.96ペタFLOPS・日となった。

GPT-4

2023年3月14日、OpenAI のGPT 基盤モデルである GPT-4 がリリースされた。ユーザーは ChatGPT のプレミアムバージョンを通じて直接アクセスでき、開発者は OpenAI の API を利用して他の製品やサービスに組み込むことができる。
GPT-5

2025年8月7日、OpenAIのGPTモデルであるGPT-5がChatGPT経由で無料ユーザーを含むすべてのユーザーに公開され、API経由でも利用が可能になった。以前のモデルより健康的な質問への返答の正確性向上、早いレスポンス、より少ないハルシネーション、創造的な文章制作能力などが向上した。

シリーズ一覧

名称用途アーキテクチャパラメータ数訓練データリリース日GPT-1汎用12-level, 12-headedのTransformerデコーダ（エンコーダなし）、linear-softmaxによりフォローされる。1億1700万BookCorpus： 様々なジャンルの7000冊の未発表書籍からの4.5GBのテキストGPT-2汎用GPT-1 + 正規化/初期化15億WebText（40GB）GPT-3汎用GPT-2 + スパースアテンション1750億570GBのプレーンテキスト、4000億のトークン。主にCommonCrawl, WebText, English Wikipedia, および2つの書籍コーパス（Books1およびBooks2）.CodexプログラミングGPT-3をプログラミング用途に調整InstructGPT会話GPT-3を人間のフィードバックによる指示に従うよう微調整2022年3月4日GPT-3.5汎用非公開非公開非公開ProtGPT2タンパク質配列 GPT-2 large（36層）と同様7億3800万UniRef50からのタンパク質配列（計4488万、検証のために10%を使用した後）BioGPT生物医学のコンテンツ  GPT-2 medium（24層、16 heads）と同様3億4700万PubMedの空でない項目（計150万）ChatGPT会話GPT-3.5を使用し、教師あり学習との両方でファインチューニングされている（転移学習のアプローチ）非公開非公開GPT-4汎用、マルチモーダルテキストと画像の両方を入力として受け付ける。テキスト予測とRLHFの両方で訓練されている。詳細非公開非公開非公開

出典

Category:OpenAI
Category:大規模言語モデル
Category:人工ニューラルネットワーク
Category:2018年のソフトウェア