GPT-2
エンコーダ・デコーダモデルの制約の一つに、より大きな文章を符号化して固定長のベクトルに圧縮することの難しさがあり、入力が大きくなるにつれて性能が低下することがよく見られた。2014年、Bahdanauらは、「整列と翻訳を共同で行う」ことができるエンコーダ・デコーダモデルの拡張を発表した。Bahdanauモデルのエンコーダ(各方向に1000個の隠れユニットを持つ双方向RNN)は、翻訳された原文の各単語に対して、その文の残り全てを検索して関連する情報の位置を探した。従来のように入力文全体を固定長でベクトル化してデコーダに入力するのではなく、それらの位置と以前に生成したターゲット語を関連付けた「文脈ベクトル」を生成した。そして、デコーダ(これも1000個の隠れユニットを持つ)は、この文脈ベクトルを使用して、どこに「注意」を向けるかを決定した。
01とした。
(中略) 原著で提案された正弦波バージョンの代わりに学習された位置埋め込みを使用した。 (中略)
特に指定がない限り、教師なし事前学習でのハイパーパラメータ設定を再利用する。分類器にはドロップアウトを比率0.1で追加する。ほとんどのタスクでは、学習速度6.25、バッチサイズ32を使用する。このモデルは高速に微調整され、ほとんどの場合は3エポックの訓練で十分であった。学習率は線形減衰スケジュールを用い、ウォームアップは訓練の0.2%以上とした。λは0.5とした。
GPTは、微調整の段階で特定のタスクに適応させたが、事前学習の段階はそうしなかった。さまざまなタスクを実行するために、タスクに依存しない基礎となるモデルアーキテクチャに最小限の変更が加えられた。それにもかかわらず、GPTはいくつかの言語処理タスクにおいて過去のベンチマークを上回り、多くの多様なタスクにおいて、タスク指向のアーキテクチャを持つ識別的に訓練されたモデルより優れていた。
GPT-2の自然言語テキストの生成能力は、おおむね高く評価されているが、特に段落数が2段を超える長いテキストを生成する場合には、その欠点も指摘されている。Voxは『散文はかなり大まかで、ときおり非合理的なこともあり、記事が長くなればなるほど一貫性が失われる』と述べている。The Vergeも同様に、GPT-2の文章は長いサンプルになると『話題がそれる』傾向があり、首尾一貫性に欠けると指摘した。The Register(英語版)は、『それを読んだ人間は、しばらくすると、何かが起きていることに気づくはずだ』と評し、『GPT-2は、情報を抽出し取りだすためにアルゴリズムに依存する他のシステムと同様、質問には答えていない』と述べている。
GPT-2を導入するには多くの資源が必要で、完全版モデルの大きさは5ギガバイトを超えるため、アプリケーションにローカルに組み込むことが難しく、また大量のメモリー(RAM)を消費する。また、1回の予測を行うと『CPUを100%の使用率で数分間占有することがある』ほか、GPU処理でも『1回の予測に数秒かかることがある』。これらの問題を軽減するために、Hugging Faceは、知識蒸留を使用して、『いくつかの品質ベンチマークで数ポイント低い』ものの、『33%小さく、2倍速い』という小型モデルを作成するDistilGPT2を開発した。