GPT-2
WebText コーパスは約800万のウェブページから抽出された高品質自然言語テキストコーパスである。
GPT-2はゼロショット推論可能な基盤モデルを意図して開発された。個別タスクを明示的に学習せずゼロショットで推論するには、学習用テキスト内に様々なタスクの具体例が(タスクラベル無しで)含まれている必要があると考えられる。一方で質の低いテキストはモデルの精度を落とすため、コモン・クロールのような無作為収集されたコーパスは利用できない。これらの問題を解決するためにGPT-2論文で開発されたコーパスが WebText コーパスである。
WebText は人間によるキュレーションを品質向上に利用している。まずRedditで3回以上賛成票を受けたリンク先ウェブページを一定品質のテキストとみなし、重複文章の除去・Wikipedia記事の削除・ヒューリスティックによるクリーニングを経て、最終的に約800万のウェブページから抽出された約40GBの自然言語テキストをWebTextとしている。
アテンション機構は、既存の畳み込み型ニューラルネットワークや回帰型ニューラルネットワークのアーキテクチャを改善するために使うことで性能向上に効果的であったが、すぐに、何も基礎を置かずにアテンション機構単独でも高性能なモデルを構築できることがわかった。
2017年6月、Google Brain(英語版)、Google Research、およびトロント大学の研究者が発表した論文で、Transformerアーキテクチャが初めて紹介された。Transformerは、畳み込みや回帰を完全に捨て去り、アテンション機構のみに基づいたモデルの一種である。従来のRNNに基づくモデルと異なり、Transformerは、系列的に入力される各項目について順番に計算することなく処理できるため、大規模な並列化が可能であることを意味した。WMT'14フランス語-英語タスクでは、Transformerアーキテクチャを使用して特別に訓練したフランス語-英語翻訳モデルが、41.8 BLEUという新しい単一モデルのベンチマークを達成することができた。Transformerは、導入以来、多くの自然言語処理(NLP)アプリケーションで使用されている。
ニューラルネットワークは、「訓練(training)」および「学習(learning)」という過程を経て、さまざまな入力を分類することができるようになる(すなわち個別のカテゴリに区分する)。学習は、まずネットワークの重み(各ニューロンの「活性化」が後続層の特定ニューロンの活性化に影響を与える量)をランダム(無作為)に初期化する。この状態では、ネットワークの出力も同様にランダムとなる。そして、ネットワークの出力がどれだけ望ましいできばえに近いかを定量的に測定する損失関数などの目的関数を定義する(たとえば、手書きの数字からなる入力が、その数字に対応する出力ニューロンのみを活性化させる頻度)。この関数とネットワークのできばえから、重みを調整して性能を改善することができる。
バックプロパゲーションは、1974年のポール・ワーボス(英語版)の学位論文で初めて機械学習システムに適用した教師ありアルゴリズムであり、所与の入出力例に対するネットワーク全体の重みの最適調整を記述するベクトル場である「勾配」の計算を効率化した。この勾配を使用してニューラルネットワークを訓練する勾配降下法によって、より複雑なシステムを構築することが可能となり、1980年代にはニューラルネットワークの自然言語処理への応用が広まることになった。1985年にはD.B. Parkerがワーボスの手法を再発見し、1986年にはラメルハート、ヒントン、ウイリアムスが「深層学習(ディープラーニング)」ネットワークと呼ばれる隠れ層を持つニューラルネットワークで、入力データの内部表現を生成するためにこの手法を応用し、この研究はその後の回帰型ニューラルネットワークの基礎を築いた。
教師なし事前学習は、さまざまなジャンルに属する7,000冊以上の未発表小説のデータセット「BooksCorpus」を用いて行われた。このデータセットが選ばれた理由の一つは、長距離の情報を処理するためのモデルの条件として、連続した長い文章が求められたことにある。利用可能な他のデータセットは、規模は大きくても、このような長範囲的な構造がない(文レベルで「入れ替え」られている)ことを理由に却下された。BooksCorpusのテキストをクリーニング(句読点や空白の標準化)するためにftfyライブラリが、トークン化ではspaCyが使われた。