GPT-2
GPT-2は新規に開発された WebText コーパスをデータセットとして利用している。
GPT-2は、そのデータセットとアプローチの広さによって、単純なテキスト生成にとどまらない幅広いタスクに対応できるようになった。質問に答えたり、長文を要約したり、さまざまな特定領域(英語版)で言語間の翻訳をしたり、一連の単語の次の予測方法以上のことは何も指示されずに実行できる。
一般化学習の一例は、フランス語-英語間の機械翻訳をするGPT-2の能力であり、そのために、WMT-14の翻訳タスクを使用してGPT-2の性能が評価された。GPT-2の訓練用コーパスには、フランス語のテキストはほとんど含まれていなかった。訓練前にデータセットのクリーニングで英語以外のテキストを意図的に削除したため、得られた40,000 MBのうちモデルが訓練に使用できたフランス語は10 MBにすぎなかった(ほとんどは英語の投稿や記事に含まれた外国語の引用)。それでもGPT-2は、WMT-14の英語-フランス語間テストセットで5 BLEUを達成した(単語単位での置換による翻訳をわずかに下回るスコア)。また、フランス語から英語へのテストセットでGPT-2は、当時(2017年)の教師なし機械翻訳ベースラインを上回って、11.5 BLEUを達成した。これは、33.5 BLEUを達成した当時(2019年)最も高性能な教師なし手法を下回るものだった。しかし、他のモデルは、この結果を達成するために大量のフランス語テキストを使用しており、一方のGPT-2は、同等の手法の約1/500のサイズの単一言語フランス語コーパスを使用したと推定された。
アレン人工知能研究所(英語版)は、GPT-2に呼応して「ニューラルフェイクニュース」を検出するツールを発表した。
しかし、意見は分かれた。2019年2月のThe Vergeの記事は、GPT-2がもたらす脅威は誇張されていると論じ、カリフォルニア工科大学の教授でNvidiaの機械学習研究ディレクターであるAnima Anandkumarは、OpenAIが言うような脅威をもたらす能力がGPT-2にあるという証拠はなく、彼らがしたことは『オープンとは正反対』だと述べ、完全モデルの公開を拒否したことを「悪意のあるたわごと(英語版)」とみなした。The Gradient紙は、OpenAIに対してモデルの公開を促す公開書簡を発表し、テキスト生成AIがもたらす脅威を印刷機のそれと比較し、『混乱をもたらす可能性があったにものの、(幸いにも)現代社会を破壊しなかった技術』としてPhotoshopを例に挙げた。
30年後、Photoshopは高校生が使えるほど簡単で、動詞として広く使われているにもかかわらず、社会は比較的無事ですんでいる。なぜか?それは、誰もがPhotoshopを知っているからこそである。
従来の順伝播型ニューラルネットワーク(FFNN)は、各層が前の層からの出力を取り入れ、次の層に送り出すことからその名が付けられた。FFNNの構造には、情報が逆流するような「巡回(cycles)」は存在しない。これに対して、回帰型ニューラルネットワーク(RNN)は、活性化の流れの巡回を少なくとも一つ持っている。RNNネットワークでは、ある項目そのものと、以前の項目を処理したときの出力の両方を使用して一連の項目を処理できるため、順序付いた項目を処理する(および将来の順序項目を予測する)ためによく使用された。
1979年に福島邦彦が哺乳動物の視覚野における神経構造モデルに基づいて提唱したネオコグニトロンは、画像処理で広く使われる畳み込みニューラルネットワーク(CNN)の基礎を築いた。CNNは、大きな入力層に対して小さな層を「重ねて滑らせる」ことで、より少ない計算量でより深い処理を行うことができる。たとえば、100×100の画像には10,000個の画素があり、全結合層で処理するには10,000個の重みが必要だが、画像上をスライドする5×5の「窓」からなる畳み込み層では、わずか25個の学習可能なパラメータでエッジ検出を行うことが可能である。畳み込み層は「プーリング層」によって結合され、「全結合層」(一般的に多層パーセプトロン)によって処理される。
GPT-2のモデルアーキテクチャはGPT-1のマイナーチェンジ版である。アーキテクチャ上の変更点は以下の通り:
Post LN → Pre LN
最終アテンションブロック後の追加LN
残差レイヤーの深度 1 / N {\displaystyle 1/{\sqrt {N}}} 重み付け初期化
アーキテクチャはほぼ同一であるが、GPT-2はGPT-1より大きなモデルとなっている。モデル上の変更点は以下の通り:
モデルパラメータサイズ: 15億(約13倍)
ボキャブラリ: 50,257
コンテキストトークン長: 512→1024