GPT-2
2009年に、Alex Gravesチームが提出したLSTMに基づくモデルが、手書き文字認識のICDARコンペティションで優勝し、もう一つのモデルは最も正確なモデル、3番目のモデルは最も高速なモデルであった。
RNNやLSTMが抱えるもう一つの問題は、以前の順序項目の文脈しか考慮できないことである。このため、「トムはバイクに乗って店に行き、キックスタンドを下ろしてエンジンを切った」のように、「バイク(自転車)」が「モーターバイク(オートバイ)」であるという必要な文脈が最後でしか明らかにならない文章を解析するときに問題を引き起こすことがある。このような問題を解決する一つが双方向LSTM(bidirectional LSTM)であり、双方向に同時に進行することで、「過去」と「未来」の両方の入力特徴にアクセスすることを可能にする。条件付き確率場(CRF)は、タグを使って入力と出力を直接結びつける。 上記のアプローチの組み合わせた、LSTM-CRFネットワークやBI-LSTM-CRFネットワークもある。その他に、RNNモデルの改良として、ニューラルチューリングマシン(英語版)、適応計算時間(adaptive computation time)、ニューラルプログラマー(neural programmers)、アテンション機構などがあり、最後のものはGPT-2や関連技術の基礎をなしている。