BERT (言語モデル)
BERT 以前の多くの言語モデルは事前学習に単方向性(英: unidirectional)のタスクを採用しており、学習された表現も単方向の文脈しか考慮しないものであった。この制約は文脈レベルの表現が必要なタスクの性能へ大きなペナルティを与えうる。