BERT (言語モデル)
後述するMLM により双方向に依存するモデルを採用可能になったことから、BERT ではネットワークとして双方向性の Transformerアーキテクチャ (Bidirectional Encoder of Transformer) を採用した。すなわち self-attention による前後文脈取り込みと位置限局全結合による変換を繰り返すネットワークを用いている。
BERTは、トークン化にWordPieceを使用して、各英単語を整数コードに変換する。その語彙数は30,000である。語彙に含まれないトークンは、「不明」(unknown)を意味する [UNK] で置き換えられる。
BERTは、同時に2つのタスクで事前訓練された。
BERTを記述した研究論文は、2019年の北米計算言語学学会(英語版)(NAACL)年次会議で、最優秀論文賞を受賞した。