BERT (言語モデル)
これらの自然言語理解タスクでBERTが最先端の性能を発揮できる理由は、まだよく分かっていない。現在の研究は、注意深く選択された入力シーケンス、プロービング分類器による内部ベクトル表現の分析、およびアテンションウェイトによって表される関連性の結果として、BERT出力の背後にある関係を調査することに重点を置いている。また、BERTモデルの高い性能は、それが双方向に学習されるという事実に帰する可能性もある。つまり、Transformerモデルアーキテクチャに基づくBERTが、その自己アテンション機構を使用して、訓練中にテキストの左側と右側から情報を学習するため、文脈を深く理解することができる。たとえば、fine という単語は、文脈によって2つの異なる意味を持つことがある。「I feel fine today, She has fine blond hair」(今日は良い気分だ。彼女は細いブロンドの髪をしている)。BERTは、対象となる単語 fine を囲む単語列を左右から見る。
しかし、これには代償が伴う。