BERT (言語モデル)
BERTは元々、Googleの研究者Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanovaによって発表された。この設計は、半教師ありシーケンス学習(英語版)、生成的事前訓練、ELMo(英語版)、ULMFitなどの文脈表現の事前訓練を起源とする。従来のモデルとは異なり、BERTは完全な双方向性を持つ教師なし言語表現であり、平文テキストコーパスのみを使用して事前訓練されている。word2vecやGloVe(英語版)のような文脈独立モデルは、語彙内の各単語ごとに単一の単語埋め込み表現を生成するのに対し、BERTは与えられた単語が出現するごとに文脈を考慮する。たとえば、「He is running a company」(彼は会社を経営している)と「He is running a marathon」(彼はマラソンをしている)の2つの文について、word2vecでは「running」のベクトル表現は同じであるのに対し、BERTでは文によって異なる文脈に応じた埋め込みを生成する。
2019年10月25日、Google検索は、米国内の英語検索クエリに BERTモデルの適用を開始したことを発表した。2019年12月9日、BERT が 70を超える言語で Google検索に採用されたことが報告された。2020年10月、ほぼすべての英語ベースのクエリが BERT によって処理された。