transformer經已速度成為唨nlp問題嘅首選模型，同時取代唨啲先前嘅rnn模型似長短期記憶模型。由於喺訓練過程中對平行運算嘅便利性，引入唨transformer之後愈發大嘅數據集可以得到訓練。