Архитектура нейросетевой модели BERT (Рис. 1) в нашей реализации состоит из 12 последовательных трансформер-слоев со скрытым представлением размерности 768, в каждом из которых 12 self-attention [attention is all] голов, со 110 млн параметров.
Корректно (is_correct): 1