El modelo DistilRoBERTa destilado del punto de control de la base de roberta del modelo RoBERTa. 12 capas , 768 ocultos, 12 cabezales, 110 millones de parámetros.