RoBERTa es una extensión de BERT con cambios en el procedimiento de preentrenamiento . Las modificaciones incluyen: entrenar el modelo por más tiempo, con lotes más grandes, con más datos. eliminando el siguiente objetivo de predicción de oraciones. entrenamiento en secuencias más largas.