Como resultado, RoBERTa supera tanto a BERT como a XLNet en los resultados de referencia de GLUE : Comparación de rendimiento de RoBERTa. Por otro lado, para reducir los tiempos computacionales (entrenamiento, predicción) de BERT o modelos relacionados, una opción natural es usar una red más pequeña para aproximar el rendimiento.