flax-community/gpt-2-spanish

Buenas estoy trabajando con el modelo y quiero hacer un fine-tune. estoy trabajando en colab con los recursos gratuitos (detallo esto xq puede ser relevante para mi consulta). El tema es que al querer hacer el fine-tune me da error en una libreria.
Pero nose a donde acudir por soporte.
Este es el codigo que tengo para ahcer el fine-tune

from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer 
from datasets import load_dataset

# Cargar el modelo base pre-entrenado
model_name = "flax-community/gpt-2-spanish"

tokenizer = AutoTokenizer.from_pretrained("flax-community/gpt-2-spanish", bos_token='<|startoftext|>', eos_token='<|endoftext|>', pad_token='<|pad|>')

model = AutoModelForCausalLM.from_pretrained("flax-community/gpt-2-spanish")

# Cargar tu conjunto de datos de entrenamiento etiquetado
# Debe estar en un formato adecuado para el fine-tuning
dataset = load_dataset("json", data_files="dataset_finetune_codigolaboral.json")
train_dataset = dataset["train"]

# Configurar los argumentos de entrenamiento
training_args = TrainingArguments(
   output_dir="./output",
   overwrite_output_dir=False,  # Cambia a False si quieres continuar el entrenamiento
   num_train_epochs=3,  # Número de épocas de entrenamiento
   per_device_train_batch_size=4,
   save_steps=1000,
   save_total_limit=2,
   evaluation_strategy="steps",
   eval_steps=1000,
   logging_steps=100,
)

# Configurar el Trainer para el fine-tuning
trainer = Trainer(
   model=model,
   args=training_args,
   train_dataset=train_dataset,  # Utiliza el conjunto de datos de entrenamiento
)

# Iniciar el fine-tuning
trainer.train()

# Guardar el modelo fine-tuned
trainer.save_model("./fine_tuned_model01_laboral")

y este es el error "

ImportError                               Traceback (most recent call last)
<ipython-input-22-0dd9751fcd2b> in <cell line: 17>()
     15 
     16 # Configurar los argumentos de entrenamiento
---> 17 training_args = TrainingArguments(
     18     output_dir="./output",
     19     overwrite_output_dir=False,  # Cambia a False si quieres continuar el entrenamient

ImportError: Using the `Trainer` with `PyTorch` requires `accelerate>=0.20.1`: Please run `pip install transformers[torch]` or `pip install accelerate -U`

Instale el acceletate, baje la vercion, luego la mas nueva pero no hay caso.

Alguien me puede ayudar, con este tema, tiene algun codigo con el que pudieron realizar el fine-tune? toda informacion me sirve.

Lo escribo en español porque... es mi idioma 😊

flax-community
/

gpt-2-spanish

Fine-Tune