tiny-shakespeare-transformer

Kleines Transformer-Sprachmodell trainiert auf Shakespeare-Texten

Modell-Details

• Architektur: TransformerDecoder
• Parameter: 28,958,545
• Schichten: 3
• Dimensionen: 256
• Attention-Heads: 4
• Trainings-Epochen: 4
• Bester Validierungs-Loss: 10.6332

Verwendung

from transformers import GPT2Tokenizer
import torch

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = LanguageModel()  # Usar la misma arquitectura
model.load_state_dict(torch.load("pytorch_model.bin"))

prompt = "ROMEO:"
generated = generate_text(model, tokenizer, prompt)

print(generated)