Spaces:
Runtime error
Runtime error
| import torch | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| model = AutoModelForCausalLM.from_pretrained("galatolo/cerbero-7b") | |
| tokenizer = AutoTokenizer.from_pretrained("galatolo/cerbero-7b") | |
| prompt = """Questa è una conversazione tra un umano ed un assistente AI. | |
| [|Umano|] Come posso distinguere un AI da un umano? | |
| [|Assistente|]""" | |
| input_ids = tokenizer(prompt, return_tensors='pt').input_ids | |
| with torch.no_grad(): | |
| output_ids = model.generate(input_ids, max_new_tokens=128) | |
| generated_text = tokenizer.decode(output_ids[0], skip_special_tokens=True) | |
| print(generated_text) |