Пример использования:
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import GenerationConfig
import torch
path = "FractalGPT/FredT5-Large-Instruct-Context"
device = "cuda:0"
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForSeq2SeqLM.from_pretrained(path, torch_dtype=torch.bfloat16)
model = model.to(device)
model.eval()
template = "<SC6>Контекст: {documents}\nВопрос: {question}\nОтвет: <extra_id_0>"
def generate(prompt):
data = tokenizer(prompt, return_tensors="pt")
data = {k: v.to(model.device) for k, v in data.items()}
output_ids = model.generate(
**data,
do_sample=False,
eos_token_id=2,
decoder_start_token_id=0,
pad_token_id=0,
max_new_tokens = 500,
no_repeat_ngram_size = 3,
repetition_penalty = 1.3
)[0]
out = tokenizer.decode(output_ids.tolist(), skip_special_tokens=True)
return out.replace("<extra_id_0>","")
document = """Приказом Министра обороны СССР за успешное выполнение правительственного задания первому космонавту Земли старшему лейтенанту Гагарину было присвоено внеочередное воинское звание «майор».
12 апреля 1961 года – дата в истории, о которой не надо напоминать: все знают, что именно в этот день состоялся первый в мире полёт человека в космос"""
print(generate(f'<SC6>Контекст: {document}\nВопрос: Когда человек впервые побывал в космосе и как его зовут?\nОтвет: <extra_id_0>'))
- Downloads last month
- 1