Модель обучена на миксе инструкционных датасетов, способна отвечать на вопросы, и выполнять несложные инструкции

Из обучающей выборки были исключены арифметические задачи, поэтому считать модель не умеет

Для запуска можно использовать следующий код:

import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import GenerationConfig

tokenizer = AutoTokenizer.from_pretrained("SiberiaSoft/SiberianFredT5-instructor")
model = AutoModelForSeq2SeqLM.from_pretrained("SiberiaSoft/SiberianFredT5-instructor")
model.eval()

def generate(prompt):
  data = tokenizer('<SC6>' + prompt + '\nОтвет: <extra_id_0>', return_tensors="pt")
  data = {k: v.to(model.device) for k, v in data.items()}
  output_ids = model.generate(
      **data,  do_sample=True, temperature=0.2, max_new_tokens=512, top_p=0.95, top_k=5, repetition_penalty=1.03, no_repeat_ngram_size=2
  )[0]
  out = tokenizer.decode(output_ids.tolist())
  out = out.replace("<s>","").replace("</s>","")
  return out

while 1:
  print(generate(input("Введите промпт и фразу: ")))
  print("====================")

Можно просто задавать ей разные вопросы:
Что такое циновка?
Как сделать десерт из клубники?

Промпт, который выделяет из фразы ключевые слова и сразу ставит их в нормальную форму:
Выдели ключевые слова: Мы праздновали день рождения друга и подарили ему подарок

Промпт для выделения главной мысли в предложении (суммаризация предложения):
Выдели главные мысли в предложении: Чтение книг важно не только для развития нашего интеллекта, но и для расширения кругозора и понимания различных культур и мировоззрений.

Промпт для определения тематики предложения:
Определи тематику: В наше время все больше и больше людей занимаются йогой.

Промпты для придумывания вопросов:
Придумай вопросы на тему Политика
Придумай 5 вопросов к собеседнику на тему детство
Придумай другие варианты вопроса: Кем ты работаешь?
Придумай вопросы к этому тексту: "К особым префектурам можно отнести Токио, Киото, Осаку и Хоккайдо. В период Эдо (1603—1867), сёгунат установил 9 городских районов, которыми управляли чиновники из центра (奉行支配地), и 302 районных города, которыми управляли городские чиновники (郡代支配地). С наступлением эпохи Мэйдзи 9 городских центров были превращены в округа фу, а 302 районных города — в префектуры кэн. В 1871 г., после административной реформы, в Японии было установлено 3 городских префектур фу — Токио, Киото и Осака. В 1943 г. городская префектура Токио была переименована в столицу то (хотя закона о столице утверждено не было).",

Промпт для предсказания последствий действия:
Что произойдет дальше: Я выиграл в лотерею

Промпт для объяснения чего-то простыми словами:
Объясни ребенку тему виды отдыха.

Промпт для решения проблем:
Реши проблему: Борьба с низкой самооценкой.

Промпт для раскрытия анафоры по предыдущей фразе
Раскрой анафору последней фразы в диалоге: "футбол ты любишь?" , "нет",

Промпт для ответа на вопрос по тексту:
Текст:\nПервые благотворительные фонды возникли в начале XX в. в США, благодаря усилиям известного промышленника и филантропа Джона Рокфеллера. Именно Дж. Рокфеллер выдвинул идею поставить благотворительность на регулярную основу, предложив создать трест благотворительности [6]. Первой организацией такого типа стал Совет по всеобщему образованию (1902 г.), позднее вошедший в состав фонда Рокфеллера. Примеру Рокфеллера последовали и другие крупные предприниматели США: Эндрю Карнеги, Билл Гейтс и другие.\n\nИсходя из текста выше, 'где возникли благотворительные фонды'\n

Промпт для продолжения диалога с контекстом:
Я парень, программист. Увлекаюсь эзотерикой и конспирологией. Пишу фантастику. Люблю природу. Недавно, у меня был следующий диалог:\nТы: Ты знаешь, фантастика меня всегда привлекала. Что-нибудь интересное можешь порекомендовать?\nЯ: Если тебе нравится научная фантастика, то обязательно прочитай Война миров Герберта Уэллса. Очень увлекательная история о захвате Земли инопланетными существами.\nТы: А ты не считаешь, что на самом деле существует возможность контакта с другими цивилизациями во Вселенной?\nЯ: Мы точно не знаем, что на самом деле находится в космосе и какие существа могут обитать где-то далеко от нашей планеты. Многие теории конспирологов и эзотериков говорят о существовании инопланетян и их влиянии на нашу жизнь.\nТы: А есть ли у тебя какие-то любимые книги или фильмы в жанре фантастики?\nЯ:

Кроме вышеназванных промптов, в обучающей выборке было множество других, поэтому вы может просто придумать свой промпт, главное, не забывайте - модель не предназначена для арифметических действий и генерации программного кода

Downloads last month
182
Safetensors
Model size
1.74B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train SiberiaSoft/SiberianFredT5-instructor