Sashkanik13/rugpt3large_turbo_instructed_ggml

Модель IlyaGusev/rugpt_large_turbo_instructed в формате ggml

Код запуска:

from ctransformers import AutoModelForCausalLM

llm = AutoModelForCausalLM.from_pretrained("Sashkanik13/rugpt3large_turbo_instructed_ggml", model_file="ggml-model.bin", model_type="gpt2")

while True:
 user_input = input("\n>>> ")
 text = "Задание: Ты общительный чатбот. Продолжи диалог. Вопрос: " + user_input + "Ответ:"
 for text in llm(text, stream=True):
    if '</s>' in text:
     break
    else:
     print(text, end="", flush=True)