zlsl

/

ruGPT-3.5-13B-erotic-kink-chat-lora

like 7

Должна работать на любой

Проверено также на 4-бит:

https://huggingface.co/fffrrt/ruGPT-3.5-13B-GPTQ

https://huggingface.co/iashchak/ruGPT-3.5-13B-gptq-4bits

Какая ошибка выходит?

Спасибо, дело было не в бобине :) к устаревшей версии autoGPT не применялась лора, теперь всё ок.

Какая ошибка выходит?

Подскажите пожалуйста пробую загрузить модель "/iashchak/ruGPT-3.5-13B-gptq-4bits" в "oobabooga/text-generation-webui" выходит ошибка MemoryError у меня 16гб ram этого мало для запуска локально этой модели?

Какая ошибка выходит?

Подскажите пожалуйста пробую загрузить модель "/iashchak/ruGPT-3.5-13B-gptq-4bits" в "oobabooga/text-generation-webui" выходит ошибка MemoryError у меня 16гб ram этого мало для запуска локально этой модели?

В последних версиях там поломана работа с GPT2 моделями, а LoRA для них вообще похерена.

Лучше создать отдельный venv/conda для gpt2, там:
pip install https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.3.2/auto_gptq-0.3.2+cu118-cp310-cp310-linux_x86_64.whl
pip install peft==0.4.0

Желательно грузить autogptq модели. Если глючит, то нужно править файл модуля для загрузки autogptq

Напишите пожалуйста пример кода как использовать?
Было бы круто если с использованием:
from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline
hf = HuggingFacePipeline.from_model_id()