Генерирует рандомные символы
Почему-то генерирует рандомные символы. Кажется дело в tokenzier
Приветствую
@Crash3000
Насколько я вижу вы пытаетесь передать в обычный запрос текстом список ролей и контента.
Чтобы всё заработало корректно, необходимо передавать этот список messages=[{'role'...в метод: tokenizer.apply_chat_template(conversation=messages, tokenize=False, add_generation_prompt=True) после чего вы получите уже преобразованный список в правильный промпт в таком виде:
<s><|start_header_id|>system<|end_header_id|>
Your task is to answer the user's questions using only the information from the provided documents. Give two answers to each question: one with a list of relevant document identifiers and the second with the answer to the question itself, using documents with these identifiers.</s><|start_header_id|>documents<|end_header_id|>
[{"doc_id": 0, "title": "Глобальное потепление: ледники", "content": "За последние 50 лет объем ледников в мире уменьшился на 30%"}, {"doc_id": 1, "title": "Глобальное потепление: Уровень моря", "content": "Уровень мирового океана повысился на 20 см с 1880 года и продолжает расти на 3,3 мм в год"}]</s><|start_header_id|>user<|end_header_id|>
Глоабльное потепление</s><|start_header_id|>assistant<|end_header_id|>
P.s. Однако не рекомендую использовать подобный виджет (тем более для RAG), так как скорее всего у них автоматически всё сообщение пользователя попадает при обработке под роль user, что может быть причиной нестабильной работы. Лучше всего использовать vllm или написать свою предобработку и инференс через transformers как в примере тут