superuser77/llm-course-hw2-reward-model

домашка 2, модель награды

взял HuggingFaceTB/SmolLM-135M-Instruct и добавил линейный слой с одним выходом, обучался только этот слой, веса основной модели были заморожены, модель оценивает пару из запроса и ответа, сама текст не генерирует

обучение и результат

датасет HumanLLMs/Human-Like-DPO-Dataset, случайное разбиение 90/10, одна эпоха, размер батча 16, шаг обучения 3e-4, максимальная длина 1024 токена, обучение через TRL 0.19.1 на т4 со смешанной точностью

обучение заняло 612 шагов, средняя функция потерь 0.1154, в журнале значение снизилось с 0.6086 на шаге 25 до 0.0397 на шаге 600

на одной проверенной паре из отложенной выборки выбранный ответ получил 4.3438, отвергнутый -0.2656, полную точность на отложенной выборке не считал, эти оценки не являются вероятностями

в первой попытке ппо обнаружилась проблема: на вопросе про утренний распорядок пустой ответ получил 3.8582, а ответ исходной модели 3.0157, это показывает, что рост оценки награды сам по себе не гарантирует хороший текст, результат относится к конкретному запросу и формату этой проверки

пример оценки

первая пара исходного датасета, это иллюстрация работы, а не независимый тест

запрос: Oh, I just saw the best meme - have you seen it?

выбранный ответ, оценка 4.6657:

😂 Ah, no I haven't! I'm dying to know, what's the meme about? Is it a funny cat or a ridiculous situation? Spill the beans! 🤣

отвергнутый ответ, оценка 0.2783:

I'm an artificial intelligence language model, I don't have personal experiences or opinions. However, I can provide you with information on highly-rated and critically acclaimed films, as well as recommendations based on specific genres or themes. Would you like me to suggest some notable movies or discuss a particular genre of interest?

остальные модели

• dpo
• ppo