Сделай слайд для презентации по следующему тексту

⁃ Отбор по сложности
При дистилляции от большой модели важно учитывать сложность промпта: как слишком простые могут могут быть бесполезны, так и слишком сложные могут путать ученика. При этом оценка сложности должна опираться, как на генерации модели-учителя, так и базового чекпоинта (в данном случае после адаптации токенизатора). 

Для оценки сложности можно использовать внешнюю LLM с явной задачей - оценить сложность. Однако данный способ требует предварительного анализа способностей модели правдиво оценить это, без смещений.

Кроме того, много возможностей позволяет сравнительный анализ нескольких генераций для одного промпта модели-ученика и модели-учителя:

Для данных, имеющих верифицируемый ответ, можно оценить то, как часто ошибается модель-ученик и модель-учитель на одном и том же промпте. Однако, таких данных довольно мало и мы рассмотрели альтернативу в виде использования Reward-модели. 

Данный подход основан на анализе статистик значений, полученных с помощью RM. В качестве критерия использовалась оценка дисперсии распределения RM-скоров. Низкая дисперсия говорит об уверенности модели на конкретном промпте, высокая дисперсия говорит об обратном - случайность и неопределенность модели, подверженность к галлюцинациям. 

В качестве дополнительного развития данной стратегии отбора был рассмотрен подход с оценкой KL-дивергенции распределения RM-скоров для генераций учителя и ученика. Низкое значение KL говорит о простоте промпта, а высокое свидетельствует о чрезмерной сложности и риски переобучения. Поэтому стоит выбирать умеренные значения. 

Кроме того, при финальном отборе ответа на промпт, не стоит брать значение с самым высоким показателем по RM. Выбор должен остановится на значениях чуть выше среднего, относительно остальных. Важен баланс между качеством и стабильностью.
⁃ Стоит следить за длиной:
Даже при одинаковом промпте, учитывая рекомендованные к использованию параметры инференса, длина ответа модели может различаться в более чем два раза. Это влияет на стабильность обучения модели-ученика и на поведение модели при ее использовании. Важно следить за длиной, так как: 
Излишне длинные ответы часто включают ненужные продолжения рассуждений, когда может быть дан окончательный ответ.
Короткие ответы могут быть шумом или недостаточно обоснованны. 
Самое главное - экономия токенов без потери смысла и качества - это важно как при обучении, так и при последующем инференсе обученной модели. 

Как было указано, было установлено, что модели имеют высокую вариативность длины в ответах, поэтому слишком короткие ответы также могут быть шумом, поэтому для обучения отбирались средние по длине генерации. 

⁃ Token efficiency ризонинга как перспективное направление:
Как было замечено, в reasoning-задачах часто наблюдается избыточное количество рассуждений, не влияющих на финальный ответ. Это снижает эффективность инференса и расходует токен-бюджет впустую. 

Для решения данной проблемы необходимо определить оптимальный баланс между глубиной в рассуждениях и числом токенов, затраченных на рассуждения. 

На графике можно увидеть зависимость показателей модели на бенчмарках от значения токен-бюджета. Таким образом, после определенного порога используемых для рассуждений токенов, результат практически не улучшается. Это говорит о том, что основные мысли, ведущие к правильному ответу, модель затрагивает в начале своей цепочки рассуждений.