Adapter weights
Здравствуйте! подскажите, выложен ли LoRa адаптер (внедрен в веса модели) или же в представленном репозитории только модификация словаря модели ?
Текущая модель - это базовая модель (не инструктивная) на основе upstage/SOLAR-10.7B-v1.0, адаптированная на русский язык с заменой токенизации. В ней заменен токенайзер и дообучены слои эмбеддингов, предсказания следующего слоя, attention. За счет замены токенайзера она работает быстрее, чем upstage/SOLAR-10.7B-v1.0 на русскоязычных текстах (в расчете на количество символов), а также за счет адаптации на язык, показывает себя лучше на Russian Super Glue (проверяли с дообучением на тренировочных данных) и на mmlu от MERA.
Подскажите, а при тестировании на RSG каким методам фаинтюнилась модель ? полный SFT под каждую задачу или же адаптеры / promt-tuning ?
Модель дообучалась по "рецепту" из репозитория Ильи Гусева для совместимости с некоторыми прошлыми результатами из бенчмарка:
https://github.com/IlyaGusev/rulm/tree/master/self_instruct
То есть трейн части были объединены в единый датасет в условно инструктивном формате, после чего с использованием LoRa происходило обучение.
Параметры обучения представлены в самом сабмите на бенчмарке:
https://russiansuperglue.com/login/submit_info/2899