stdnan/rubiobert-tiny-mlm

RuBioBERT-Tiny (Distilled)

Описание архитектуры

Представленная модель является компактной версией языковой модели RuBioBERT, полученной методом дистилляции знаний. Архитектура студента состоит из 3 слоев скрытых представлений, 4 голов внимания и размера скрытого состояния 312. Такое построение обеспечивает значительное сокращение вычислительной сложности и объема занимаемой памяти при сохранении репрезентативной способности в области биомедицинских текстов.

Процедура обучения

Оптимизация проводилась с использованием гибридной функции потерь, сочетающей перекрестную энтропию и дивергенцию Кульбака-Лейблера с температурным масштабированием. На начальном этапе применялась исключительно перекрестная энтропия для стабилизации градиентов, после чего осуществлялся плавный переход к гибридному режиму с весовым коэффициентом 0.9. Использовался алгоритм AdamW с линейным планировщиком скорости обучения, накоплением градиентов и нормализацией по норме 0.5.

Метрики масштабирования

Общее количество обучаемых параметров модели составляет 41,289,018. В процессе обучения модель обработала приблизительно 152,418,048 токенов. Согласно законам масштабирования Chinchilla (Hoffmann et al., 2022), оптимальное количество токенов для данного числа параметров оценивается в 825,780,360 (из расчета 20 токенов на параметр). Фактическое соотношение использованных токенов к оптимальному составляет 0.18, что указывает на недообучение в контексте вычислительной эффективности.

Качественная оценка предсказаний

В рамках качественной оценки репрезентативной способности модели были протестированы пять контекстов различной предметной сложности. На базовый анатомо-физиологический уровне (контекст: «Сердце перекачивает [MASK] по сосудам.») модель приоритизировала лексему '##ние' (вероятность 0.188), альтернативными гипотезами выступали 'давление' (0.119) и '##вание' (0.021). На фармакологический уровне (контекст: «Парацетамол применяется для снижения [MASK] и обезболивания.») модель приоритизировала лексему 'дозы' (вероятность 0.376), альтернативными гипотезами выступали 'боли' (0.123) и 'доз' (0.046). На клинико-симптоматический уровне (контекст: «Основным симптомом сахарного диабета 1 типа является полиурия и постоянная [MASK].») модель приоритизировала лексему 'недостаточность' (вероятность 0.340), альтернативными гипотезами выступали 'терапия' (0.146) и 'форма' (0.122). На патоанатомический уровне (контекст: «При микроскопическом исследовании биоптата печени выявлен фиброз и [MASK] гепатоцитов.») модель приоритизировала лексему 'наличие' (вероятность 0.072), альтернативными гипотезами выступали 'других' (0.049) и 'накопление' (0.044). На фармакокинетический уровне (контекст: «Ингибиторы CYP3A4 могут повышать концентрацию в плазме [MASK], что требует коррекции дозы.») модель приоритизировала лексему 'крови' (вероятность 0.930), альтернативными гипотезами выступали ')' (0.011) и 'плазмы' (0.007). Полученные распределения вероятностей свидетельствуют о корректном усвоении моделью как синтаксических связей, так и узкоспециализированных семантических паттернов биомедицинского домена.

Ограничения и области применения

Модель предназначена исключительно для задач маскированного языкового моделирования и требует дополнительного дообучения (fine-tuning) для решения прикладных задач, таких как классификация медицинских текстов, извлечение именованных сущностей или генерация ответов. Модель не является диагностическим инструментом и не должна использоваться для принятия клинических решений без участия квалифицированного специалиста.