Грамматические ошибки.
Всё вроде бы не плохо как для 7b модели. Однако, путает окончания слов, порой построения предложений и т.д. Иногда ощущение, что модель просто пытается "переводить" английскую речь в русскую. Это норма для 7b моделей? или есть способ это исправить?
Это норма для 7B моделей. Но если поиграться с температурой и остальными параметрами, модель отвечает лучше на русском.
Вот пример:
Это конечно печальная ситуация. Русскому языку для создания живой речи требуется более крупная модель, на большее число параметров. В отличие от английских или азиатских языков, которые даже на 6-7b параметрах выдают текст похожий на живую речь. Из-за условностей с окончаниями и склонениями. Хотя, насколько это преодолимый барьер, если скажем, мы обучим Lora или изначально обучим модель по образцу Noromaid, на живых диалогах?