Есть ли шанс получить эффективные кванты от Вас?
Здравствуйте. Спасибо за эту модель. Я имел очень позитивный опыт использования Qwen 3 next 80B на системе с 64Gb объединённой памяти, но приходилось использовать или квантизацию, порядка, менее 4бит на вес или модели, вроде cerebras reap, с частично удалёнными экспертами. Некоторые команды/лаборатории (вроде ISTA-DASLab или bytrshape) создают хитро квантованные модели, которые позволяют сохранить 95+% полезной отдачи, выбирая какие тензоры можно квантовать тем или иным bpw. Подскажите, есть ли шанс, что Вы опубликуете подобные кванты в *.gguf, опираясь на Ваше понимание работы модели и её профилирования? Было бы здорово.
Спасибо. <3
Здравствуйте. Спасибо за эту модель. Я имел очень позитивный опыт использования Qwen 3 next 80B на системе с 64Gb объединённой памяти, но приходилось использовать или квантизацию, порядка, менее 4бит на вес или модели, вроде cerebras reap, с частично удалёнными экспертами. Некоторые команды/лаборатории (вроде ISTA-DASLab или bytrshape) создают хитро квантованные модели, которые позволяют сохранить 95+% полезной отдачи, выбирая какие тензоры можно квантовать тем или иным bpw. Подскажите, есть ли шанс, что Вы опубликуете подобные кванты в *.gguf, опираясь на Ваше понимание работы модели и её профилирования? Было бы здорово.
Спасибо. <3
Простите, а что вы собираетесь с этой моделью делать? У нее нет чат шаблона. Это не Instruct. И чтобы использовать ее для агентских задач - требуется дообучить ее. Квантануть вы можете ее и сами - это дел на пару часов.
Спасибо, я упустил, что это не instruction-tuned модель. Планировал дома использовать, как ассистента. За веса всё равно спасибо - здорово, что делитесь. :P
Отредактировано: Квантануть, то могу, но как выбрать эффективно - где больше, а где меньше квантовать, чтобы выжать больше попугаев - это же не сделаешь на домашнем компе за разумное время.