gai-labs/strela-GGUF

GGUF версия стрелы.

Файл	Токенов/Секунда*	Скорость	Качество	Описание
strela-q8_0.gguf	5	Медленная	Отличное	Лучше всего подходит для Cuda
strela-q4_k_m.gguf	9	Средняя	Хорошое	Отлично работает на CPU, рекомендуется для использования на слабых устройствах
strela-q2_k.gguf	13	Быстрая	Плохое	Использовать только для английского языка с задачей, связанной с русскими словами

*Протестированно на Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz