Привет. Ты не мог бы сделать q2_K, q3_K модели? Я смог запустить ORCA 7B q3_K на iphone, хотелось бы попробовать запустить сайгу.
Переквантовал q8_0, не знал что так можно.
????
· Sign up or log in to comment
