Error: error loading model
sau khi download model PhoGPT-4B-Chat-q8_0.gguf về, mình tạo file Modelfile với nội dung:
FROM "PhoGPT-4B-Chat-q8_0.gguf"
TEMPLATE """{{ .System }} ### Câu hỏi: {{ .Prompt }}\n### Trả lời:"""
PARAMETER stop "<s>"
PARAMETER stop "</s>"
sau đó chạy lệnh 'ollama create PhoGPT-4B-Chat-q8_0_GGUF -f Modelfile'
Sau khi hoàn tất tạo model trên Ollama thì khi mình gọi model bằng lệnh 'ollama run PhoGPT-4B-Chat-q8_0_GGUF' thì thấy thông báo lỗi 'Error: error loading model ../.ollama/models/blobs/sha256:298a307d8a672f7837261d0530778f6789fa158388c37f099956b3818820d569'
Khi reset lại Ollama thì chạy lại lệnh 'ollama run PhoGPT-4B-Chat-q8_0_GGUF' thì bị lỗi 'Error: exception done_getting_tensors: wrong number of tensors; expected 388, got 387'
Bạn xem giúp mình bị lỗi chỗ nào nhé. Xin cảm ơn!
Để chờ xem phản hồi ở đây xem thế nào bạn nhé:
Cảm ơn bạn nguyenviet đã reply nhé, mình thấy issue này đã được solve ở chỗ này rồi đấy^^ https://github.com/VinAIResearch/PhoGPT/issues/22 . Mình đã thử đẩy model lên Ollama theo link này, bạn thử kiểm tra giúp nhé https://ollama.com/mrjacktung/phogpt-4b-chat-gguf . Thanks ^^
Chào bạn Tùng, mình đã download model ở link trên và chạy thử được rồi. Mình sẽ đóng issue này ở đây nhé. Thanks bạn nhiều.