SAI-for-VinFast-FP32_100M

Mô hình được fine-tune từ SAI_100M, dành riêng cho tác vụ trợ lí ảo trên xe VinFast.

Bản FP32 gốc sau fine-tune, chưa quantize. Tải toàn bộ folder này để có checkpoint, config, tokenizer và code model/inference cần thiết. File trọng số: SAI-for-VinFast-FP32_100M.pt.

python -m pip install -r requirements.txt
python run.py "Tôi muốn tìm hiểu về xe điện VinFast." --max-new-tokens 64

Dùng loader SAI đi kèm; không dùng AutoModelForCausalLM.

Để chat nhiều lượt với beam search và tái sử dụng KV cache của phần hội thoại chung:

from pathlib import Path
import sentencepiece as spm
from src.inference.chat import SaiChat, load_model

model = load_model(Path("SAI-for-VinFast-FP32_100M.pt"), Path("config.json"), max_seq_len=10240)
tokenizer = spm.SentencePieceProcessor(model_file="tokenizer.model")
chat = SaiChat(model, tokenizer, context_size=10240)
messages = [{"role": "user", "content": "Tôi muốn tìm hiểu về xe điện VinFast."}]
print(chat.complete(messages, max_tokens=64)["text"])