Huypero/AgentContentVietnamese-110m

AgentContentVietnamese 110M

Base language model tiếng Việt, train từ đầu trên corpus báo chí tiếng Việt. Đây là bản final, đã hoàn thành một epoch tại bước 14,411.

Thuộc tính	Giá trị
Tham số	109,529,856
Kiến trúc	Decoder-only, 12 layers, hidden 768, 12 attention heads, SwiGLU 2048
Normalization / positional encoding	RMSNorm / RoPE
Context	4.096 token
Tokenizer	SentencePiece BPE, 32.000 token, byte fallback
Token đã train	1,888,682,419
Epoch	1
Loss train cuối	2.4816
Best observed full-validation loss trong run	2.3403
Weights	FP32, safetensors

Chỉ số validation trên là giá trị tốt nhất được ghi nhận trong run, không phải kết quả đo mới trên bản export. Xem training_summary.json để biết cấu hình chi tiết.

Tải và sinh văn bản

Python 3.13, PyTorch 2.7.1; có thể chạy CPU hoặc GPU CUDA tương thích.

python -m pip install huggingface-hub
hf download Huypero/AgentContentVietnamese-110m --local-dir ./AgentContentVietnamese-110m
python -m pip install -r ./AgentContentVietnamese-110m/requirements.txt
python ./AgentContentVietnamese-110m/generate.py --prompt "Hôm nay, Việt Nam" --max-new-tokens 100

GPU tự động dùng BF16 nếu được hỗ trợ. Thêm --device cpu để chạy CPU, hoặc --temperature 0 để giải mã greedy. Sinh văn bản dùng lại thuật toán trong dự án gốc, không thêm BOS vào prompt và dừng tại EOS hoặc giới hạn context.

Đây là model PyTorch với kiến trúc riêng. Dùng generate.py đi kèm; repo chưa có lớp tích hợp transformers.AutoModelForCausalLM.

Nội dung bản export

• model.safetensors: toàn bộ model weights lấy từ checkpoint final, giữ nguyên FP32.
• config.json, tokenizer.model, tokenizer.vocab: cấu hình và tokenizer đúng với checkpoint.
• generate.py, scripts/: mã nạp model và sinh văn bản.
• training_summary.json, export-manifest.json: thông tin train, provenance và SHA-256.

Đã kiểm tra từng tensor bằng nhau tuyệt đối với checkpoint và logits bằng nhau khi nạp lại trên CPU. Optimizer, training RNG và corpus không nằm trong repo model; checkpoint train gốc vẫn được giữ trên máy chủ dự án.

Sử dụng và giới hạn

Model base dùng để tiếp tục văn bản và nghiên cứu pretraining; chưa instruction-tune hay đánh giá như một trợ lý chat. Corpus thiên về báo chí. Văn bản sinh có thể sai, lặp, hoặc chứa nội dung không phù hợp. Không suy ra giấy phép mở cho weights hay nội dung nguồn từ việc repo được công khai; bản bàn giao chưa chỉ định giấy phép.

Nguồn dự án: https://github.com/anhnam26/AgentContentVietnamese

Dataset: https://huggingface.co/datasets/anhnam26/AgentContentVietnamese-data