🤖 Toán Rời Rạc 87M (Discrete Math LLM)
Đây là mô hình ngôn ngữ lớn (Large Language Model) với 87 Triệu tham số được huấn luyện từ đầu (trained from scratch) hoàn toàn bằng dữ liệu tiếng Việt chuyên ngành Toán Rời Rạc.
Mô hình được xây dựng dựa trên kiến trúc Transformer Decoder-only (tương tự họ GPT) kết hợp với thuật toán mã hóa từ vựng Byte-Pair Encoding (BPE). Đây là đồ án môn học Xử lý Ngôn ngữ Tự nhiên (NLP).
📊 Thông số kỹ thuật (Model Details)
- Số lượng tham số: ~87 Triệu (87M parameters)
- Kiến trúc: Transformer (Decoder-only), 12 Layers, 768 Hidden Size, 12 Attention Heads.
- Kích thước từ vựng (Vocab Size): 2650 tokens (BPE Tokenizer).
- Ngôn ngữ: Tiếng Việt (Vietnamese)
- Nhiệm vụ: Causal Language Modeling (Text Generation)
🚀 Khả năng của mô hình
Do được huấn luyện chuyên biệt trên tập dữ liệu giáo trình Toán Rời Rạc, mô hình có khả năng:
- Sinh văn bản tự động có chứa các thuật ngữ chuyên ngành chính xác (Đồ thị, Chu trình Euler, Nguyên lý Dirichlet, Thuật toán Dijkstra, v.v.).
- Nắm vững các cấu trúc ngữ pháp học thuật tiếng Việt.
- Tự động hoàn thiện các định lý, định nghĩa Toán học.
⚠️ Hạn chế (Limitations)
- Chưa có Instruction Fine-tuning: Đây là Base Model được huấn luyện theo phương pháp dự đoán từ tiếp theo (Next-token prediction). Nó KHÔNG phải là một Chatbot có khả năng tư duy hay hỏi-đáp trực tiếp như ChatGPT.
- Hiện tượng Hallucination: Khi được cung cấp một đoạn văn bản mở đầu (Prompt), mô hình sẽ tự động sinh tiếp các từ theo xác suất thống kê. Đôi khi nó sẽ ghép các công thức hoặc thuật ngữ một cách vô nghĩa nếu không có ngữ cảnh rõ ràng.
💻 Hướng dẫn sử dụng (Usage)
Mô hình đi kèm với kiến trúc tùy chỉnh (custom architecture) được lưu trong thư mục src/. Để sử dụng mô hình này sinh văn bản, bạn có thể tải toàn bộ repository này về máy và chạy file chat.py hoặc chạy Server qua file api.py.
# Chạy giao diện Chatbot qua Terminal
python chat.py
# Hoặc khởi chạy API Server
python api.py
👨💻 Tác giả
- Tác giả: Bùi Minh Tân
- Học phần: Xử lý Ngôn ngữ Tự nhiên (NLP)