minhlol/Bm-bohrium-3B

7a6

Bm bohrium 3B

Bm bohrium 3B là phiên bản mở rộng từ checkpoint Bm bohrium 2B của dự án. Tổng số tham số chính xác là 3.017.297.664, trong đó bộ giải mã ngôn ngữ có 2.925.727.744 tham số.

Chạy với Ollama

ollama run hf.co/minhlol/Bm-bohrium-3B:Q8_0

Bản GGUF Q8_0 có dung lượng 3.11 GB, chỉ nhận văn bản. Bộ mã hóa hình ảnh và mạng chiếu được lưu riêng trong checkpoint PyTorch, không nằm trong bản Ollama.

Kiến trúc và huấn luyện

• 60 lớp giải mã, kích thước ẩn 2.048, lớp trung gian 6.144.
• 16 đầu chú ý, 4 đầu key/value; từ vựng 15.337 token.
• Giữ trọng số 39 lớp từ checkpoint 2B đã có 10 bước cập nhật; thêm 21 lớp với đầu ra ban đầu bằng 0 để bảo toàn hàm.
• Trước khi tiếp tục huấn luyện, sai lệch logit lớn nhất giữa bộ giải mã 39 và 60 lớp là 0,0 trên phép kiểm tra đã chạy.
• Đã chạy 23 bước cập nhật sau mở rộng: 3 kiểm tra text/chỉ dẫn/hình ảnh và 20 bước hỗn hợp, gồm 10 ví dụ nhận diện tên.
• Đỉnh bộ nhớ GPU khi kiểm tra/huấn luyện khoảng 12,54 GB trên Tesla T4.

Đây là checkpoint thử nghiệm rất sớm, chưa phải mô hình được huấn luyện đầy đủ. Không khẳng định chất lượng trả lời thông thạo. Xem training_progress.json và validation_3b.json để biết số liệu và kiểm tra cụ thể.

Tên mô hình

Tên là Bm bohrium; chỉ dẫn hệ thống yêu cầu trả lời I am bm bohrium. khi được hỏi danh tính. Mô hình thô chưa được bảo đảm tuân thủ ổn định. Trình chat_bm_bohrium.py áp dụng quy tắc xác định cho các cách hỏi tên được hỗ trợ:

python chat_bm_bohrium.py --ask "What model are you?"

Các tệp

• language/: bộ giải mã 60 lớp, trọng số FP16 theo shard và bộ tách từ; có thể nạp bằng Transformers.
• vision.safetensors, projector.safetensors, vision_config.json: thành phần thị giác.
• modeling_bm_bohrium.py: lớp nạp mô hình thị giác–ngôn ngữ đầy đủ.
• training_state.pt: trạng thái bộ tối ưu/RNG, tách khỏi trọng số suy luận.
• Bm-bohrium-3B-Q8_0.gguf, Modelfile, template, system, params: bản văn bản dùng cho Ollama.
• Bm_bohrium_3B_Colab.ipynb: mã nguồn quy trình mở rộng, huấn luyện ngắn, xuất và kiểm tra.
• validation_3b.json: xác nhận số tham số, token hóa và sinh văn bản trên llama.cpp CPU.

Bản 2B cũ vẫn ở minhlol/Bm-bohrium. Giấy phép MIT áp dụng cho mã nguồn dự án; thư viện và dữ liệu bên thứ ba giữ nguyên điều kiện riêng.