minhlol/Bm-bohrium-3.7B

7a6

Bm bohrium 3.7B

Bm bohrium có 3,692,637,952 tổng tham số: bộ giải mã 3,601,068,032 và ViT/projector 91.569.920. Kiến trúc: 74 lớp, hidden 2.048, MLP 6.144, 16 đầu chú ý / 4 đầu KV, 15.337 token.

Huấn luyện thêm tiếng Anh, tiếng Việt và thị giác

Tiếp tục checkpoint Bm bohrium 3B tự xây dựng, không tải trọng số mô hình nền bên ngoài. Thêm 14 lớp với đầu ra ban đầu bằng 0; loss giữ nguyên trong phép kiểm tra trước huấn luyện. Đã hoàn thành 1.000 bước hỗn hợp cộng 2 bước kiểm tra, tổng 1002 cập nhật mới. Cả ViT, projector và bộ giải mã đều được cập nhật.

• 300 bước chỉ dẫn tiếng Anh.
• 300 bước chỉ dẫn tiếng Việt.
• 200 bước ảnh/VQA tiếng Anh.
• 200 bước ảnh/mô tả tiếng Việt, cộng một kiểm tra thị giác.
• 75,196 token được giám sát trong đợt mới.
• Đỉnh VRAM 15.35 GB trên T4; FP32 weights, FP16 autocast, Adafactor theo từng tham số.

Dữ liệu: một phần shard từ kho Manusagents được yêu cầu, bổ sung 5.000 ví dụ bkai-foundation-models/vi-alpaca, UIT-ViIC và the_cauldron/vqav2. Chưa huấn luyện hết toàn bộ kho Manusagents. Xem data_audit.json cho revision và nguồn. Nhãn tên mô hình trong dữ liệu không tự xác minh nguồn gốc đầu ra.

Kiểm tra giữ lại

Loss trên tập nhỏ đã loại trùng câu hỏi và ảnh với dữ liệu huấn luyện; thấp hơn là tốt hơn:

Ngôn ngữ	Văn bản 3B gốc	Văn bản 3.7B	Ảnh 3B gốc	Ảnh 3.7B
Tiếng Anh	10.5571	5.5483	8.5613	4.5745
Tiếng Việt	9.6618	6.7910	9.2550	1.8710

Mỗi nhóm có tối đa 8 mẫu, xem validation_clean.json. Giảm loss không chứng minh mô hình đã nói thông thạo, suy luận tốt hay hiểu ảnh đáng tin cậy. Đây vẫn là checkpoint rất sớm, chưa được huấn luyện đầy đủ. Các câu trả lời thô được lưu trong validation_multimodal.json và validation_gguf.json. Nhật ký và trạng thái nằm trong training_progress.json / training_log.jsonl.

Ollama — chỉ văn bản

Chạy: ollama run hf.co/minhlol/Bm-bohrium-3.7B:Q8_0

GGUF Q8_0 3.828 GB chỉ chứa bộ giải mã ngôn ngữ 3,601B, không chứa ViT/projector. Đã kiểm tra 7 trường hợp token hóa và sinh văn bản trên llama.cpp CPU; chưa kiểm tra daemon Ollama.

Để nhập cục bộ, đặt GGUF và Modelfile cùng thư mục rồi chạy ollama create bm-bohrium-3-7b -f Modelfile.

Mô hình đầy đủ có ảnh

Tải cấu trúc kho bằng snapshot_download và dùng BmBohrium3B.from_directory trong modeling_bm_bohrium.py. Tên lớp được giữ để tương thích; lớp nạp số lớp và trọng số 3.7B từ checkpoint. Dùng Transformers 5.20.1 cho tên trọng số ViT. prepare_image giữ tiền xử lý 224 × 224. Nạp riêng bộ giải mã bằng AutoModelForCausalLM.from_pretrained với subfolder="language".

Tên và mã nguồn

Tên là Bm bohrium. Câu trả lời danh tính mong muốn là I am bm bohrium.; trọng số thô chưa được bảo đảm tuân thủ. chat_bm_bohrium.py áp dụng quy tắc xác định cho các câu hỏi được hỗ trợ; chạy python chat_bm_bohrium.py --self-test để kiểm tra.

Bm_bohrium_3_7B_Colab.ipynb chứa mã nguồn huấn luyện không có đầu ra hay token. training_state.pt chứa bộ tối ưu/RNG. convert_bm_bohrium_gguf.py dùng llama.cpp revision b38960f52079e41f91863dd0905ec13432966b39. MIT trong LICENSE áp dụng cho mã nguồn dự án; thư viện và các bộ dữ liệu thượng nguồn giữ giấy phép/điều kiện riêng.

Giữ bản 2B và 3B.