Instructions to use minhlol/Bm-bohrium-7B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use minhlol/Bm-bohrium-7B with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf minhlol/Bm-bohrium-7B:Q8_0
# Run inference directly in the terminal:
llama cli -hf minhlol/Bm-bohrium-7B:Q8_0

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf minhlol/Bm-bohrium-7B:Q8_0
# Run inference directly in the terminal:
llama cli -hf minhlol/Bm-bohrium-7B:Q8_0

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf minhlol/Bm-bohrium-7B:Q8_0
# Run inference directly in the terminal:
./llama-cli -hf minhlol/Bm-bohrium-7B:Q8_0

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf minhlol/Bm-bohrium-7B:Q8_0
# Run inference directly in the terminal:
./build/bin/llama-cli -hf minhlol/Bm-bohrium-7B:Q8_0

Use Docker

docker model run hf.co/minhlol/Bm-bohrium-7B:Q8_0

LM Studio
Jan

vLLM

How to use minhlol/Bm-bohrium-7B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "minhlol/Bm-bohrium-7B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "minhlol/Bm-bohrium-7B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/minhlol/Bm-bohrium-7B:Q8_0

Ollama
How to use minhlol/Bm-bohrium-7B with Ollama:
```
ollama run hf.co/minhlol/Bm-bohrium-7B:Q8_0
```
Unsloth Desktop
Docker Model Runner
How to use minhlol/Bm-bohrium-7B with Docker Model Runner:
```
docker model run hf.co/minhlol/Bm-bohrium-7B:Q8_0
```

Lemonade

How to use minhlol/Bm-bohrium-7B with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull minhlol/Bm-bohrium-7B:Q8_0

Run and chat with the model

lemonade run user.Bm-bohrium-7B-Q8_0

List all available models

lemonade list

Atomic Chat

7a6

Bm bohrium 7B

Bm bohrium 7B là nguyên mẫu nghiên cứu, tổng cộng 6.973B tham số: 6.881B tham số ngôn ngữ và 91.57M tham số ViT/projector. Bộ giải mã có 142 lớp, hidden size 2,048, MLP 6,144, 16 đầu attention / 4 đầu KV và tokenizer 15,337 token.

Huấn luyện

Bản này mở rộng checkpoint Bm bohrium 3.7B bằng 68 lớp residual khởi tạo giữ nguyên hàm ban đầu, rồi huấn luyện QLoRA 4-bit trên GPU T4:

1,000 cập nhật hỗn hợp tiếng Anh và tiếng Việt.
300 cập nhật ưu tiên ví dụ gắn nhãn reasoning, khoa học máy tính và thống kê; xen kẽ ví dụ tiếng Việt và tiếng Anh thông thường.
Lệnh huấn luyện hướng đến giải thích ngắn, có bước kiểm tra được; không yêu cầu in chuỗi suy nghĩ riêng tư.

Bộ mã hóa thị giác và projector được giữ từ bản 3.7B. Chúng không được huấn luyện lại trong đợt 7B này.

Đánh giá nhỏ

So sánh trên cùng một tập held-out gồm 5 ví dụ tiếng Anh và 11 ví dụ tiếng Việt:

Trọng số	English loss	Vietnamese loss
Trọng số 3.7B trước QLoRA, thêm lớp identity	5.697	6.813
7B sau QLoRA + reasoning	4.147	6.456

Đây là mẫu nhỏ dùng để kiểm tra pipeline, không phải benchmark rộng. Tạo văn bản trực tiếp vẫn chưa ổn định và có thể lặp từ hoặc trả lời sai. Không nên xem đây là mô hình production hay kết luận rằng reasoning đã đáng tin cậy. Tệp evaluation đi kèm để người dùng tự kiểm tra.

Một adapter căn chỉnh danh tính riêng 120 bước đã được thử nghiệm nhưng không đưa vào trọng số phát hành vì smoke test vẫn tạo văn bản thiếu ổn định. Helper chat cung cấp câu trả lời danh tính cố định; gọi trực tiếp mô hình nền có thể không tuân theo câu trả lời đó.

Tải checkpoint Hugging Face

Tải repository đầy đủ để dùng checkpoint PyTorch và phần thị giác. Cần cài torch, transformers, safetensors và Pillow. modeling_bm_bohrium.py cung cấp lớp nạp checkpoint multimodal BmBohrium7B.

Dùng với Ollama

Xem OLLAMA.md. GGUF Q8_0 là text-only; nó không nhận ảnh. chat_bm_bohrium.py trả lời chính xác câu hỏi danh tính trực tiếp bằng “I am bm bohrium.” rồi chuyển các câu khác tới Ollama.

Dữ liệu và giấy phép

Bản fine-tune dùng một phần dữ liệu distillation công khai được yêu cầu, cùng ví dụ tiếng Việt và dữ liệu instruction/coding/statistics đã chọn. Không tải toàn bộ dataset. Hãy xem data_audit.json, evaluation_7B_final.json, evaluation_7B_merged.json và tệp LICENSE; tuân thủ giấy phép của từng nguồn dữ liệu.

Downloads last month: -

GGUF

Model size

7B params

Architecture

llama

Hardware compatibility

8-bit