namanhg123/ada_6000_server

StLLM / HUST_ViMedNER — Server Backup & Quick Migration Guide

Repository: namanhg123/ada_6000_server

1. Cấu hình Server gốc (bcseserver1)

• GPUs: 3x NVIDIA RTX 6000 Ada Generation (49,140 MiB × 3 = 144 GB VRAM)
• NVIDIA Driver: 580.126.20 | CUDA Compiler (nvcc): 12.4 (V12.4.131)
• OS: Ubuntu 22.04.5 LTS (Linux Kernel 5.15.0-198-generic)
• Python: Python 3.10.12
• Thư viện chính:
  • torch==2.14.1, torchvision==0.29.1, torchao==0.18.0, triton==3.8.0, xformers==0.0.35
  • transformers==5.17.0, accelerate==1.15.0, peft==0.21.2, trl==1.14.2, datasets==4.8.5, bitsandbytes==0.50.2
  • unsloth==2026.10.5, unsloth_zoo==2026.10.5, safetensors==0.8.0, huggingface_hub==1.33.0

---

2. Hướng dẫn Kéo dữ liệu & Setup nhanh trên Server mới (3 bước)

Bước 1: Cài đặt Hugging Face CLI & Đăng nhập

pip install -U "huggingface_hub[cli]>=1.33.0"
export PATH="$HOME/.local/bin:$PATH"
hf auth login --token <HF_TOKEN_CỦA_BẠN>

Bước 2: Kéo toàn bộ dữ liệu về ~/StLLM

mkdir -p ~/StLLM
hf download namanhg123/ada_6000_server --local-dir ~/StLLM

Bước 3: Chạy Script Setup tự động (1 lệnh duy nhất)

cd ~/StLLM
bash setup_new_server.sh

(Nếu muốn cài chính xác 100% phiên bản từng gói như server gốc từ requirements_lock.txt, chạy: bash setup_new_server.sh --locked)

---

3. Các File cấu hình môi trường đi kèm

• env_config.sh / .env.example: Chứa toàn bộ biến môi trường (CUDA_DEVICE_ORDER=PCI_BUS_ID, CUDA_VISIBLE_DEVICES=0,1,2, PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True, OMP_NUM_THREADS=8, TOKENIZERS_PARALLELISM=false, MASTER_PORT, VLLM_PORT=8165, ...). Được tự động thêm vào ~/.bashrc khi chạy setup_new_server.sh.
• requirements.txt: Danh sách các thư viện cốt lõi cho 2B, 12B (SFT + v2.0 DPO), 26B_MoE, và vLLM / FastAPI Inference Server.
• requirements_lock.txt & requirements_user_lock.txt: Bản snapshot pip freeze đầy đủ 100% từ server research03@bcseserver1.
• environment.yml: File khởi tạo nhanh môi trường Conda/Mamba (conda env create -f environment.yml).
• server_runtime/: Chứa bản sao lưu các script ngoài thư mục ~/StLLM tại /home/research03/:
  • remote_inference_server.py (Inference Server lắng nghe ở cổng 8165)
  • start_server.sh, run_infer.py, run_infer_stream.py
  • bashrc.reference (Cấu hình .bashrc gốc trên server)

---

4. Lệnh khởi chạy nhanh các Pipeline sau khi Setup

# Nạp biến môi trường
source ~/StLLM/env_config.sh

# 1. Huấn luyện DDP Gemma-4 12B SFT (Auto-Resume)
cd ~/StLLM/12B/synthentic_data_training && ./run_train_server.sh

# 2. Đánh giá toàn bộ Checkpoints 12B
cd ~/StLLM/12B/synthentic_data_training && ./run_eval_server.sh

# 3. Pipeline Gemma-4 12B v2.0 (SFT + DPO Alignment)
cd ~/StLLM/12B/synthentic_data_training/v2.0 && ./run_phase3_sft_and_dpo.sh auto

# 4. Pipeline Gemma-4 26B A4B MoE (Stage 1 SFT & Stage 2 DPO)
cd ~/StLLM/26B_MoE && ./run_stage1_sft_26b_moe.sh auto
cd ~/StLLM/26B_MoE && ./run_stage2_dpo_26b_moe.sh

# 5. Khởi chạy Remote Inference Server (Port 8165)
bash ~/start_server.sh