mboy2k/llama-cpp-sm75-cuda-binary

llama.cpp CUDA binary (sm_75 / Tesla T4)

Binary llama-server build sẵn cho NVIDIA Tesla T4 (sm_75, Turing), dùng để cache trong kernel Kaggle — tránh build lại từ source (~25 phút) mỗi lần khởi động.

• Commit llama.cpp: 4e416ee (2026-09-23)
• Kiến trúc hỗ trợ: qwen35moe (Qwen3.8-35B-A3B MoE)
• Build flags: -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=75

Cách dùng trong kernel Kaggle

mkdir -p /kaggle/working/llama-bin && cd /kaggle/working/llama-bin
for f in llama-server libggml-base.so libggml-cpu.so libggml-cuda.so libggml.so \
         libllama-common.so libllama-server-impl.so libllama.so libmtmd.so; do
  curl -sL -o "$f" "https://huggingface.co/mboy2k/llama-cpp-sm75-cuda-binary/resolve/main/$f"
done
chmod +x llama-server

Sau đó chạy llama-server với LD_LIBRARY_PATH trỏ vào thư mục này.