File size: 358 Bytes
a3b9e70 d6a2959 a3b9e70 f212354 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
FROM ghcr.io/ggerganov/llama.cpp:server-cuda
ENV LLAMA_ARG_N_GPU_LAYERS=9999
ENV LLAMA_ARG_CTX_SIZE=10000
ENV LLAMA_ARG_FLASH_ATTN=1
ENV LLAMA_ARG_HF_REPO=bartowski/Qwen2.5-Coder-14B-GGUF
ENV LLAMA_ARG_HF_FILE=Qwen2.5-Coder-14B-Q4_K_M.gguf
ENV LLAMA_ARG_N_PARALLEL=2
ENV LLAMA_ARG_PORT=7860
ENV LLAMA_ARG_HOST=0.0.0.0
RUN useradd -m -u 1000 user
USER user
|