Qwen3-Embedding-4B-rbln-tp1-40k

Qwen/Qwen3-Embedding-4B 를 Rebellions RBLN-CA25 NPU용으로 컴파일한 모델. 이 빌드는 긴 컨텍스트 + 최소 device 를 목표로 함.

• RBLN SDK: rebel-compiler 0.11.0 / optimum-rbln 0.11.0.post1
• 타깃: RBLN-CA25 (15.7 GiB/device)
• device: 1장 (런타임 device 개수는 컴파일 num_devices와 반드시 일치)

📊 실측값 (RBLN-CA25)

항목	값
num_devices	1
max_seq_len	40960
batch_size	1
메모리 (실측)	12.7 GiB/dev (81%), 여유 3.0
출력 차원	2560
컨텍스트	입력 최대 40960 토큰 (≈한글 8만자 / A4 40쪽). 출력 없음(단발 forward).
기능 검증	검색 정상 — cos(서울,Beijing)=0.531 > cos(서울,고양이)=0.278

최소 device = 1장 (이게 하한). 사용률 81%.

⚙️ 컴파일 (재현)

from optimum.rbln import RBLNAutoModel
RBLNAutoModel.from_pretrained(
    "Qwen/Qwen3-Embedding-4B", export=True,
    rbln_batch_size=1, rbln_max_seq_len=40960, rbln_num_devices=1,
    rbln_attn_impl="flash_attn", rbln_kvcache_partition_len=8192,
    rbln_create_runtimes=False,
).save_pretrained("Qwen3-Embedding-4B-rbln-tp1-40k")

🚀 서빙 (vLLM)

# vLLM (OpenAI 호환 /v1/embeddings). device 1장 필요.
vllm serve Qwen3-Embedding-4B-rbln-tp1-40k \
  --runner pooling --convert embed --max-model-len 40960 \
  --pooler-config '{"pooling_type":"LAST","normalize":true}'

# 쿼리는 instruction 프리픽스, 문서는 그대로:
#   query = f"Instruct: Given a query, retrieve relevant passages\nQuery: {q}"

podman (rhel9 이미지 + Ubuntu host)

host 드라이버 lib 마운트 + rhel9 libdrm 설치 + 제어 device 필요:

podman run -d --user 0 -e LD_LIBRARY_PATH=/usr/lib \
  --device /dev/rbln0 ... --device /dev/rsd --device /dev/rsd0 \
  -v /usr/lib/librbln-thunk.so:/usr/lib/librbln-thunk.so:ro  # + .3/.3.0.0, librbln-ccl*, librbln-ml \
  -v $PWD/Qwen3-Embedding-4B-rbln-tp1-40k:/model:ro -p 8000:8000 --shm-size=16g --entrypoint bash \
  <vllm-rbln-image> -c "dnf install -y libdrm; exec vllm serve /model ..."

⚠️ 주의

• device 개수 = 컴파일 num_devices(1) 와 일치해야 로드됨.
• 직접추론(optimum)으로 로드 시: from_pretrained("Qwen3-Embedding-4B-rbln-tp1-40k", export=False, rbln_config={"device": [0]})