Qwen3-Embedding-4B-rbln-tp2

Qwen/Qwen3-Embedding-4B 를 Rebellions RBLN-CA25 NPU용으로 컴파일한 모델.

• RBLN SDK: rebel-compiler 0.11.0 / optimum-rbln 0.11.0.post1
• 타깃: RBLN-CA25 (15.7 GiB/device)
• 컴파일 config: num_devices=2, max_seq_len=8192, batch_size=16, attn_impl=flash_attn, partition=4096
• ⚠️ 런타임 device 개수 = 컴파일 num_devices — 이 빌드는 2장 전용 ([0,1]).

로드

from optimum.rbln import RBLNAutoModel
model = RBLNAutoModel.from_pretrained("Qwen3-Embedding-4B-rbln-tp2", export=False, rbln_config={"device": [0,1]})

임베딩: last-token 풀링 + 쿼리 instruction 프리픽스. vLLM --task embed로도 서빙 가능.

토크나이저/프로세서가 없으면 base 모델(Qwen/Qwen3-Embedding-4B)에서 로드하세요.