Qwen3-Embedding-8B-rbln-tp4

Qwen/Qwen3-Embedding-8B 를 Rebellions RBLN-CA25 NPU용으로 컴파일한 모델.

• RBLN SDK: rebel-compiler 0.11.0 / optimum-rbln 0.11.0.post1
• 타깃: RBLN-CA25 (15.7 GiB/device)
• 컴파일 config: num_devices=4, max_seq_len=8192, batch_size=16, attn_impl=flash_attn, partition=4096
• ⚠️ 런타임 device 개수 = 컴파일 num_devices — 이 빌드는 4장 전용 ([0,1,2,3]).

로드

from optimum.rbln import RBLNAutoModel
model = RBLNAutoModel.from_pretrained("Qwen3-Embedding-8B-rbln-tp4", export=False, rbln_config={"device": [0,1,2,3]})

임베딩: last-token 풀링 + 쿼리 instruction 프리픽스. vLLM --task embed로도 서빙 가능.

토크나이저/프로세서가 없으면 base 모델(Qwen/Qwen3-Embedding-8B)에서 로드하세요.