multilingual-e5-large-rag-v2

中文检索增强（RAG）专用 embedding 模型。在 BAAI/bge-small-zh-v1.5 基础上做 中文长文档检索继续训练，512 维，max_seq_length=512，单卡 CPU 可跑。

评测

任务	bge-small-zh-v1.5	本模型
C-MTEB Retrieval	51.3	52.6
C-MTEB STS	47.8	48.5
C-MTEB Average	49.1	50.2

Quickstart — Sentence Transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("ZAICODE/multilingual-e5-large-rag-v2")
emb = model.encode(["什么是向量检索？", "RAG 如何减少幻觉？"],
                   normalize_embeddings=True)
print(emb.shape)   # (2, 512)
print((emb[0] @ emb[1]).item())   # 余弦相似度

Quickstart — Transformers

from transformers import AutoTokenizer, AutoModel

tok = AutoTokenizer.from_pretrained("ZAICODE/multilingual-e5-large-rag-v2")
model = AutoModel.from_pretrained(
    "ZAICODE/multilingual-e5-large-rag-v2",
    trust_remote_code=True,
)

Quickstart — TEI

docker run --gpus all -p 8080:80 \
  -v $PWD:/data ghcr.io/huggingface/text-embeddings-inference:1.8 \
  --model-id ZAICODE/multilingual-e5-large-rag-v2

训练细节

• Base：BAAI/bge-small-zh-v1.5（4 层，512 维，8 头）
• Stage 1：中文维基 + 技术文档继续预训练（2B tokens，MLM）
• Stage 2：对比学习 InfoNCE + in-batch negatives，batch 256，温度 0.02
• 硬件：2×A100 40G，约 26 小时

限制

• 512 token 上限，长文档需分块
• 未做代码语料训练，代码检索效果一般

Citation

@misc{multilingual_e5_large_rag_v2,
  title  = {multilingual-e5-large-rag-v2},
  author = {ZAICODE},
  year   = {2026},
  url    = {https://huggingface.co/ZAICODE/multilingual-e5-large-rag-v2}
}