Hugging Face's logo

zecafonso
/
Qwen3-Embedding-4B-512

Sentence Similarity
sentence-transformers
Safetensors
qwen3
feature-extraction
Generated from Trainer
dataset_size:81
loss:MultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on Qwen/Qwen3-Embedding-4B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-4B. It maps sentences & paragraphs to a 2560-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Qwen/Qwen3-Embedding-4B
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 2560 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 2560, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    '2 - Os parâmetros para o dimensionamento das áreas a ceder para o domínio municipal são os definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada',
]
documents = [
    'Artigo 53.º – Cedências\n1 - Os promotores das operações de loteamento e de outras operações urbanísticas às quais, nos termos do RJUE e do presente Regulamento sejam aplicáveis as disposições relativas a cedências, cedem gratuitamente ao Município parcelas para implantação de espaços verdes públicos e equipamentos de utilização coletiva e as infraestruturas urbanísticas que, de acordo com a lei e a licença ou comunicação prévia, devam integrar o domínio municipal.\n2 - Os parâmetros para o dimensionamento das áreas a ceder para o domínio municipal são os definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.\n3 - No caso das operações urbanísticas com impacte relevante, para efeitos de determinação das áreas a ceder para o domínio municipal, bem como da compensação a que eventualmente haja lugar nos termos dos artigos seguintes, o respetivo cálculo deve incidir:\ni) No caso de obras de construção, sobre toda a área de construção;\nii) No caso de obras de ampliação ou de obras de reconstrução com preservação de fachada, sobre o aumento de superfície de pavimento relativamente à situação preexistente.\n4 - As áreas destinadas a espaços verdes públicos, equipamentos de utilização coletiva e as infraestruturas urbanísticas devem ainda obedecer aos seguintes requisitos:\na) Integrar-se no desenho urbano existente ou projetado;\nb) Localizar-se em áreas livres de restrições que condicionem a sua utilização;\nc) Dispor, preferencialmente, de acesso e frente para via ou espaço público;\nd) Possuir configuração e dimensão adequadas aos objetivos tipológicos e funcionais pretendidos;',
    'ii) Cinco lugares por cada 100 m2 de área total de construção, quando a área total de construção de serviços for superior a 500 m2.\nf ) Em empreendimentos turísticos, o dimensionamento dos lugares de estacionamento deve observar as disposições das portarias em vigor para o efeito, decorrente da legislação específica;\ng) Em armazém ou indústria, um lugar por cada 150 m2 de área total de construção, devendo ainda ser prevista no interior da parcela de terreno ou prédio, a área necessária às operações de carga e descarga de veículos pesados, bem como ao estacionamento dos mesmos, em número a determinar, caso a caso em função do tipo de indústria ou armazém a instalar;\nh) Deve ainda ser prevista a seguinte proporção para lugares acessíveis a pessoas com mobilidade condicionada:\ni) Um lugar em espaços de estacionamento com uma lotação não superior a 10 lugares;\nii) Dois lugares em espaços de estacionamento com uma lotação compreendida entre 11 e 25 lugares;\niii) Três lugares em espaços de estacionamento com uma lotação compreendida entre 26 e 100 lugares;\niv) Quatro lugares em espaços de estacionamento com uma lotação compreendida entre 101 e 500 lugares;\nv) Um lugar por cada 100 lugares em espaços de estacionamento com uma lotação superior a 500 lugares.\n3 - Para instalação de equipamentos de utilização coletiva, designadamente destinados à satisfação de necessidades nos domínios da saúde, educação, cultura e desporto, deve proceder-se a um estudo de mobilidade e estacionamento que permita definir as necessidades em número de lugares de estacionamento e as condições de acessibilidade.\n4 - A edificabilidade máxima a autorizar em edificações destinadas a estacionamento automóvel (garagens e auto silos) é a que resultar do estrito cumprimento do disposto nos instrumentos de gestão territorial aplicáveis ao local.',
    'Artigo 99.º – Monta-carros\nÉ permitida a aplicação de monta-carros em substituição de rampas nos casos plenamente justificados pela dimensão e geometria do lote ou prédio, e ainda pela impossibilidade de circulação interior, cumprindo-se os seguintes requisitos:\na) Devem servir um parqueamento com capacidade máxima de 50 lugares de estacionamento, distribuídos pelo máximo de três pisos;\nb) Prever a aplicação de 1 monta-carros por cada 25 veículos;\nc) A plataforma deve ter as dimensões mínimas livres de 2,50 metros de largura por 5 metros de comprimento;\nd) Não é admissível a instalação de monta-carros em estabelecimentos para serviço público.\n\nArtigo 100.º – Circulação interior\n1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;\n2 - A largura mínima das faixas de circulação é de:\na) 4,50 metros em estacionamento a 45.º;\nb) 5 metros em estacionamento a 60.º;\nc) 5,50 metros em estacionamento a 90.º;\nd) 4 metros em estacionamento longitudinal;\ne) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;\nf ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;\ng) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.\n(ver documento original)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2560] [3, 2560]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.6095, 0.1304, 0.1271]])

Evaluation

Metrics

Information Retrieval

  • Datasets: urban-ir-gold-validation-rmue_faro and urban-ir-gold-span-validation-rmue_faro
  • Evaluated with InformationRetrievalEvaluator with these parameters:
    {
    "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:"
}
Metric urban-ir-gold-validation-rmue_faro urban-ir-gold-span-validation-rmue_faro
cosine_accuracy@1 0.6364 0.75
cosine_accuracy@3 0.9091 0.9167
cosine_accuracy@5 0.9091 0.9167
cosine_accuracy@10 0.9091 0.9167
cosine_precision@1 0.6364 0.75
cosine_precision@3 0.3939 0.3056
cosine_precision@5 0.2545 0.1833
cosine_precision@10 0.1455 0.0917
cosine_recall@1 0.3712 0.75
cosine_recall@3 0.7197 0.9167
cosine_recall@5 0.7652 0.9167
cosine_recall@10 0.8333 0.9167
cosine_ndcg@10 0.722 0.8552
cosine_mrr@10 0.7727 0.8333
cosine_map@100 0.6458 0.8347

Training Details

Training Dataset

Unnamed Dataset

  • Size: 81 training samples
  • Columns: anchor, positive, negative_1, and negative_2
  • Approximate statistics based on the first 81 samples:
    anchor positive negative_1 negative_2
    type string string string string
    modality text text text text
    details
    • min: 8 tokens
    • mean: 81.36 tokens
    • max: 512 tokens
    • min: 419 tokens
    • mean: 473.53 tokens
    • max: 491 tokens
    • min: 415 tokens
    • mean: 472.67 tokens
    • max: 493 tokens
    • min: 203 tokens
    • mean: 468.77 tokens
    • max: 492 tokens
  • Samples:
    anchor positive negative_1 negative_2
    Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: 1. O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos
    seguintes parâmetros:
    a) Uma área de estacionamento mínima de 11,50 m2 (2,30 m x 5 m) por cada lugar de
    estacionamento ao ar livre;
    b) Uma área de construção mínima de 30 m2 por cada lugar de estacionamento em estrutura
    edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 m em
    “boxe”, e de 2,30 metros em lugares de estacionamento, sendo que cada área
    estacionamento terá que garantir uma profundidade disponível de 5 m;
    c) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a
    cidadãos com mobilidade condicionada devem respeitar as larguras de 4 m e 3,50 m
    respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente
    anexados à habitação acessível.
    2. A área de construção a considerar para cada lugar de estacionamento de um veículo pesado
    deve obedecer aos seguintes parâmetros:
    a) 75 m2 (5 m x 15 m), à superfíc...    		 Artigo 10.º Objetivos
    1. Neste espaço é permitida a regularização e a requalificação das edificações existentes, do
    espaço público e do sistema de acessos e serviços.
    2. As parcelas com atribuição condicionada de edificabilidade estão identificadas na Planta de
    Intervenção e no quadro de parâmetros de edificabilidade (quadro sinótico), anexo ao presente
    documento.
    3. Nas parcelas referidas no número anterior admite-se a concretização de obras de conservação e
    alteração desde que não haja aumento do valor referente à Área Total de Construção. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda 137
    4. O uso habitacional é dominante, admitindo-se a manutenção de outros usos existentes desde que
    compatíveis, designadamente ao nível da segurança de pessoas e bens, ruído, vibrações, gases,
    efluentes, e desde que não causem desequilíbrios ou perda da harmonia da envolvente.

    Artigo 11.º Ocupação do solo
    1....    		 pública, as operações urbanísticas e os usos do solo identificadas no artigo anterior, quando
    admitidos, regem-se pelos parâmetros urbanísticos definidos no presente artigo.
    2. Os critérios de edificabilidade para esta categoria de espaço devem observar os seguintes
    parâmetros:
    a) Habitação: Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda 74
    i) A área de construção máxima para as obras de alteração e ampliação de edifícios de
    habitação existentes e para a construção de novos edifícios para habitação, incluindo
    anexos, é de 300m2, salvo se, a pré-existência tiver área superior, caso em que esse
    valor será entendido como máximo.
    ii) Nos casos em que a edificação para habitação inclua um uso complementar
    compatível de comércio e serviços de escala local, a área de construção máxima para
    os dois usos é fixada em 400m2, salvo se, a pré-existência tiver área superior, caso
    em que esse valor será entend...
    Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso? 1. O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos
    seguintes parâmetros:
    a) Uma área de estacionamento mínima de 11,50 m2 (2,30 m x 5 m) por cada lugar de
    estacionamento ao ar livre;
    b) Uma área de construção mínima de 30 m2 por cada lugar de estacionamento em estrutura
    edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 m em
    “boxe”, e de 2,30 metros em lugares de estacionamento, sendo que cada área
    estacionamento terá que garantir uma profundidade disponível de 5 m;
    c) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a
    cidadãos com mobilidade condicionada devem respeitar as larguras de 4 m e 3,50 m
    respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente
    anexados à habitação acessível.
    2. A área de construção a considerar para cada lugar de estacionamento de um veículo pesado
    deve obedecer aos seguintes parâmetros:
    a) 75 m2 (5 m x 15 m), à superfíc...    		 Artigo 10.º Objetivos
    1. Neste espaço é permitida a regularização e a requalificação das edificações existentes, do
    espaço público e do sistema de acessos e serviços.
    2. As parcelas com atribuição condicionada de edificabilidade estão identificadas na Planta de
    Intervenção e no quadro de parâmetros de edificabilidade (quadro sinótico), anexo ao presente
    documento.
    3. Nas parcelas referidas no número anterior admite-se a concretização de obras de conservação e
    alteração desde que não haja aumento do valor referente à Área Total de Construção. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda 137
    4. O uso habitacional é dominante, admitindo-se a manutenção de outros usos existentes desde que
    compatíveis, designadamente ao nível da segurança de pessoas e bens, ruído, vibrações, gases,
    efluentes, e desde que não causem desequilíbrios ou perda da harmonia da envolvente.

    Artigo 11.º Ocupação do solo
    1....    		 pública, as operações urbanísticas e os usos do solo identificadas no artigo anterior, quando
    admitidos, regem-se pelos parâmetros urbanísticos definidos no presente artigo.
    2. Os critérios de edificabilidade para esta categoria de espaço devem observar os seguintes
    parâmetros:
    a) Habitação: Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda 74
    i) A área de construção máxima para as obras de alteração e ampliação de edifícios de
    habitação existentes e para a construção de novos edifícios para habitação, incluindo
    anexos, é de 300m2, salvo se, a pré-existência tiver área superior, caso em que esse
    valor será entendido como máximo.
    ii) Nos casos em que a edificação para habitação inclua um uso complementar
    compatível de comércio e serviços de escala local, a área de construção máxima para
    os dois usos é fixada em 400m2, salvo se, a pré-existência tiver área superior, caso
    em que esse valor será entend...
    4 — Em loteamentos, ou operações urbanísticas com impacte semelhante
    a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-
    namento público na proporção de 50 % dos lugares privativos exigíveis
    para as frações habitacionais, em número igual ou superior aos lugares
    privativos das frações não habitacionais e em dobro dos lugares exigíveis
    para as frações destinadas a estabelecimentos de restauração e bebidas    		 indicado na Planta de Ordenamento — Qualificação do Solo enquanto não
    estiver aprovado o projeto de execução respetivo, sem prejuízo do dis-
    posto no artigo 13.º do presente Regulamento, referente a preexistências.
    Artigo 21.º
    Estacionamento
    1 — Nos edifícios para habitação unifamiliar e bifamiliar, deve ser
    criada uma área de parqueamento equivalente a dois lugares de estacio-
    namento por fogo no interior do edifício ou parcela de terreno.
    2 — Nos edifícios para habitação coletiva, devem ser previstos no
    interior do edifício ou parcela:
    a) Um lugar de estacionamento por fogo para fogos com área inferior
    a 120 m² e dois lugares de estacionamento por fogo para fogos com área
    igual ou superior a 120 m², no caso de ser conhecida a dimensão dos fogos;
    b) 1,5 lugares de estacionamento por cada 120 m² de área bruta de cons-
    trução afeta à habitação, no caso de ser desconhecida a dimensão dos fogos.
    3 — Em edifícios ou áreas destinadas a comércio e ou serviços,
    deve, sem prejuízo do dis...    		 Procedimento concursal no âmbito do programa de regularização
    extraordinária dos trabalhadores
    com vínculos precários, Lei n.º 112/2017, de 29 de dezembro
    Em cumprimento do n.º 6 do artigo 36.º da Portaria n.º 83 -A/2009,
    de 22 de janeiro alterada e republicada pela Portaria n.º 145 -A/2011,
    de 06 de abril, torna -se público que a lista unitária de ordenação final
    do procedimento concursal de regularização de vínculos precários para
    preenchimento de um posto de trabalho para a carreira e categoria de
    Assistente Operacional, para a constituição de vínculo de emprego pú-
    blico por tempo indeterminado, publicitado na Bolsa de Emprego Público
    código OE201801/0491, foi homologada em reunião de Órgão Executivo
    no dia 13 de março de 2018, encontrando -se publicitada em local visível e
    público das instalações da Freguesia, assim como em http://cm -abrantes.
    pt/index.php/2014 -11 -27 -18 -15 -49/freguesias/bemposta.
    16 de março de 2018. — O Presidente da Junta de Freguesia de
    Bemposta,...    		 d) A plantação da vinha “ao alto” só pode ser efetuada em encostas ou
    parcelas com declive inicial da encosta inferior a 40 %, exceto quando
    os solos sejam antrosolos, com maior suscetibilidade à erosão, nomea-
    damente os correspondentes à unidade cartográfica Tasdx 1.1 da carta
    de solos de Trás -os -Montes, onde o limite máximo é de 30 %;
    e) As plantações em parcelas já ocupadas por vinha, olival ou amen-
    doal armados com muros, ou ainda por mortórios, tem de ser feita com
    recurso a patamares estreitos ou micropatamares, mantendo muros de
    suporte, salvo nos casos em que a DRATM dê parecer favorável à sua
    remoção;
    f) É interdita a destruição de valores patrimoniais vernáculos (muros
    de pedra, edifícios vernáculos, calçadas de pedra, mortórios), bem como
    de núcleos de vegetação arbórea, salvo nos casos devidamente funda-
    mentados que mereçam parecer favorável da DRATM, nos termos do
    n.º 4 do Despacho Conjunto n.º 473/2004, de 30 de julho.
    3 — As novas edificações habitacionais ...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Evaluation Dataset

Unnamed Dataset

  • Size: 44 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 44 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 6 tokens
    • mean: 121.25 tokens
    • max: 512 tokens
    • min: 42 tokens
    • mean: 392.16 tokens
    • max: 495 tokens
  • Samples:
    anchor positive
    Qual a inclinação máxima das rampas em solo urbano e espaço central? Artigo 98.º – Rampas
    1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.
    2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.
    3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.
    4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.
    5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe...
    Qual a largura de circulação nos estacionamentos cobertos? Artigo 98.º – Rampas
    1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.
    2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.
    3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.
    4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.
    5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe...
    Qual a largura de circulação nos estacionamentos cobertos? Artigo 99.º – Monta-carros
    É permitida a aplicação de monta-carros em substituição de rampas nos casos plenamente justificados pela dimensão e geometria do lote ou prédio, e ainda pela impossibilidade de circulação interior, cumprindo-se os seguintes requisitos:
    a) Devem servir um parqueamento com capacidade máxima de 50 lugares de estacionamento, distribuídos pelo máximo de três pisos;
    b) Prever a aplicação de 1 monta-carros por cada 25 veículos;
    c) A plataforma deve ter as dimensões mínimas livres de 2,50 metros de largura por 5 metros de comprimento;
    d) Não é admissível a instalação de monta-carros em estabelecimentos para serviço público.

    Artigo 100.º – Circulação interior
    1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;
    2 - A largura mínima das faixas de circulação é de:
    a) 4,50 metros em estacionamento a 45.º;
    b) 5 metros em estacionamento a 60.º;
    c) 5,50 metros em estacionamento a 90.º;
    ...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 25.0
  • learning_rate: 1e-05
  • warmup_steps: 0.2
  • optim: adamw_torch
  • weight_decay: 0.01
  • gradient_accumulation_steps: 2
  • bf16: True
  • gradient_checkpointing: True
  • per_device_eval_batch_size: 16
  • remove_unused_columns: False
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 16
  • num_train_epochs: 25.0
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.2
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 16
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: False
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss Validation Loss urban-ir-gold-validation-rmue_faro_cosine_ndcg@10 urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10
0.3333 1 1.2402 - - -
0.6667 2 1.3798 - - -
1.0 3 1.0917 0.7586 0.7036 0.8135
1.3333 4 1.3465 - - -
1.6667 5 1.4747 - - -
2.0 6 1.0473 0.7534 0.7036 0.8135
2.3333 7 1.1777 - - -
2.6667 8 1.5266 - - -
3.0 9 0.7437 0.7442 0.7056 0.8189
3.3333 10 1.1545 - - -
3.6667 11 0.8999 - - -
4.0 12 1.3345 0.7276 0.7156 0.8343
4.3333 13 0.9079 - - -
4.6667 14 0.9448 - - -
5.0 15 0.4185 0.7145 0.7214 0.8497
5.3333 16 0.6377 - - -
5.6667 17 0.4995 - - -
6.0 18 0.7448 0.7092 0.7220 0.8497
6.3333 19 0.5069 - - -
6.6667 20 0.4007 - - -
7.0 21 0.2009 0.7059 0.7214 0.8552
7.3333 22 0.3957 - - -
7.6667 23 0.4503 - - -
8.0 24 0.6229 0.7002 0.7220 0.8552
8.3333 25 0.4858 - - -
8.6667 26 0.4058 - - -
9.0 27 0.1846 0.6953 0.7220 0.8552
9.3333 28 0.3358 - - -
9.6667 29 0.5327 - - -
10.0 30 0.1530 0.6929 0.7276 0.8552
10.3333 31 0.3183 - - -
10.6667 32 0.4230 - - -
11.0 33 0.1387 0.6887 0.7284 0.8552
11.3333 34 0.2651 - - -
11.6667 35 0.4177 - - -
12.0 36 0.2629 0.6931 0.7228 0.8497
12.3333 37 0.3034 - - -
12.6667 38 0.3563 - - -
13.0 39 0.1541 0.6901 0.7228 0.8497
13.3333 40 0.3204 - - -
13.6667 41 0.4186 - - -
14.0 42 0.2122 0.6886 0.7228 0.8497
14.3333 43 0.2959 - - -
14.6667 44 0.4003 - - -
15.0 45 0.1986 0.6960 0.7220 0.8497
15.3333 46 0.4169 - - -
15.6667 47 0.2901 - - -
16.0 48 0.1417 0.6913 0.7228 0.8497
16.3333 49 0.2194 - - -
16.6667 50 0.3961 - - -
17.0 51 0.2527 0.6943 0.7220 0.8497
17.3333 52 0.2937 - - -
17.6667 53 0.2657 - - -
18.0 54 0.2815 0.6901 0.7220 0.8497
18.3333 55 0.2949 - - -
18.6667 56 0.3087 - - -
19.0 57 0.2254 0.6937 0.7220 0.8497
19.3333 58 0.3157 - - -
19.6667 59 0.3777 - - -
20.0 60 0.1206 0.6945 0.7220 0.8497
20.3333 61 0.2726 - - -
20.6667 62 0.3580 - - -
21.0 63 0.1513 0.6963 0.7220 0.8497
21.3333 64 0.3503 - - -
21.6667 65 0.3725 - - -
22.0 66 0.1759 0.6935 0.7276 0.8497
22.3333 67 0.3096 - - -
22.6667 68 0.3280 - - -
23.0 69 0.1664 0.6976 0.7228 0.8497
23.3333 70 0.3073 - - -
23.6667 71 0.4156 - - -
24.0 72 0.1755 0.6932 0.7220 0.8497
24.3333 73 0.2362 - - -
24.6667 74 0.2721 - - -
25.0 75 0.2648 0.6935 0.7220 0.8552

Training Time

  • Training: 16.1 minutes
  • Evaluation: 2.4 minutes
  • Total: 18.5 minutes

Framework Versions

  • Python: 3.12.11
  • Sentence Transformers: 5.5.1
  • Transformers: 5.10.2
  • PyTorch: 2.12.0+cu130
  • Accelerate: 1.13.0
  • Datasets: 5.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
23
Safetensors
Model size
4B params
Tensor type
BF16
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for zecafonso/Qwen3-Embedding-4B-512

Base model

Qwen/Qwen3-4B-Base
Finetuned
Qwen/Qwen3-Embedding-4B
Finetuned
(60)
this model

Papers for zecafonso/Qwen3-Embedding-4B-512

Evaluation results

  • Cosine Accuracy@1 on urban ir gold validation rmue faro
    self-reported
    0.636
  • Cosine Accuracy@3 on urban ir gold validation rmue faro
    self-reported
    0.909
  • Cosine Accuracy@5 on urban ir gold validation rmue faro
    self-reported
    0.909
  • Cosine Accuracy@10 on urban ir gold validation rmue faro
    self-reported
    0.909
  • Cosine Precision@1 on urban ir gold validation rmue faro
    self-reported
    0.636
  • Cosine Precision@3 on urban ir gold validation rmue faro
    self-reported
    0.394
  • Cosine Precision@5 on urban ir gold validation rmue faro
    self-reported
    0.255
  • Cosine Precision@10 on urban ir gold validation rmue faro
    self-reported
    0.145