Hugging Face's logo

zecafonso
/
Qwen3-Embedding-4B-384

Sentence Similarity
sentence-transformers
Safetensors
qwen3
feature-extraction
Generated from Trainer
dataset_size:82
loss:MultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on Qwen/Qwen3-Embedding-4B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-4B. It maps sentences & paragraphs to a 2560-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Qwen/Qwen3-Embedding-4B
  • Maximum Sequence Length: 384 tokens
  • Output Dimensionality: 2560 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 2560, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'Quais os parâmetros de dimensionamento para equipamentos de utilização coletiva?',
]
documents = [
    'Artigo 44.º – Áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas e equipamentos\n1 - Sem prejuízo do disposto no artigo 44.º do RJUE, devem ser previstas áreas públicas e ou privadas destinadas à implantação de espaços verdes e de utilização coletiva, infraestruturas e equipamentos, nas seguintes situações:\na) Operações de loteamento e respetivas alterações;\nb) Operações urbanísticas com impacte relevante, nos termos do n.º 5 do artigo 44.º do RJUE, conjugado com o disposto no artigo 6.º e no n.º 3 do artigo 53.º do presente Regulamento;\nc) Obras consideradas de impacte semelhante a operação de loteamento, nos termos do n.º 5, do artigo 57.º do RJUE, conjugado com o disposto no artigo 7.º do presente Regulamento.\n2 - Os parâmetros para o dimensionamento das áreas referidas no número anterior são os que estiverem definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.',
    'Artigo 44.º – Áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas e equipamentos\n1 - Sem prejuízo do disposto no artigo 44.º do RJUE, devem ser previstas áreas públicas e ou privadas destinadas à implantação de espaços verdes e de utilização coletiva, infraestruturas e equipamentos, nas seguintes situações:\na) Operações de loteamento e respetivas alterações;\nb) Operações urbanísticas com impacte relevante, nos termos do n.º 5 do artigo 44.º do RJUE, conjugado com o disposto no artigo 6.º e no n.º 3 do artigo 53.º do presente Regulamento;\nc) Obras consideradas de impacte semelhante a operação de loteamento, nos termos do n.º 5, do artigo 57.º do RJUE, conjugado com o disposto no artigo 7.º do presente Regulamento.\n2 - Os parâmetros para o dimensionamento das áreas referidas no número anterior são os que estiverem definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.',
    'Artigo 100.º – Circulação interior\n1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;\n2 - A largura mínima das faixas de circulação é de:\na) 4,50 metros em estacionamento a 45.º;\nb) 5 metros em estacionamento a 60.º;\nc) 5,50 metros em estacionamento a 90.º;\nd) 4 metros em estacionamento longitudinal;\ne) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;\nf ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;\ng) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.\n(ver documento original)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2560] [3, 2560]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4313, 0.4313, 0.1482]])

Evaluation

Metrics

Information Retrieval

  • Datasets: urban-ir-gold-validation-rmue_faro and urban-ir-gold-span-validation-rmue_faro
  • Evaluated with InformationRetrievalEvaluator with these parameters:
    {
    "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:"
}
Metric urban-ir-gold-validation-rmue_faro urban-ir-gold-span-validation-rmue_faro
cosine_accuracy@1 0.8182 0.7917
cosine_accuracy@3 0.9091 0.9167
cosine_accuracy@5 0.9091 0.9167
cosine_accuracy@10 0.9091 0.9167
cosine_precision@1 0.8182 0.7917
cosine_precision@3 0.3939 0.3056
cosine_precision@5 0.2545 0.1833
cosine_precision@10 0.1545 0.0917
cosine_recall@1 0.5303 0.7917
cosine_recall@3 0.6742 0.9167
cosine_recall@5 0.7197 0.9167
cosine_recall@10 0.8333 0.9167
cosine_ndcg@10 0.7695 0.8651
cosine_mrr@10 0.8485 0.8472
cosine_map@100 0.7019 0.8507

Training Details

Training Dataset

Unnamed Dataset

  • Size: 82 training samples
  • Columns: anchor, positive, negative_1, and negative_2
  • Approximate statistics based on the first 82 samples:
    anchor positive negative_1 negative_2
    type string string string string
    modality text text text text
    details
    • min: 8 tokens
    • mean: 72.98 tokens
    • max: 384 tokens
    • min: 300 tokens
    • mean: 353.66 tokens
    • max: 370 tokens
    • min: 311 tokens
    • mean: 353.2 tokens
    • max: 377 tokens
    • min: 196 tokens
    • mean: 348.57 tokens
    • max: 374 tokens
  • Samples:
    anchor positive negative_1 negative_2
    Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: a) 75 m2 (5 m x 15 m), à superfície;
    b) 130 m2, quando em estrutura edificada, em cave ou não.

    Artigo 113º. Critérios de dimensionamento
    1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de
    veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua
    dimensão.
    2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações
    afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o
    cumprimento dos seguintes mínimos:
    Tipo de Ocupação Estacionamento
    Habitação coletiva
    Habitação com indicação de tipologia:
    1 lugar/fogo T0 e T1;
    1,5 lugares/fogo T2 e T3;
    2 lugares/fogo T4, T5 e T6;
    3 lugares/fogo > T6.
    O número total de lugares resultante da aplicação dos critérios anteriores é
    acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda...    		 Artigo 18.º Espaços Equipados e Áreas Técnicas
    1. Os Espaços Equipados e Áreas Técnicas integram os espaços de uso público intervencionados
    correspondentes a praças, largos e áreas técnicas integrados na Área de Edificação Dispersa.
    2. Nos espaços Equipados e Áreas Técnicas é interdito o parque ou estacionamento de viaturas
    (tratores) e depósito de bens ou materiais de qualquer natureza. É também interdito o parque ou
    estacionamento de embarcações fora da área equipada especificamente para esse efeito – Doca
    Seca.
    3. Os Espaços Equipados e Áreas Técnicas são enumerados seguidamente, estando devidamente
    identificados na Planta de Intervenção:
    a) Bilheteira e zona de espera;
    b) Largo da Igreja;
    c) Praia do Porto de Pesca;
    d) Praça Multiusos e campo de futebol informal em areia com vedação;
    e) Área Técnica - Plataforma de Trabalho;
    f) Área Técnica - Doca Seca;
    g) Área Técnica - RSU e Valorizáveis.
    4. A implementação dos Espaços Equipados deverá ser objeto de projetos espec...    		 34 Edifício na Rua Frei Lourenço de Santa Maria (arqt
    MGC) Rua Frei Lourenço de Santa Maria
    35 Ermida de Nossa Senhora da Esperança Alto da Esperança
    36
    Posto Fixo de Fiscalização da Polícia de Viação e
    Trânsito, PVT, no Largo de Camões / Posto de
    Informação para Jovens
    Largo de Camões
    37 Edifício na Rua de Loulé, 11 Rua de Loulé, 11
    38 Edifício na Rua do Alportel, 75 Rua do Alportel, 75
    39 Moradia e Ateliê na Rua Reitor Teixeira Guedes, 42 Rua Reitor Teixeira Guedes, 42
    40 Casa do Poeta Dr. Cândido Guerreiro Rua General Humberto Delgado 59
    41 Casa de Mateus de Silveira Largo de Camões; Rua Gomes Freire;
    Rua Conselheiro Sebastião Teles
    42 Edifício na Rua de Loulé, 14 Rua de Loulé, 14
    43 Edifício no Largo de São Sebastião, 3 Largo de São Sebastião, 3; Rua de
    Loulé
    44 Edifício na Rua Gonçalo Barreto, 14 / Residencial
    Condado
    Rua Gonçalo Barreto, 14; Rua Brito
    Cabreira Revisão do Plano Diretor Municipal
    Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso? a) 75 m2 (5 m x 15 m), à superfície;
    b) 130 m2, quando em estrutura edificada, em cave ou não.

    Artigo 113º. Critérios de dimensionamento
    1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de
    veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua
    dimensão.
    2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações
    afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o
    cumprimento dos seguintes mínimos:
    Tipo de Ocupação Estacionamento
    Habitação coletiva
    Habitação com indicação de tipologia:
    1 lugar/fogo T0 e T1;
    1,5 lugares/fogo T2 e T3;
    2 lugares/fogo T4, T5 e T6;
    3 lugares/fogo > T6.
    O número total de lugares resultante da aplicação dos critérios anteriores é
    acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda...    		 Artigo 18.º Espaços Equipados e Áreas Técnicas
    1. Os Espaços Equipados e Áreas Técnicas integram os espaços de uso público intervencionados
    correspondentes a praças, largos e áreas técnicas integrados na Área de Edificação Dispersa.
    2. Nos espaços Equipados e Áreas Técnicas é interdito o parque ou estacionamento de viaturas
    (tratores) e depósito de bens ou materiais de qualquer natureza. É também interdito o parque ou
    estacionamento de embarcações fora da área equipada especificamente para esse efeito – Doca
    Seca.
    3. Os Espaços Equipados e Áreas Técnicas são enumerados seguidamente, estando devidamente
    identificados na Planta de Intervenção:
    a) Bilheteira e zona de espera;
    b) Largo da Igreja;
    c) Praia do Porto de Pesca;
    d) Praça Multiusos e campo de futebol informal em areia com vedação;
    e) Área Técnica - Plataforma de Trabalho;
    f) Área Técnica - Doca Seca;
    g) Área Técnica - RSU e Valorizáveis.
    4. A implementação dos Espaços Equipados deverá ser objeto de projetos espec...    		 34 Edifício na Rua Frei Lourenço de Santa Maria (arqt
    MGC) Rua Frei Lourenço de Santa Maria
    35 Ermida de Nossa Senhora da Esperança Alto da Esperança
    36
    Posto Fixo de Fiscalização da Polícia de Viação e
    Trânsito, PVT, no Largo de Camões / Posto de
    Informação para Jovens
    Largo de Camões
    37 Edifício na Rua de Loulé, 11 Rua de Loulé, 11
    38 Edifício na Rua do Alportel, 75 Rua do Alportel, 75
    39 Moradia e Ateliê na Rua Reitor Teixeira Guedes, 42 Rua Reitor Teixeira Guedes, 42
    40 Casa do Poeta Dr. Cândido Guerreiro Rua General Humberto Delgado 59
    41 Casa de Mateus de Silveira Largo de Camões; Rua Gomes Freire;
    Rua Conselheiro Sebastião Teles
    42 Edifício na Rua de Loulé, 14 Rua de Loulé, 14
    43 Edifício no Largo de São Sebastião, 3 Largo de São Sebastião, 3; Rua de
    Loulé
    44 Edifício na Rua Gonçalo Barreto, 14 / Residencial
    Condado
    Rua Gonçalo Barreto, 14; Rua Brito
    Cabreira Revisão do Plano Diretor Municipal
    4 — Em loteamentos, ou operações urbanísticas com impacte semelhante
    a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-
    namento público na proporção de 50 % dos lugares privativos exigíveis
    para as frações habitacionais, em número igual ou superior aos lugares
    privativos das frações não habitacionais e em dobro dos lugares exigíveis
    para as frações destinadas a estabelecimentos de restauração e bebidas    		 igual ou superior a 120 m², no caso de ser conhecida a dimensão dos fogos;
    b) 1,5 lugares de estacionamento por cada 120 m² de área bruta de cons-
    trução afeta à habitação, no caso de ser desconhecida a dimensão dos fogos.
    3 — Em edifícios ou áreas destinadas a comércio e ou serviços,
    deve, sem prejuízo do disposto em legislação especifica, ser criado um
    parqueamento no interior do prédio ou parcela, equivalente a:
    a) Um lugar de estacionamento por cada 50 m² de área bruta;
    b) Um lugar de estacionamento por cada dois quartos de estabeleci-
    mentos hoteleiros;
    4 — Em loteamentos, ou operações urbanísticas com impacte semelhante
    a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-
    namento público na proporção de 50 % dos lugares privativos exigíveis
    para as frações habitacionais, em número igual ou superior aos lugares
    privativos das frações não habitacionais e em dobro dos lugares exigíveis
    para as frações destinadas a estabelecimentos de restauração e bebidas....    		 e infraestruturais como no respeitante a impactes visuais e paisagísti-
    cos;
    c) Seja dado cumprimento às disposições respeitantes a servidões
    administrativas ou restrições de utilidade pública, eventualmente exis-
    tentes para o local.
    ANEXO
    Republicação do Regulamento do Plano Diretor Municipal
    de Vila Real, publicado no Diário da República,
    Aviso n.º 7317/2011, 2.ª série, n.º 57 de 22 de março de 2011
    CAPÍTULO I
    Disposições gerais
    Artigo 1.º
    Âmbito territorial
    O presente Plano estabelece as regras a que deve obedecer a ocupação,
    o uso e a transformação do solo no âmbito do Plano Diretor Municipal
    de Vila Real, adiante designado por PDM ou Plano, que abrange a
    totalidade do território do concelho de Vila Real.
    SUBSECÇÃO II
    Critérios de perequação compensatória
    Artigo 83.º
    [...]
    1 — É fixado, para cada um dos prédios abrangidos pelas UOPG e
    Unidades de Execução definidas no artigo 85.º, um direito abstrato de
    construir dado pelo produto do índice médio de utilização pela área d...    		 se refere a alínea b) do artigo anterior, o índice médio de utilização e a
    cedência média são os resultantes da ocupação estabelecida em acordo
    com a Planta de Ordenamento — Qualificação do Solo e o presente
    Regulamento.
    4 — Nas situações em que ocorrem diferentes usos ou tipologias,
    pode a edificabilidade ser afetada de coeficiente de homogeneização,
    função da relação entre o valor do custo de construção e o valor de venda
    verificados na área geográfica em apreço.
    Artigo 83.º
    Aplicação
    1 — É fixado, para cada um dos prédios abrangidos pelas UOPG e
    Unidades de Execução definidas no artigo 85.º, um direito abstrato de
    áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas
    viárias e equipamentos, dimensionadas do seguinte modo:
    a) Para a cidade de Vila Real de acordo com os parâmetros seguintes:
    i) Para espaços verdes e de utilização coletiva e equipamentos: 9354 Diário da República, 2.ª série — N.º 63 — 29 de março de 2018
    construir dado pelo produto do í...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Evaluation Dataset

Unnamed Dataset

  • Size: 45 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 45 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 6 tokens
    • mean: 104.11 tokens
    • max: 384 tokens
    • min: 42 tokens
    • mean: 329.04 tokens
    • max: 377 tokens
  • Samples:
    anchor positive
    Qual a inclinação máxima das rampas em solo urbano e espaço central? Artigo 98.º – Rampas
    1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.
    2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.
    3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.
    4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.
    5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe...
    Qual a largura de circulação nos estacionamentos cobertos? Artigo 100.º – Circulação interior
    1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;
    2 - A largura mínima das faixas de circulação é de:
    a) 4,50 metros em estacionamento a 45.º;
    b) 5 metros em estacionamento a 60.º;
    c) 5,50 metros em estacionamento a 90.º;
    d) 4 metros em estacionamento longitudinal;
    e) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;
    f ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;
    g) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.
    (ver documento original)
    Qual a largura de circulação nos estacionamentos cobertos? Artigo 98.º – Rampas
    1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.
    2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.
    3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.
    4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.
    5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 25.0
  • learning_rate: 1e-05
  • warmup_steps: 0.2
  • optim: adamw_torch
  • weight_decay: 0.01
  • gradient_accumulation_steps: 2
  • bf16: True
  • gradient_checkpointing: True
  • per_device_eval_batch_size: 16
  • remove_unused_columns: False
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 16
  • num_train_epochs: 25.0
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.2
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 16
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: False
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss Validation Loss urban-ir-gold-validation-rmue_faro_cosine_ndcg@10 urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10
0.3333 1 1.5928 - - -
0.6667 2 1.4850 - - -
1.0 3 0.7483 0.8777 0.6995 0.8343
1.3333 4 1.6372 - - -
1.6667 5 1.3527 - - -
2.0 6 1.1608 0.8700 0.7042 0.8343
2.3333 7 1.5172 - - -
2.6667 8 1.2501 - - -
3.0 9 1.2083 0.8531 0.7024 0.8343
3.3333 10 1.1284 - - -
3.6667 11 1.2114 - - -
4.0 12 0.7866 0.8350 0.7070 0.8398
4.3333 13 0.9812 - - -
4.6667 14 0.9855 - - -
5.0 15 0.8961 0.8096 0.6935 0.8552
5.3333 16 0.7055 - - -
5.6667 17 0.7341 - - -
6.0 18 0.3764 0.8019 0.6976 0.8705
6.3333 19 0.4954 - - -
6.6667 20 0.5680 - - -
7.0 21 0.3846 0.8068 0.7012 0.8651
7.3333 22 0.4438 - - -
7.6667 23 0.5534 - - -
8.0 24 0.1244 0.7993 0.7432 0.8651
8.3333 25 0.4373 - - -
8.6667 26 0.3694 - - -
9.0 27 0.2268 0.7892 0.7401 0.8651
9.3333 28 0.3661 - - -
9.6667 29 0.4009 - - -
10.0 30 0.3294 0.7760 0.7729 0.8651
10.3333 31 0.3194 - - -
10.6667 32 0.4141 - - -
11.0 33 0.2034 0.7761 0.7729 0.8651
11.3333 34 0.4239 - - -
11.6667 35 0.3691 - - -
12.0 36 0.0979 0.7833 0.7682 0.8651
12.3333 37 0.3230 - - -
12.6667 38 0.4131 - - -
13.0 39 0.1246 0.7871 0.7406 0.8651
13.3333 40 0.3570 - - -
13.6667 41 0.3472 - - -
14.0 42 0.4464 0.7865 0.7359 0.8651
14.3333 43 0.2088 - - -
14.6667 44 0.4334 - - -
15.0 45 0.1387 0.7876 0.7359 0.8651
15.3333 46 0.2989 - - -
15.6667 47 0.3873 - - -
16.0 48 0.0385 0.7913 0.7376 0.8651
16.3333 49 0.2334 - - -
16.6667 50 0.4588 - - -
17.0 51 0.2951 0.7865 0.7406 0.8651
17.3333 52 0.2532 - - -
17.6667 53 0.3176 - - -
18.0 54 0.4887 0.7889 0.7741 0.8651
18.3333 55 0.2629 - - -
18.6667 56 0.3022 - - -
19.0 57 0.2417 0.7889 0.7359 0.8651
19.3333 58 0.3220 - - -
19.6667 59 0.3007 - - -
20.0 60 0.1818 0.7893 0.7359 0.8651
20.3333 61 0.3383 - - -
20.6667 62 0.3835 - - -
21.0 63 0.2829 0.7911 0.7406 0.8651
21.3333 64 0.4125 - - -
21.6667 65 0.3724 - - -
22.0 66 0.1291 0.7895 0.7741 0.8651
22.3333 67 0.2527 - - -
22.6667 68 0.3994 - - -
23.0 69 0.0865 0.7904 0.7359 0.8651
23.3333 70 0.3768 - - -
23.6667 71 0.2997 - - -
24.0 72 0.1321 0.7903 0.7359 0.8651
24.3333 73 0.2395 - - -
24.6667 74 0.3920 - - -
25.0 75 0.1502 0.7884 0.7695 0.8651

Training Time

  • Training: 13.7 minutes
  • Evaluation: 2.2 minutes
  • Total: 15.8 minutes

Framework Versions

  • Python: 3.12.11
  • Sentence Transformers: 5.5.1
  • Transformers: 5.10.2
  • PyTorch: 2.12.0+cu130
  • Accelerate: 1.13.0
  • Datasets: 5.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
282
Safetensors
Model size
4B params
Tensor type
BF16
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for zecafonso/Qwen3-Embedding-4B-384

Base model

Qwen/Qwen3-4B-Base
Finetuned
Qwen/Qwen3-Embedding-4B
Finetuned
(67)
this model

Papers for zecafonso/Qwen3-Embedding-4B-384

Evaluation results

  • Cosine Accuracy@1 on urban ir gold validation rmue faro
    self-reported
    0.818
  • Cosine Accuracy@3 on urban ir gold validation rmue faro
    self-reported
    0.909
  • Cosine Accuracy@5 on urban ir gold validation rmue faro
    self-reported
    0.909
  • Cosine Accuracy@10 on urban ir gold validation rmue faro
    self-reported
    0.909
  • Cosine Precision@1 on urban ir gold validation rmue faro
    self-reported
    0.818
  • Cosine Precision@3 on urban ir gold validation rmue faro
    self-reported
    0.394
  • Cosine Precision@5 on urban ir gold validation rmue faro
    self-reported
    0.255
  • Cosine Precision@10 on urban ir gold validation rmue faro
    self-reported
    0.155