Hugging Face's logo

zecafonso
/
Qwen3-Embedding-0.6B-384

Sentence Similarity
sentence-transformers
Safetensors
qwen3
feature-extraction
Generated from Trainer
dataset_size:66
loss:MultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Qwen/Qwen3-Embedding-0.6B
  • Maximum Sequence Length: 384 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'b)  130 m2, quando em estrutura edificada, em cave ou não.',
]
documents = [
    'SECÇÃO II – Disposições específicas\n\nArtigo 92.º – Parâmetros\n1 - O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos seguintes parâmetros:\na) Uma área de estacionamento mínima de 11,50 m2 (2,30 metros x 5 metros) por cada lugar de estacionamento ao ar livre;\nb) Uma área bruta mínima de 30 m2 por cada lugar de estacionamento em estrutura edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 metros em "boxe", e de 2,30 metros em lugares de estacionamento, sendo que cada área de estacionamento terá que garantir uma profundidade disponível de 5 metros;\nc) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a cidadãos com mobilidade condicionada devem respeitar as larguras de 4 metros e 3,50 metros, respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente anexados à habitação acessível;\n2 - A área bruta a considerar para cada lugar de estacionamento de um veículo pesado deve obedecer aos seguintes parâmetros:\na) 75 m2 (5 metros x 15 metros), à superfície;\nb) 130 m2, quando em estrutura edificada, em cave ou não.',
    'SECÇÃO II – Disposições específicas\n\nArtigo 92.º – Parâmetros\n1 - O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos seguintes parâmetros:\na) Uma área de estacionamento mínima de 11,50 m2 (2,30 metros x 5 metros) por cada lugar de estacionamento ao ar livre;\nb) Uma área bruta mínima de 30 m2 por cada lugar de estacionamento em estrutura edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 metros em "boxe", e de 2,30 metros em lugares de estacionamento, sendo que cada área de estacionamento terá que garantir uma profundidade disponível de 5 metros;\nc) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a cidadãos com mobilidade condicionada devem respeitar as larguras de 4 metros e 3,50 metros, respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente anexados à habitação acessível;\n2 - A área bruta a considerar para cada lugar de estacionamento de um veículo pesado deve obedecer aos seguintes parâmetros:\na) 75 m2 (5 metros x 15 metros), à superfície;\nb) 130 m2, quando em estrutura edificada, em cave ou não.',
    'ii) Um lugar de estacionamento por cada 25 m2 de área total de construção comercial, para superfícies de comércio com uma área de construção superior a 1000 m2;\niii) Um lugar de estacionamento por cada 15 m2 de área total de construção comercial, para superfícies de comércio com uma área total superior a 2500 m2.\ne) Em edifícios ou frações destinados a serviços:\ni) Três lugares de estacionamento por cada 100 m2 de área total de construção de serviços;\nii) Cinco lugares por cada 100 m2 de área total de construção, quando a área total de construção de serviços for superior a 500 m2.\nf ) Em empreendimentos turísticos, o dimensionamento dos lugares de estacionamento deve observar as disposições das portarias em vigor para o efeito, decorrente da legislação específica;\ng) Em armazém ou indústria, um lugar por cada 150 m2 de área total de construção, devendo ainda ser prevista no interior da parcela de terreno ou prédio, a área necessária às operações de carga e descarga de veículos pesados, bem como ao estacionamento dos mesmos, em número a determinar, caso a caso em função do tipo de indústria ou armazém a instalar;\nh) Deve ainda ser prevista a seguinte proporção para lugares acessíveis a pessoas com mobilidade condicionada:\ni) Um lugar em espaços de estacionamento com uma lotação não superior a 10 lugares;',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4640, 0.4640, 0.3229]])

Evaluation

Metrics

Information Retrieval

  • Datasets: urban-ir-gold-validation-rmue_faro and urban-ir-gold-span-validation-rmue_faro
  • Evaluated with InformationRetrievalEvaluator with these parameters:
    {
    "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:"
}
Metric urban-ir-gold-validation-rmue_faro urban-ir-gold-span-validation-rmue_faro
cosine_accuracy@1 0.3333 0.8
cosine_accuracy@3 1.0 0.8
cosine_accuracy@5 1.0 0.8
cosine_accuracy@10 1.0 0.8
cosine_precision@1 0.3333 0.8
cosine_precision@3 0.4444 0.2667
cosine_precision@5 0.3333 0.16
cosine_precision@10 0.1667 0.08
cosine_recall@1 0.1667 0.8
cosine_recall@3 0.8333 0.8
cosine_recall@5 1.0 0.8
cosine_recall@10 1.0 0.8
cosine_ndcg@10 0.7606 0.8
cosine_mrr@10 0.6667 0.8
cosine_map@100 0.6667 0.8

Training Details

Training Dataset

Unnamed Dataset

  • Size: 66 training samples
  • Columns: anchor, positive, negative_1, and negative_2
  • Approximate statistics based on the first 66 samples:
    anchor positive negative_1 negative_2
    type string string string string
    modality text text text text
    details
    • min: 8 tokens
    • mean: 54.42 tokens
    • max: 384 tokens
    • min: 300 tokens
    • mean: 354.36 tokens
    • max: 370 tokens
    • min: 312 tokens
    • mean: 353.86 tokens
    • max: 366 tokens
    • min: 180 tokens
    • mean: 347.98 tokens
    • max: 366 tokens
  • Samples:
    anchor positive negative_1 negative_2
    Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: a) 75 m2 (5 m x 15 m), à superfície;
    b) 130 m2, quando em estrutura edificada, em cave ou não.

    Artigo 113º. Critérios de dimensionamento
    1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de
    veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua
    dimensão.
    2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações
    afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o
    cumprimento dos seguintes mínimos:
    Tipo de Ocupação Estacionamento
    Habitação coletiva
    Habitação com indicação de tipologia:
    1 lugar/fogo T0 e T1;
    1,5 lugares/fogo T2 e T3;
    2 lugares/fogo T4, T5 e T6;
    3 lugares/fogo > T6.
    O número total de lugares resultante da aplicação dos critérios anteriores é
    acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda...    		 ii1) É privilegiada a conservação do edificado e da respetiva morfologia urbana; Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda 78
    ii2) São permitidas obras de construção, reconstrução, alteração e ampliação nos
    termos das disposições legais e regulamentares, desde que mantida a relação de
    continuidade com os edifícios confinantes, bem como, alinhamentos, de forma a
    não desvirtuar as características arquitetónicas e volumétricas do conjunto e nas
    seguintes condições específicas:
    (i) O número de pisos admitido é a moda da altura das fachadas existentes na
    frente urbana em que estas se inserem, até ao número máximo de 2 pisos
    acima da cota de soleira e uma altura de fachada máxima de 8,0 m, sem
    prejuízo do cumprimento do artigo 59.º do RGEU;
    (ii) Profundidade Máxima de Empena de 15 m;
    (iii) Área mínima de permeabilidade não inferior a 25 % da área do logradouro;
    (iv) Alteração de fachadas que se d...    		 Territorial do Litoral Sul e Barrocal, sendo de 70 hectares no caso de se localizar
    numa área classificada;
    iii) Área a dotar de infraestruturas urbanísticas e a edificar, não deve ser superior a 30%
    da área total do NDT;
    iv) Densidade populacional correspondente a cada área a dotar de infraestruturas
    urbanísticas e a edificar não deve ser superior a 60 camas por hectare, podendo ser
    de 100 camas por hectare em parcelas ocupadas exclusivamente com hotéis, em
    áreas classificadas a densidade máxima será de 20 camas por hectare, podendo ser
    de 30 camas por hectare em parcelas ocupadas exclusivamente com hotéis;
    v) Composição urbana com nucleações que traduzem menores extensões de
    infraestruturas para a globalidade do NDT;
    vi) Proporção mínima de camas turísticas, tipologias e categorias mínimas dos
    empreendimentos turísticos que integram o NDT;
    vii) São admissíveis as seguintes tipologias turísticas:
    vii1) Na Faixa Costeira, entre os 500 e 2000 metros, contados para ter...
    Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso? a) 75 m2 (5 m x 15 m), à superfície;
    b) 130 m2, quando em estrutura edificada, em cave ou não.

    Artigo 113º. Critérios de dimensionamento
    1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de
    veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua
    dimensão.
    2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações
    afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o
    cumprimento dos seguintes mínimos:
    Tipo de Ocupação Estacionamento
    Habitação coletiva
    Habitação com indicação de tipologia:
    1 lugar/fogo T0 e T1;
    1,5 lugares/fogo T2 e T3;
    2 lugares/fogo T4, T5 e T6;
    3 lugares/fogo > T6.
    O número total de lugares resultante da aplicação dos critérios anteriores é
    acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda...    		 ii1) É privilegiada a conservação do edificado e da respetiva morfologia urbana; Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda 78
    ii2) São permitidas obras de construção, reconstrução, alteração e ampliação nos
    termos das disposições legais e regulamentares, desde que mantida a relação de
    continuidade com os edifícios confinantes, bem como, alinhamentos, de forma a
    não desvirtuar as características arquitetónicas e volumétricas do conjunto e nas
    seguintes condições específicas:
    (i) O número de pisos admitido é a moda da altura das fachadas existentes na
    frente urbana em que estas se inserem, até ao número máximo de 2 pisos
    acima da cota de soleira e uma altura de fachada máxima de 8,0 m, sem
    prejuízo do cumprimento do artigo 59.º do RGEU;
    (ii) Profundidade Máxima de Empena de 15 m;
    (iii) Área mínima de permeabilidade não inferior a 25 % da área do logradouro;
    (iv) Alteração de fachadas que se d...    		 Territorial do Litoral Sul e Barrocal, sendo de 70 hectares no caso de se localizar
    numa área classificada;
    iii) Área a dotar de infraestruturas urbanísticas e a edificar, não deve ser superior a 30%
    da área total do NDT;
    iv) Densidade populacional correspondente a cada área a dotar de infraestruturas
    urbanísticas e a edificar não deve ser superior a 60 camas por hectare, podendo ser
    de 100 camas por hectare em parcelas ocupadas exclusivamente com hotéis, em
    áreas classificadas a densidade máxima será de 20 camas por hectare, podendo ser
    de 30 camas por hectare em parcelas ocupadas exclusivamente com hotéis;
    v) Composição urbana com nucleações que traduzem menores extensões de
    infraestruturas para a globalidade do NDT;
    vi) Proporção mínima de camas turísticas, tipologias e categorias mínimas dos
    empreendimentos turísticos que integram o NDT;
    vii) São admissíveis as seguintes tipologias turísticas:
    vii1) Na Faixa Costeira, entre os 500 e 2000 metros, contados para ter...
    Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos:\n\nTipo de Ocupação\n\nEstacionamento\n\nHabitação coletiva\n\nHabitação com indicação de tipologia: \n\n1 lugar/fogo T0 e T1; \n\n1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; \n\n3 lugares/fogo > T6. a) 75 m2 (5 m x 15 m), à superfície;
    b) 130 m2, quando em estrutura edificada, em cave ou não.

    Artigo 113º. Critérios de dimensionamento
    1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de
    veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua
    dimensão.
    2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações
    afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o
    cumprimento dos seguintes mínimos:
    Tipo de Ocupação Estacionamento
    Habitação coletiva
    Habitação com indicação de tipologia:
    1 lugar/fogo T0 e T1;
    1,5 lugares/fogo T2 e T3;
    2 lugares/fogo T4, T5 e T6;
    3 lugares/fogo > T6.
    O número total de lugares resultante da aplicação dos critérios anteriores é
    acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal
    Regulamento
    Município de Faro | lugar do plano, gestão do território e cultura, Lda...    		 Município de Faro | lugar do plano, gestão do território e cultura, Lda 18
    valorização ambiental e paisagística, se destinam à utilização pelos cidadãos em
    atividades de estadia, recreio e lazer ao ar livre, não abrangendo os logradouros.
    u) Estrutura Ecológica Municipal - é conjunto das áreas de solo que, em virtude das suas
    características biofísicas, culturais ou paisagísticas, da sua continuidade ecológica e do
    seu ordenamento, têm por função principal contribuir para o equilíbrio ecológico e para a
    proteção, conservação e valorização ambiental e paisagística dos espaços rústicos e
    urbanos.
    v) Fachada - é cada uma das faces aparentes do edifício, constituída por uma ou mais
    paredes exteriores diretamente relacionadas entre si.
    w) Inclinação da Cobertura - é o valor do ângulo formado pelos planos da cobertura do
    edifício com o plano horizontal.
    x) Índice de impermeabilização do solo - é função da ocupação ou revestimento, sendo
    calculado pelo quociente entre o somatóri...    		 IP 27 Igreja da Ordem Terceira de São Francisco (MIP) Portaria 740-U/2012 DR II Série n 248 de
    24/12/2012
    IP 28 Fortaleza de Faro, incluindo todo o conjunto
    de elementos ainda existentes das muralhas (IIP)
    Decreto Lei 45/1993 DR I Série B n 280 de
    30/11/1993
    INTERESSE MUNICIPAL (IM)
    N.º DESIGNAÇÃO DIPLOMA LEGAL
    IM 01 Nora, tanque e portal anexos (IIM) Decreto Lei 45/1993 DR I Série B n 280 de
    30/11/1993
    IM 02 Casa de Fresco da Antiga Quinta do Cercado (IIM) Edital 410/2006 DR II Série n 226 de 23/11/2006
    IM 03 Conjunto Urbano entre o Mercado Municipal e a
    Escola Secundária João Deus (CIM) Edital 648/2012 DR II Série n 136 de 16/07/2012
    IM 04 Casa do Coronel Fonseca (IIM) Edital 1151/2008 DR II Série n 223 de 17/11/2008
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Evaluation Dataset

Unnamed Dataset

  • Size: 10 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 10 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 6 tokens
    • mean: 92.0 tokens
    • max: 384 tokens
    • min: 255 tokens
    • mean: 317.2 tokens
    • max: 366 tokens
  • Samples:
    anchor positive
    O que se entende por operação urbanística com impacte relevante ou semelhante a loteamento? Artigo 6.º – Operações urbanísticas com impacte relevante
    Para efeitos do disposto no n.º 5 do artigo 44.º do RJUE, são operações urbanísticas com impacte relevante as obras de construção, as obras de ampliação ou as obras de reconstrução com preservação de fachadas de que resulte um acréscimo da superfície de pavimento, em área não abrangida por operação de loteamento, que apresentem qualquer das seguintes características:
    a) Área bruta de construção superior a 2000 m2, incluindo no caso das obras de ampliação e das obras de reconstrução com preservação de fachadas a área preexistente, destinada isolada ou cumulativamente, a habitação, comércio, serviços, indústria ou armazenagem;
    b) Área bruta de construção superior a 2000 m2, incluindo no caso das obras de ampliação e das obras de reconstrução com preservação de fachadas a área preexistente, destinada a equipamentos privados, designadamente, estabelecimentos de ensino, saúde ou apoio social, quando não prevejam, pelo menos, a totali...
    O que se entende por operação urbanística com impacte relevante ou semelhante a loteamento? Artigo 7.º – Operações urbanísticas com impacte semelhante a uma operação de loteamento
    Para efeitos do disposto no n.º 5, do artigo 57.º do RJUE, e sem prejuízo do consagrado nos n.os 6 e 7 daquele artigo, são obras com impacte semelhante a uma operação de loteamento as obras de construção ou as obras de ampliação de que resulte um acréscimo da superfície de pavimento, em área não abrangida por operação de loteamento, que apresentem qualquer das seguintes características:
    a) Edifícios contíguos e funcionalmente ligados entre si que possuam qualquer das características previstas no artigo anterior;
    b) Edifícios funcionalmente ligados ao nível do subsolo por elementos estruturais ou de acesso, que se apresentam acima do nível do terreno como edificações autónomas, e disponham de 15 ou mais frações ou unidades independentes, com exceção das destinadas exclusivamente a estacionamento automóvel.
    Quantos lugares de estacionamento são exigidos para pessoas com mobilidade reduzida? ii) Um lugar de estacionamento por cada 25 m2 de área total de construção comercial, para superfícies de comércio com uma área de construção superior a 1000 m2;
    iii) Um lugar de estacionamento por cada 15 m2 de área total de construção comercial, para superfícies de comércio com uma área total superior a 2500 m2.
    e) Em edifícios ou frações destinados a serviços:
    i) Três lugares de estacionamento por cada 100 m2 de área total de construção de serviços;
    ii) Cinco lugares por cada 100 m2 de área total de construção, quando a área total de construção de serviços for superior a 500 m2.
    f ) Em empreendimentos turísticos, o dimensionamento dos lugares de estacionamento deve observar as disposições das portarias em vigor para o efeito, decorrente da legislação específica;
    g) Em armazém ou indústria, um lugar por cada 150 m2 de área total de construção, devendo ainda ser prevista no interior da parcela de terreno ou prédio, a área necessária às operações de carga e descarga de veículos pesados,...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 10.0
  • learning_rate: 1e-05
  • warmup_steps: 0.2
  • optim: adamw_torch
  • weight_decay: 0.01
  • gradient_accumulation_steps: 2
  • bf16: True
  • gradient_checkpointing: True
  • per_device_eval_batch_size: 16
  • remove_unused_columns: False
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 16
  • num_train_epochs: 10.0
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.2
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 16
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: False
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss Validation Loss urban-ir-gold-validation-rmue_faro_cosine_ndcg@10 urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10
0.4 1 1.9762 - - -
0.8 2 1.5210 - - -
1.0 3 0.6798 0.5010 0.7454 0.6774
1.4 4 1.9627 - - -
1.8 5 1.2393 - - -
2.0 6 0.7741 0.4712 0.7517 0.7262
2.4 7 1.5812 - - -
2.8 8 1.0342 - - -
3.0 9 1.1397 0.4327 0.7606 0.8
3.4 10 1.1708 - - -
3.8 11 1.0263 - - -
4.0 12 0.5893 0.4184 0.7606 0.8
4.4 13 1.0389 - - -
4.8 14 1.0204 - - -
5.0 15 0.7488 0.4092 0.7606 0.8
5.4 16 0.8816 - - -
5.8 17 0.8689 - - -
6.0 18 0.6507 0.4156 0.7606 0.8
6.4 19 0.7848 - - -
6.8 20 0.6188 - - -
7.0 21 0.3248 0.4121 0.7606 0.8
7.4 22 0.8297 - - -
7.8 23 0.6776 - - -
8.0 24 0.1134 0.4148 0.7606 0.8
8.4 25 0.8346 - - -
8.8 26 0.5221 - - -
9.0 27 0.5521 0.4110 0.7606 0.8
9.4 28 0.7498 - - -
9.8 29 0.5839 - - -
10.0 30 0.4524 0.4154 0.7606 0.8

Training Time

  • Training: 49.6 seconds
  • Evaluation: 10.4 seconds
  • Total: 60.0 seconds

Framework Versions

  • Python: 3.12.11
  • Sentence Transformers: 5.6.0
  • Transformers: 5.10.2
  • PyTorch: 2.12.0+cu130
  • Accelerate: 1.13.0
  • Datasets: 5.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
38
Safetensors
Model size
0.6B params
Tensor type
BF16
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for zecafonso/Qwen3-Embedding-0.6B-384

Base model

Qwen/Qwen3-0.6B-Base
Finetuned
Qwen/Qwen3-Embedding-0.6B
Finetuned
(235)
this model

Papers for zecafonso/Qwen3-Embedding-0.6B-384

Evaluation results

  • Cosine Accuracy@1 on urban ir gold validation rmue faro
    self-reported
    0.333
  • Cosine Accuracy@3 on urban ir gold validation rmue faro
    self-reported
    1.000
  • Cosine Accuracy@5 on urban ir gold validation rmue faro
    self-reported
    1.000
  • Cosine Accuracy@10 on urban ir gold validation rmue faro
    self-reported
    1.000
  • Cosine Precision@1 on urban ir gold validation rmue faro
    self-reported
    0.333
  • Cosine Precision@3 on urban ir gold validation rmue faro
    self-reported
    0.444
  • Cosine Precision@5 on urban ir gold validation rmue faro
    self-reported
    0.333
  • Cosine Precision@10 on urban ir gold validation rmue faro
    self-reported
    0.167