Hugging Face's logo

SCAREDOFTHESIX
/
user-bge-m3-avito

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
dense
Generated from Trainer
dataset_size:146694
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on deepvk/USER-bge-m3

This is a sentence-transformers model finetuned from deepvk/USER-bge-m3. It maps inputs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: deepvk/USER-bge-m3
  • Maximum Sequence Length: 128 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("SCAREDOFTHESIX/user-bge-m3-avito")
# Run inference
queries = [
    'портрет маслом',
]
documents = [
    'Портрет на заказ. Вид услуги Искусство Место оказания услуг пл. Ленина Тип стоимости за услугу Начальная цена Начальная цена Тип стоимости за услугу Стоимость 20000. Если вы хотите уникальные истинные портреты на заказ непохожие на других, обращайтесь ко мне я сделаю в новом современном ключе❤️❤️❤️',
    'Нужны модели на брови. Вид услуги Красота, здоровье Место оказания услуг Пенза, улица Пушкина, 3 Тип услуги Ресницы, брови Тип стоимости за услугу Где вы оказываете услуги Ваши клиенты Женщины Кто оказывает услуги Женщина Название услуги ПМ Бровей Начальная цена Тип стоимости за услугу Услуга Своя услуга Стоимость 2500 Продолжительность 3 ч 30 мин. Опыт работы 1–3 года Куда выезжаете Не выезжаю. Нужны модели на пм бровей',
    'Изготовление. Вид услуги Бытовые услуги Тип услуги Изготовление ключей Место оказания услуг Ростов-на-Дону, Кировский район Тип стоимости за услугу Начальная цена График работы, дни недели пн. График работы, дни недели вт. График работы, дни недели ср. График работы, дни недели чт. График работы, дни недели пт. Начальная цена Тип стоимости за услугу Стоимость 100 Услуга Замена или установка замка Чем вы занимаетесь. изготовление',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6232,  0.0646, -0.1885]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 146,694 training samples
  • Columns: query and doc
  • Approximate statistics based on the first 100 samples:
    query doc
    type string string
    modality text text
    details
    • min: 3 tokens
    • mean: 6.84 tokens
    • max: 13 tokens
    • min: 57 tokens
    • mean: 126.68 tokens
    • max: 128 tokens
  • Samples:
    query doc
    передержка кошек Передержка животных. Вид услуги Уход за животными Место оказания услуг Саратов, 1-й проезд имени С.Т. Разина, 3/7 Тип стоимости за услугу Начальная цена Куда выезжаете По всему городу. В смс при обращении напишите породу питомца, пол, стерелизован ли.

    Приветствую вас, я заботливо присмотрю за вашим питомцем во время вашего отсутствия🥰 Также передержкой занимаются родители, они живут рядом со мной. Беру больших собак и питомцев с характером)

    Есть трансфер

    С моей стороны будет все что потребуется: регулярные прогулки, игры, кормление и внимание, чтобы ваш любимец чувствовал себя как дома. Своих домашних питомцев в квартире у меня нет.

    Прошу связаться со мной для обсуждения деталей и свободных дат по смс! Дома постоянно я (т.к работаю удалённо) пишите🫶🏻

    ❗️Возможна услуга выезда на дом(по договоренности)
    Обращайтесь,буду рада помочь😇

    К родителям можно оставить питомца в дом со свободным передвижением.

    Зоогостиница
    отель для животных
    Передержка животных
    Передержка собак
    Перед...
    удаление татуировок Удаление татуировок и перманетного макияжа. Вид услуги Красота, здоровье Место оказания услуг Камышинская ул., 15 Тип услуги Перманентный макияж Тип стоимости за услугу Начальная цена Где вы оказываете услуги У себя дома Где вы оказываете услуги В салоне Ваши клиенты Женщины Кто оказывает услуги Женщина Начальная цена Тип стоимости за услугу Стоимость 900 Продолжительность 30 мин. Услуга Удаление с бровей Начальная цена Тип стоимости за услугу Стоимость 1000 Продолжительность 30 мин. Услуга Удаление с губ Начальная цена Тип стоимости за услугу Стоимость 900 Продолжительность 30 мин. Услуга Удаление с век Признак предзаполнения прайс листа 2 Опыт работы 8–10 лет Чем вы занимаетесь Удаление перманентного макияжа, татуажа Чем удаляете Лазер Чем удаляете Ремувер. Лaзеpное удaление тату и татуажа любoй слoжноcти.
    Kонcультaция бecплaтнo.
    ❗️Бeз pубцов, шрамoв и пoвpеждeния кожи.
    ❗️Удaление пигмента за мeньшeе кoличeствo прoцeдуp пo сpавнeнию с aналогичными лазepaми.
    Hoвейший нeодимoвый лaзер...
    редактор фото Фотошоп \ Редактирование \ Нейросеть \ Дизайн. Вид услуги Фото- и видеосъёмка Место оказания услуг Владимир Тип стоимости за услугу Начальная цена Работаете с юрлицами и ИП Как вы работаете Удалённо Чем вы занимаетесь Фото Опыт работы 4–6 лет Берёте ли срочные заказы Предоплата Минимальная сумма заказа 500. ✅ НАПИШИТЕ нам и мы бесплатно проконсультируем‼️

    🎨Фотошоп, дизайн, генерация в нейросети!

    Предлагаем такие услуги, как:

    замена фона, восстановление фото, обработка товарных снимков, оформление постов и обложек, создание инфографики, генерация изображений через нейросети и МНОГОЕ ДРУГОЕ.

    ✅НАПИШИТЕ нам чтобы сделать заказ.

    1. Описываете ТЗ, пожелания и сроки, при наличии прикрепляете пример.

    2. Согласовываем цену и сроки.

    3. Оставляете контакт в Telegram.

    4. Присылаете исходные материалы и мы приступаем к работе🤝

    🏦Не устроил результат?

    Полностью вернем деньги.

    ♦️Цены зависят от сложности и объема работы.

    ♦️Предоплата 50% для сложных или крупных заказов.

    ♦️Оплата после пол...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 32
  • num_train_epochs: 1
  • learning_rate: 2e-05
  • warmup_steps: 0.1
  • bf16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 32
  • num_train_epochs: 1
  • max_steps: -1
  • learning_rate: 2e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.1
  • optim: adamw_torch_fused
  • optim_args: None
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 1
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 8
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • dataloader_multiprocessing_context: None
  • dataloader_in_order: True
  • remove_unused_columns: True
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • local_rank: -1
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}
  • warmup_ratio: None

Training Logs

Epoch Step Training Loss
0.0436 200 0.6202
0.0872 400 0.4560
0.1309 600 0.4138
0.1745 800 0.3861
0.2181 1000 0.3487
0.2617 1200 0.3629
0.3053 1400 0.3437
0.3490 1600 0.3241
0.3926 1800 0.3325
0.4362 2000 0.3197
0.4798 2200 0.3239
0.5234 2400 0.2950
0.5671 2600 0.2989
0.6107 2800 0.3320
0.6543 3000 0.2748
0.6979 3200 0.2990
0.7415 3400 0.2716
0.7852 3600 0.2934
0.8288 3800 0.3016
0.8724 4000 0.2951
0.9160 4200 0.2692
0.9597 4400 0.2697

Training Time

  • Training: 26.2 minutes

Framework Versions

  • Python: 3.11.0
  • Sentence Transformers: 6.1.0
  • Transformers: 5.17.0
  • PyTorch: 2.14.0+cu126
  • Accelerate: 1.15.0
  • Datasets: 5.0.1
  • Tokenizers: 0.23.2

Additional Resources

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
13
Safetensors
Model size
0.4B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for SCAREDOFTHESIX/user-bge-m3-avito

Base model

deepvk/USER-bge-m3
Finetuned
(17)
this model

Papers for SCAREDOFTHESIX/user-bge-m3-avito