---
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:13500
- loss:ContrastiveLoss
widget:
- source_sentence: ' Shaniwar Upay: शनि के प्रकोप से आ चुके हैं तंग, तो आज से शुरू
कर लें ये काम, जल्द मेहरबान होंगे न्याय के देवता '
sentences:
- 'T20 World Cup: किस देश ने जीती है सबसे ज्यादा टी20 वर्ल्ड कप की ट्रॉफी? ये रही
अभी तक के विजेताओं की पूरी लिस्ट'
- 'Shaniwar Upay: शनि के प्रकोप से आ चुके हैं तंग, तो आज से शुरू कर लें ये काम,
जल्द मेहरबान होंगे न्याय के देवता'
- 'Bank Jobs: इंडियन बैंक में निकली बंपर वैकेंसी के लिए जारी है आवेदन प्रक्रिया,
इस आधार पर किया जाएगा सिलेक्शन'
- source_sentence: ' Humidity: मुश्किल नहीं चिपचिपी गर्मी को हराना! एक्सपर्ट से जानें
क्या खाएं और क्या नहीं '
sentences:
- 'Ajmer Dargah News: ''सर तन से जुदा'' के नारे वाला अजमेर दरगाह का खादिम कोर्ट
से हुआ बरी, अदालत को नहीं मिले पर्याप्त सबूत!'
- एंड्रॉयड स्मार्टफोन पर कैसे बदलें WhatsApp की रिंगटोन, आज ही जान लीजिए इसका प्रोसेस
- 'Humidity: मुश्किल नहीं चिपचिपी गर्मी को हराना! एक्सपर्ट से जानें क्या खाएं और
क्या नहीं'
- source_sentence: ' नौकरी नहीं मिली तो मजबूरी में शुरू की खेती, टमाटर ने इस शख्स
को बना दिया करोड़पति '
sentences:
- Heart Attack से बचने का उपाय, रोज गिनती से चढ़ें इतनी सीढ़ियां, दिल की नसें होने
लगेगी मजबूत
- 10-10 रुपए के लिए तरसा, फुटपाथ पर सोया, इस सुपरस्टार ने किए छोटे-छोटे काम, अब
करोड़ों का मालिक
- 'T20 World Cup 2024: अफगानिस्तान की उम्मीदें चकनाचूर, पहली बार साउथ अफ्रीका T20
वर्ल्ड कप फाइनल में पहुंचा'
- source_sentence: ' Shubman Gill : ''उसे कप्तानी करना नहीं आता...'', शुभमन गिल को
लेकर भारतीय दिग्गज का शॉकिंग स्टेटमेंट '
sentences:
- 'China’s New Radar: महाशक्तिशाली रडार, हाइपरसोनिक मिसाइलों को भी कर लेगा ट्रैक,
चीनी वैज्ञानिकों की बड़ी कामयाबी'
- 'Shubman Gill : ''उसे कप्तानी करना नहीं आता...'', शुभमन गिल को लेकर भारतीय दिग्गज
का शॉकिंग स्टेटमेंट'
- MCC ने जारी किया NEET MDS 2024 राउंड 1 सीट अलॉटमेंट रिजल्ट; जानें कैसे करें चेक
- source_sentence: ' ''सर पर लाल टोपी रूसी...'' 70 साल पुराने दोस्त से मुलाकात, मोदी-पुतिन
की बातों से क्या है उम्मीदें, चीन की बढ़ी धड़कन! '
sentences:
- मेष-कर्क समेत 4 राशि वाले आज रहें सावधान, वरना होगा नुकसान, पढ़ें राशिफल
- 'T20 WC 2024 Semi Final Scenario: टीम इंडिया का बदला पूरा, लेकिन रोहित एंड कंपनी
ने कर दी बड़ी मिस्टेक, ऑस्ट्रेलिया के पास मौका'
- 5 साल बाद एक बार फिर रूस जा सकता हैं पीएम मोदी, पुतिन के करीबी ने किया खुलासा
---
# SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 384 tokens
- **Similarity Function:** Cosine Similarity
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("amorfati/custom-hindi-emb-model-contrastive-large")
# Run inference
sentences = [
" 'सर पर लाल टोपी रूसी...' 70 साल पुराने दोस्त से मुलाकात, मोदी-पुतिन की बातों से क्या है उम्मीदें, चीन\xa0की\xa0बढ़ी\xa0धड़कन! ",
'5 साल बाद एक बार फिर रूस जा सकता हैं पीएम मोदी, पुतिन के करीबी ने किया खुलासा',
'T20 WC 2024 Semi Final Scenario: टीम इंडिया का बदला पूरा, लेकिन रोहित एंड कंपनी ने कर दी बड़ी मिस्टेक, ऑस्ट्रेलिया के पास मौका',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 13,500 training samples
* Columns: premise, hypothesis, and label
* Approximate statistics based on the first 1000 samples:
| | premise | hypothesis | label |
|:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------|
| type | string | string | int |
| details | - min: 12 tokens
- mean: 31.76 tokens
- max: 51 tokens
| - min: 12 tokens
- mean: 31.33 tokens
- max: 51 tokens
| |
* Samples:
| premise | hypothesis | label |
|:-------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------|:---------------|
| Live: ओएसिस स्कूल के प्रिंसिपल और वाइस प्रिंसिपल गिरफ्तार, नीट पेपर लीक मामले में सीबीआई का एक्शन | शादी में क्या रखा है! विवाह के बंधन में बंधने से अब क्यों कतराने लगी हैं लड़कियां? ये हैं 5 कारण | 0 |
| SSC Exam Preparation: एसएससी की तैयारी करने के लिए IIT कानपुर ने लॉन्च किया 'SATHEE SSC' प्लेटफॉर्म | Brain Health: बच्चों के दिमाग को नुकसान पहुंचा रहा शोर, लेटेस्ट स्टडी का चौंकाने वाला दावा | 0 |
| IND vs SL: वनडे में संगाकारा के महारिकॉर्ड पर बड़ा खतरा, विराट कोहली इसे ध्वस्त कर रच देंगे इतिहास | Chandrashekhar: 'कहने आए हैं, सुनना पड़ेगा सबको', जानिए कौन है ये निर्दलीय उम्मीदवार जो संसद में गरज रहा? | 0 |
* Loss: [ContrastiveLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
```json
{
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
"margin": 0.5,
"size_average": true
}
```
### Evaluation Dataset
#### Unnamed Dataset
* Size: 1,500 evaluation samples
* Columns: premise, hypothesis, and label
* Approximate statistics based on the first 1000 samples:
| | premise | hypothesis | label |
|:--------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------|
| type | string | string | int |
| details | - min: 15 tokens
- mean: 31.8 tokens
- max: 51 tokens
| - min: 15 tokens
- mean: 31.86 tokens
- max: 51 tokens
| |
* Samples:
| premise | hypothesis | label |
|:-----------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------|:---------------|
| T20 WC 2024 Semi Final Scenario: टीम इंडिया का बदला पूरा, लेकिन रोहित एंड कंपनी ने कर दी बड़ी मिस्टेक, ऑस्ट्रेलिया के पास मौका | T20 WC 2024 Semi Final Scenario: टीम इंडिया का बदला पूरा, लेकिन रोहित एंड कंपनी ने कर दी बड़ी मिस्टेक, ऑस्ट्रेलिया के पास मौका | 1 |
| Food Poisoning: जान्हवी कपूर को हुआ फूड पॉइजनिंग, 5 घरेलू उपायों से जल्द पाएं राहत | Food Poisoning: जान्हवी कपूर को हुआ फूड पॉइजनिंग, 5 घरेलू उपायों से जल्द पाएं राहत | 1 |
| चाय बेचने वाले के बेटे ने बिना कोचिंग पहली बार में क्रैक किया UPSC, बने IAS ऑफिसर | चाय बेचने वाले के बेटे ने बिना कोचिंग पहली बार में क्रैक किया UPSC, बने IAS ऑफिसर | 1 |
* Loss: [ContrastiveLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
```json
{
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
"margin": 0.5,
"size_average": true
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: steps
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `learning_rate`: 2e-05
- `num_train_epochs`: 10
- `warmup_ratio`: 0.1
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 10
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional