averoo commited on
Commit
b1ca8ca
·
verified ·
1 Parent(s): acc7652

Upload folder using huggingface_hub

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": true,
4
+ "pooling_mode_mean_tokens": false,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
2_Dense/config.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"in_features": 768, "out_features": 768, "bias": true, "activation_function": "torch.nn.modules.activation.Tanh"}
2_Dense/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1d14a899d733ef24ea9ff4c03236ba3ca0f0127963f872413c5a7793edd3deee
3
+ size 2362528
README.md ADDED
@@ -0,0 +1,384 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - generated_from_trainer
7
+ - dataset_size:10044
8
+ - loss:MultipleNegativesRankingLoss
9
+ base_model: sentence-transformers/LaBSE
10
+ widget:
11
+ - source_sentence: Бу улахан уол туох идэлээх буолуом этэ дии саныыгын? — диир.
12
+ sentences:
13
+ - 'Тут проходит поперек свежая тропинка: авось кто-нибудь найдет его, если боги
14
+ Тангха Джылга. предопределили ему жизнь!»'
15
+ - Вот ты, старший сын, как думаешь, в чем твое призвание? — спрашивает.
16
+ - 'Опять удача улыбается им: добывают лису, волка, лося.'
17
+ - source_sentence: Тыл эппэккэ эрэ ыллахха, сэттээх буолар дииллэр.
18
+ sentences:
19
+ - Если заберешь, не сказав речь, то тебя ждет возмездие, говорят.
20
+ - Тогда Кута Бёгё, зажмурив глаза и отведя наверх его локти, еле-как увернулся и
21
+ освободил свою голову.
22
+ - Говорят, что старик Мэхээлэ брал с собой Багдана в качестве работника в Верхневилюйск.
23
+ - source_sentence: 'Ол кэннэ биирдэ эмиэ ойохторо кэпсэтэллэрин истэр: "Киһи бөҕө
24
+ мустан, киһи атаҕа тэпсэн биһиги аастыбыт, туордубут", — дэһэллэр эбит.'
25
+ sentences:
26
+ - 'Потом снова слушает разговор жен: «Много людей собралось, всё скушали, все растоптали,
27
+ а мы изголодались, похудели».'
28
+ - 'Как только старик вышел из дома, прибыл человек на белоснежной лошади, ведущий
29
+ за собой на поводу черного коня. Он привязал коня на коновязи, взял с собой переметную
30
+ суму с пёстрым узором, зашел в дом и спросил: «Ты ли ребенок с молящимися родителями?»,
31
+ тогда мальчишка сказал: «Да».'
32
+ - Его голос постепенно уменьшался и затем стал совсем не слышимым.
33
+ - source_sentence: Онуоха Дьырыбына Дьырылыатта — Бу өлөөрү өһөгөйдөөбүт Өлүү күтүр
34
+ өстөөх Хайдах быһыылаах, Ханнык бадахтаах, Дьүһүн баран үскэллээх Дьиҥ-хаан сэбэрэлээх
35
+ Илэччи эбитий, — диэн Уллуҥаҕын тиҥилэҕиттэн Төбөтүн оройугар дылы, Өрү-һары өрө
36
+ көрөн таһаарбыта - Түбэспэтэх дьүһүннээх, Табыллыбатах дьаһахтаах Аат-дьабын адьырҕата
37
+ эбит.
38
+ sentences:
39
+ - Я считаю, что название озера Далыр возникло именно от этого слова, обозначающего
40
+ плотину.
41
+ - Досыта-доотвала наевшись, Проход звенящий прорубив, Дорогу счастливую открыв,
42
+ Меня благословите-проводите, Умоляю! — сказала.
43
+ - Джырыбына Джырылыатта - — Какой он из себя, Обличье какое имеет Этот смерти жаждущий
44
+ Злодей страшный, Наружности какой, Вида какого Это чудовище, — думая, С ног до
45
+ головы Взглядом прознительным Вверх-вниз разглядывала - Вида неземного, Удела
46
+ незавидного, Мира нижнего хищник, оказывается.
47
+ - source_sentence: Ол Чайда диэн киһи Өлөөҥҥө эргинэр эбит.
48
+ sentences:
49
+ - Этот Чайда занимался торговлей в Оленьке.
50
+ - Камлание получается по-настоящему страстным, ужасающим.
51
+ - Потому их и называют в наших краях людьми с предназначенным видом занятия.
52
+ pipeline_tag: sentence-similarity
53
+ library_name: sentence-transformers
54
+ ---
55
+
56
+ # SentenceTransformer based on sentence-transformers/LaBSE
57
+
58
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
59
+
60
+ ## Model Details
61
+
62
+ ### Model Description
63
+ - **Model Type:** Sentence Transformer
64
+ - **Base model:** [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE) <!-- at revision 836121a0533e5664b21c7aacc5d22951f2b8b25b -->
65
+ - **Maximum Sequence Length:** 256 tokens
66
+ - **Output Dimensionality:** 768 dimensions
67
+ - **Similarity Function:** Cosine Similarity
68
+ <!-- - **Training Dataset:** Unknown -->
69
+ <!-- - **Language:** Unknown -->
70
+ <!-- - **License:** Unknown -->
71
+
72
+ ### Model Sources
73
+
74
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
75
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
76
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
77
+
78
+ ### Full Model Architecture
79
+
80
+ ```
81
+ SentenceTransformer(
82
+ (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel
83
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
84
+ (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
85
+ (3): Normalize()
86
+ )
87
+ ```
88
+
89
+ ## Usage
90
+
91
+ ### Direct Usage (Sentence Transformers)
92
+
93
+ First install the Sentence Transformers library:
94
+
95
+ ```bash
96
+ pip install -U sentence-transformers
97
+ ```
98
+
99
+ Then you can load this model and run inference.
100
+ ```python
101
+ from sentence_transformers import SentenceTransformer
102
+
103
+ # Download from the 🤗 Hub
104
+ model = SentenceTransformer("sentence_transformers_model_id")
105
+ # Run inference
106
+ sentences = [
107
+ 'Ол Чайда диэн киһи Өлөөҥҥө эргинэр эбит.',
108
+ 'Этот Чайда занимался торговлей в Оленьке.',
109
+ 'Камлание получается по-настоящему страстным, ужасающим.',
110
+ ]
111
+ embeddings = model.encode(sentences)
112
+ print(embeddings.shape)
113
+ # [3, 768]
114
+
115
+ # Get the similarity scores for the embeddings
116
+ similarities = model.similarity(embeddings, embeddings)
117
+ print(similarities.shape)
118
+ # [3, 3]
119
+ ```
120
+
121
+ <!--
122
+ ### Direct Usage (Transformers)
123
+
124
+ <details><summary>Click to see the direct usage in Transformers</summary>
125
+
126
+ </details>
127
+ -->
128
+
129
+ <!--
130
+ ### Downstream Usage (Sentence Transformers)
131
+
132
+ You can finetune this model on your own dataset.
133
+
134
+ <details><summary>Click to expand</summary>
135
+
136
+ </details>
137
+ -->
138
+
139
+ <!--
140
+ ### Out-of-Scope Use
141
+
142
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
143
+ -->
144
+
145
+ <!--
146
+ ## Bias, Risks and Limitations
147
+
148
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
149
+ -->
150
+
151
+ <!--
152
+ ### Recommendations
153
+
154
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
155
+ -->
156
+
157
+ ## Training Details
158
+
159
+ ### Training Dataset
160
+
161
+ #### Unnamed Dataset
162
+
163
+ * Size: 10,044 training samples
164
+ * Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
165
+ * Approximate statistics based on the first 1000 samples:
166
+ | | sentence_0 | sentence_1 | label |
167
+ |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:--------------------------------------------------------------|
168
+ | type | string | string | float |
169
+ | details | <ul><li>min: 6 tokens</li><li>mean: 48.81 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 34.94 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 1.0</li><li>mean: 1.0</li><li>max: 1.0</li></ul> |
170
+ * Samples:
171
+ | sentence_0 | sentence_1 | label |
172
+ |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
173
+ | <code>Кинилэр үс уоллаахтар: Күдэҥ Атах, Бахсыгыр Баатыр, Мадьыҥы Төрөнөй.</code> | <code>У них было трое сыновей: Кюдэнг Атах, Бахсыгыр Баатыр, Маджынгы Тёрёнёй.</code> | <code>1.0</code> |
174
+ | <code>Туох да биллибэтэҕэр тоһуурдарын ылан, хоту баран билиҥҥи Далыр нэһилиэгин миэстэтигэр олохсуйан I Үөдүгэйдэри төрүттээбиттэр.</code> | <code>Убедившись, что нет опасности, выходят из засады и направляются на север, обосновываются там на месте нынешнего наслега Далыр и становятся предками I юёдюгяйцев.</code> | <code>1.0</code> |
175
+ | <code>Репертуара: «Үскэль Тойон, Үскэль Хатын оҕонньордоох эмээхсин», «Унньукаан оҕонньор, Унньукаан эмээхинэ» (1 үйэлээх), «Иһит үрдүн иһэ төрөөбүт Эбир эмээхин, айах үрдүн аһыы төрүөбүт Эбириэн оҕонньор», «Буор буойунайа, сир сиилинэйэ, кыргыска миинэр кыһыл буулуур аттаах Айыы Субулла буҕатыыр», «Чой муос саалаах, үүдэһиннээх муос котокоон быһыйалаах Оҕо Тоттокоон буҕатыыр» (1 үйэлээх), «Эскэль тый саҕа эбир күөт ыт эньньэлээх Эрэйдээх-буруйдаах Эр Соҕотох», «Күнтэн-ыйтан тутулуктаах, күөкэри дьаҕыл аттаах Күн Эрили баатыр» (2 үйэлээх), «Олоҥхо төрдө Олоҥхолоон Бөҕө», «Хаптаҕайдыыр түөһүгэр хаардаах бугул саҕа хара көмүс чыыннаах-хааннаах Хара Хаан Тойон оҕоньньор», «Икки дьэргэлгэн күлүк аттаах Элэс Баатыр», «Бэс хара тыаны үрдүнэн мэҥкэйэн көстөр бэки сиэр аттаах Бэриэт Бэргэн, хахдаҥ хара тыаны үрдүнэн халыйан көстөр хаарымтах хара аттаах Халбайа Бөҕө, суонда тураҕас аттаах Суотуйалаан Бөҕө», «Хара көмүс мөһүүрэ дайдылаах Үкэрдээн оҕонньор», «Күөнэ көҕөччөр аттаах Нарын Ньургустай диэн...</code> | <code>Репертуар: «Старик со старухой Юскэль Тойон-Господин и Юскэль Хатын-Госпожа», «Старик Уннюкан и старуха Уннюкан» (1 үйэлээх), «Рябая старуха, рожденная пить только верх напитка, и Пестрый старик, рожденный есть только лучшее из еды», «Могучий все�� Земли, сильнейший Света Айыы Субулла богатырь на красно-чалом боевом коне», «С костяным луком, с костяным ножиком богатырь Малец Тоттокон» (1-поколенное), «Имеющий с крупного двухгодовалого жеребенка рябого пса приданым Многострадальный Эр Соготох», «С солнцем и луной связанный Кюн Эрили Батыр на коне с темными пятнами на лопатках» (2-поколенное), «Ставший истоком олонхо Олонгхолон Сильный», «На плоской груди с копну сена со снегом высокий чин имеющий старик Хара Хан Тойон-Господин», «Имеющий двух маревоподобных коней Элэс Баатыр», «Выше черного соснового бора Бэриэт Меткий на кауром коне, Видный выше буро-черного леса Халбайа Сильный на черном коне, Суотуйалан Сильный на гнедом коне», «Юкэрдэн Старик со страной, блистающей словно чернёное се...</code> | <code>1.0</code> |
176
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
177
+ ```json
178
+ {
179
+ "scale": 20.0,
180
+ "similarity_fct": "cos_sim"
181
+ }
182
+ ```
183
+
184
+ ### Training Hyperparameters
185
+ #### Non-Default Hyperparameters
186
+
187
+ - `eval_strategy`: steps
188
+ - `per_device_train_batch_size`: 12
189
+ - `per_device_eval_batch_size`: 12
190
+ - `num_train_epochs`: 1
191
+ - `fp16`: True
192
+ - `multi_dataset_batch_sampler`: round_robin
193
+
194
+ #### All Hyperparameters
195
+ <details><summary>Click to expand</summary>
196
+
197
+ - `overwrite_output_dir`: False
198
+ - `do_predict`: False
199
+ - `eval_strategy`: steps
200
+ - `prediction_loss_only`: True
201
+ - `per_device_train_batch_size`: 12
202
+ - `per_device_eval_batch_size`: 12
203
+ - `per_gpu_train_batch_size`: None
204
+ - `per_gpu_eval_batch_size`: None
205
+ - `gradient_accumulation_steps`: 1
206
+ - `eval_accumulation_steps`: None
207
+ - `torch_empty_cache_steps`: None
208
+ - `learning_rate`: 5e-05
209
+ - `weight_decay`: 0.0
210
+ - `adam_beta1`: 0.9
211
+ - `adam_beta2`: 0.999
212
+ - `adam_epsilon`: 1e-08
213
+ - `max_grad_norm`: 1
214
+ - `num_train_epochs`: 1
215
+ - `max_steps`: -1
216
+ - `lr_scheduler_type`: linear
217
+ - `lr_scheduler_kwargs`: {}
218
+ - `warmup_ratio`: 0.0
219
+ - `warmup_steps`: 0
220
+ - `log_level`: passive
221
+ - `log_level_replica`: warning
222
+ - `log_on_each_node`: True
223
+ - `logging_nan_inf_filter`: True
224
+ - `save_safetensors`: True
225
+ - `save_on_each_node`: False
226
+ - `save_only_model`: False
227
+ - `restore_callback_states_from_checkpoint`: False
228
+ - `no_cuda`: False
229
+ - `use_cpu`: False
230
+ - `use_mps_device`: False
231
+ - `seed`: 42
232
+ - `data_seed`: None
233
+ - `jit_mode_eval`: False
234
+ - `use_ipex`: False
235
+ - `bf16`: False
236
+ - `fp16`: True
237
+ - `fp16_opt_level`: O1
238
+ - `half_precision_backend`: auto
239
+ - `bf16_full_eval`: False
240
+ - `fp16_full_eval`: False
241
+ - `tf32`: None
242
+ - `local_rank`: 0
243
+ - `ddp_backend`: None
244
+ - `tpu_num_cores`: None
245
+ - `tpu_metrics_debug`: False
246
+ - `debug`: []
247
+ - `dataloader_drop_last`: False
248
+ - `dataloader_num_workers`: 0
249
+ - `dataloader_prefetch_factor`: None
250
+ - `past_index`: -1
251
+ - `disable_tqdm`: False
252
+ - `remove_unused_columns`: True
253
+ - `label_names`: None
254
+ - `load_best_model_at_end`: False
255
+ - `ignore_data_skip`: False
256
+ - `fsdp`: []
257
+ - `fsdp_min_num_params`: 0
258
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
259
+ - `tp_size`: 0
260
+ - `fsdp_transformer_layer_cls_to_wrap`: None
261
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
262
+ - `deepspeed`: None
263
+ - `label_smoothing_factor`: 0.0
264
+ - `optim`: adamw_torch
265
+ - `optim_args`: None
266
+ - `adafactor`: False
267
+ - `group_by_length`: False
268
+ - `length_column_name`: length
269
+ - `ddp_find_unused_parameters`: None
270
+ - `ddp_bucket_cap_mb`: None
271
+ - `ddp_broadcast_buffers`: False
272
+ - `dataloader_pin_memory`: True
273
+ - `dataloader_persistent_workers`: False
274
+ - `skip_memory_metrics`: True
275
+ - `use_legacy_prediction_loop`: False
276
+ - `push_to_hub`: False
277
+ - `resume_from_checkpoint`: None
278
+ - `hub_model_id`: None
279
+ - `hub_strategy`: every_save
280
+ - `hub_private_repo`: None
281
+ - `hub_always_push`: False
282
+ - `gradient_checkpointing`: False
283
+ - `gradient_checkpointing_kwargs`: None
284
+ - `include_inputs_for_metrics`: False
285
+ - `include_for_metrics`: []
286
+ - `eval_do_concat_batches`: True
287
+ - `fp16_backend`: auto
288
+ - `push_to_hub_model_id`: None
289
+ - `push_to_hub_organization`: None
290
+ - `mp_parameters`:
291
+ - `auto_find_batch_size`: False
292
+ - `full_determinism`: False
293
+ - `torchdynamo`: None
294
+ - `ray_scope`: last
295
+ - `ddp_timeout`: 1800
296
+ - `torch_compile`: False
297
+ - `torch_compile_backend`: None
298
+ - `torch_compile_mode`: None
299
+ - `include_tokens_per_second`: False
300
+ - `include_num_input_tokens_seen`: False
301
+ - `neftune_noise_alpha`: None
302
+ - `optim_target_modules`: None
303
+ - `batch_eval_metrics`: False
304
+ - `eval_on_start`: False
305
+ - `use_liger_kernel`: False
306
+ - `eval_use_gather_object`: False
307
+ - `average_tokens_across_devices`: False
308
+ - `prompts`: None
309
+ - `batch_sampler`: batch_sampler
310
+ - `multi_dataset_batch_sampler`: round_robin
311
+
312
+ </details>
313
+
314
+ ### Training Logs
315
+ | Epoch | Step | Training Loss |
316
+ |:------:|:----:|:-------------:|
317
+ | 0.0597 | 50 | - |
318
+ | 0.1195 | 100 | - |
319
+ | 0.1792 | 150 | - |
320
+ | 0.2389 | 200 | - |
321
+ | 0.2987 | 250 | - |
322
+ | 0.3584 | 300 | - |
323
+ | 0.4182 | 350 | - |
324
+ | 0.4779 | 400 | - |
325
+ | 0.5376 | 450 | - |
326
+ | 0.5974 | 500 | 0.2378 |
327
+ | 0.6571 | 550 | - |
328
+
329
+
330
+ ### Framework Versions
331
+ - Python: 3.12.10
332
+ - Sentence Transformers: 4.1.0
333
+ - Transformers: 4.51.3
334
+ - PyTorch: 2.6.0+cu124
335
+ - Accelerate: 1.8.1
336
+ - Datasets: 3.6.0
337
+ - Tokenizers: 0.21.1
338
+
339
+ ## Citation
340
+
341
+ ### BibTeX
342
+
343
+ #### Sentence Transformers
344
+ ```bibtex
345
+ @inproceedings{reimers-2019-sentence-bert,
346
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
347
+ author = "Reimers, Nils and Gurevych, Iryna",
348
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
349
+ month = "11",
350
+ year = "2019",
351
+ publisher = "Association for Computational Linguistics",
352
+ url = "https://arxiv.org/abs/1908.10084",
353
+ }
354
+ ```
355
+
356
+ #### MultipleNegativesRankingLoss
357
+ ```bibtex
358
+ @misc{henderson2017efficient,
359
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
360
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
361
+ year={2017},
362
+ eprint={1705.00652},
363
+ archivePrefix={arXiv},
364
+ primaryClass={cs.CL}
365
+ }
366
+ ```
367
+
368
+ <!--
369
+ ## Glossary
370
+
371
+ *Clearly define terms in order to be accessible across audiences.*
372
+ -->
373
+
374
+ <!--
375
+ ## Model Card Authors
376
+
377
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
378
+ -->
379
+
380
+ <!--
381
+ ## Model Card Contact
382
+
383
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
384
+ -->
config.json ADDED
@@ -0,0 +1,31 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "BertModel"
4
+ ],
5
+ "attention_probs_dropout_prob": 0.1,
6
+ "classifier_dropout": null,
7
+ "directionality": "bidi",
8
+ "gradient_checkpointing": false,
9
+ "hidden_act": "gelu",
10
+ "hidden_dropout_prob": 0.1,
11
+ "hidden_size": 768,
12
+ "initializer_range": 0.02,
13
+ "intermediate_size": 3072,
14
+ "layer_norm_eps": 1e-12,
15
+ "max_position_embeddings": 512,
16
+ "model_type": "bert",
17
+ "num_attention_heads": 12,
18
+ "num_hidden_layers": 12,
19
+ "pad_token_id": 0,
20
+ "pooler_fc_size": 768,
21
+ "pooler_num_attention_heads": 12,
22
+ "pooler_num_fc_layers": 3,
23
+ "pooler_size_per_head": 128,
24
+ "pooler_type": "first_token_transform",
25
+ "position_embedding_type": "absolute",
26
+ "torch_dtype": "float32",
27
+ "transformers_version": "4.51.3",
28
+ "type_vocab_size": 2,
29
+ "use_cache": true,
30
+ "vocab_size": 501153
31
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "4.1.0",
4
+ "transformers": "4.51.3",
5
+ "pytorch": "2.6.0+cu124"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:30b871447a2cbe79034fe853310196c414354e5a9ead9bb3dc5d4349c27f932c
3
+ size 1883730160
modules.json ADDED
@@ -0,0 +1,26 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Dense",
18
+ "type": "sentence_transformers.models.Dense"
19
+ },
20
+ {
21
+ "idx": 3,
22
+ "name": "3",
23
+ "path": "3_Normalize",
24
+ "type": "sentence_transformers.models.Normalize"
25
+ }
26
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 256,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:92262b29204f8fdc169a63f9005a0e311a16262cef4d96ecfe2a7ed638662ed3
3
+ size 13632172
tokenizer_config.json ADDED
@@ -0,0 +1,59 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[PAD]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "100": {
12
+ "content": "[UNK]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "101": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "102": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "103": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "clean_up_tokenization_spaces": false,
45
+ "cls_token": "[CLS]",
46
+ "do_basic_tokenize": true,
47
+ "do_lower_case": false,
48
+ "extra_special_tokens": {},
49
+ "full_tokenizer_file": null,
50
+ "mask_token": "[MASK]",
51
+ "model_max_length": 256,
52
+ "never_split": null,
53
+ "pad_token": "[PAD]",
54
+ "sep_token": "[SEP]",
55
+ "strip_accents": null,
56
+ "tokenize_chinese_chars": true,
57
+ "tokenizer_class": "BertTokenizer",
58
+ "unk_token": "[UNK]"
59
+ }
vocab.txt ADDED
The diff for this file is too large to render. See raw diff