CrossEncoder based on cross-encoder/ms-marco-MiniLM-L6-v2

This is a Cross Encoder model finetuned from cross-encoder/ms-marco-MiniLM-L6-v2 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

Model Type: Cross Encoder
Base model: cross-encoder/ms-marco-MiniLM-L6-v2
Maximum Sequence Length: 512 tokens
Number of Output Labels: 1 label
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Documentation: Cross Encoder Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Cross Encoders on Hugging Face

Full Model Architecture

CrossEncoder(
  (0): Transformer({'transformer_task': 'sequence-classification', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'logits'}}, 'module_output_name': 'scores', 'architecture': 'BertForSequenceClassification'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of inputs
pairs = [
    ['skill: use of special equipment for daily activities', 'skill: use of special equipment for daily activities'],
    ['skill: use of special equipment for daily activities', 'skill: operate video equipment'],
    ['skill: use of special equipment for daily activities', 'skill: use equipment, tools or technology with precision'],
    ['skill: use of special equipment for daily activities', 'skill: operate emergency equipment'],
    ['skill: use of special equipment for daily activities', 'skill: monitor sports equipment'],
]
scores = model.predict(pairs)
print(scores)
# [ 8.5757 -7.8594 -6.9781 -5.8253 -7.199 ]

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'skill: use of special equipment for daily activities',
    [
        'skill: use of special equipment for daily activities',
        'skill: operate video equipment',
        'skill: use equipment, tools or technology with precision',
        'skill: operate emergency equipment',
        'skill: monitor sports equipment',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Training Details

Training Dataset

Unnamed Dataset

Size: 283,415 training samples
Columns: sentence_A, sentence_B, and label

Approximate statistics based on the first 100 samples:

	sentence_A	sentence_B	label
type	string	string	float
modality	text	text
details	min: 7 tokens mean: 8.45 tokens max: 11 tokens	min: 6 tokens mean: 7.85 tokens max: 13 tokens	min: 0.0 mean: 0.2 max: 1.0

Samples:

sentence_A	sentence_B	label
`skill: manage staff of music`	`skill: manage musical staff`	`1.0`
`skill: manage staff of music`	`skill: organise rehearsals`	`0.0`
`skill: manage staff of music`	`skill: maintain musical instruments`	`0.0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

Evaluation Dataset

Unnamed Dataset

Size: 34,418 evaluation samples
Columns: sentence_A, sentence_B, and label

Approximate statistics based on the first 100 samples:

	sentence_A	sentence_B	label
type	string	string	float
modality	text	text
details	min: 8 tokens mean: 11.33 tokens max: 13 tokens	min: 5 tokens mean: 8.41 tokens max: 13 tokens	min: 0.0 mean: 0.2 max: 1.0

Samples:

sentence_A	sentence_B	label
`skill: use of special equipment for daily activities`	`skill: use of special equipment for daily activities`	`1.0`
`skill: use of special equipment for daily activities`	`skill: operate video equipment`	`0.0`
`skill: use of special equipment for daily activities`	`skill: use equipment, tools or technology with precision`	`0.0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 32
num_train_epochs: 2
learning_rate: 2e-05
warmup_steps: 0.1
per_device_eval_batch_size: 64
load_best_model_at_end: True

All Hyperparameters

Click to expand

per_device_train_batch_size: 32
num_train_epochs: 2
max_steps: -1
learning_rate: 2e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.1
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: False
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: None
trackio_bucket_id: None
trackio_static_space_id: None
per_device_eval_batch_size: 64
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: True
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_static_graph: None
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0023	20	0.4945	-
0.0045	40	0.5814	-
0.0068	60	0.4900	-
0.0090	80	0.4532	-
0.0113	100	0.4510	-
0.0135	120	0.4708	-
0.0158	140	0.4406	-
0.0181	160	0.4294	-
0.0203	180	0.3748	-
0.0226	200	0.3760	-
0.0248	220	0.3945	-
0.0271	240	0.4406	-
0.0294	260	0.3153	-
0.0316	280	0.3202	-
0.0339	300	0.3955	-
0.0361	320	0.3547	-
0.0384	340	0.3655	-
0.0406	360	0.3811	-
0.0429	380	0.3332	-
0.0452	400	0.2908	-
0.0474	420	0.3522	-
0.0497	440	0.3322	-
0.0519	460	0.3463	-
0.0542	480	0.2666	-
0.0565	500	0.2772	-
0.0587	520	0.2814	-
0.0610	540	0.3095	-
0.0632	560	0.2890	-
0.0655	580	0.2824	-
0.0677	600	0.3377	-
0.0700	620	0.2890	-
0.0723	640	0.2661	-
0.0745	660	0.2162	-
0.0768	680	0.2519	-
0.0790	700	0.2464	-
0.0813	720	0.2898	-
0.0835	740	0.2385	-
0.0858	760	0.2492	-
0.0881	780	0.2343	-
0.0903	800	0.2691	-
0.0926	820	0.2163	-
0.0948	840	0.2362	-
0.0971	860	0.2244	-
0.0994	880	0.2147	-
0.1016	900	0.2375	-
0.1039	920	0.2537	-
0.1061	940	0.2291	-
0.1084	960	0.2029	-
0.1106	980	0.2219	-
0.1129	1000	0.1910	-
0.1152	1020	0.2092	-
0.1174	1040	0.1966	-
0.1197	1060	0.2249	-
0.1219	1080	0.2290	-
0.1242	1100	0.1976	-
0.1265	1120	0.1818	-
0.1287	1140	0.1805	-
0.1310	1160	0.1880	-
0.1332	1180	0.2199	-
0.1355	1200	0.2392	-
0.1377	1220	0.1599	-
0.1400	1240	0.1999	-
0.1423	1260	0.2348	-
0.1445	1280	0.1560	-
0.1468	1300	0.1861	-
0.1490	1320	0.1938	-
0.1513	1340	0.1848	-
0.1536	1360	0.2324	-
0.1558	1380	0.2084	-
0.1581	1400	0.1831	-
0.1603	1420	0.1802	-
0.1626	1440	0.1447	-
0.1648	1460	0.2033	-
0.1671	1480	0.1721	-
0.1694	1500	0.2134	-
0.1716	1520	0.2015	-
0.1739	1540	0.1892	-
0.1761	1560	0.2068	-
0.1784	1580	0.1787	-
0.1806	1600	0.1754	-
0.1829	1620	0.1681	-
0.1852	1640	0.1588	-
0.1874	1660	0.2201	-
0.1897	1680	0.1788	-
0.1919	1700	0.1746	-
0.1942	1720	0.1732	-
0.1965	1740	0.1969	-
0.1987	1760	0.1852	-
0.2010	1780	0.1598	-
0.2032	1800	0.1455	-
0.2055	1820	0.1830	-
0.2077	1840	0.1553	-
0.2100	1860	0.1480	-
0.2123	1880	0.2060	-
0.2145	1900	0.1517	-
0.2168	1920	0.2047	-
0.2190	1940	0.1517	-
0.2213	1960	0.1661	-
0.2236	1980	0.1666	-
0.2258	2000	0.1290	-
0.2281	2020	0.1552	-
0.2303	2040	0.2184	-
0.2326	2060	0.1682	-
0.2348	2080	0.1502	-
0.2371	2100	0.1523	-
0.2394	2120	0.1794	-
0.2416	2140	0.1937	-
0.2439	2160	0.1570	-
0.2461	2180	0.1530	-
0.2484	2200	0.1645	-
0.2506	2220	0.1873	-
0.2529	2240	0.1717	-
0.2552	2260	0.1564	-
0.2574	2280	0.1497	-
0.2597	2300	0.1561	-
0.2619	2320	0.1201	-
0.2642	2340	0.2274	-
0.2665	2360	0.1468	-
0.2687	2380	0.1456	-
0.2710	2400	0.1242	-
0.2732	2420	0.1498	-
0.2755	2440	0.1619	-
0.2777	2460	0.1763	-
0.2800	2480	0.1414	-
0.2823	2500	0.1708	-
0.2845	2520	0.1596	-
0.2868	2540	0.1359	-
0.2890	2560	0.1283	-
0.2913	2580	0.1325	-
0.2936	2600	0.1607	-
0.2958	2620	0.1781	-
0.2981	2640	0.1578	-
0.3003	2660	0.1379	-
0.3026	2680	0.1642	-
0.3048	2700	0.1552	-
0.3071	2720	0.1390	-
0.3094	2740	0.1557	-
0.3116	2760	0.1420	-
0.3139	2780	0.1280	-
0.3161	2800	0.1271	-
0.3184	2820	0.1747	-
0.3207	2840	0.1283	-
0.3229	2860	0.1390	-
0.3252	2880	0.1510	-
0.3274	2900	0.1681	-
0.3297	2920	0.1430	-
0.3319	2940	0.1513	-
0.3342	2960	0.1805	-
0.3365	2980	0.1706	-
0.3387	3000	0.1291	-
0.3410	3020	0.1470	-
0.3432	3040	0.1562	-
0.3455	3060	0.1521	-
0.3477	3080	0.1132	-
0.3500	3100	0.1429	-
0.3523	3120	0.1430	-
0.3545	3140	0.1661	-
0.3568	3160	0.1487	-
0.3590	3180	0.1683	-
0.3613	3200	0.1823	-
0.3636	3220	0.1339	-
0.3658	3240	0.1568	-
0.3681	3260	0.1368	-
0.3703	3280	0.1491	-
0.3726	3300	0.1514	-
0.3748	3320	0.1433	-
0.3771	3340	0.1454	-
0.3794	3360	0.1558	-
0.3816	3380	0.1500	-
0.3839	3400	0.1257	-
0.3861	3420	0.1762	-
0.3884	3440	0.1323	-
0.3907	3460	0.1443	-
0.3929	3480	0.1413	-
0.3952	3500	0.1669	-
0.3974	3520	0.1279	-
0.3997	3540	0.1332	-
0.4019	3560	0.1811	-
0.4042	3580	0.1132	-
0.4065	3600	0.1251	-
0.4087	3620	0.1556	-
0.4110	3640	0.1323	-
0.4132	3660	0.1841	-
0.4155	3680	0.1688	-
0.4177	3700	0.1385	-
0.4200	3720	0.1584	-
0.4223	3740	0.1265	-
0.4245	3760	0.1058	-
0.4268	3780	0.1738	-
0.4290	3800	0.1296	-
0.4313	3820	0.1441	-
0.4336	3840	0.1558	-
0.4358	3860	0.1603	-
0.4381	3880	0.1354	-
0.4403	3900	0.1338	-
0.4426	3920	0.1180	-
0.4448	3940	0.1624	-
0.4471	3960	0.1540	-
0.4494	3980	0.1357	-
0.4516	4000	0.1196	-
0.4539	4020	0.1317	-
0.4561	4040	0.1443	-
0.4584	4060	0.1319	-
0.4607	4080	0.1500	-
0.4629	4100	0.1211	-
0.4652	4120	0.1310	-
0.4674	4140	0.1687	-
0.4697	4160	0.1633	-
0.4719	4180	0.1483	-
0.4742	4200	0.1402	-
0.4765	4220	0.1370	-
0.4787	4240	0.1321	-
0.4810	4260	0.1663	-
0.4832	4280	0.1466	-
0.4855	4300	0.1649	-
0.4877	4320	0.1551	-
0.4900	4340	0.1354	-
0.4923	4360	0.1291	-
0.4945	4380	0.1232	-
0.4968	4400	0.1394	-
0.4990	4420	0.1711	-
0.5013	4440	0.1653	-
0.5036	4460	0.1330	-
0.5058	4480	0.1494	-
0.5081	4500	0.1388	-
0.5103	4520	0.1470	-
0.5126	4540	0.1119	-
0.5148	4560	0.1531	-
0.5171	4580	0.1106	-
0.5194	4600	0.2071	-
0.5216	4620	0.1406	-
0.5239	4640	0.1233	-
0.5261	4660	0.1739	-
0.5284	4680	0.1433	-
0.5307	4700	0.1252	-
0.5329	4720	0.1283	-
0.5352	4740	0.1451	-
0.5374	4760	0.1434	-
0.5397	4780	0.1361	-
0.5419	4800	0.1687	-
0.5442	4820	0.1444	-
0.5465	4840	0.1311	-
0.5487	4860	0.1135	-
0.5510	4880	0.1355	-
0.5532	4900	0.1528	-
0.5555	4920	0.1135	-
0.5578	4940	0.1578	-
0.5600	4960	0.1139	-
0.5623	4980	0.1376	-
0.5645	5000	0.1575	-
0.5668	5020	0.1294	-
0.5690	5040	0.1731	-
0.5713	5060	0.1345	-
0.5736	5080	0.1110	-
0.5758	5100	0.1241	-
0.5781	5120	0.1370	-
0.5803	5140	0.1249	-
0.5826	5160	0.1276	-
0.5848	5180	0.1528	-
0.5871	5200	0.1595	-
0.5894	5220	0.1519	-
0.5916	5240	0.1180	-
0.5939	5260	0.1602	-
0.5961	5280	0.1305	-
0.5984	5300	0.1492	-
0.6007	5320	0.1263	-
0.6029	5340	0.1221	-
0.6052	5360	0.1628	-
0.6074	5380	0.1306	-
0.6097	5400	0.1137	-
0.6119	5420	0.1270	-
0.6142	5440	0.1037	-
0.6165	5460	0.1423	-
0.6187	5480	0.1422	-
0.6210	5500	0.1155	-
0.6232	5520	0.1124	-
0.6255	5540	0.1462	-
0.6278	5560	0.1470	-
0.6300	5580	0.1272	-
0.6323	5600	0.1404	-
0.6345	5620	0.1574	-
0.6368	5640	0.1287	-
0.6390	5660	0.1496	-
0.6413	5680	0.1319	-
0.6436	5700	0.1390	-
0.6458	5720	0.1259	-
0.6481	5740	0.1436	-
0.6503	5760	0.1211	-
0.6526	5780	0.1403	-
0.6548	5800	0.1421	-
0.6571	5820	0.1278	-
0.6594	5840	0.1487	-
0.6616	5860	0.1401	-
0.6639	5880	0.1323	-
0.6661	5900	0.1278	-
0.6684	5920	0.1219	-
0.6707	5940	0.1246	-
0.6729	5960	0.1193	-
0.6752	5980	0.0992	-
0.6774	6000	0.1137	-
0.6797	6020	0.1702	-
0.6819	6040	0.1462	-
0.6842	6060	0.1049	-
0.6865	6080	0.1337	-
0.6887	6100	0.1140	-
0.6910	6120	0.1368	-
0.6932	6140	0.1072	-
0.6955	6160	0.1331	-
0.6978	6180	0.1227	-
0.7000	6200	0.1127	-
0.7023	6220	0.1252	-
0.7045	6240	0.1724	-
0.7068	6260	0.1308	-
0.7090	6280	0.1271	-
0.7113	6300	0.1724	-
0.7136	6320	0.1022	-
0.7158	6340	0.1369	-
0.7181	6360	0.1276	-
0.7203	6380	0.1403	-
0.7226	6400	0.1170	-
0.7249	6420	0.1371	-
0.7271	6440	0.1306	-
0.7294	6460	0.1096	-
0.7316	6480	0.1315	-
0.7339	6500	0.1252	-
0.7361	6520	0.1422	-
0.7384	6540	0.1196	-
0.7407	6560	0.1099	-
0.7429	6580	0.1171	-
0.7452	6600	0.1233	-
0.7474	6620	0.0988	-
0.7497	6640	0.1336	-
0.7519	6660	0.0951	-
0.7542	6680	0.1177	-
0.7565	6700	0.0891	-
0.7587	6720	0.1037	-
0.7610	6740	0.1575	-
0.7632	6760	0.1627	-
0.7655	6780	0.1356	-
0.7678	6800	0.1255	-
0.7700	6820	0.1293	-
0.7723	6840	0.1727	-
0.7745	6860	0.1350	-
0.7768	6880	0.1088	-
0.7790	6900	0.1652	-
0.7813	6920	0.1203	-
0.7836	6940	0.1429	-
0.7858	6960	0.1123	-
0.7881	6980	0.1092	-
0.7903	7000	0.1393	-
0.7926	7020	0.1178	-
0.7949	7040	0.1455	-
0.7971	7060	0.0992	-
0.7994	7080	0.1120	-
0.8016	7100	0.0971	-
0.8039	7120	0.1360	-
0.8061	7140	0.0997	-
0.8084	7160	0.1633	-
0.8107	7180	0.1419	-
0.8129	7200	0.1224	-
0.8152	7220	0.1470	-
0.8174	7240	0.1263	-
0.8197	7260	0.1213	-
0.8219	7280	0.1290	-
0.8242	7300	0.1110	-
0.8265	7320	0.1044	-
0.8287	7340	0.1656	-
0.8310	7360	0.0940	-
0.8332	7380	0.1162	-
0.8355	7400	0.1086	-
0.8378	7420	0.1364	-
0.8400	7440	0.1590	-
0.8423	7460	0.1254	-
0.8445	7480	0.1517	-
0.8468	7500	0.0943	-
0.8490	7520	0.1306	-
0.8513	7540	0.1311	-
0.8536	7560	0.1224	-
0.8558	7580	0.1499	-
0.8581	7600	0.1072	-
0.8603	7620	0.1057	-
0.8626	7640	0.1218	-
0.8649	7660	0.1343	-
0.8671	7680	0.1349	-
0.8694	7700	0.1291	-
0.8716	7720	0.1327	-
0.8739	7740	0.1035	-
0.8761	7760	0.1448	-
0.8784	7780	0.1005	-
0.8807	7800	0.1217	-
0.8829	7820	0.1223	-
0.8852	7840	0.1114	-
0.8874	7860	0.1353	-
0.8897	7880	0.1141	-
0.8919	7900	0.1248	-
0.8942	7920	0.1036	-
0.8965	7940	0.0982	-
0.8987	7960	0.1362	-
0.9010	7980	0.1182	-
0.9032	8000	0.1383	-
0.9055	8020	0.1370	-
0.9078	8040	0.1169	-
0.9100	8060	0.0959	-
0.9123	8080	0.0732	-
0.9145	8100	0.1126	-
0.9168	8120	0.1227	-
0.9190	8140	0.1126	-
0.9213	8160	0.1022	-
0.9236	8180	0.1191	-
0.9258	8200	0.1457	-
0.9281	8220	0.1202	-
0.9303	8240	0.1145	-
0.9326	8260	0.0986	-
0.9349	8280	0.0958	-
0.9371	8300	0.1480	-
0.9394	8320	0.1400	-
0.9416	8340	0.1376	-
0.9439	8360	0.1054	-
0.9461	8380	0.1011	-
0.9484	8400	0.1038	-
0.9507	8420	0.0979	-
0.9529	8440	0.1616	-
0.9552	8460	0.1278	-
0.9574	8480	0.1015	-
0.9597	8500	0.1243	-
0.9620	8520	0.1362	-
0.9642	8540	0.1359	-
0.9665	8560	0.1193	-
0.9687	8580	0.1196	-
0.9710	8600	0.1054	-
0.9732	8620	0.1232	-
0.9755	8640	0.1002	-
0.9778	8660	0.0965	-
0.9800	8680	0.1028	-
0.9823	8700	0.1397	-
0.9845	8720	0.1200	-
0.9868	8740	0.0920	-
0.9890	8760	0.1367	-
0.9913	8780	0.1617	-
0.9936	8800	0.1338	-
0.9958	8820	0.1117	-
0.9981	8840	0.1112	-
1.0	8857	-	0.1138
1.0003	8860	0.1318	-
1.0026	8880	0.1170	-
1.0049	8900	0.0952	-
1.0071	8920	0.1078	-
1.0094	8940	0.1323	-
1.0116	8960	0.1111	-
1.0139	8980	0.0896	-
1.0161	9000	0.1427	-
1.0184	9020	0.0992	-
1.0207	9040	0.1147	-
1.0229	9060	0.1189	-
1.0252	9080	0.1000	-
1.0274	9100	0.1109	-
1.0297	9120	0.1330	-
1.0320	9140	0.1189	-
1.0342	9160	0.1119	-
1.0365	9180	0.1110	-
1.0387	9200	0.0986	-
1.0410	9220	0.1108	-
1.0432	9240	0.1427	-
1.0455	9260	0.0963	-
1.0478	9280	0.1274	-
1.0500	9300	0.1261	-
1.0523	9320	0.1477	-
1.0545	9340	0.1275	-
1.0568	9360	0.1139	-
1.0590	9380	0.1334	-
1.0613	9400	0.0853	-
1.0636	9420	0.0856	-
1.0658	9440	0.1072	-
1.0681	9460	0.1045	-
1.0703	9480	0.0933	-
1.0726	9500	0.1254	-
1.0749	9520	0.1021	-
1.0771	9540	0.0958	-
1.0794	9560	0.0975	-
1.0816	9580	0.0982	-
1.0839	9600	0.0738	-
1.0861	9620	0.1104	-
1.0884	9640	0.1209	-
1.0907	9660	0.1280	-
1.0929	9680	0.1378	-
1.0952	9700	0.0999	-
1.0974	9720	0.0969	-
1.0997	9740	0.1085	-
1.1020	9760	0.1081	-
1.1042	9780	0.0985	-
1.1065	9800	0.1394	-
1.1087	9820	0.1111	-
1.1110	9840	0.1032	-
1.1132	9860	0.1120	-
1.1155	9880	0.1087	-
1.1178	9900	0.1040	-
1.1200	9920	0.0948	-
1.1223	9940	0.1622	-
1.1245	9960	0.1368	-
1.1268	9980	0.0978	-
1.1291	10000	0.0758	-
1.1313	10020	0.1054	-
1.1336	10040	0.1060	-
1.1358	10060	0.1152	-
1.1381	10080	0.1185	-
1.1403	10100	0.0690	-
1.1426	10120	0.0663	-
1.1449	10140	0.1041	-
1.1471	10160	0.1079	-
1.1494	10180	0.1245	-
1.1516	10200	0.1174	-
1.1539	10220	0.0915	-
1.1561	10240	0.1252	-
1.1584	10260	0.1389	-
1.1607	10280	0.1086	-
1.1629	10300	0.1176	-
1.1652	10320	0.1017	-
1.1674	10340	0.1271	-
1.1697	10360	0.1278	-
1.1720	10380	0.0998	-
1.1742	10400	0.0915	-
1.1765	10420	0.0814	-
1.1787	10440	0.1152	-
1.1810	10460	0.1172	-
1.1832	10480	0.1219	-
1.1855	10500	0.1186	-
1.1878	10520	0.1081	-
1.1900	10540	0.1092	-
1.1923	10560	0.1238	-
1.1945	10580	0.1159	-
1.1968	10600	0.1150	-
1.1991	10620	0.1342	-
1.2013	10640	0.1021	-
1.2036	10660	0.0953	-
1.2058	10680	0.0941	-
1.2081	10700	0.1365	-
1.2103	10720	0.1385	-
1.2126	10740	0.1116	-
1.2149	10760	0.1229	-
1.2171	10780	0.0656	-
1.2194	10800	0.1187	-
1.2216	10820	0.1270	-
1.2239	10840	0.1027	-
1.2261	10860	0.1329	-
1.2284	10880	0.1249	-
1.2307	10900	0.0962	-
1.2329	10920	0.1043	-
1.2352	10940	0.1217	-
1.2374	10960	0.0724	-
1.2397	10980	0.1017	-
1.2420	11000	0.1331	-
1.2442	11020	0.0755	-
1.2465	11040	0.1111	-
1.2487	11060	0.1329	-
1.2510	11080	0.1043	-
1.2532	11100	0.1207	-
1.2555	11120	0.0943	-
1.2578	11140	0.1030	-
1.2600	11160	0.0963	-
1.2623	11180	0.1308	-
1.2645	11200	0.0875	-
1.2668	11220	0.1386	-
1.2691	11240	0.1252	-
1.2713	11260	0.1217	-
1.2736	11280	0.1075	-
1.2758	11300	0.1115	-
1.2781	11320	0.1213	-
1.2803	11340	0.1037	-
1.2826	11360	0.0976	-
1.2849	11380	0.0890	-
1.2871	11400	0.1561	-
1.2894	11420	0.1210	-
1.2916	11440	0.1382	-
1.2939	11460	0.0879	-
1.2961	11480	0.1088	-
1.2984	11500	0.1186	-
1.3007	11520	0.1158	-
1.3029	11540	0.1088	-
1.3052	11560	0.1164	-
1.3074	11580	0.1281	-
1.3097	11600	0.1169	-
1.3120	11620	0.1248	-
1.3142	11640	0.0721	-
1.3165	11660	0.1261	-
1.3187	11680	0.0934	-
1.3210	11700	0.1061	-
1.3232	11720	0.1508	-
1.3255	11740	0.1074	-
1.3278	11760	0.0709	-
1.3300	11780	0.1113	-
1.3323	11800	0.0970	-
1.3345	11820	0.1075	-
1.3368	11840	0.0935	-
1.3391	11860	0.1137	-
1.3413	11880	0.1068	-
1.3436	11900	0.1194	-
1.3458	11920	0.1460	-
1.3481	11940	0.0848	-
1.3503	11960	0.1333	-
1.3526	11980	0.1050	-
1.3549	12000	0.1189	-
1.3571	12020	0.0984	-
1.3594	12040	0.1262	-
1.3616	12060	0.0903	-
1.3639	12080	0.1015	-
1.3662	12100	0.1291	-
1.3684	12120	0.0797	-
1.3707	12140	0.1014	-
1.3729	12160	0.0735	-
1.3752	12180	0.0878	-
1.3774	12200	0.0928	-
1.3797	12220	0.1198	-
1.3820	12240	0.1146	-
1.3842	12260	0.1019	-
1.3865	12280	0.0952	-
1.3887	12300	0.0986	-
1.3910	12320	0.1266	-
1.3932	12340	0.1120	-
1.3955	12360	0.0761	-
1.3978	12380	0.1164	-
1.4000	12400	0.1285	-
1.4023	12420	0.1286	-
1.4045	12440	0.1119	-
1.4068	12460	0.1121	-
1.4091	12480	0.1134	-
1.4113	12500	0.1212	-
1.4136	12520	0.1186	-
1.4158	12540	0.1504	-
1.4181	12560	0.1069	-
1.4203	12580	0.0910	-
1.4226	12600	0.1152	-
1.4249	12620	0.0944	-
1.4271	12640	0.0904	-
1.4294	12660	0.0922	-
1.4316	12680	0.1103	-
1.4339	12700	0.1102	-
1.4362	12720	0.0846	-
1.4384	12740	0.1093	-
1.4407	12760	0.0939	-
1.4429	12780	0.0705	-
1.4452	12800	0.1109	-
1.4474	12820	0.0973	-
1.4497	12840	0.1047	-
1.4520	12860	0.1107	-
1.4542	12880	0.0931	-
1.4565	12900	0.1074	-
1.4587	12920	0.0889	-
1.4610	12940	0.1247	-
1.4632	12960	0.0915	-
1.4655	12980	0.1268	-
1.4678	13000	0.0767	-
1.4700	13020	0.0900	-
1.4723	13040	0.1142	-
1.4745	13060	0.1124	-
1.4768	13080	0.1433	-
1.4791	13100	0.0986	-
1.4813	13120	0.1108	-
1.4836	13140	0.1017	-
1.4858	13160	0.1178	-
1.4881	13180	0.0857	-
1.4903	13200	0.1113	-
1.4926	13220	0.1050	-
1.4949	13240	0.0788	-
1.4971	13260	0.1045	-
1.4994	13280	0.1080	-
1.5016	13300	0.1090	-
1.5039	13320	0.1287	-
1.5062	13340	0.1080	-
1.5084	13360	0.1266	-
1.5107	13380	0.1179	-
1.5129	13400	0.0936	-
1.5152	13420	0.1024	-
1.5174	13440	0.1493	-
1.5197	13460	0.1264	-
1.5220	13480	0.1140	-
1.5242	13500	0.1174	-
1.5265	13520	0.0963	-
1.5287	13540	0.1003	-
1.5310	13560	0.0957	-
1.5333	13580	0.1439	-
1.5355	13600	0.1017	-
1.5378	13620	0.0863	-
1.5400	13640	0.0924	-
1.5423	13660	0.0967	-
1.5445	13680	0.0885	-
1.5468	13700	0.1086	-
1.5491	13720	0.1061	-
1.5513	13740	0.0790	-
1.5536	13760	0.1095	-
1.5558	13780	0.0905	-
1.5581	13800	0.1270	-
1.5603	13820	0.0827	-
1.5626	13840	0.0946	-
1.5649	13860	0.1224	-
1.5671	13880	0.1337	-
1.5694	13900	0.0941	-
1.5716	13920	0.1315	-
1.5739	13940	0.0991	-
1.5762	13960	0.1036	-
1.5784	13980	0.0949	-
1.5807	14000	0.1031	-
1.5829	14020	0.1187	-
1.5852	14040	0.0953	-
1.5874	14060	0.1030	-
1.5897	14080	0.1348	-
1.5920	14100	0.0819	-
1.5942	14120	0.0915	-
1.5965	14140	0.1048	-
1.5987	14160	0.1103	-
1.6010	14180	0.1161	-
1.6033	14200	0.0920	-
1.6055	14220	0.1065	-
1.6078	14240	0.1138	-
1.6100	14260	0.1728	-
1.6123	14280	0.0890	-
1.6145	14300	0.1255	-
1.6168	14320	0.1246	-
1.6191	14340	0.1170	-
1.6213	14360	0.1227	-
1.6236	14380	0.0815	-
1.6258	14400	0.0951	-
1.6281	14420	0.1175	-
1.6303	14440	0.1400	-
1.6326	14460	0.1135	-
1.6349	14480	0.0802	-
1.6371	14500	0.1014	-
1.6394	14520	0.0905	-
1.6416	14540	0.0792	-
1.6439	14560	0.0860	-
1.6462	14580	0.1000	-
1.6484	14600	0.1227	-
1.6507	14620	0.1116	-
1.6529	14640	0.1339	-
1.6552	14660	0.1010	-
1.6574	14680	0.0756	-
1.6597	14700	0.1146	-
1.6620	14720	0.0876	-
1.6642	14740	0.1047	-
1.6665	14760	0.0923	-
1.6687	14780	0.0834	-
1.6710	14800	0.1045	-
1.6733	14820	0.0895	-
1.6755	14840	0.1136	-
1.6778	14860	0.1548	-
1.6800	14880	0.1097	-
1.6823	14900	0.0913	-
1.6845	14920	0.1006	-
1.6868	14940	0.1189	-
1.6891	14960	0.0992	-
1.6913	14980	0.1311	-
1.6936	15000	0.1086	-
1.6958	15020	0.0884	-
1.6981	15040	0.1240	-
1.7004	15060	0.0947	-
1.7026	15080	0.1272	-
1.7049	15100	0.1084	-
1.7071	15120	0.0965	-
1.7094	15140	0.1184	-
1.7116	15160	0.1151	-
1.7139	15180	0.0879	-
1.7162	15200	0.1065	-
1.7184	15220	0.1413	-
1.7207	15240	0.1166	-
1.7229	15260	0.1074	-
1.7252	15280	0.1198	-
1.7274	15300	0.0731	-
1.7297	15320	0.1236	-
1.7320	15340	0.0836	-
1.7342	15360	0.1106	-
1.7365	15380	0.1585	-
1.7387	15400	0.1221	-
1.7410	15420	0.1253	-
1.7433	15440	0.1102	-
1.7455	15460	0.1256	-
1.7478	15480	0.0859	-
1.7500	15500	0.1221	-
1.7523	15520	0.1006	-
1.7545	15540	0.1082	-
1.7568	15560	0.0876	-
1.7591	15580	0.0731	-
1.7613	15600	0.0801	-
1.7636	15620	0.0996	-
1.7658	15640	0.1243	-
1.7681	15660	0.0737	-
1.7704	15680	0.0819	-
1.7726	15700	0.1000	-
1.7749	15720	0.0974	-
1.7771	15740	0.1121	-
1.7794	15760	0.1148	-
1.7816	15780	0.0984	-
1.7839	15800	0.1018	-
1.7862	15820	0.0993	-
1.7884	15840	0.1025	-
1.7907	15860	0.0768	-
1.7929	15880	0.0718	-
1.7952	15900	0.1078	-
1.7974	15920	0.1145	-
1.7997	15940	0.1056	-
1.8020	15960	0.1182	-
1.8042	15980	0.1122	-
1.8065	16000	0.0928	-
1.8087	16020	0.0912	-
1.8110	16040	0.1024	-
1.8133	16060	0.1021	-
1.8155	16080	0.1015	-
1.8178	16100	0.0975	-
1.8200	16120	0.0824	-
1.8223	16140	0.0978	-
1.8245	16160	0.0922	-
1.8268	16180	0.0780	-
1.8291	16200	0.1148	-
1.8313	16220	0.0881	-
1.8336	16240	0.0838	-
1.8358	16260	0.1035	-
1.8381	16280	0.1095	-
1.8404	16300	0.1035	-
1.8426	16320	0.1172	-
1.8449	16340	0.0954	-
1.8471	16360	0.1104	-
1.8494	16380	0.1016	-
1.8516	16400	0.1180	-
1.8539	16420	0.0930	-
1.8562	16440	0.1632	-
1.8584	16460	0.1173	-
1.8607	16480	0.1172	-
1.8629	16500	0.1154	-
1.8652	16520	0.0878	-
1.8674	16540	0.0980	-
1.8697	16560	0.0747	-
1.8720	16580	0.0863	-
1.8742	16600	0.1321	-
1.8765	16620	0.1467	-
1.8787	16640	0.0586	-
1.8810	16660	0.1131	-
1.8833	16680	0.0919	-
1.8855	16700	0.1114	-
1.8878	16720	0.1246	-
1.8900	16740	0.1225	-
1.8923	16760	0.0989	-
1.8945	16780	0.0843	-
1.8968	16800	0.1071	-
1.8991	16820	0.1065	-
1.9013	16840	0.1148	-
1.9036	16860	0.0871	-
1.9058	16880	0.1146	-
1.9081	16900	0.0999	-
1.9104	16920	0.1351	-
1.9126	16940	0.0828	-
1.9149	16960	0.0793	-
1.9171	16980	0.0954	-
1.9194	17000	0.1007	-
1.9216	17020	0.1469	-
1.9239	17040	0.0844	-
1.9262	17060	0.1188	-
1.9284	17080	0.1166	-
1.9307	17100	0.1270	-
1.9329	17120	0.1017	-
1.9352	17140	0.0860	-
1.9375	17160	0.1060	-
1.9397	17180	0.0933	-
1.9420	17200	0.1048	-
1.9442	17220	0.0714	-
1.9465	17240	0.1004	-
1.9487	17260	0.1130	-
1.9510	17280	0.1194	-
1.9533	17300	0.0754	-
1.9555	17320	0.0995	-
1.9578	17340	0.1108	-
1.9600	17360	0.0892	-
1.9623	17380	0.1169	-
1.9645	17400	0.0973	-
1.9668	17420	0.0818	-
1.9691	17440	0.1253	-
1.9713	17460	0.0961	-
1.9736	17480	0.0935	-
1.9758	17500	0.1119	-
1.9781	17520	0.1048	-
1.9804	17540	0.0930	-
1.9826	17560	0.1369	-
1.9849	17580	0.1327	-
1.9871	17600	0.1096	-
1.9894	17620	0.1323	-
1.9916	17640	0.1296	-
1.9939	17660	0.0930	-
1.9962	17680	0.1101	-
1.9984	17700	0.1217	-
2.0	17714	-	0.1181

The bold row denotes the saved checkpoint.

Training Time

Training: 41.8 minutes
Evaluation: 1.5 minutes
Total: 43.3 minutes

Framework Versions

Python: 3.13.13
Sentence Transformers: 5.5.0
Transformers: 5.8.1
PyTorch: 2.12.0
Accelerate: 1.14.0
Datasets: 5.0.0
Tokenizers: 0.22.2

Additional Resources

Training and Finetuning Reranker Models with Sentence Transformers: the end-to-end guide for training or finetuning Cross Encoder (reranker) models.
Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video reranker models through the same API.
Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: training multimodal Cross Encoders.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}