CrossEncoder based on cross-encoder/ms-marco-MiniLM-L6-v2

This is a Cross Encoder model finetuned from cross-encoder/ms-marco-MiniLM-L6-v2 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

Model Type: Cross Encoder
Base model: cross-encoder/ms-marco-MiniLM-L6-v2
Maximum Sequence Length: 512 tokens
Number of Output Labels: 1 label
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Documentation: Cross Encoder Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Cross Encoders on Hugging Face

Full Model Architecture

CrossEncoder(
  (0): Transformer({'transformer_task': 'sequence-classification', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'logits'}}, 'module_output_name': 'scores', 'architecture': 'BertForSequenceClassification'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of inputs
pairs = [
    ['skill: use of special equipment for daily activities', 'skill: use of special equipment for daily activities'],
    ['skill: use of special equipment for daily activities', 'skill: operate video equipment'],
    ['skill: use of special equipment for daily activities', 'skill: use equipment, tools or technology with precision'],
    ['skill: use of special equipment for daily activities', 'skill: operate emergency equipment'],
    ['skill: controlling pyrotechnics stock', 'skill: control pyrotechnics stock'],
]
scores = model.predict(pairs)
print(scores)
# [ 7.878  -7.0515 -4.4781 -4.9384  7.6206]

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'skill: use of special equipment for daily activities',
    [
        'skill: use of special equipment for daily activities',
        'skill: operate video equipment',
        'skill: use equipment, tools or technology with precision',
        'skill: operate emergency equipment',
        'skill: control pyrotechnics stock',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Training Details

Training Dataset

Unnamed Dataset

Size: 307,319 training samples
Columns: sentence_A, sentence_B, and label

Approximate statistics based on the first 100 samples:

	sentence_A	sentence_B	label
type	string	string	float
modality	text	text
details	min: 7 tokens mean: 8.88 tokens max: 11 tokens	min: 6 tokens mean: 7.89 tokens max: 11 tokens	min: 0.0 mean: 0.25 max: 1.0

Samples:

sentence_A	sentence_B	label
`skill: manage staff of music`	`skill: manage musical staff`	`1.0`
`skill: manage staff of music`	`skill: organise rehearsals`	`0.0`
`skill: manage staff of music`	`skill: supervise musicians`	`0.0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

Evaluation Dataset

Unnamed Dataset

Size: 37,269 evaluation samples
Columns: sentence_A, sentence_B, and label

Approximate statistics based on the first 100 samples:

	sentence_A	sentence_B	label
type	string	string	float
modality	text	text
details	min: 8 tokens mean: 11.38 tokens max: 13 tokens	min: 5 tokens mean: 8.46 tokens max: 14 tokens	min: 0.0 mean: 0.26 max: 1.0

Samples:

sentence_A	sentence_B	label
`skill: use of special equipment for daily activities`	`skill: use of special equipment for daily activities`	`1.0`
`skill: use of special equipment for daily activities`	`skill: operate video equipment`	`0.0`
`skill: use of special equipment for daily activities`	`skill: use equipment, tools or technology with precision`	`0.0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": null
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 32
num_train_epochs: 2
learning_rate: 2e-05
warmup_steps: 0.1
per_device_eval_batch_size: 64
load_best_model_at_end: True

All Hyperparameters

Click to expand

per_device_train_batch_size: 32
num_train_epochs: 2
max_steps: -1
learning_rate: 2e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.1
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: False
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: None
trackio_bucket_id: None
trackio_static_space_id: None
per_device_eval_batch_size: 64
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: True
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_static_graph: None
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0021	20	0.5451	-
0.0042	40	0.5965	-
0.0062	60	0.6539	-
0.0083	80	0.6356	-
0.0104	100	0.5660	-
0.0125	120	0.4808	-
0.0146	140	0.6047	-
0.0167	160	0.4977	-
0.0187	180	0.5344	-
0.0208	200	0.5507	-
0.0229	220	0.5143	-
0.0250	240	0.5013	-
0.0271	260	0.4830	-
0.0292	280	0.4581	-
0.0312	300	0.4640	-
0.0333	320	0.3883	-
0.0354	340	0.4755	-
0.0375	360	0.4089	-
0.0396	380	0.4738	-
0.0416	400	0.3825	-
0.0437	420	0.4221	-
0.0458	440	0.4003	-
0.0479	460	0.3982	-
0.0500	480	0.3961	-
0.0521	500	0.3658	-
0.0541	520	0.4090	-
0.0562	540	0.4009	-
0.0583	560	0.4125	-
0.0604	580	0.3674	-
0.0625	600	0.3344	-
0.0646	620	0.3916	-
0.0666	640	0.3956	-
0.0687	660	0.4449	-
0.0708	680	0.3429	-
0.0729	700	0.4049	-
0.0750	720	0.3958	-
0.0771	740	0.3792	-
0.0791	760	0.3371	-
0.0812	780	0.3790	-
0.0833	800	0.3498	-
0.0854	820	0.2992	-
0.0875	840	0.3673	-
0.0895	860	0.3457	-
0.0916	880	0.3564	-
0.0937	900	0.3182	-
0.0958	920	0.3735	-
0.0979	940	0.3084	-
0.1000	960	0.3536	-
0.1020	980	0.3161	-
0.1041	1000	0.3341	-
0.1062	1020	0.3115	-
0.1083	1040	0.3317	-
0.1104	1060	0.3323	-
0.1125	1080	0.3298	-
0.1145	1100	0.3227	-
0.1166	1120	0.3588	-
0.1187	1140	0.3080	-
0.1208	1160	0.2888	-
0.1229	1180	0.2914	-
0.1249	1200	0.3106	-
0.1270	1220	0.3011	-
0.1291	1240	0.2918	-
0.1312	1260	0.2670	-
0.1333	1280	0.2879	-
0.1354	1300	0.3349	-
0.1374	1320	0.2913	-
0.1395	1340	0.3163	-
0.1416	1360	0.2884	-
0.1437	1380	0.3240	-
0.1458	1400	0.2860	-
0.1479	1420	0.3013	-
0.1499	1440	0.3588	-
0.1520	1460	0.2838	-
0.1541	1480	0.2394	-
0.1562	1500	0.2912	-
0.1583	1520	0.3168	-
0.1603	1540	0.2443	-
0.1624	1560	0.3015	-
0.1645	1580	0.2886	-
0.1666	1600	0.2892	-
0.1687	1620	0.2563	-
0.1708	1640	0.2460	-
0.1728	1660	0.2715	-
0.1749	1680	0.2483	-
0.1770	1700	0.2484	-
0.1791	1720	0.3102	-
0.1812	1740	0.3224	-
0.1833	1760	0.2957	-
0.1853	1780	0.2478	-
0.1874	1800	0.2833	-
0.1895	1820	0.2632	-
0.1916	1840	0.2509	-
0.1937	1860	0.2832	-
0.1958	1880	0.2235	-
0.1978	1900	0.2846	-
0.1999	1920	0.3051	-
0.2020	1940	0.2406	-
0.2041	1960	0.2835	-
0.2062	1980	0.2817	-
0.2082	2000	0.2758	-
0.2103	2020	0.2449	-
0.2124	2040	0.2779	-
0.2145	2060	0.2822	-
0.2166	2080	0.2561	-
0.2187	2100	0.2733	-
0.2207	2120	0.2841	-
0.2228	2140	0.2728	-
0.2249	2160	0.2743	-
0.2270	2180	0.2506	-
0.2291	2200	0.2263	-
0.2312	2220	0.2649	-
0.2332	2240	0.2682	-
0.2353	2260	0.2513	-
0.2374	2280	0.2681	-
0.2395	2300	0.2516	-
0.2416	2320	0.2797	-
0.2436	2340	0.2838	-
0.2457	2360	0.2735	-
0.2478	2380	0.2132	-
0.2499	2400	0.2763	-
0.2520	2420	0.2505	-
0.2541	2440	0.2442	-
0.2561	2460	0.2780	-
0.2582	2480	0.2310	-
0.2603	2500	0.2474	-
0.2624	2520	0.2620	-
0.2645	2540	0.3011	-
0.2666	2560	0.2566	-
0.2686	2580	0.2511	-
0.2707	2600	0.2529	-
0.2728	2620	0.2418	-
0.2749	2640	0.2172	-
0.2770	2660	0.2572	-
0.2791	2680	0.2806	-
0.2811	2700	0.2719	-
0.2832	2720	0.2729	-
0.2853	2740	0.2476	-
0.2874	2760	0.2223	-
0.2895	2780	0.2715	-
0.2915	2800	0.2585	-
0.2936	2820	0.2662	-
0.2957	2840	0.2192	-
0.2978	2860	0.2233	-
0.2999	2880	0.2790	-
0.3020	2900	0.2394	-
0.3040	2920	0.2209	-
0.3061	2940	0.2674	-
0.3082	2960	0.2039	-
0.3103	2980	0.2650	-
0.3124	3000	0.2305	-
0.3145	3020	0.2339	-
0.3165	3040	0.2317	-
0.3186	3060	0.2608	-
0.3207	3080	0.2338	-
0.3228	3100	0.2153	-
0.3249	3120	0.2451	-
0.3269	3140	0.2541	-
0.3290	3160	0.2645	-
0.3311	3180	0.2414	-
0.3332	3200	0.2297	-
0.3353	3220	0.2430	-
0.3374	3240	0.2838	-
0.3394	3260	0.2371	-
0.3415	3280	0.2310	-
0.3436	3300	0.2349	-
0.3457	3320	0.2852	-
0.3478	3340	0.2573	-
0.3499	3360	0.2508	-
0.3519	3380	0.2176	-
0.3540	3400	0.2463	-
0.3561	3420	0.2324	-
0.3582	3440	0.2684	-
0.3603	3460	0.2113	-
0.3623	3480	0.2216	-
0.3644	3500	0.2256	-
0.3665	3520	0.2403	-
0.3686	3540	0.2275	-
0.3707	3560	0.2298	-
0.3728	3580	0.2412	-
0.3748	3600	0.2408	-
0.3769	3620	0.2080	-
0.3790	3640	0.2148	-
0.3811	3660	0.2136	-
0.3832	3680	0.2500	-
0.3853	3700	0.2114	-
0.3873	3720	0.2069	-
0.3894	3740	0.2257	-
0.3915	3760	0.2364	-
0.3936	3780	0.2216	-
0.3957	3800	0.2018	-
0.3978	3820	0.2074	-
0.3998	3840	0.2606	-
0.4019	3860	0.2117	-
0.4040	3880	0.2456	-
0.4061	3900	0.2279	-
0.4082	3920	0.2749	-
0.4102	3940	0.2185	-
0.4123	3960	0.2474	-
0.4144	3980	0.2193	-
0.4165	4000	0.2206	-
0.4186	4020	0.2688	-
0.4207	4040	0.2485	-
0.4227	4060	0.2450	-
0.4248	4080	0.2332	-
0.4269	4100	0.2110	-
0.4290	4120	0.2184	-
0.4311	4140	0.2062	-
0.4332	4160	0.1865	-
0.4352	4180	0.2231	-
0.4373	4200	0.2712	-
0.4394	4220	0.2423	-
0.4415	4240	0.2395	-
0.4436	4260	0.2338	-
0.4456	4280	0.2241	-
0.4477	4300	0.2294	-
0.4498	4320	0.2286	-
0.4519	4340	0.2028	-
0.4540	4360	0.2074	-
0.4561	4380	0.2164	-
0.4581	4400	0.2270	-
0.4602	4420	0.2360	-
0.4623	4440	0.2282	-
0.4644	4460	0.2231	-
0.4665	4480	0.2279	-
0.4686	4500	0.2221	-
0.4706	4520	0.2770	-
0.4727	4540	0.2272	-
0.4748	4560	0.2616	-
0.4769	4580	0.2209	-
0.4790	4600	0.2779	-
0.4810	4620	0.2254	-
0.4831	4640	0.2261	-
0.4852	4660	0.2273	-
0.4873	4680	0.2333	-
0.4894	4700	0.2465	-
0.4915	4720	0.2145	-
0.4935	4740	0.2166	-
0.4956	4760	0.2307	-
0.4977	4780	0.2000	-
0.4998	4800	0.2166	-
0.5019	4820	0.2507	-
0.5040	4840	0.1994	-
0.5060	4860	0.2362	-
0.5081	4880	0.2078	-
0.5102	4900	0.2307	-
0.5123	4920	0.2099	-
0.5144	4940	0.1927	-
0.5165	4960	0.2498	-
0.5185	4980	0.2336	-
0.5206	5000	0.2266	-
0.5227	5020	0.2713	-
0.5248	5040	0.2261	-
0.5269	5060	0.2099	-
0.5289	5080	0.2265	-
0.5310	5100	0.2348	-
0.5331	5120	0.2263	-
0.5352	5140	0.2073	-
0.5373	5160	0.2152	-
0.5394	5180	0.2172	-
0.5414	5200	0.2217	-
0.5435	5220	0.2058	-
0.5456	5240	0.1889	-
0.5477	5260	0.2196	-
0.5498	5280	0.2107	-
0.5519	5300	0.1998	-
0.5539	5320	0.2262	-
0.5560	5340	0.2214	-
0.5581	5360	0.2416	-
0.5602	5380	0.1954	-
0.5623	5400	0.2293	-
0.5643	5420	0.2644	-
0.5664	5440	0.2280	-
0.5685	5460	0.2266	-
0.5706	5480	0.2327	-
0.5727	5500	0.2343	-
0.5748	5520	0.1993	-
0.5768	5540	0.2426	-
0.5789	5560	0.2584	-
0.5810	5580	0.2089	-
0.5831	5600	0.2430	-
0.5852	5620	0.2248	-
0.5873	5640	0.1934	-
0.5893	5660	0.1979	-
0.5914	5680	0.2133	-
0.5935	5700	0.2376	-
0.5956	5720	0.1813	-
0.5977	5740	0.2331	-
0.5998	5760	0.2250	-
0.6018	5780	0.2137	-
0.6039	5800	0.1742	-
0.6060	5820	0.2344	-
0.6081	5840	0.1893	-
0.6102	5860	0.2036	-
0.6122	5880	0.1786	-
0.6143	5900	0.2080	-
0.6164	5920	0.2443	-
0.6185	5940	0.2174	-
0.6206	5960	0.2064	-
0.6227	5980	0.1987	-
0.6247	6000	0.2165	-
0.6268	6020	0.1858	-
0.6289	6040	0.2194	-
0.6310	6060	0.2374	-
0.6331	6080	0.2009	-
0.6352	6100	0.2329	-
0.6372	6120	0.2187	-
0.6393	6140	0.2534	-
0.6414	6160	0.2067	-
0.6435	6180	0.2001	-
0.6456	6200	0.2321	-
0.6476	6220	0.2217	-
0.6497	6240	0.2227	-
0.6518	6260	0.2329	-
0.6539	6280	0.2034	-
0.6560	6300	0.1868	-
0.6581	6320	0.1719	-
0.6601	6340	0.2184	-
0.6622	6360	0.1931	-
0.6643	6380	0.2117	-
0.6664	6400	0.2073	-
0.6685	6420	0.2469	-
0.6706	6440	0.1809	-
0.6726	6460	0.2190	-
0.6747	6480	0.2207	-
0.6768	6500	0.2439	-
0.6789	6520	0.2270	-
0.6810	6540	0.1954	-
0.6830	6560	0.2046	-
0.6851	6580	0.2164	-
0.6872	6600	0.2261	-
0.6893	6620	0.2310	-
0.6914	6640	0.2354	-
0.6935	6660	0.2253	-
0.6955	6680	0.1920	-
0.6976	6700	0.1789	-
0.6997	6720	0.2199	-
0.7018	6740	0.2219	-
0.7039	6760	0.2411	-
0.7060	6780	0.2324	-
0.7080	6800	0.2219	-
0.7101	6820	0.2230	-
0.7122	6840	0.2126	-
0.7143	6860	0.2587	-
0.7164	6880	0.2042	-
0.7185	6900	0.2225	-
0.7205	6920	0.1853	-
0.7226	6940	0.2274	-
0.7247	6960	0.2363	-
0.7268	6980	0.1935	-
0.7289	7000	0.2049	-
0.7309	7020	0.2123	-
0.7330	7040	0.2108	-
0.7351	7060	0.2376	-
0.7372	7080	0.1965	-
0.7393	7100	0.2306	-
0.7414	7120	0.1979	-
0.7434	7140	0.2046	-
0.7455	7160	0.1813	-
0.7476	7180	0.2440	-
0.7497	7200	0.1987	-
0.7518	7220	0.2335	-
0.7539	7240	0.2057	-
0.7559	7260	0.2573	-
0.7580	7280	0.2265	-
0.7601	7300	0.1880	-
0.7622	7320	0.1973	-
0.7643	7340	0.1796	-
0.7663	7360	0.2507	-
0.7684	7380	0.1980	-
0.7705	7400	0.2292	-
0.7726	7420	0.2616	-
0.7747	7440	0.2354	-
0.7768	7460	0.2567	-
0.7788	7480	0.1987	-
0.7809	7500	0.2280	-
0.7830	7520	0.2252	-
0.7851	7540	0.1934	-
0.7872	7560	0.2499	-
0.7893	7580	0.2565	-
0.7913	7600	0.1968	-
0.7934	7620	0.2052	-
0.7955	7640	0.2066	-
0.7976	7660	0.2120	-
0.7997	7680	0.1833	-
0.8017	7700	0.2128	-
0.8038	7720	0.2060	-
0.8059	7740	0.2243	-
0.8080	7760	0.2111	-
0.8101	7780	0.2571	-
0.8122	7800	0.2458	-
0.8142	7820	0.1986	-
0.8163	7840	0.2259	-
0.8184	7860	0.2031	-
0.8205	7880	0.2386	-
0.8226	7900	0.1823	-
0.8247	7920	0.2271	-
0.8267	7940	0.1987	-
0.8288	7960	0.2289	-
0.8309	7980	0.2107	-
0.8330	8000	0.2318	-
0.8351	8020	0.1796	-
0.8372	8040	0.2414	-
0.8392	8060	0.2016	-
0.8413	8080	0.1920	-
0.8434	8100	0.2144	-
0.8455	8120	0.2056	-
0.8476	8140	0.2045	-
0.8496	8160	0.1873	-
0.8517	8180	0.2439	-
0.8538	8200	0.2025	-
0.8559	8220	0.2003	-
0.8580	8240	0.1766	-
0.8601	8260	0.2452	-
0.8621	8280	0.2021	-
0.8642	8300	0.2209	-
0.8663	8320	0.1934	-
0.8684	8340	0.2166	-
0.8705	8360	0.1890	-
0.8726	8380	0.2125	-
0.8746	8400	0.1695	-
0.8767	8420	0.1956	-
0.8788	8440	0.2444	-
0.8809	8460	0.1768	-
0.8830	8480	0.2045	-
0.8850	8500	0.2244	-
0.8871	8520	0.2000	-
0.8892	8540	0.2249	-
0.8913	8560	0.2380	-
0.8934	8580	0.1941	-
0.8955	8600	0.2074	-
0.8975	8620	0.2058	-
0.8996	8640	0.1737	-
0.9017	8660	0.1862	-
0.9038	8680	0.2035	-
0.9059	8700	0.1952	-
0.9080	8720	0.2157	-
0.9100	8740	0.2333	-
0.9121	8760	0.1771	-
0.9142	8780	0.1748	-
0.9163	8800	0.2193	-
0.9184	8820	0.1842	-
0.9204	8840	0.1979	-
0.9225	8860	0.1798	-
0.9246	8880	0.2009	-
0.9267	8900	0.1911	-
0.9288	8920	0.1968	-
0.9309	8940	0.2160	-
0.9329	8960	0.2184	-
0.9350	8980	0.2384	-
0.9371	9000	0.1785	-
0.9392	9020	0.1872	-
0.9413	9040	0.1831	-
0.9434	9060	0.2013	-
0.9454	9080	0.1995	-
0.9475	9100	0.1871	-
0.9496	9120	0.2017	-
0.9517	9140	0.2104	-
0.9538	9160	0.1893	-
0.9559	9180	0.1679	-
0.9579	9200	0.2096	-
0.9600	9220	0.2162	-
0.9621	9240	0.1854	-
0.9642	9260	0.2175	-
0.9663	9280	0.1750	-
0.9683	9300	0.2445	-
0.9704	9320	0.2517	-
0.9725	9340	0.2079	-
0.9746	9360	0.1840	-
0.9767	9380	0.1852	-
0.9788	9400	0.2148	-
0.9808	9420	0.2265	-
0.9829	9440	0.2209	-
0.9850	9460	0.1937	-
0.9871	9480	0.1868	-
0.9892	9500	0.2078	-
0.9913	9520	0.1993	-
0.9933	9540	0.1683	-
0.9954	9560	0.2412	-
0.9975	9580	0.2136	-
0.9996	9600	0.1870	-
1.0	9604	-	0.2031
1.0017	9620	0.2079	-
1.0037	9640	0.2128	-
1.0058	9660	0.2279	-
1.0079	9680	0.2070	-
1.0100	9700	0.1954	-
1.0121	9720	0.1945	-
1.0142	9740	0.2069	-
1.0162	9760	0.2105	-
1.0183	9780	0.2162	-
1.0204	9800	0.1811	-
1.0225	9820	0.1693	-
1.0246	9840	0.2001	-
1.0267	9860	0.1955	-
1.0287	9880	0.1846	-
1.0308	9900	0.2344	-
1.0329	9920	0.1906	-
1.0350	9940	0.2235	-
1.0371	9960	0.1883	-
1.0392	9980	0.1825	-
1.0412	10000	0.1854	-
1.0433	10020	0.2053	-
1.0454	10040	0.2230	-
1.0475	10060	0.1807	-
1.0496	10080	0.1963	-
1.0516	10100	0.1871	-
1.0537	10120	0.1911	-
1.0558	10140	0.1747	-
1.0579	10160	0.1836	-
1.0600	10180	0.1737	-
1.0621	10200	0.1638	-
1.0641	10220	0.1855	-
1.0662	10240	0.1866	-
1.0683	10260	0.2160	-
1.0704	10280	0.1862	-
1.0725	10300	0.2101	-
1.0746	10320	0.2095	-
1.0766	10340	0.2246	-
1.0787	10360	0.1972	-
1.0808	10380	0.2017	-
1.0829	10400	0.1758	-
1.0850	10420	0.2141	-
1.0870	10440	0.1528	-
1.0891	10460	0.1604	-
1.0912	10480	0.2151	-
1.0933	10500	0.1621	-
1.0954	10520	0.2078	-
1.0975	10540	0.2084	-
1.0995	10560	0.2182	-
1.1016	10580	0.1873	-
1.1037	10600	0.1797	-
1.1058	10620	0.1486	-
1.1079	10640	0.2000	-
1.1100	10660	0.1648	-
1.1120	10680	0.1860	-
1.1141	10700	0.2022	-
1.1162	10720	0.2163	-
1.1183	10740	0.1596	-
1.1204	10760	0.1930	-
1.1224	10780	0.1794	-
1.1245	10800	0.2206	-
1.1266	10820	0.2035	-
1.1287	10840	0.1927	-
1.1308	10860	0.1888	-
1.1329	10880	0.2060	-
1.1349	10900	0.1506	-
1.1370	10920	0.2129	-
1.1391	10940	0.2284	-
1.1412	10960	0.1844	-
1.1433	10980	0.1521	-
1.1454	11000	0.1849	-
1.1474	11020	0.1863	-
1.1495	11040	0.1905	-
1.1516	11060	0.1901	-
1.1537	11080	0.1870	-
1.1558	11100	0.2060	-
1.1579	11120	0.1883	-
1.1599	11140	0.2203	-
1.1620	11160	0.1482	-
1.1641	11180	0.2081	-
1.1662	11200	0.1795	-
1.1683	11220	0.2098	-
1.1703	11240	0.2022	-
1.1724	11260	0.1957	-
1.1745	11280	0.1757	-
1.1766	11300	0.2091	-
1.1787	11320	0.1929	-
1.1808	11340	0.1801	-
1.1828	11360	0.1888	-
1.1849	11380	0.1581	-
1.1870	11400	0.1997	-
1.1891	11420	0.1822	-
1.1912	11440	0.1823	-
1.1933	11460	0.1736	-
1.1953	11480	0.1808	-
1.1974	11500	0.1891	-
1.1995	11520	0.1872	-
1.2016	11540	0.1875	-
1.2037	11560	0.1554	-
1.2057	11580	0.1628	-
1.2078	11600	0.2189	-
1.2099	11620	0.1777	-
1.2120	11640	0.2100	-
1.2141	11660	0.2025	-
1.2162	11680	0.1877	-
1.2182	11700	0.1915	-
1.2203	11720	0.1679	-
1.2224	11740	0.1853	-
1.2245	11760	0.1957	-
1.2266	11780	0.1786	-
1.2287	11800	0.1647	-
1.2307	11820	0.1829	-
1.2328	11840	0.1766	-
1.2349	11860	0.1924	-
1.2370	11880	0.1731	-
1.2391	11900	0.1513	-
1.2411	11920	0.2022	-
1.2432	11940	0.1927	-
1.2453	11960	0.1665	-
1.2474	11980	0.1641	-
1.2495	12000	0.2176	-
1.2516	12020	0.1586	-
1.2536	12040	0.1918	-
1.2557	12060	0.1895	-
1.2578	12080	0.1825	-
1.2599	12100	0.1991	-
1.2620	12120	0.1914	-
1.2641	12140	0.1968	-
1.2661	12160	0.1791	-
1.2682	12180	0.1528	-
1.2703	12200	0.1862	-
1.2724	12220	0.2115	-
1.2745	12240	0.2298	-
1.2766	12260	0.2202	-
1.2786	12280	0.1555	-
1.2807	12300	0.1891	-
1.2828	12320	0.1870	-
1.2849	12340	0.1405	-
1.2870	12360	0.1599	-
1.2890	12380	0.1837	-
1.2911	12400	0.1699	-
1.2932	12420	0.2002	-
1.2953	12440	0.2316	-
1.2974	12460	0.1794	-
1.2995	12480	0.2133	-
1.3015	12500	0.1740	-
1.3036	12520	0.1879	-
1.3057	12540	0.2283	-
1.3078	12560	0.1647	-
1.3099	12580	0.1812	-
1.3120	12600	0.2096	-
1.3140	12620	0.1600	-
1.3161	12640	0.2008	-
1.3182	12660	0.1698	-
1.3203	12680	0.1945	-
1.3224	12700	0.1952	-
1.3244	12720	0.2004	-
1.3265	12740	0.1648	-
1.3286	12760	0.2111	-
1.3307	12780	0.1572	-
1.3328	12800	0.1725	-
1.3349	12820	0.2161	-
1.3369	12840	0.1792	-
1.3390	12860	0.1883	-
1.3411	12880	0.2045	-
1.3432	12900	0.1522	-
1.3453	12920	0.1591	-
1.3474	12940	0.2006	-
1.3494	12960	0.1796	-
1.3515	12980	0.1700	-
1.3536	13000	0.1617	-
1.3557	13020	0.2069	-
1.3578	13040	0.2167	-
1.3599	13060	0.1837	-
1.3619	13080	0.1912	-
1.3640	13100	0.1821	-
1.3661	13120	0.1755	-
1.3682	13140	0.1760	-
1.3703	13160	0.1848	-
1.3723	13180	0.1513	-
1.3744	13200	0.1601	-
1.3765	13220	0.2198	-
1.3786	13240	0.1469	-
1.3807	13260	0.1820	-
1.3828	13280	0.1940	-
1.3848	13300	0.2015	-
1.3869	13320	0.1670	-
1.3890	13340	0.2129	-
1.3911	13360	0.2020	-
1.3932	13380	0.1498	-
1.3953	13400	0.2018	-
1.3973	13420	0.1929	-
1.3994	13440	0.1541	-
1.4015	13460	0.1842	-
1.4036	13480	0.1853	-
1.4057	13500	0.2308	-
1.4077	13520	0.1312	-
1.4098	13540	0.1859	-
1.4119	13560	0.1798	-
1.4140	13580	0.1905	-
1.4161	13600	0.1730	-
1.4182	13620	0.1616	-
1.4202	13640	0.1873	-
1.4223	13660	0.2007	-
1.4244	13680	0.1640	-
1.4265	13700	0.2195	-
1.4286	13720	0.1706	-
1.4307	13740	0.1587	-
1.4327	13760	0.1633	-
1.4348	13780	0.1894	-
1.4369	13800	0.2111	-
1.4390	13820	0.1840	-
1.4411	13840	0.1754	-
1.4431	13860	0.1929	-
1.4452	13880	0.1895	-
1.4473	13900	0.1673	-
1.4494	13920	0.1813	-
1.4515	13940	0.2022	-
1.4536	13960	0.1602	-
1.4556	13980	0.1699	-
1.4577	14000	0.2146	-
1.4598	14020	0.1845	-
1.4619	14040	0.1952	-
1.4640	14060	0.1803	-
1.4661	14080	0.1799	-
1.4681	14100	0.1949	-
1.4702	14120	0.1897	-
1.4723	14140	0.1769	-
1.4744	14160	0.1933	-
1.4765	14180	0.1592	-
1.4786	14200	0.1742	-
1.4806	14220	0.1718	-
1.4827	14240	0.1875	-
1.4848	14260	0.2048	-
1.4869	14280	0.2102	-
1.4890	14300	0.1826	-
1.4910	14320	0.1805	-
1.4931	14340	0.2125	-
1.4952	14360	0.1789	-
1.4973	14380	0.2017	-
1.4994	14400	0.1521	-
1.5015	14420	0.1762	-
1.5035	14440	0.1774	-
1.5056	14460	0.2541	-
1.5077	14480	0.2016	-
1.5098	14500	0.1867	-
1.5119	14520	0.1979	-
1.5140	14540	0.1848	-
1.5160	14560	0.2193	-
1.5181	14580	0.1816	-
1.5202	14600	0.2023	-
1.5223	14620	0.1868	-
1.5244	14640	0.1602	-
1.5264	14660	0.1647	-
1.5285	14680	0.1678	-
1.5306	14700	0.1882	-
1.5327	14720	0.1784	-
1.5348	14740	0.1570	-
1.5369	14760	0.1524	-
1.5389	14780	0.1601	-
1.5410	14800	0.1807	-
1.5431	14820	0.2091	-
1.5452	14840	0.2190	-
1.5473	14860	0.1764	-
1.5494	14880	0.2028	-
1.5514	14900	0.1998	-
1.5535	14920	0.2032	-
1.5556	14940	0.1620	-
1.5577	14960	0.1637	-
1.5598	14980	0.1637	-
1.5618	15000	0.1853	-
1.5639	15020	0.1719	-
1.5660	15040	0.1573	-
1.5681	15060	0.1959	-
1.5702	15080	0.1708	-
1.5723	15100	0.2081	-
1.5743	15120	0.2136	-
1.5764	15140	0.1766	-
1.5785	15160	0.1488	-
1.5806	15180	0.2283	-
1.5827	15200	0.1676	-
1.5848	15220	0.2130	-
1.5868	15240	0.2126	-
1.5889	15260	0.2341	-
1.5910	15280	0.1843	-
1.5931	15300	0.1918	-
1.5952	15320	0.1786	-
1.5973	15340	0.1980	-
1.5993	15360	0.1492	-
1.6014	15380	0.2111	-
1.6035	15400	0.2117	-
1.6056	15420	0.1630	-
1.6077	15440	0.1711	-
1.6097	15460	0.1927	-
1.6118	15480	0.1517	-
1.6139	15500	0.1507	-
1.6160	15520	0.1941	-
1.6181	15540	0.2217	-
1.6202	15560	0.2190	-
1.6222	15580	0.1776	-
1.6243	15600	0.1624	-
1.6264	15620	0.1469	-
1.6285	15640	0.2159	-
1.6306	15660	0.1679	-
1.6327	15680	0.1685	-
1.6347	15700	0.1800	-
1.6368	15720	0.1697	-
1.6389	15740	0.1792	-
1.6410	15760	0.1987	-
1.6431	15780	0.1598	-
1.6451	15800	0.1690	-
1.6472	15820	0.1865	-
1.6493	15840	0.1757	-
1.6514	15860	0.2037	-
1.6535	15880	0.1830	-
1.6556	15900	0.1843	-
1.6576	15920	0.1627	-
1.6597	15940	0.1952	-
1.6618	15960	0.2128	-
1.6639	15980	0.1745	-
1.6660	16000	0.1830	-
1.6681	16020	0.1948	-
1.6701	16040	0.1923	-
1.6722	16060	0.1931	-
1.6743	16080	0.1557	-
1.6764	16100	0.1764	-
1.6785	16120	0.2169	-
1.6805	16140	0.1731	-
1.6826	16160	0.1801	-
1.6847	16180	0.1853	-
1.6868	16200	0.1811	-
1.6889	16220	0.2123	-
1.6910	16240	0.1973	-
1.6930	16260	0.1946	-
1.6951	16280	0.1929	-
1.6972	16300	0.1873	-
1.6993	16320	0.1861	-
1.7014	16340	0.1996	-
1.7035	16360	0.2006	-
1.7055	16380	0.2005	-
1.7076	16400	0.1725	-
1.7097	16420	0.1770	-
1.7118	16440	0.1938	-
1.7139	16460	0.1722	-
1.7160	16480	0.1862	-
1.7180	16500	0.1677	-
1.7201	16520	0.1801	-
1.7222	16540	0.1904	-
1.7243	16560	0.2137	-
1.7264	16580	0.1764	-
1.7284	16600	0.2094	-
1.7305	16620	0.1687	-
1.7326	16640	0.1640	-
1.7347	16660	0.1879	-
1.7368	16680	0.1749	-
1.7389	16700	0.2164	-
1.7409	16720	0.1845	-
1.7430	16740	0.1818	-
1.7451	16760	0.1570	-
1.7472	16780	0.1809	-
1.7493	16800	0.1699	-
1.7514	16820	0.1986	-
1.7534	16840	0.1618	-
1.7555	16860	0.1807	-
1.7576	16880	0.1687	-
1.7597	16900	0.1833	-
1.7618	16920	0.2077	-
1.7638	16940	0.2036	-
1.7659	16960	0.1838	-
1.7680	16980	0.1816	-
1.7701	17000	0.1741	-
1.7722	17020	0.1868	-
1.7743	17040	0.1610	-
1.7763	17060	0.1933	-
1.7784	17080	0.1754	-
1.7805	17100	0.1910	-
1.7826	17120	0.1796	-
1.7847	17140	0.2052	-
1.7868	17160	0.1896	-
1.7888	17180	0.1867	-
1.7909	17200	0.1781	-
1.7930	17220	0.1787	-
1.7951	17240	0.1651	-
1.7972	17260	0.1687	-
1.7993	17280	0.1946	-
1.8013	17300	0.1680	-
1.8034	17320	0.1536	-
1.8055	17340	0.1739	-
1.8076	17360	0.1509	-
1.8097	17380	0.1880	-
1.8117	17400	0.1629	-
1.8138	17420	0.2024	-
1.8159	17440	0.1754	-
1.8180	17460	0.1743	-
1.8201	17480	0.1573	-
1.8222	17500	0.1675	-
1.8242	17520	0.1621	-
1.8263	17540	0.1566	-
1.8284	17560	0.1908	-
1.8305	17580	0.1815	-
1.8326	17600	0.1859	-
1.8347	17620	0.1850	-
1.8367	17640	0.2057	-
1.8388	17660	0.1792	-
1.8409	17680	0.1675	-
1.8430	17700	0.1763	-
1.8451	17720	0.1928	-
1.8471	17740	0.1909	-
1.8492	17760	0.2152	-
1.8513	17780	0.1531	-
1.8534	17800	0.1978	-
1.8555	17820	0.1632	-
1.8576	17840	0.1611	-
1.8596	17860	0.1549	-
1.8617	17880	0.2065	-
1.8638	17900	0.1733	-
1.8659	17920	0.2510	-
1.8680	17940	0.1664	-
1.8701	17960	0.1904	-
1.8721	17980	0.1476	-
1.8742	18000	0.1578	-
1.8763	18020	0.1832	-
1.8784	18040	0.1536	-
1.8805	18060	0.1908	-
1.8825	18080	0.1831	-
1.8846	18100	0.1691	-
1.8867	18120	0.1651	-
1.8888	18140	0.1903	-
1.8909	18160	0.1745	-
1.8930	18180	0.1640	-
1.8950	18200	0.1792	-
1.8971	18220	0.1581	-
1.8992	18240	0.1757	-
1.9013	18260	0.1647	-
1.9034	18280	0.2028	-
1.9055	18300	0.2195	-
1.9075	18320	0.1378	-
1.9096	18340	0.1791	-
1.9117	18360	0.1833	-
1.9138	18380	0.1237	-
1.9159	18400	0.2234	-
1.9180	18420	0.1834	-
1.9200	18440	0.1752	-
1.9221	18460	0.1519	-
1.9242	18480	0.1854	-
1.9263	18500	0.1702	-
1.9284	18520	0.1924	-
1.9304	18540	0.1895	-
1.9325	18560	0.1638	-
1.9346	18580	0.1897	-
1.9367	18600	0.2078	-
1.9388	18620	0.1920	-
1.9409	18640	0.1774	-
1.9429	18660	0.1765	-
1.9450	18680	0.2115	-
1.9471	18700	0.1717	-
1.9492	18720	0.1953	-
1.9513	18740	0.1991	-
1.9534	18760	0.2038	-
1.9554	18780	0.2029	-
1.9575	18800	0.1939	-
1.9596	18820	0.1681	-
1.9617	18840	0.1556	-
1.9638	18860	0.1719	-
1.9658	18880	0.1788	-
1.9679	18900	0.1979	-
1.9700	18920	0.1579	-
1.9721	18940	0.1867	-
1.9742	18960	0.1860	-
1.9763	18980	0.1604	-
1.9783	19000	0.1793	-
1.9804	19020	0.2007	-
1.9825	19040	0.1515	-
1.9846	19060	0.1742	-
1.9867	19080	0.2074	-
1.9888	19100	0.1902	-
1.9908	19120	0.1562	-
1.9929	19140	0.1820	-
1.9950	19160	0.1703	-
1.9971	19180	0.2099	-
1.9992	19200	0.1697	-
2.0	19208	-	0.1999

The bold row denotes the saved checkpoint.

Training Time

Training: 50.6 minutes
Evaluation: 1.7 minutes
Total: 52.3 minutes

Framework Versions

Python: 3.13.13
Sentence Transformers: 5.5.0
Transformers: 5.8.1
PyTorch: 2.12.0
Accelerate: 1.14.0
Datasets: 5.0.0
Tokenizers: 0.22.2

Additional Resources

Training and Finetuning Reranker Models with Sentence Transformers: the end-to-end guide for training or finetuning Cross Encoder (reranker) models.
Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video reranker models through the same API.
Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: training multimodal Cross Encoders.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}