Hugging Face's logo

Muennighoff
/
SGPT-1.3B-weightedmean-msmarco-specb-bitfit

Feature Extraction
sentence-transformers
PyTorch
gpt_neo
sentence-similarity
mteb
Eval Results
Inference Endpoints
Model card Files Community
3
Muennighoff commited on
Commit
d8ae5cf
•
1 Parent(s): 5d4e702

Format MTEB evaluation

Browse files
Files changed (1) hide show
  1. evaluation/mteb/CQADupstackRetrieval.json +37 -1
evaluation/mteb/CQADupstackRetrieval.json CHANGED
@@ -1 +1,37 @@
1
- {"dataset_version": null, "mteb_version": "0.0.2", "test": {"evaluation_time": 1798.61, "map_at_1": 0.2067566666666667, "map_at_10": 0.28479333333333334, "map_at_100": 0.29612249999999996, "map_at_1000": 0.29731166666666664, "map_at_3": 0.25884, "map_at_5": 0.27298916666666667, "mrr_at_1": 0.24402583333333333, "mrr_at_10": 0.3207041666666667, "mrr_at_100": 0.32958416666666673, "mrr_at_1000": 0.3302541666666666, "mrr_at_3": 0.29677749999999997, "mrr_at_5": 0.3102391666666667, "ndcg_at_1": 0.24402583333333333, "ndcg_at_10": 0.3332616666666667, "ndcg_at_100": 0.38515666666666665, "ndcg_at_1000": 0.4113791666666667, "ndcg_at_3": 0.28687749999999995, "ndcg_at_5": 0.3084766666666667, "precision_at_1": 0.24402583333333333, "precision_at_10": 0.05943749999999999, "precision_at_100": 0.010098333333333334, "precision_at_1000": 0.0014183333333333333, "precision_at_3": 0.132115, "precision_at_5": 0.09548416666666668, "recall_at_1": 0.2067566666666667, "recall_at_10": 0.4424558333333334, "recall_at_100": 0.6731116666666667, "recall_at_1000": 0.8587841666666666, "recall_at_3": 0.3149258333333333, "recall_at_5": 0.3693241666666667}}
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset_version": null,
3
+ "mteb_version": "0.0.2",
4
+ "test": {
5
+ "evaluation_time": 1798.61,
6
+ "map_at_1": 0.2067566666666667,
7
+ "map_at_10": 0.28479333333333334,
8
+ "map_at_100": 0.29612249999999996,
9
+ "map_at_1000": 0.29731166666666664,
10
+ "map_at_3": 0.25884,
11
+ "map_at_5": 0.27298916666666667,
12
+ "mrr_at_1": 0.24402583333333333,
13
+ "mrr_at_10": 0.3207041666666667,
14
+ "mrr_at_100": 0.32958416666666673,
15
+ "mrr_at_1000": 0.3302541666666666,
16
+ "mrr_at_3": 0.29677749999999997,
17
+ "mrr_at_5": 0.3102391666666667,
18
+ "ndcg_at_1": 0.24402583333333333,
19
+ "ndcg_at_10": 0.3332616666666667,
20
+ "ndcg_at_100": 0.38515666666666665,
21
+ "ndcg_at_1000": 0.4113791666666667,
22
+ "ndcg_at_3": 0.28687749999999995,
23
+ "ndcg_at_5": 0.3084766666666667,
24
+ "precision_at_1": 0.24402583333333333,
25
+ "precision_at_10": 0.05943749999999999,
26
+ "precision_at_100": 0.010098333333333334,
27
+ "precision_at_1000": 0.0014183333333333333,
28
+ "precision_at_3": 0.132115,
29
+ "precision_at_5": 0.09548416666666668,
30
+ "recall_at_1": 0.2067566666666667,
31
+ "recall_at_10": 0.4424558333333334,
32
+ "recall_at_100": 0.6731116666666667,
33
+ "recall_at_1000": 0.8587841666666666,
34
+ "recall_at_3": 0.3149258333333333,
35
+ "recall_at_5": 0.3693241666666667
36
+ }
37
+ }