Hugging Face's logo

Muennighoff
/
SGPT-2.7B-weightedmean-msmarco-specb-bitfit

Sentence Similarity
sentence-transformers
PyTorch
gpt_neo
feature-extraction
mteb
Eval Results
Inference Endpoints
Model card Files Community
1
Muennighoff commited on
Commit
07ed167
•
1 Parent(s): aa91968

Format MTEB evaluation

Browse files
Files changed (1) hide show
  1. evaluation/mteb/CQADupstackRetrieval.json +37 -1
evaluation/mteb/CQADupstackRetrieval.json CHANGED
@@ -1 +1,37 @@
1
- {"dataset_version": null, "mteb_version": "0.0.2", "test": {"evaluation_time": 3522.66, "map_at_1": 0.23190833333333336, "map_at_10": 0.31504916666666666, "map_at_100": 0.32649083333333334, "map_at_1000": 0.3277075, "map_at_3": 0.2882575, "map_at_5": 0.302755, "mrr_at_1": 0.27427499999999994, "mrr_at_10": 0.35364833333333334, "mrr_at_100": 0.36234416666666663, "mrr_at_1000": 0.36297583333333333, "mrr_at_3": 0.3297966666666667, "mrr_at_5": 0.34294583333333334, "ndcg_at_1": 0.27427499999999994, "ndcg_at_10": 0.3653358333333333, "ndcg_at_100": 0.4164508333333333, "ndcg_at_1000": 0.4414499999999999, "ndcg_at_3": 0.3188908333333333, "ndcg_at_5": 0.33984333333333333, "precision_at_1": 0.27427499999999994, "precision_at_10": 0.06481083333333333, "precision_at_100": 0.010610833333333333, "precision_at_1000": 0.0014691666666666666, "precision_at_3": 0.1465675, "precision_at_5": 0.10493583333333333, "recall_at_1": 0.23190833333333336, "recall_at_10": 0.4765175, "recall_at_100": 0.7041016666666666, "recall_at_1000": 0.8782708333333332, "recall_at_3": 0.34637583333333327, "recall_at_5": 0.4005008333333333}}
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "dataset_version": null,
3
+ "mteb_version": "0.0.2",
4
+ "test": {
5
+ "evaluation_time": 3522.66,
6
+ "map_at_1": 0.23190833333333336,
7
+ "map_at_10": 0.31504916666666666,
8
+ "map_at_100": 0.32649083333333334,
9
+ "map_at_1000": 0.3277075,
10
+ "map_at_3": 0.2882575,
11
+ "map_at_5": 0.302755,
12
+ "mrr_at_1": 0.27427499999999994,
13
+ "mrr_at_10": 0.35364833333333334,
14
+ "mrr_at_100": 0.36234416666666663,
15
+ "mrr_at_1000": 0.36297583333333333,
16
+ "mrr_at_3": 0.3297966666666667,
17
+ "mrr_at_5": 0.34294583333333334,
18
+ "ndcg_at_1": 0.27427499999999994,
19
+ "ndcg_at_10": 0.3653358333333333,
20
+ "ndcg_at_100": 0.4164508333333333,
21
+ "ndcg_at_1000": 0.4414499999999999,
22
+ "ndcg_at_3": 0.3188908333333333,
23
+ "ndcg_at_5": 0.33984333333333333,
24
+ "precision_at_1": 0.27427499999999994,
25
+ "precision_at_10": 0.06481083333333333,
26
+ "precision_at_100": 0.010610833333333333,
27
+ "precision_at_1000": 0.0014691666666666666,
28
+ "precision_at_3": 0.1465675,
29
+ "precision_at_5": 0.10493583333333333,
30
+ "recall_at_1": 0.23190833333333336,
31
+ "recall_at_10": 0.4765175,
32
+ "recall_at_100": 0.7041016666666666,
33
+ "recall_at_1000": 0.8782708333333332,
34
+ "recall_at_3": 0.34637583333333327,
35
+ "recall_at_5": 0.4005008333333333
36
+ }
37
+ }