Commit
•
e3107e6
1
Parent(s):
c25c4c3
Add Consolidated MTEB CQADupstackRetrieval Benchmark to README
Browse files
README.md
CHANGED
|
@@ -724,6 +724,75 @@ model-index:
|
|
| 724 |
value: 30.781
|
| 725 |
- type: recall_at_5
|
| 726 |
value: 35.606
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 727 |
- task:
|
| 728 |
type: Retrieval
|
| 729 |
dataset:
|
|
@@ -2560,7 +2629,7 @@ model-index:
|
|
| 2560 |
- type: max_ap
|
| 2561 |
value: 83.11416594316626
|
| 2562 |
- type: max_f1
|
| 2563 |
-
value: 75.41118114347518
|
| 2564 |
---
|
| 2565 |
|
| 2566 |
# lodestone-base-4096-v1
|
|
|
|
| 724 |
value: 30.781
|
| 725 |
- type: recall_at_5
|
| 726 |
value: 35.606
|
| 727 |
+
- task:
|
| 728 |
+
type: Retrieval
|
| 729 |
+
dataset:
|
| 730 |
+
type: BeIR/cqadupstack
|
| 731 |
+
name: MTEB CQADupstackRetrieval
|
| 732 |
+
config: default
|
| 733 |
+
split: test
|
| 734 |
+
revision: None
|
| 735 |
+
metrics:
|
| 736 |
+
- type: map_at_1
|
| 737 |
+
value: 19.72608333333333
|
| 738 |
+
- type: map_at_10
|
| 739 |
+
value: 27.165333333333336
|
| 740 |
+
- type: map_at_100
|
| 741 |
+
value: 28.292499999999997
|
| 742 |
+
- type: map_at_1000
|
| 743 |
+
value: 28.416333333333327
|
| 744 |
+
- type: map_at_3
|
| 745 |
+
value: 24.783833333333334
|
| 746 |
+
- type: map_at_5
|
| 747 |
+
value: 26.101750000000003
|
| 748 |
+
- type: mrr_at_1
|
| 749 |
+
value: 23.721500000000002
|
| 750 |
+
- type: mrr_at_10
|
| 751 |
+
value: 30.853333333333328
|
| 752 |
+
- type: mrr_at_100
|
| 753 |
+
value: 31.741750000000003
|
| 754 |
+
- type: mrr_at_1000
|
| 755 |
+
value: 31.812999999999995
|
| 756 |
+
- type: mrr_at_3
|
| 757 |
+
value: 28.732249999999997
|
| 758 |
+
- type: mrr_at_5
|
| 759 |
+
value: 29.945166666666665
|
| 760 |
+
- type: ndcg_at_1
|
| 761 |
+
value: 23.721500000000002
|
| 762 |
+
- type: ndcg_at_10
|
| 763 |
+
value: 31.74883333333333
|
| 764 |
+
- type: ndcg_at_100
|
| 765 |
+
value: 36.883583333333334
|
| 766 |
+
- type: ndcg_at_1000
|
| 767 |
+
value: 39.6145
|
| 768 |
+
- type: ndcg_at_3
|
| 769 |
+
value: 27.639583333333334
|
| 770 |
+
- type: ndcg_at_5
|
| 771 |
+
value: 29.543666666666667
|
| 772 |
+
- type: precision_at_1
|
| 773 |
+
value: 23.721500000000002
|
| 774 |
+
- type: precision_at_10
|
| 775 |
+
value: 5.709083333333333
|
| 776 |
+
- type: precision_at_100
|
| 777 |
+
value: 0.9859166666666666
|
| 778 |
+
- type: precision_at_1000
|
| 779 |
+
value: 0.1413333333333333
|
| 780 |
+
- type: precision_at_3
|
| 781 |
+
value: 12.85683333333333
|
| 782 |
+
- type: precision_at_5
|
| 783 |
+
value: 9.258166666666668
|
| 784 |
+
- type: recall_at_1
|
| 785 |
+
value: 19.72608333333333
|
| 786 |
+
- type: recall_at_10
|
| 787 |
+
value: 41.73583333333334
|
| 788 |
+
- type: recall_at_100
|
| 789 |
+
value: 64.66566666666668
|
| 790 |
+
- type: recall_at_1000
|
| 791 |
+
value: 84.09833333333336
|
| 792 |
+
- type: recall_at_3
|
| 793 |
+
value: 30.223083333333328
|
| 794 |
+
- type: recall_at_5
|
| 795 |
+
value: 35.153083333333335
|
| 796 |
- task:
|
| 797 |
type: Retrieval
|
| 798 |
dataset:
|
|
|
|
| 2629 |
- type: max_ap
|
| 2630 |
value: 83.11416594316626
|
| 2631 |
- type: max_f1
|
| 2632 |
+
value: 75.41118114347518
|
| 2633 |
---
|
| 2634 |
|
| 2635 |
# lodestone-base-4096-v1
|