manzilzaheer commited on
Commit
0335639
1 Parent(s): ce2665c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +0 -292
README.md CHANGED
@@ -2334,297 +2334,6 @@ model-index:
2334
  value: 54.53
2335
  task:
2336
  type: Retrieval
2337
- - dataset:
2338
- config: default
2339
- name: MTEB CQADupstackRetrieval (default)
2340
- revision: CQADupstackRetrieval_is_a_combined_dataset
2341
- split: test
2342
- type: CQADupstackRetrieval_is_a_combined_dataset
2343
- metrics:
2344
- - type: ndcg_at_1
2345
- value: 40.20541666666666
2346
- - type: ndcg_at_3
2347
- value: 46.669083333333326
2348
- - type: ndcg_at_5
2349
- value: 49.367083333333326
2350
- - type: ndcg_at_10
2351
- value: 52.187666666666665
2352
- - type: ndcg_at_20
2353
- value: 54.32208333333334
2354
- - type: ndcg_at_100
2355
- value: 57.03583333333334
2356
- - type: ndcg_at_1000
2357
- value: 58.49916666666666
2358
- - type: map_at_1
2359
- value: 33.821
2360
- - type: map_at_3
2361
- value: 42.414833333333334
2362
- - type: map_at_5
2363
- value: 44.435916666666664
2364
- - type: map_at_10
2365
- value: 45.97216666666667
2366
- - type: map_at_20
2367
- value: 46.74225
2368
- - type: map_at_100
2369
- value: 47.283833333333334
2370
- - type: map_at_1000
2371
- value: 47.376666666666665
2372
- - type: recall_at_1
2373
- value: 33.821
2374
- - type: recall_at_3
2375
- value: 50.55849999999998
2376
- - type: recall_at_5
2377
- value: 57.59116666666667
2378
- - type: recall_at_10
2379
- value: 65.90283333333333
2380
- - type: recall_at_20
2381
- value: 73.60616666666667
2382
- - type: recall_at_100
2383
- value: 86.37716666666665
2384
- - type: recall_at_1000
2385
- value: 96.07316666666664
2386
- - type: precision_at_1
2387
- value: 40.20541666666666
2388
- - type: precision_at_3
2389
- value: 21.70416666666667
2390
- - type: precision_at_5
2391
- value: 15.336500000000001
2392
- - type: precision_at_10
2393
- value: 9.181833333333334
2394
- - type: precision_at_20
2395
- value: 5.337833333333332
2396
- - type: precision_at_100
2397
- value: 1.365333333333333
2398
- - type: precision_at_1000
2399
- value: 0.1665
2400
- - type: mrr_at_1
2401
- value: 40.205324999999995
2402
- - type: mrr_at_3
2403
- value: 47.71851666666666
2404
- - type: mrr_at_5
2405
- value: 49.28709166666667
2406
- - type: mrr_at_10
2407
- value: 50.312025000000006
2408
- - type: mrr_at_20
2409
- value: 50.79848333333333
2410
- - type: mrr_at_100
2411
- value: 51.077783333333336
2412
- - type: mrr_at_1000
2413
- value: 51.11320833333334
2414
- - type: nauc_ndcg_at_1_max
2415
- value: 27.959433333333333
2416
- - type: nauc_ndcg_at_1_std
2417
- value: -5.1863
2418
- - type: nauc_ndcg_at_1_diff1
2419
- value: 51.2957
2420
- - type: nauc_ndcg_at_3_max
2421
- value: 26.203025000000004
2422
- - type: nauc_ndcg_at_3_std
2423
- value: -6.255891666666667
2424
- - type: nauc_ndcg_at_3_diff1
2425
- value: 46.468316666666674
2426
- - type: nauc_ndcg_at_5_max
2427
- value: 27.49124166666667
2428
- - type: nauc_ndcg_at_5_std
2429
- value: -5.559333333333335
2430
- - type: nauc_ndcg_at_5_diff1
2431
- value: 45.99999166666666
2432
- - type: nauc_ndcg_at_10_max
2433
- value: 28.059758333333335
2434
- - type: nauc_ndcg_at_10_std
2435
- value: -4.480933333333334
2436
- - type: nauc_ndcg_at_10_diff1
2437
- value: 45.66293333333335
2438
- - type: nauc_ndcg_at_20_max
2439
- value: 28.445833333333333
2440
- - type: nauc_ndcg_at_20_std
2441
- value: -3.4845083333333338
2442
- - type: nauc_ndcg_at_20_diff1
2443
- value: 45.688449999999996
2444
- - type: nauc_ndcg_at_100_max
2445
- value: 28.945174999999995
2446
- - type: nauc_ndcg_at_100_std
2447
- value: -2.521816666666667
2448
- - type: nauc_ndcg_at_100_diff1
2449
- value: 45.820041666666675
2450
- - type: nauc_ndcg_at_1000_max
2451
- value: 28.690624999999997
2452
- - type: nauc_ndcg_at_1000_std
2453
- value: -2.9268416666666663
2454
- - type: nauc_ndcg_at_1000_diff1
2455
- value: 46.183749999999996
2456
- - type: nauc_map_at_1_max
2457
- value: 22.903666666666666
2458
- - type: nauc_map_at_1_std
2459
- value: -8.212708333333333
2460
- - type: nauc_map_at_1_diff1
2461
- value: 52.467391666666664
2462
- - type: nauc_map_at_3_max
2463
- value: 24.647175000000008
2464
- - type: nauc_map_at_3_std
2465
- value: -7.754766666666667
2466
- - type: nauc_map_at_3_diff1
2467
- value: 48.078491666666665
2468
- - type: nauc_map_at_5_max
2469
- value: 25.908183333333334
2470
- - type: nauc_map_at_5_std
2471
- value: -7.041600000000001
2472
- - type: nauc_map_at_5_diff1
2473
- value: 47.696650000000005
2474
- - type: nauc_map_at_10_max
2475
- value: 26.48871666666666
2476
- - type: nauc_map_at_10_std
2477
- value: -6.2858166666666655
2478
- - type: nauc_map_at_10_diff1
2479
- value: 47.451991666666665
2480
- - type: nauc_map_at_20_max
2481
- value: 26.760866666666665
2482
- - type: nauc_map_at_20_std
2483
- value: -5.832466666666664
2484
- - type: nauc_map_at_20_diff1
2485
- value: 47.43503333333334
2486
- - type: nauc_map_at_100_max
2487
- value: 26.92709166666667
2488
- - type: nauc_map_at_100_std
2489
- value: -5.530858333333334
2490
- - type: nauc_map_at_100_diff1
2491
- value: 47.4343
2492
- - type: nauc_map_at_1000_max
2493
- value: 26.909024999999996
2494
- - type: nauc_map_at_1000_std
2495
- value: -5.502908333333333
2496
- - type: nauc_map_at_1000_diff1
2497
- value: 47.443708333333326
2498
- - type: nauc_recall_at_1_max
2499
- value: 22.903666666666666
2500
- - type: nauc_recall_at_1_std
2501
- value: -8.212708333333333
2502
- - type: nauc_recall_at_1_diff1
2503
- value: 52.467391666666664
2504
- - type: nauc_recall_at_3_max
2505
- value: 23.38484166666667
2506
- - type: nauc_recall_at_3_std
2507
- value: -7.751666666666666
2508
- - type: nauc_recall_at_3_diff1
2509
- value: 42.268116666666664
2510
- - type: nauc_recall_at_5_max
2511
- value: 26.351625000000002
2512
- - type: nauc_recall_at_5_std
2513
- value: -5.687058333333334
2514
- - type: nauc_recall_at_5_diff1
2515
- value: 39.880075
2516
- - type: nauc_recall_at_10_max
2517
- value: 28.123716666666667
2518
- - type: nauc_recall_at_10_std
2519
- value: -1.9335916666666664
2520
- - type: nauc_recall_at_10_diff1
2521
- value: 37.67715833333334
2522
- - type: nauc_recall_at_20_max
2523
- value: 30.026233333333334
2524
- - type: nauc_recall_at_20_std
2525
- value: 3.7864750000000003
2526
- - type: nauc_recall_at_20_diff1
2527
- value: 36.37902499999999
2528
- - type: nauc_recall_at_100_max
2529
- value: 38.34054166666665
2530
- - type: nauc_recall_at_100_std
2531
- value: 19.742633333333334
2532
- - type: nauc_recall_at_100_diff1
2533
- value: 33.567858333333334
2534
- - type: nauc_recall_at_1000_max
2535
- value: 49.25595
2536
- - type: nauc_recall_at_1000_std
2537
- value: 43.51984166666667
2538
- - type: nauc_recall_at_1000_diff1
2539
- value: 33.28621666666666
2540
- - type: nauc_precision_at_1_max
2541
- value: 27.959433333333333
2542
- - type: nauc_precision_at_1_std
2543
- value: -5.1863
2544
- - type: nauc_precision_at_1_diff1
2545
- value: 51.2957
2546
- - type: nauc_precision_at_3_max
2547
- value: 25.37675833333333
2548
- - type: nauc_precision_at_3_std
2549
- value: -0.09907499999999982
2550
- - type: nauc_precision_at_3_diff1
2551
- value: 27.616416666666666
2552
- - type: nauc_precision_at_5_max
2553
- value: 26.26798333333334
2554
- - type: nauc_precision_at_5_std
2555
- value: 3.9784666666666664
2556
- - type: nauc_precision_at_5_diff1
2557
- value: 19.944983333333333
2558
- - type: nauc_precision_at_10_max
2559
- value: 23.977883333333335
2560
- - type: nauc_precision_at_10_std
2561
- value: 9.17605
2562
- - type: nauc_precision_at_10_diff1
2563
- value: 11.407491666666665
2564
- - type: nauc_precision_at_20_max
2565
- value: 21.376025
2566
- - type: nauc_precision_at_20_std
2567
- value: 13.474358333333333
2568
- - type: nauc_precision_at_20_diff1
2569
- value: 4.836375
2570
- - type: nauc_precision_at_100_max
2571
- value: 14.341025000000002
2572
- - type: nauc_precision_at_100_std
2573
- value: 17.450875
2574
- - type: nauc_precision_at_100_diff1
2575
- value: -5.609583333333335
2576
- - type: nauc_precision_at_1000_max
2577
- value: 4.704733333333333
2578
- - type: nauc_precision_at_1000_std
2579
- value: 13.05885
2580
- - type: nauc_precision_at_1000_diff1
2581
- value: -12.96958333333333
2582
- - type: nauc_mrr_at_1_max
2583
- value: 27.959433333333333
2584
- - type: nauc_mrr_at_1_std
2585
- value: -5.1863
2586
- - type: nauc_mrr_at_1_diff1
2587
- value: 51.2957
2588
- - type: nauc_mrr_at_3_max
2589
- value: 28.132708333333333
2590
- - type: nauc_mrr_at_3_std
2591
- value: -4.832091666666667
2592
- - type: nauc_mrr_at_3_diff1
2593
- value: 47.59564166666668
2594
- - type: nauc_mrr_at_5_max
2595
- value: 28.779724999999996
2596
- - type: nauc_mrr_at_5_std
2597
- value: -4.348183333333334
2598
- - type: nauc_mrr_at_5_diff1
2599
- value: 47.218791666666675
2600
- - type: nauc_mrr_at_10_max
2601
- value: 28.822750000000003
2602
- - type: nauc_mrr_at_10_std
2603
- value: -4.052833333333333
2604
- - type: nauc_mrr_at_10_diff1
2605
- value: 47.15955833333334
2606
- - type: nauc_mrr_at_20_max
2607
- value: 28.85099166666667
2608
- - type: nauc_mrr_at_20_std
2609
- value: -3.8913500000000005
2610
- - type: nauc_mrr_at_20_diff1
2611
- value: 47.183975000000004
2612
- - type: nauc_mrr_at_100_max
2613
- value: 28.868125
2614
- - type: nauc_mrr_at_100_std
2615
- value: -3.853541666666666
2616
- - type: nauc_mrr_at_100_diff1
2617
- value: 47.23730000000002
2618
- - type: nauc_mrr_at_1000_max
2619
- value: 28.862125
2620
- - type: nauc_mrr_at_1000_std
2621
- value: -3.8645333333333336
2622
- - type: nauc_mrr_at_1000_diff1
2623
- value: 47.24678333333334
2624
- - type: main_score
2625
- value: 52.187666666666665
2626
- task:
2627
- type: Retrieval
2628
  - dataset:
2629
  config: default
2630
  name: MTEB CQADupstackRetrieval (default)
@@ -7912,4 +7621,3 @@ We use the [BGE-EN-ICL training data](https://huggingface.co/datasets/cfli/bge-f
7912
  * Andrew McCallum
7913
  * Rob Fergus
7914
  * Manzil Zaheer
7915
-
 
2334
  value: 54.53
2335
  task:
2336
  type: Retrieval
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2337
  - dataset:
2338
  config: default
2339
  name: MTEB CQADupstackRetrieval (default)
 
7621
  * Andrew McCallum
7622
  * Rob Fergus
7623
  * Manzil Zaheer