301 11pt_avg 0.1265 0.1106 301 G 0.0473 0.0379 301 P_10 0.4200 0.3068 301 P_100 0.3112 0.1895 301 P_1000 0.1205 0.0843 301 P_15 0.4170 0.2776 301 P_20 0.4155 0.2642 301 P_200 0.2487 0.1488 301 P_30 0.3858 0.2413 301 P_5 0.4182 0.3385 301 P_500 0.1718 0.1187 301 Rndcg 0.2380 0.1544 301 Rprec 0.1804 0.1209 301 Rprec_mult_0.20 0.3208 0.1951 301 Rprec_mult_0.40 0.2588 0.1551 301 Rprec_mult_0.60 0.2199 0.1343 301 Rprec_mult_0.80 0.1975 0.1253 301 Rprec_mult_1.00 0.1804 0.1209 301 Rprec_mult_1.20 0.1654 0.1159 301 Rprec_mult_1.40 0.1528 0.1073 301 Rprec_mult_1.60 0.1426 0.1001 301 Rprec_mult_1.80 0.1352 0.0945 301 Rprec_mult_2.00 0.1285 0.0900 301 binG 0.0473 0.0379 301 bpref 0.2053 0.1438 301 infAP 0.0949 0.1053 301 iprec_at_recall_0.00 0.6426 0.3418 301 iprec_at_recall_0.10 0.2979 0.2359 301 iprec_at_recall_0.20 0.1589 0.2117 301 iprec_at_recall_0.30 0.1104 0.1874 301 iprec_at_recall_0.40 0.0822 0.1591 301 iprec_at_recall_0.50 0.0563 0.1344 301 iprec_at_recall_0.60 0.0273 0.1028 301 iprec_at_recall_0.70 0.0155 0.0840 301 iprec_at_recall_0.80 0.0000 0.0000 301 iprec_at_recall_0.90 0.0000 0.0000 301 iprec_at_recall_1.00 0.0000 0.0000 301 map 0.0949 0.1053 301 map_cut_10 0.0067 0.0068 301 map_cut_100 0.0372 0.0385 301 map_cut_1000 0.0949 0.1053 301 map_cut_15 0.0094 0.0095 301 map_cut_20 0.0121 0.0120 301 map_cut_200 0.0530 0.0557 301 map_cut_30 0.0162 0.0162 301 map_cut_5 0.0036 0.0038 301 map_cut_500 0.0781 0.0860 301 ndcg 0.2706 0.1792 301 ndcg_cut_10 0.4156 0.3108 301 ndcg_cut_100 0.3311 0.2031 301 ndcg_cut_1000 0.2706 0.1792 301 ndcg_cut_15 0.4147 0.2873 301 ndcg_cut_20 0.4141 0.2745 301 ndcg_cut_200 0.2737 0.1635 301 ndcg_cut_30 0.3939 0.2536 301 ndcg_cut_5 0.4117 0.3430 301 ndcg_cut_500 0.2142 0.1391 301 ndcg_rel 0.2738 0.1736 301 num_nonrel_judged_ret 206.6545 70.8360 301 num_rel 448.0000 0.0000 301 num_rel_ret 120.5364 84.3445 301 num_ret 922.5455 223.3075 301 prefs_avgjg 0.2422 0.1692 301 prefs_avgjg_Rnonrel 0.1621 0.0609 301 prefs_avgjg_Rnonrel_ret 0.2921 0.1632 301 prefs_avgjg_imp 0.5428 0.1919 301 prefs_avgjg_ret 0.4958 0.1516 301 prefs_num_prefs_ful 115462.2091 80645.5653 301 prefs_num_prefs_ful_ret 14855.1636 12500.9114 301 prefs_num_prefs_poss 476672.0000 0.0000 301 prefs_pair 0.2422 0.1692 301 prefs_pair_imp 0.5428 0.1919 301 prefs_pair_ret 0.4958 0.1516 301 prefs_simp 0.2422 0.1692 301 prefs_simp_imp 0.5428 0.1919 301 prefs_simp_ret 0.4958 0.1516 301 recall_10 0.0094 0.0069 301 recall_100 0.0695 0.0423 301 recall_1000 0.2691 0.1883 301 recall_15 0.0140 0.0093 301 recall_20 0.0186 0.0118 301 recall_200 0.1110 0.0664 301 recall_30 0.0258 0.0162 301 recall_5 0.0047 0.0038 301 recall_500 0.1917 0.1325 301 recip_rank 0.5438 0.3917 301 relative_P_10 0.4200 0.3068 301 relative_P_100 0.3112 0.1895 301 relative_P_1000 0.2691 0.1883 301 relative_P_15 0.4170 0.2776 301 relative_P_20 0.4155 0.2642 301 relative_P_200 0.2487 0.1488 301 relative_P_30 0.3858 0.2413 301 relative_P_5 0.4182 0.3385 301 relative_P_500 0.1917 0.1325 301 set_F nan nan 301 set_P 0.1322 0.0834 301 set_map 0.0496 0.0606 301 set_recall 0.2691 0.1883 301 set_relative_P 0.2758 0.1839 301 success_1 0.3909 0.4880 301 success_10 0.8364 0.3699 301 success_5 0.7545 0.4304 301 utility -681.4727 229.7304 302 11pt_avg 0.5029 0.1788 302 G 0.2522 0.0812 302 P_10 0.7018 0.1977 302 P_100 0.4132 0.1433 302 P_1000 0.0534 0.0179 302 P_15 0.6806 0.1959 302 P_20 0.6655 0.1975 302 P_200 0.2435 0.0884 302 P_30 0.6364 0.1982 302 P_5 0.7545 0.2392 302 P_500 0.1033 0.0356 302 Rndcg 0.6549 0.2026 302 Rprec 0.5056 0.1669 302 Rprec_mult_0.20 0.6909 0.1968 302 Rprec_mult_0.40 0.6524 0.2020 302 Rprec_mult_0.60 0.6065 0.1916 302 Rprec_mult_0.80 0.5558 0.1813 302 Rprec_mult_1.00 0.5056 0.1669 302 Rprec_mult_1.20 0.4684 0.1573 302 Rprec_mult_1.40 0.4334 0.1480 302 Rprec_mult_1.60 0.4045 0.1418 302 Rprec_mult_1.80 0.3734 0.1331 302 Rprec_mult_2.00 0.3463 0.1247 302 binG 0.2522 0.0812 302 bpref 0.5058 0.1682 302 infAP 0.4935 0.1809 302 iprec_at_recall_0.00 0.9214 0.2464 302 iprec_at_recall_0.10 0.7629 0.2353 302 iprec_at_recall_0.20 0.6973 0.2315 302 iprec_at_recall_0.30 0.6536 0.2388 302 iprec_at_recall_0.40 0.6065 0.2328 302 iprec_at_recall_0.50 0.5365 0.2256 302 iprec_at_recall_0.60 0.4687 0.2165 302 iprec_at_recall_0.70 0.3616 0.2322 302 iprec_at_recall_0.80 0.2974 0.2185 302 iprec_at_recall_0.90 0.2000 0.1902 302 iprec_at_recall_1.00 0.0260 0.0596 302 map 0.4935 0.1809 302 map_cut_10 0.0936 0.0293 302 map_cut_100 0.4378 0.1567 302 map_cut_1000 0.4935 0.1809 302 map_cut_15 0.1309 0.0408 302 map_cut_20 0.1665 0.0524 302 map_cut_200 0.4836 0.1801 302 map_cut_30 0.2313 0.0762 302 map_cut_5 0.0543 0.0197 302 map_cut_500 0.4915 0.1810 302 ndcg 0.7494 0.2367 302 ndcg_cut_10 0.7379 0.2082 302 ndcg_cut_100 0.6465 0.2047 302 ndcg_cut_1000 0.7494 0.2367 302 ndcg_cut_15 0.7155 0.2022 302 ndcg_cut_20 0.6996 0.1991 302 ndcg_cut_200 0.7143 0.2337 302 ndcg_cut_30 0.6718 0.1963 302 ndcg_cut_5 0.7859 0.2420 302 ndcg_cut_500 0.7376 0.2359 302 ndcg_rel 0.6850 0.2021 302 num_nonrel_judged_ret 222.9000 99.0137 302 num_rel 65.0000 0.0000 302 num_rel_ret 53.4000 17.8886 302 num_ret 913.8364 247.9119 302 prefs_avgjg 0.7866 0.2635 302 prefs_avgjg_Rnonrel 0.0731 0.0155 302 prefs_avgjg_Rnonrel_ret 0.2456 0.1405 302 prefs_avgjg_imp 0.8809 0.2152 302 prefs_avgjg_ret 0.7791 0.2033 302 prefs_num_prefs_ful 41361.5182 13856.1935 302 prefs_num_prefs_ful_ret 10956.6091 6541.1638 302 prefs_num_prefs_poss 52585.0000 0.0000 302 prefs_pair 0.7866 0.2635 302 prefs_pair_imp 0.8809 0.2152 302 prefs_pair_ret 0.7791 0.2033 302 prefs_simp 0.7866 0.2635 302 prefs_simp_imp 0.8809 0.2152 302 prefs_simp_ret 0.7791 0.2033 302 recall_10 0.1080 0.0304 302 recall_100 0.6357 0.2205 302 recall_1000 0.8215 0.2752 302 recall_15 0.1570 0.0452 302 recall_20 0.2048 0.0608 302 recall_200 0.7492 0.2719 302 recall_30 0.2937 0.0914 302 recall_5 0.0580 0.0184 302 recall_500 0.7950 0.2738 302 recip_rank 0.9034 0.2670 302 relative_P_10 0.7018 0.1977 302 relative_P_100 0.6357 0.2205 302 relative_P_1000 0.8215 0.2752 302 relative_P_15 0.6806 0.1959 302 relative_P_20 0.6655 0.1975 302 relative_P_200 0.7492 0.2719 302 relative_P_30 0.6364 0.1982 302 relative_P_5 0.7545 0.2392 302 relative_P_500 0.7950 0.2738 302 set_F nan nan 302 set_P 0.0718 0.0666 302 set_map 0.0554 0.0224 302 set_recall 0.8215 0.2752 302 set_relative_P 0.8289 0.2606 302 success_1 0.8727 0.3333 302 success_10 0.9364 0.2441 302 success_5 0.9364 0.2441 302 utility -807.0364 232.8261 303 11pt_avg 0.1924 0.1020 303 G 0.2138 0.0756 303 P_10 0.1064 0.0907 303 P_100 0.0883 0.0263 303 P_1000 0.0092 0.0026 303 P_15 0.0945 0.0759 303 P_20 0.0900 0.0726 303 P_200 0.0456 0.0132 303 P_30 0.0909 0.0600 303 P_5 0.1400 0.1309 303 P_500 0.0183 0.0053 303 Rndcg 0.2943 0.1277 303 Rprec 0.1064 0.0907 303 Rprec_mult_0.20 0.2364 0.2586 303 Rprec_mult_0.40 0.1568 0.1425 303 Rprec_mult_0.60 0.1318 0.1148 303 Rprec_mult_0.80 0.1193 0.1044 303 Rprec_mult_1.00 0.1064 0.0907 303 Rprec_mult_1.20 0.0954 0.0809 303 Rprec_mult_1.40 0.0948 0.0753 303 Rprec_mult_1.60 0.0960 0.0785 303 Rprec_mult_1.80 0.0945 0.0784 303 Rprec_mult_2.00 0.0900 0.0726 303 binG 0.2138 0.0756 303 bpref 0.0775 0.0681 303 infAP 0.1517 0.0815 303 iprec_at_recall_0.00 0.4263 0.3415 303 iprec_at_recall_0.10 0.4263 0.3415 303 iprec_at_recall_0.20 0.1946 0.1510 303 iprec_at_recall_0.30 0.1631 0.0926 303 iprec_at_recall_0.40 0.1468 0.0728 303 iprec_at_recall_0.50 0.1417 0.0671 303 iprec_at_recall_0.60 0.1374 0.0655 303 iprec_at_recall_0.70 0.1294 0.0523 303 iprec_at_recall_0.80 0.1257 0.0515 303 iprec_at_recall_0.90 0.1215 0.0488 303 iprec_at_recall_1.00 0.1037 0.0464 303 map 0.1517 0.0815 303 map_cut_10 0.0525 0.0545 303 map_cut_100 0.1492 0.0833 303 map_cut_1000 0.1517 0.0815 303 map_cut_15 0.0589 0.0587 303 map_cut_20 0.0659 0.0658 303 map_cut_200 0.1517 0.0814 303 map_cut_30 0.0782 0.0739 303 map_cut_5 0.0434 0.0474 303 map_cut_500 0.1517 0.0815 303 ndcg 0.4573 0.1573 303 ndcg_cut_10 0.1313 0.1143 303 ndcg_cut_100 0.4471 0.1626 303 ndcg_cut_1000 0.4573 0.1573 303 ndcg_cut_15 0.1516 0.1236 303 ndcg_cut_20 0.1716 0.1363 303 ndcg_cut_200 0.4564 0.1576 303 ndcg_cut_30 0.2149 0.1516 303 ndcg_cut_5 0.1625 0.1562 303 ndcg_cut_500 0.4569 0.1579 303 ndcg_rel 0.3290 0.1450 303 num_nonrel_judged_ret 232.4909 66.8518 303 num_rel 10.0000 0.0000 303 num_rel_ret 9.1545 2.6153 303 num_ret 913.6727 248.5462 303 prefs_avgjg 0.8662 0.2475 303 prefs_avgjg_Rnonrel 0.0069 0.0010 303 prefs_avgjg_Rnonrel_ret 0.0212 0.0105 303 prefs_avgjg_imp 0.8926 0.2154 303 prefs_avgjg_ret 0.7630 0.2121 303 prefs_num_prefs_ful 6505.1091 1858.3972 303 prefs_num_prefs_ful_ret 1835.7364 768.1939 303 prefs_num_prefs_poss 7510.0000 0.0000 303 prefs_pair 0.8662 0.2475 303 prefs_pair_imp 0.8926 0.2154 303 prefs_pair_ret 0.7630 0.2121 303 prefs_simp 0.8662 0.2475 303 prefs_simp_imp 0.8926 0.2154 303 prefs_simp_ret 0.7630 0.2121 303 recall_10 0.1064 0.0907 303 recall_100 0.8827 0.2635 303 recall_1000 0.9155 0.2615 303 recall_15 0.1418 0.1139 303 recall_20 0.1800 0.1451 303 recall_200 0.9118 0.2634 303 recall_30 0.2727 0.1799 303 recall_5 0.0700 0.0654 303 recall_500 0.9136 0.2637 303 recip_rank 0.4037 0.3603 303 relative_P_10 0.1064 0.0907 303 relative_P_100 0.8827 0.2635 303 relative_P_1000 0.9155 0.2615 303 relative_P_15 0.1418 0.1139 303 relative_P_20 0.1800 0.1451 303 relative_P_200 0.9118 0.2634 303 relative_P_30 0.2727 0.1799 303 relative_P_5 0.1400 0.1309 303 relative_P_500 0.9136 0.2637 303 set_F nan nan 303 set_P 0.0161 0.0329 303 set_map 0.0118 0.0081 303 set_recall 0.9155 0.2615 303 set_relative_P 0.9182 0.2537 303 success_1 0.2182 0.4130 303 success_10 0.7000 0.4583 303 success_5 0.5909 0.4917 303 utility -895.3636 247.2150