File size: 9,670 Bytes
d6585f5
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
301	11pt_avg	0.1265	0.1106
301	G	0.0473	0.0379
301	P_10	0.4200	0.3068
301	P_100	0.3112	0.1895
301	P_1000	0.1205	0.0843
301	P_15	0.4170	0.2776
301	P_20	0.4155	0.2642
301	P_200	0.2487	0.1488
301	P_30	0.3858	0.2413
301	P_5	0.4182	0.3385
301	P_500	0.1718	0.1187
301	Rndcg	0.2380	0.1544
301	Rprec	0.1804	0.1209
301	Rprec_mult_0.20	0.3208	0.1951
301	Rprec_mult_0.40	0.2588	0.1551
301	Rprec_mult_0.60	0.2199	0.1343
301	Rprec_mult_0.80	0.1975	0.1253
301	Rprec_mult_1.00	0.1804	0.1209
301	Rprec_mult_1.20	0.1654	0.1159
301	Rprec_mult_1.40	0.1528	0.1073
301	Rprec_mult_1.60	0.1426	0.1001
301	Rprec_mult_1.80	0.1352	0.0945
301	Rprec_mult_2.00	0.1285	0.0900
301	binG	0.0473	0.0379
301	bpref	0.2053	0.1438
301	infAP	0.0949	0.1053
301	iprec_at_recall_0.00	0.6426	0.3418
301	iprec_at_recall_0.10	0.2979	0.2359
301	iprec_at_recall_0.20	0.1589	0.2117
301	iprec_at_recall_0.30	0.1104	0.1874
301	iprec_at_recall_0.40	0.0822	0.1591
301	iprec_at_recall_0.50	0.0563	0.1344
301	iprec_at_recall_0.60	0.0273	0.1028
301	iprec_at_recall_0.70	0.0155	0.0840
301	iprec_at_recall_0.80	0.0000	0.0000
301	iprec_at_recall_0.90	0.0000	0.0000
301	iprec_at_recall_1.00	0.0000	0.0000
301	map	0.0949	0.1053
301	map_cut_10	0.0067	0.0068
301	map_cut_100	0.0372	0.0385
301	map_cut_1000	0.0949	0.1053
301	map_cut_15	0.0094	0.0095
301	map_cut_20	0.0121	0.0120
301	map_cut_200	0.0530	0.0557
301	map_cut_30	0.0162	0.0162
301	map_cut_5	0.0036	0.0038
301	map_cut_500	0.0781	0.0860
301	ndcg	0.2706	0.1792
301	ndcg_cut_10	0.4156	0.3108
301	ndcg_cut_100	0.3311	0.2031
301	ndcg_cut_1000	0.2706	0.1792
301	ndcg_cut_15	0.4147	0.2873
301	ndcg_cut_20	0.4141	0.2745
301	ndcg_cut_200	0.2737	0.1635
301	ndcg_cut_30	0.3939	0.2536
301	ndcg_cut_5	0.4117	0.3430
301	ndcg_cut_500	0.2142	0.1391
301	ndcg_rel	0.2738	0.1736
301	num_nonrel_judged_ret	206.6545	70.8360
301	num_rel	448.0000	0.0000
301	num_rel_ret	120.5364	84.3445
301	num_ret	922.5455	223.3075
301	prefs_avgjg	0.2422	0.1692
301	prefs_avgjg_Rnonrel	0.1621	0.0609
301	prefs_avgjg_Rnonrel_ret	0.2921	0.1632
301	prefs_avgjg_imp	0.5428	0.1919
301	prefs_avgjg_ret	0.4958	0.1516
301	prefs_num_prefs_ful	115462.2091	80645.5653
301	prefs_num_prefs_ful_ret	14855.1636	12500.9114
301	prefs_num_prefs_poss	476672.0000	0.0000
301	prefs_pair	0.2422	0.1692
301	prefs_pair_imp	0.5428	0.1919
301	prefs_pair_ret	0.4958	0.1516
301	prefs_simp	0.2422	0.1692
301	prefs_simp_imp	0.5428	0.1919
301	prefs_simp_ret	0.4958	0.1516
301	recall_10	0.0094	0.0069
301	recall_100	0.0695	0.0423
301	recall_1000	0.2691	0.1883
301	recall_15	0.0140	0.0093
301	recall_20	0.0186	0.0118
301	recall_200	0.1110	0.0664
301	recall_30	0.0258	0.0162
301	recall_5	0.0047	0.0038
301	recall_500	0.1917	0.1325
301	recip_rank	0.5438	0.3917
301	relative_P_10	0.4200	0.3068
301	relative_P_100	0.3112	0.1895
301	relative_P_1000	0.2691	0.1883
301	relative_P_15	0.4170	0.2776
301	relative_P_20	0.4155	0.2642
301	relative_P_200	0.2487	0.1488
301	relative_P_30	0.3858	0.2413
301	relative_P_5	0.4182	0.3385
301	relative_P_500	0.1917	0.1325
301	set_F	   nan	   nan
301	set_P	0.1322	0.0834
301	set_map	0.0496	0.0606
301	set_recall	0.2691	0.1883
301	set_relative_P	0.2758	0.1839
301	success_1	0.3909	0.4880
301	success_10	0.8364	0.3699
301	success_5	0.7545	0.4304
301	utility	-681.4727	229.7304
302	11pt_avg	0.5029	0.1788
302	G	0.2522	0.0812
302	P_10	0.7018	0.1977
302	P_100	0.4132	0.1433
302	P_1000	0.0534	0.0179
302	P_15	0.6806	0.1959
302	P_20	0.6655	0.1975
302	P_200	0.2435	0.0884
302	P_30	0.6364	0.1982
302	P_5	0.7545	0.2392
302	P_500	0.1033	0.0356
302	Rndcg	0.6549	0.2026
302	Rprec	0.5056	0.1669
302	Rprec_mult_0.20	0.6909	0.1968
302	Rprec_mult_0.40	0.6524	0.2020
302	Rprec_mult_0.60	0.6065	0.1916
302	Rprec_mult_0.80	0.5558	0.1813
302	Rprec_mult_1.00	0.5056	0.1669
302	Rprec_mult_1.20	0.4684	0.1573
302	Rprec_mult_1.40	0.4334	0.1480
302	Rprec_mult_1.60	0.4045	0.1418
302	Rprec_mult_1.80	0.3734	0.1331
302	Rprec_mult_2.00	0.3463	0.1247
302	binG	0.2522	0.0812
302	bpref	0.5058	0.1682
302	infAP	0.4935	0.1809
302	iprec_at_recall_0.00	0.9214	0.2464
302	iprec_at_recall_0.10	0.7629	0.2353
302	iprec_at_recall_0.20	0.6973	0.2315
302	iprec_at_recall_0.30	0.6536	0.2388
302	iprec_at_recall_0.40	0.6065	0.2328
302	iprec_at_recall_0.50	0.5365	0.2256
302	iprec_at_recall_0.60	0.4687	0.2165
302	iprec_at_recall_0.70	0.3616	0.2322
302	iprec_at_recall_0.80	0.2974	0.2185
302	iprec_at_recall_0.90	0.2000	0.1902
302	iprec_at_recall_1.00	0.0260	0.0596
302	map	0.4935	0.1809
302	map_cut_10	0.0936	0.0293
302	map_cut_100	0.4378	0.1567
302	map_cut_1000	0.4935	0.1809
302	map_cut_15	0.1309	0.0408
302	map_cut_20	0.1665	0.0524
302	map_cut_200	0.4836	0.1801
302	map_cut_30	0.2313	0.0762
302	map_cut_5	0.0543	0.0197
302	map_cut_500	0.4915	0.1810
302	ndcg	0.7494	0.2367
302	ndcg_cut_10	0.7379	0.2082
302	ndcg_cut_100	0.6465	0.2047
302	ndcg_cut_1000	0.7494	0.2367
302	ndcg_cut_15	0.7155	0.2022
302	ndcg_cut_20	0.6996	0.1991
302	ndcg_cut_200	0.7143	0.2337
302	ndcg_cut_30	0.6718	0.1963
302	ndcg_cut_5	0.7859	0.2420
302	ndcg_cut_500	0.7376	0.2359
302	ndcg_rel	0.6850	0.2021
302	num_nonrel_judged_ret	222.9000	99.0137
302	num_rel	65.0000	0.0000
302	num_rel_ret	53.4000	17.8886
302	num_ret	913.8364	247.9119
302	prefs_avgjg	0.7866	0.2635
302	prefs_avgjg_Rnonrel	0.0731	0.0155
302	prefs_avgjg_Rnonrel_ret	0.2456	0.1405
302	prefs_avgjg_imp	0.8809	0.2152
302	prefs_avgjg_ret	0.7791	0.2033
302	prefs_num_prefs_ful	41361.5182	13856.1935
302	prefs_num_prefs_ful_ret	10956.6091	6541.1638
302	prefs_num_prefs_poss	52585.0000	0.0000
302	prefs_pair	0.7866	0.2635
302	prefs_pair_imp	0.8809	0.2152
302	prefs_pair_ret	0.7791	0.2033
302	prefs_simp	0.7866	0.2635
302	prefs_simp_imp	0.8809	0.2152
302	prefs_simp_ret	0.7791	0.2033
302	recall_10	0.1080	0.0304
302	recall_100	0.6357	0.2205
302	recall_1000	0.8215	0.2752
302	recall_15	0.1570	0.0452
302	recall_20	0.2048	0.0608
302	recall_200	0.7492	0.2719
302	recall_30	0.2937	0.0914
302	recall_5	0.0580	0.0184
302	recall_500	0.7950	0.2738
302	recip_rank	0.9034	0.2670
302	relative_P_10	0.7018	0.1977
302	relative_P_100	0.6357	0.2205
302	relative_P_1000	0.8215	0.2752
302	relative_P_15	0.6806	0.1959
302	relative_P_20	0.6655	0.1975
302	relative_P_200	0.7492	0.2719
302	relative_P_30	0.6364	0.1982
302	relative_P_5	0.7545	0.2392
302	relative_P_500	0.7950	0.2738
302	set_F	   nan	   nan
302	set_P	0.0718	0.0666
302	set_map	0.0554	0.0224
302	set_recall	0.8215	0.2752
302	set_relative_P	0.8289	0.2606
302	success_1	0.8727	0.3333
302	success_10	0.9364	0.2441
302	success_5	0.9364	0.2441
302	utility	-807.0364	232.8261
303	11pt_avg	0.1924	0.1020
303	G	0.2138	0.0756
303	P_10	0.1064	0.0907
303	P_100	0.0883	0.0263
303	P_1000	0.0092	0.0026
303	P_15	0.0945	0.0759
303	P_20	0.0900	0.0726
303	P_200	0.0456	0.0132
303	P_30	0.0909	0.0600
303	P_5	0.1400	0.1309
303	P_500	0.0183	0.0053
303	Rndcg	0.2943	0.1277
303	Rprec	0.1064	0.0907
303	Rprec_mult_0.20	0.2364	0.2586
303	Rprec_mult_0.40	0.1568	0.1425
303	Rprec_mult_0.60	0.1318	0.1148
303	Rprec_mult_0.80	0.1193	0.1044
303	Rprec_mult_1.00	0.1064	0.0907
303	Rprec_mult_1.20	0.0954	0.0809
303	Rprec_mult_1.40	0.0948	0.0753
303	Rprec_mult_1.60	0.0960	0.0785
303	Rprec_mult_1.80	0.0945	0.0784
303	Rprec_mult_2.00	0.0900	0.0726
303	binG	0.2138	0.0756
303	bpref	0.0775	0.0681
303	infAP	0.1517	0.0815
303	iprec_at_recall_0.00	0.4263	0.3415
303	iprec_at_recall_0.10	0.4263	0.3415
303	iprec_at_recall_0.20	0.1946	0.1510
303	iprec_at_recall_0.30	0.1631	0.0926
303	iprec_at_recall_0.40	0.1468	0.0728
303	iprec_at_recall_0.50	0.1417	0.0671
303	iprec_at_recall_0.60	0.1374	0.0655
303	iprec_at_recall_0.70	0.1294	0.0523
303	iprec_at_recall_0.80	0.1257	0.0515
303	iprec_at_recall_0.90	0.1215	0.0488
303	iprec_at_recall_1.00	0.1037	0.0464
303	map	0.1517	0.0815
303	map_cut_10	0.0525	0.0545
303	map_cut_100	0.1492	0.0833
303	map_cut_1000	0.1517	0.0815
303	map_cut_15	0.0589	0.0587
303	map_cut_20	0.0659	0.0658
303	map_cut_200	0.1517	0.0814
303	map_cut_30	0.0782	0.0739
303	map_cut_5	0.0434	0.0474
303	map_cut_500	0.1517	0.0815
303	ndcg	0.4573	0.1573
303	ndcg_cut_10	0.1313	0.1143
303	ndcg_cut_100	0.4471	0.1626
303	ndcg_cut_1000	0.4573	0.1573
303	ndcg_cut_15	0.1516	0.1236
303	ndcg_cut_20	0.1716	0.1363
303	ndcg_cut_200	0.4564	0.1576
303	ndcg_cut_30	0.2149	0.1516
303	ndcg_cut_5	0.1625	0.1562
303	ndcg_cut_500	0.4569	0.1579
303	ndcg_rel	0.3290	0.1450
303	num_nonrel_judged_ret	232.4909	66.8518
303	num_rel	10.0000	0.0000
303	num_rel_ret	9.1545	2.6153
303	num_ret	913.6727	248.5462
303	prefs_avgjg	0.8662	0.2475
303	prefs_avgjg_Rnonrel	0.0069	0.0010
303	prefs_avgjg_Rnonrel_ret	0.0212	0.0105
303	prefs_avgjg_imp	0.8926	0.2154
303	prefs_avgjg_ret	0.7630	0.2121
303	prefs_num_prefs_ful	6505.1091	1858.3972
303	prefs_num_prefs_ful_ret	1835.7364	768.1939
303	prefs_num_prefs_poss	7510.0000	0.0000
303	prefs_pair	0.8662	0.2475
303	prefs_pair_imp	0.8926	0.2154
303	prefs_pair_ret	0.7630	0.2121
303	prefs_simp	0.8662	0.2475
303	prefs_simp_imp	0.8926	0.2154
303	prefs_simp_ret	0.7630	0.2121
303	recall_10	0.1064	0.0907
303	recall_100	0.8827	0.2635
303	recall_1000	0.9155	0.2615
303	recall_15	0.1418	0.1139
303	recall_20	0.1800	0.1451
303	recall_200	0.9118	0.2634
303	recall_30	0.2727	0.1799
303	recall_5	0.0700	0.0654
303	recall_500	0.9136	0.2637
303	recip_rank	0.4037	0.3603
303	relative_P_10	0.1064	0.0907
303	relative_P_100	0.8827	0.2635
303	relative_P_1000	0.9155	0.2615
303	relative_P_15	0.1418	0.1139
303	relative_P_20	0.1800	0.1451
303	relative_P_200	0.9118	0.2634
303	relative_P_30	0.2727	0.1799
303	relative_P_5	0.1400	0.1309
303	relative_P_500	0.9136	0.2637
303	set_F	   nan	   nan
303	set_P	0.0161	0.0329
303	set_map	0.0118	0.0081
303	set_recall	0.9155	0.2615
303	set_relative_P	0.9182	0.2537
303	success_1	0.2182	0.4130
303	success_10	0.7000	0.4583
303	success_5	0.5909	0.4917
303	utility	-895.3636	247.2150