File size: 8,100 Bytes
e348563
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
[
    {
        "results":[
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0,
            1000.0
        ],
        "model":"gpt-3.5-turbo-0125",
        "score":50.0,
        "lower":50.0,
        "upper":50.0,
        "avg_tokens":0.0
    },
    {
        "results":[
            855.5644665503,
            859.0709454157,
            865.0434024226,
            860.399655762,
            855.1731508697,
            855.5326400531,
            866.7819454641,
            858.5219875589,
            861.4603125434,
            859.8350548067,
            862.7609222876,
            854.2414273092,
            862.374147169,
            863.1792770928,
            865.2996605704,
            864.8988771163,
            867.0356240274,
            871.6157440982,
            861.9225322393,
            864.7557130348,
            853.284444198,
            851.7087385877,
            871.482425846,
            866.6122634027,
            852.7157509126,
            859.7938560994,
            874.1682886992,
            855.4589887037,
            850.0205093168,
            875.7282859976,
            865.3647024942,
            856.1797064852,
            867.6238850835,
            857.7097671655,
            874.4978660071,
            857.5650653089,
            890.8852955482,
            855.6426165155,
            859.3456423505,
            857.4854945486,
            880.1901418236,
            849.6103242372,
            871.0458800663,
            877.4244267245,
            875.3479511716,
            859.1269918194,
            857.8015195801,
            868.2750694028,
            868.0957706924,
            870.6012679715,
            862.269673472,
            864.2488571071,
            874.1624601722,
            863.1194231025,
            857.1192986285,
            862.0030926827,
            861.5474187298,
            880.5566205251,
            861.7223684538,
            874.9512628918,
            858.7260910186,
            871.4133525673,
            866.2715335516,
            861.3256361213,
            866.9022358038,
            867.5601382523,
            864.5272121008,
            866.7782194777,
            865.4086246736,
            870.0314924292,
            855.3587976891,
            851.5511568095,
            863.2094645624,
            861.0624318318,
            848.5397354473,
            857.9432204946,
            861.2370229881,
            878.2964116149,
            857.9909782749,
            871.9069179589,
            860.2445059252,
            850.4012745111,
            866.7922558028,
            862.2175409513,
            856.8494155845,
            856.4641060792,
            878.905415424,
            851.8853822745,
            859.2360763272,
            869.1579952553,
            855.2369472583,
            859.2009612357,
            876.2027799847,
            849.6362696273,
            865.1318475963,
            855.8791178271,
            873.3916447336,
            867.1797828548,
            865.1613697328,
            875.1689869302
        ],
        "model":"gigachat_pro",
        "score":31.37,
        "lower":29.64,
        "upper":33.33,
        "avg_tokens":0.0
    },
    {
        "results":[
            726.6208252619,
            738.5741612323,
            734.1011761886,
            729.5571514643,
            728.758372467,
            733.7900136425,
            719.043685497,
            714.8370789545,
            725.8752720444,
            715.266084892,
            727.2017077065,
            739.3798608124,
            719.6304899658,
            734.0546251412,
            718.4924449088,
            721.0729415472,
            738.5699274129,
            723.7105361329,
            728.2971721354,
            737.8461934603,
            748.9971545908,
            713.1462726999,
            720.2960317186,
            727.2517234335,
            694.2654473149,
            735.6639839406,
            730.5016731736,
            734.4551919945,
            728.8931636911,
            717.6726330463,
            733.3721052861,
            725.7981758416,
            731.0409312559,
            715.3647090465,
            737.7875979517,
            729.3512200797,
            715.9010959711,
            722.2116159282,
            724.6752254921,
            718.5749125859,
            723.0132896162,
            732.3587564613,
            740.6268654101,
            724.6297632896,
            743.701641735,
            723.5736702859,
            731.9752231934,
            722.3929635211,
            721.9705147906,
            738.9123529498,
            733.7609432817,
            724.1850017217,
            727.8550112565,
            731.3315308989,
            722.5721295254,
            729.8940208849,
            735.9873637973,
            730.6501947523,
            702.8268457509,
            732.6491227137,
            736.225411771,
            745.6156113918,
            721.0912474577,
            736.2254117629,
            732.9674153867,
            723.0966793643,
            718.0704518208,
            722.2852812675,
            745.1185090985,
            736.9690722951,
            742.6306627437,
            733.1555506911,
            721.7491525609,
            723.0795022704,
            717.9478748234,
            726.703609728,
            725.3073844986,
            722.2116156669,
            720.1865370325,
            731.5240457448,
            737.0781670626,
            708.356058121,
            730.3511179714,
            727.5035049316,
            706.4191731996,
            734.2333848904,
            736.5196621633,
            724.9647865416,
            718.7060814362,
            722.5615781913,
            731.6666527735,
            722.1914533305,
            719.1795542579,
            730.3223324585,
            724.1322488355,
            734.6332090556,
            716.1292305518,
            726.7846008592,
            717.027778133,
            728.6562483681
        ],
        "model":"gigachat_lite",
        "score":17.2,
        "lower":15.65,
        "upper":18.68,
        "avg_tokens":276.0
    }
]