Hugging Face's logo

kreas
/
MA_benchmarks

Model card Files Community
kreas commited on
Commit
e34c0be
•
1 Parent(s): d1fcfb1

Upload /Llama-2-7b-hf-GPTQ-3bit/gptq3bit_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-7b-hf-GPTQ-3bit/gptq3bit_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +518 -518
Llama-2-7b-hf-GPTQ-3bit/gptq3bit_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,49 +2,49 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 4501.303296,
6
  "max_vram": 4695.523328,
7
  "max_reserved": 4211.081216,
8
  "max_allocated": 3807.955456
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.3589584481375558,
13
- "stdev": 0.0009375320663754222,
14
  "values": [
15
- 0.3637125244140625,
16
- 0.3584041748046875,
17
- 0.35877169799804687,
18
- 0.3584317626953125,
19
- 0.3586897888183594,
20
- 0.35866851806640626,
21
- 0.35896524047851563,
22
- 0.3585996704101562,
23
- 0.35883316040039065,
24
- 0.35858840942382814,
25
- 0.3588700256347656,
26
- 0.35880355834960936,
27
- 0.35895806884765624,
28
- 0.3590748291015625,
29
- 0.35890380859375,
30
- 0.3588313293457031,
31
- 0.35899392700195315,
32
- 0.35823922729492186,
33
- 0.3590666198730469,
34
- 0.3587123107910156,
35
- 0.3591517333984375,
36
- 0.3587327880859375,
37
- 0.3587532653808594,
38
- 0.35868057250976565,
39
  0.3587543029785156,
40
- 0.35887744140625,
41
- 0.35900723266601564,
42
- 0.35876055908203125
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
43
  ]
44
  },
45
  "throughput": {
46
  "unit": "tokens/s",
47
- "value": 713.1744672071312
48
  },
49
  "energy": null,
50
  "efficiency": null
@@ -52,23 +52,23 @@
52
  "decode": {
53
  "memory": {
54
  "unit": "MB",
55
- "max_ram": 4507.594752,
56
  "max_vram": 4771.0208,
57
  "max_reserved": 4286.578688,
58
  "max_allocated": 3975.732736
59
  },
60
  "latency": {
61
  "unit": "s",
62
- "mean": 8.642675716400143,
63
- "stdev": 0.02931098175048419,
64
  "values": [
65
- 8.671986698150628,
66
- 8.61336473464966
67
  ]
68
  },
69
  "throughput": {
70
  "unit": "tokens/s",
71
- "value": 29.50475158012904
72
  },
73
  "energy": null,
74
  "efficiency": null
@@ -77,524 +77,524 @@
77
  "memory": null,
78
  "latency": {
79
  "unit": "s",
80
- "mean": 0.0338928459466672,
81
- "stdev": 0.0005784291210260869,
82
  "values": [
83
- 0.03382681655883789,
84
- 0.033941505432128906,
85
- 0.033501182556152344,
86
- 0.033737728118896484,
87
- 0.033754112243652344,
88
- 0.033683456420898435,
89
- 0.03356159973144531,
90
- 0.03376639938354492,
91
- 0.033560577392578124,
92
- 0.03373875045776367,
93
- 0.03360563278198242,
94
- 0.03380428695678711,
95
- 0.03344998550415039,
96
- 0.0336629753112793,
97
- 0.03353702545166016,
98
- 0.03373158264160156,
99
- 0.03353497695922852,
100
- 0.033702911376953124,
101
- 0.0335994873046875,
102
- 0.03358003234863281,
103
- 0.03349094390869141,
104
  0.03378176116943359,
105
- 0.03355033493041992,
106
- 0.033799232482910155,
107
- 0.03358406448364258,
108
- 0.033756160736083986,
109
- 0.033598464965820314,
110
- 0.03375747299194336,
111
- 0.033616607666015624,
112
- 0.03373574447631836,
113
- 0.033572799682617185,
114
- 0.033890304565429685,
115
- 0.03357491302490234,
116
- 0.033839359283447265,
117
- 0.03362892913818359,
118
- 0.03371110534667969,
119
- 0.033587200164794925,
120
- 0.03378483200073242,
121
- 0.03361382293701172,
122
- 0.033989662170410155,
123
- 0.03371926498413086,
124
  0.03371110534667969,
125
- 0.03348070526123047,
126
- 0.033751041412353515,
127
- 0.033486846923828126,
128
- 0.033710079193115236,
129
- 0.033585151672363284,
130
- 0.033839359283447265,
131
- 0.03348761749267578,
132
  0.03372851181030274,
133
- 0.03351244735717773,
134
- 0.03371417617797851,
135
- 0.03356979370117188,
136
- 0.03361177444458008,
137
- 0.03340390396118164,
138
- 0.033783809661865234,
139
- 0.03347558212280274,
140
- 0.033742847442626955,
141
- 0.033511425018310545,
142
- 0.03362406539916992,
143
- 0.03351859283447266,
144
- 0.03362815856933594,
145
- 0.03350732803344727,
146
- 0.033723392486572266,
147
- 0.03356364822387695,
148
  0.03369779205322266,
149
- 0.03343667221069336,
150
- 0.03357388687133789,
151
- 0.033448959350585936,
152
- 0.033658878326416015,
153
- 0.03360563278198242,
154
- 0.03372748947143555,
155
- 0.03347353744506836,
156
- 0.03357593536376953,
157
- 0.03347455978393555,
158
- 0.03366502380371094,
159
- 0.033529857635498046,
160
- 0.03363430404663086,
161
- 0.03350527954101563,
162
- 0.03373590469360352,
163
- 0.033541919708251954,
164
- 0.03366092681884766,
165
- 0.033535999298095705,
166
  0.033653759002685545,
167
- 0.03346944046020508,
168
- 0.03356979370117188,
169
- 0.03343564987182617,
170
- 0.033721569061279294,
171
- 0.0335777587890625,
172
- 0.03362713623046875,
173
- 0.03350630569458008,
174
- 0.03670220947265625,
175
- 0.035176448822021485,
176
- 0.03660105514526367,
177
- 0.035646240234375,
178
- 0.03630899047851562,
179
- 0.03538431930541992,
180
- 0.035759105682373046,
181
- 0.035350528717041016,
182
- 0.03589324951171875,
183
- 0.034841598510742186,
184
- 0.03492768096923828,
185
- 0.034177982330322265,
186
- 0.03514166259765625,
187
- 0.03753468704223633,
188
- 0.0355153923034668,
189
- 0.03504844665527344,
190
- 0.03562393569946289,
191
- 0.03829043197631836,
192
- 0.03599257659912109,
193
- 0.034111488342285154,
194
- 0.03402547073364258,
195
- 0.03375718307495117,
196
- 0.03383705520629883,
197
- 0.033753089904785157,
198
- 0.033854465484619144,
199
- 0.03376128005981445,
200
- 0.03384832000732422,
201
- 0.0337367057800293,
202
- 0.033880062103271484,
203
- 0.0337520637512207,
204
- 0.033898494720458985,
205
- 0.03379609680175781,
206
- 0.03388419342041016,
207
- 0.03374588775634765,
208
- 0.033849342346191406,
209
  0.03375001525878906,
210
- 0.033880062103271484,
211
- 0.03420467376708984,
212
- 0.03411251068115234,
213
- 0.033788928985595705,
214
- 0.03392102432250976,
215
- 0.03381043243408203,
216
- 0.03392716979980469,
217
- 0.03377356719970703,
218
- 0.03392208099365234,
219
- 0.03383087921142578,
220
- 0.03397529602050781,
221
- 0.03376537704467773,
222
- 0.03388313674926758,
223
- 0.033723392486572266,
224
- 0.03380428695678711,
225
- 0.03378483200073242,
226
  0.03386982345581055,
227
- 0.03378585433959961,
228
- 0.03396915054321289,
229
- 0.033772544860839845,
230
- 0.03383500671386719,
231
- 0.03410739135742188,
232
- 0.0340049934387207,
233
- 0.033775615692138675,
234
- 0.033890304565429685,
235
- 0.03393024063110352,
236
- 0.03390771102905273,
237
- 0.03387801742553711,
238
- 0.033895423889160156,
239
- 0.03373056030273437,
240
- 0.033849342346191406,
241
- 0.03385036849975586,
242
- 0.03382988739013672,
243
- 0.03366809463500976,
244
- 0.033880062103271484,
245
- 0.03379097747802735,
246
- 0.03389142227172852,
247
- 0.03376118469238281,
248
- 0.03385651016235352,
249
  0.03380326461791992,
250
- 0.03383827209472656,
251
- 0.03372832107543945,
252
- 0.03397836685180664,
253
- 0.03375001525878906,
254
- 0.033734657287597655,
255
- 0.034045951843261715,
256
- 0.034010112762451174,
257
- 0.033756160736083986,
258
- 0.03393024063110352,
259
  0.0337786865234375,
260
- 0.03387596893310547,
261
- 0.03384320068359375,
262
- 0.03382886505126953,
263
- 0.033688575744628906,
264
- 0.033903617858886716,
265
- 0.033745918273925785,
266
- 0.03392409515380859,
267
  0.03384524917602539,
268
- 0.033865726470947266,
269
- 0.03374899291992187,
270
- 0.03385343933105469,
271
- 0.03381043243408203,
272
- 0.033947647094726564,
273
- 0.033672191619873046,
274
- 0.03386265563964844,
275
- 0.03376128005981445,
276
- 0.03387311935424805,
277
- 0.033811454772949216,
278
- 0.03383478546142578,
279
- 0.03374796676635742,
280
  0.03378688049316406,
281
- 0.03379404830932617,
282
- 0.03387494277954101,
283
- 0.03423846435546875,
284
- 0.033942527770996093,
285
- 0.03378585433959961,
286
- 0.03382476806640625,
287
- 0.03380428695678711,
288
- 0.03381452941894531,
289
- 0.03374796676635742,
290
- 0.033838081359863284,
291
- 0.033807361602783206,
292
- 0.03388108825683594,
293
- 0.033751041412353515,
294
- 0.033860607147216795,
295
- 0.03369881439208984,
296
- 0.03392409515380859,
297
- 0.03376332855224609,
298
- 0.03377664184570312,
299
- 0.033724414825439454,
300
- 0.03377971267700195,
301
- 0.033704959869384765,
302
- 0.033716224670410154,
303
- 0.03372544097900391,
304
- 0.03380121612548828,
305
- 0.03424460983276367,
306
- 0.03681280136108398,
307
- 0.03660287857055664,
308
- 0.036590591430664066,
309
- 0.03650457763671875,
310
- 0.03655372619628906,
311
- 0.0365291519165039,
312
- 0.0365219841003418,
313
- 0.03662335968017578,
314
- 0.03671244812011719,
315
- 0.034118656158447266,
316
- 0.0339343376159668,
317
- 0.033686527252197264,
318
- 0.03376128005981445,
319
- 0.03372032165527344,
320
- 0.033827838897705076,
321
- 0.033685504913330076,
322
- 0.033931262969970705,
323
- 0.03379097747802735,
324
- 0.03385343933105469,
325
- 0.03378483200073242,
326
- 0.03381862258911133,
327
- 0.03379916763305664,
328
- 0.03383500671386719,
329
- 0.033667072296142575,
330
- 0.03382681655883789,
331
- 0.033754112243652344,
332
- 0.03386777496337891,
333
- 0.03372748947143555,
334
- 0.03386470413208008,
335
- 0.033800193786621094,
336
- 0.03385139083862305,
337
- 0.03364147186279297,
338
- 0.03408281707763672,
339
- 0.03399679946899414,
340
- 0.03372544097900391,
341
- 0.033919998168945316,
342
- 0.033734657287597655,
343
- 0.033909759521484374,
344
- 0.03366809463500976,
345
- 0.033966079711914066,
346
- 0.03379609680175781,
347
- 0.033892448425292966,
348
- 0.03378166580200195,
349
- 0.033844318389892575,
350
- 0.03367824172973633,
351
- 0.033825790405273434,
352
- 0.03368447875976562,
353
- 0.03395481491088867,
354
- 0.03374387359619141,
355
- 0.03379404830932617,
356
- 0.033614849090576174,
357
- 0.033746047973632814,
358
- 0.03371916961669922,
359
- 0.033797119140625,
360
- 0.033841152191162106,
361
- 0.033928192138671875,
362
- 0.03367731094360352,
363
- 0.03382681655883789,
364
- 0.033724414825439454,
365
- 0.03386368179321289,
366
- 0.03375718307495117,
367
- 0.03394047927856445,
368
- 0.033688575744628906,
369
- 0.033944576263427735,
370
- 0.03378073501586914,
371
- 0.03385958480834961,
372
- 0.03366502380371094,
373
- 0.03388620758056641,
374
- 0.03369472122192383,
375
- 0.03383705520629883,
376
- 0.03375513458251953,
377
- 0.03387200164794922,
378
- 0.03377753448486328,
379
- 0.033753089904785157,
380
- 0.033604606628417966,
381
- 0.03375001525878906,
382
- 0.03361996841430664,
383
- 0.03382476806640625,
384
  0.03361075210571289,
385
- 0.03394559860229492,
386
- 0.03360563278198242,
387
- 0.0337448959350586,
388
- 0.03364761734008789,
389
- 0.03380547332763672,
390
- 0.03359113693237305,
391
- 0.03374502563476563,
392
- 0.03352870559692383,
393
- 0.033882110595703126,
394
- 0.03380940628051758,
395
- 0.033797119140625,
396
- 0.033699840545654294,
397
- 0.03380223846435547,
398
- 0.03363020706176758,
399
- 0.03381862258911133,
400
- 0.03386265563964844,
401
- 0.03400191879272461,
402
- 0.033585151672363284,
403
- 0.03381760025024414,
404
- 0.03368374252319336,
405
- 0.03376713562011719,
406
- 0.033688575744628906,
407
- 0.03379814529418945,
408
- 0.033675262451171875,
409
- 0.03378176116943359,
410
  0.0335810546875,
411
- 0.0336814079284668,
412
- 0.03369574356079102,
413
- 0.03376537704467773,
414
- 0.03358924865722656,
415
- 0.0337520637512207,
416
- 0.033637374877929685,
417
- 0.03383603286743164,
418
- 0.03371929550170898,
419
  0.03366400146484375,
420
- 0.03360665512084961,
421
- 0.03372851181030274,
422
- 0.03365683364868164,
423
- 0.0337448959350586,
424
- 0.033616897583007815,
425
- 0.033838081359863284,
426
- 0.03358003234863281,
427
- 0.03373056030273437,
428
- 0.03366934585571289,
429
- 0.033721118927001956,
430
- 0.03370086288452148,
431
- 0.033805313110351565,
432
- 0.03368243026733399,
433
  0.03384832000732422,
434
- 0.03363123321533203,
435
- 0.033751041412353515,
436
- 0.03376332855224609,
437
- 0.033783809661865234,
438
- 0.03360255813598633,
439
- 0.033838081359863284,
440
- 0.033642494201660156,
441
- 0.033821697235107424,
442
- 0.03362815856933594,
443
- 0.033800193786621094,
444
- 0.0336732177734375,
445
- 0.03365273666381836,
446
- 0.03556147384643555,
447
- 0.033866912841796874,
448
- 0.03370889663696289,
449
- 0.03400601577758789,
450
- 0.033637374877929685,
451
- 0.033911808013916016,
452
  0.03370598220825195,
453
- 0.03384832000732422,
454
- 0.033783809661865234,
455
- 0.03387289428710937,
456
- 0.03372748947143555,
457
- 0.03379417419433594,
458
- 0.033628032684326174,
459
- 0.03380326461791992,
460
- 0.03375820922851563,
461
- 0.033825790405273434,
462
- 0.033742847442626955,
463
- 0.03379404830932617,
464
- 0.033688575744628906,
465
- 0.033825790405273434,
466
- 0.03418521499633789,
467
- 0.03398553466796875,
468
  0.033723392486572266,
469
- 0.03394662475585938,
470
- 0.033775615692138675,
471
- 0.033870849609375,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
472
  0.03379302215576172,
473
- 0.03383910369873047,
474
- 0.033754112243652344,
475
- 0.033931262969970705,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
476
  0.033767425537109375,
477
- 0.033870849609375,
478
- 0.0337367057800293,
479
- 0.03384320068359375,
480
- 0.033617919921875,
481
- 0.03374899291992187,
482
- 0.03361996841430664,
483
- 0.033797119140625,
484
- 0.03370700836181641,
485
- 0.03375833511352539,
486
- 0.033977214813232424,
487
- 0.03392204666137695,
488
- 0.033772544860839845,
489
- 0.033903617858886716,
 
 
490
  0.03371724700927734,
491
- 0.033888256072998044,
492
  0.033788928985595705,
493
- 0.033857536315917966,
494
- 0.03377664184570312,
495
- 0.03391897583007813,
496
- 0.03370086288452148,
497
- 0.03384627151489258,
498
- 0.03375820922851563,
499
- 0.03378278350830078,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
500
  0.033724414825439454,
501
- 0.0337448959350586,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
502
  0.03366604614257813,
503
- 0.03377356719970703,
504
- 0.03363020706176758,
505
- 0.033718273162841796,
506
- 0.03368960189819336,
507
- 0.03388620758056641,
508
- 0.03370393753051758,
509
- 0.03383500671386719,
510
- 0.03402649688720703,
511
- 0.03389676666259766,
512
- 0.03366880035400391,
513
  0.03389952087402344,
514
- 0.03372544097900391,
515
- 0.033783809661865234,
516
- 0.033721343994140625,
517
- 0.03384320068359375,
518
- 0.03369881439208984,
519
- 0.03384729766845703,
520
- 0.033797119140625,
521
- 0.03383705520629883,
522
- 0.03367628860473633,
523
- 0.033756160736083986,
524
- 0.033688575744628906,
525
- 0.03386265563964844,
526
- 0.033620990753173825,
527
- 0.033737728118896484,
528
- 0.0336517105102539,
529
- 0.033710079193115236,
530
- 0.03366809463500976,
531
- 0.033821697235107424,
532
  0.03364044952392578,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
533
  0.033753089904785157,
534
- 0.03364556884765625,
535
- 0.03381657409667969,
536
- 0.033633472442626954,
537
- 0.033770305633544925,
538
- 0.03411455917358398,
539
- 0.033983486175537106,
540
- 0.033710079193115236,
541
- 0.03374796676635742,
542
- 0.03373158264160156,
543
- 0.033857791900634766,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
544
  0.03366886520385742,
545
- 0.03388313674926758,
546
- 0.03371417617797851,
547
- 0.033825790405273434,
 
 
 
 
548
  0.03367833709716797,
549
- 0.033858558654785154,
550
- 0.03373158264160156,
551
- 0.03384627151489258,
552
- 0.03372748947143555,
553
- 0.03374694442749023,
554
- 0.03373567962646484,
555
- 0.03381862258911133,
556
- 0.0336814079284668,
557
- 0.0337042236328125,
558
- 0.03362582397460938,
559
- 0.03380428695678711,
560
- 0.03358924865722656,
561
- 0.03379404830932617,
562
  0.033693695068359376,
563
- 0.033678592681884764,
564
- 0.03361254501342773,
565
- 0.03381452941894531,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
566
  0.03371212768554688,
567
- 0.03375820922851563,
568
- 0.03363942337036133,
569
- 0.0337367057800293,
570
- 0.03410739135742188,
571
- 0.034088958740234376,
572
- 0.033683456420898435,
573
- 0.033775615692138675,
574
- 0.033724414825439454,
575
- 0.033858558654785154,
 
 
 
 
 
 
 
 
 
 
576
  0.03373158264160156,
577
- 0.033842174530029294,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
578
  0.033772544860839845,
579
- 0.03382067108154297,
580
- 0.033880062103271484,
581
- 0.03388313674926758,
582
- 0.03368243026733399,
583
- 0.03380633544921875,
584
- 0.033827838897705076,
585
- 0.03388518524169922,
586
- 0.033737728118896484,
587
- 0.03387801742553711,
588
- 0.033704959869384765,
589
- 0.03375001525878906,
590
- 0.03374694442749023,
591
- 0.03380326461791992,
592
- 0.033685504913330076
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
593
  ]
594
  },
595
  "throughput": {
596
  "unit": "tokens/s",
597
- "value": 29.504751580129064
598
  },
599
  "energy": null,
600
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 4485.066752,
6
  "max_vram": 4695.523328,
7
  "max_reserved": 4211.081216,
8
  "max_allocated": 3807.955456
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.35890303693498893,
13
+ "stdev": 0.0008799294143621595,
14
  "values": [
15
+ 0.36340887451171877,
16
+ 0.3584870300292969,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
17
  0.3587543029785156,
18
+ 0.3584307250976563,
19
+ 0.35865087890625,
20
+ 0.3586490478515625,
21
+ 0.3587583923339844,
22
+ 0.3585761413574219,
23
+ 0.35884033203125,
24
+ 0.358572021484375,
25
+ 0.3588556823730469,
26
+ 0.35877886962890626,
27
+ 0.3589109802246094,
28
+ 0.35898287963867187,
29
+ 0.3587880859375,
30
+ 0.3587809143066406,
31
+ 0.3589140625,
32
+ 0.35869183349609374,
33
+ 0.3590256652832031,
34
+ 0.35863858032226564,
35
+ 0.35906353759765625,
36
+ 0.35861605834960936,
37
+ 0.3586314392089844,
38
+ 0.35860479736328127,
39
+ 0.35871334838867186,
40
+ 0.3587369079589844,
41
+ 0.3587164306640625,
42
+ 0.35870721435546876
43
  ]
44
  },
45
  "throughput": {
46
  "unit": "tokens/s",
47
+ "value": 713.2845745364127
48
  },
49
  "energy": null,
50
  "efficiency": null
 
52
  "decode": {
53
  "memory": {
54
  "unit": "MB",
55
+ "max_ram": 4491.358208,
56
  "max_vram": 4771.0208,
57
  "max_reserved": 4286.578688,
58
  "max_allocated": 3975.732736
59
  },
60
  "latency": {
61
  "unit": "s",
62
+ "mean": 8.584324596405029,
63
+ "stdev": 0.002176475524901633,
64
  "values": [
65
+ 8.58650107192993,
66
+ 8.582148120880127
67
  ]
68
  },
69
  "throughput": {
70
  "unit": "tokens/s",
71
+ "value": 29.70530728844873
72
  },
73
  "energy": null,
74
  "efficiency": null
 
77
  "memory": null,
78
  "latency": {
79
  "unit": "s",
80
+ "mean": 0.03366401802511778,
81
+ "stdev": 0.0002269135981762695,
82
  "values": [
83
+ 0.033582046508789064,
84
+ 0.033960960388183595,
85
+ 0.03316428756713867,
86
+ 0.03336806488037109,
87
+ 0.03328204727172852,
88
+ 0.03333529663085937,
89
+ 0.0336363525390625,
90
+ 0.033726463317871096,
91
+ 0.03360768127441406,
92
+ 0.03371212768554688,
93
+ 0.03364556884765625,
94
+ 0.03365990447998047,
95
+ 0.033486846923828126,
 
 
 
 
 
 
 
 
96
  0.03378176116943359,
97
+ 0.033565696716308595,
98
+ 0.03378691101074219,
99
+ 0.033582046508789064,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
100
  0.03371110534667969,
101
+ 0.033854465484619144,
102
+ 0.03384832000732422,
103
+ 0.03359231948852539,
 
 
 
 
104
  0.03372851181030274,
105
+ 0.03373567962646484,
106
+ 0.03384025573730469,
107
+ 0.03373350524902344,
108
+ 0.03374387359619141,
109
+ 0.03371110534667969,
110
+ 0.033707199096679685,
111
+ 0.033699649810791016,
112
+ 0.033775615692138675,
113
+ 0.03361382293701172,
114
+ 0.03388927841186523,
115
+ 0.033568767547607424,
 
 
 
 
116
  0.03369779205322266,
117
+ 0.033685504913330076,
118
+ 0.03374182510375977,
119
+ 0.03367424011230469,
120
+ 0.0337786865234375,
 
 
 
 
 
 
 
 
 
 
 
 
 
121
  0.033653759002685545,
122
+ 0.03395276641845703,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
123
  0.03375001525878906,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
124
  0.03386982345581055,
125
+ 0.03365273666381836,
126
+ 0.033743904113769534,
127
+ 0.033629150390625,
128
+ 0.03377766418457031,
129
+ 0.03371417617797851,
130
+ 0.03384729766845703,
131
+ 0.0336445426940918,
132
+ 0.033999870300292966,
133
+ 0.03372032165527344,
 
 
 
 
 
 
 
 
 
 
 
 
 
134
  0.03380326461791992,
135
+ 0.03380633544921875,
136
+ 0.03374694442749023,
137
+ 0.033535999298095705,
138
+ 0.033888256072998044,
139
+ 0.03354828643798828,
 
 
 
 
140
  0.0337786865234375,
141
+ 0.03372236633300781,
 
 
 
 
 
 
142
  0.03384524917602539,
143
+ 0.03357798385620117,
144
+ 0.033653759002685545,
145
+ 0.03355340957641602,
146
+ 0.033887233734130856,
147
+ 0.033670143127441404,
148
+ 0.03372851181030274,
149
+ 0.033570816040039066,
150
+ 0.033675262451171875,
151
+ 0.03349401473999023,
 
 
 
152
  0.03378688049316406,
153
+ 0.0335728645324707,
154
+ 0.033811454772949216,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
155
  0.03361075210571289,
156
+ 0.033582080841064454,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
157
  0.0335810546875,
158
+ 0.033783809661865234,
159
+ 0.03359027099609375,
 
 
 
 
 
 
160
  0.03366400146484375,
161
+ 0.033567745208740236,
162
+ 0.03376435089111328,
163
+ 0.03376844787597656,
 
 
 
 
 
 
 
 
 
 
164
  0.03384832000732422,
165
+ 0.03359539031982422,
166
+ 0.033683456420898435,
167
+ 0.033459201812744144,
168
+ 0.03354345703125,
169
+ 0.03353571319580078,
170
+ 0.033842174530029294,
171
+ 0.033567745208740236,
172
+ 0.0335994873046875,
173
+ 0.0336097297668457,
 
 
 
 
 
 
 
 
 
174
  0.03370598220825195,
175
+ 0.0335994873046875,
176
+ 0.03369062423706055,
177
+ 0.03348275375366211,
178
+ 0.03397119903564453,
179
+ 0.033486846923828126,
180
+ 0.03360563278198242,
181
+ 0.03343769454956055,
182
+ 0.03378073501586914,
 
 
 
 
 
 
 
183
  0.033723392486572266,
184
+ 0.03370620727539062,
185
+ 0.033525535583496094,
186
+ 0.033637374877929685,
187
+ 0.033380352020263675,
188
+ 0.03369472122192383,
189
+ 0.03347558212280274,
190
+ 0.033285118103027346,
191
+ 0.03520409774780273,
192
+ 0.033240127563476565,
193
+ 0.03314271926879883,
194
+ 0.03381760025024414,
195
+ 0.03361587142944336,
196
+ 0.03370598220825195,
197
+ 0.03368447875976562,
198
+ 0.03364566421508789,
199
+ 0.0336280632019043,
200
+ 0.03379609680175781,
201
+ 0.03361996841430664,
202
+ 0.0337204475402832,
203
+ 0.033613697052001956,
204
+ 0.033672191619873046,
205
+ 0.03359436798095703,
206
  0.03379302215576172,
207
+ 0.033565696716308595,
208
+ 0.03378688049316406,
209
+ 0.03351244735717773,
210
+ 0.03367139053344727,
211
+ 0.03397916793823242,
212
+ 0.033887233734130856,
213
+ 0.03362508773803711,
214
+ 0.0335912971496582,
215
+ 0.03361075210571289,
216
+ 0.03368447875976562,
217
+ 0.03363532638549805,
218
+ 0.03385651016235352,
219
+ 0.03354111862182617,
220
+ 0.03383705520629883,
221
+ 0.03360563278198242,
222
+ 0.033702911376953124,
223
+ 0.0335994873046875,
224
+ 0.03389961624145508,
225
+ 0.03401308822631836,
226
+ 0.033827838897705076,
227
+ 0.033588222503662106,
228
+ 0.0337151985168457,
229
+ 0.03376128005981445,
230
  0.033767425537109375,
231
+ 0.0339128303527832,
232
+ 0.03380633544921875,
233
+ 0.03356467056274414,
234
+ 0.03367935943603516,
235
+ 0.03362611389160156,
236
+ 0.033686527252197264,
237
+ 0.0335994873046875,
238
+ 0.033783809661865234,
239
+ 0.03356671905517578,
240
+ 0.0335810546875,
241
+ 0.0336629753112793,
242
+ 0.033880062103271484,
243
+ 0.03369779205322266,
244
+ 0.033699840545654294,
245
+ 0.03361075210571289,
246
  0.03371724700927734,
247
+ 0.03381862258911133,
248
  0.033788928985595705,
249
+ 0.03363942337036133,
250
+ 0.03377878570556641,
251
+ 0.03368233489990234,
252
+ 0.03374387359619141,
253
+ 0.03387596893310547,
254
+ 0.03403366470336914,
255
+ 0.03403059387207031,
256
+ 0.03418931198120117,
257
+ 0.03367833709716797,
258
+ 0.03378790283203125,
259
+ 0.033701889038085936,
260
+ 0.03386982345581055,
261
+ 0.0335728645324707,
262
+ 0.033699840545654294,
263
+ 0.03351244735717773,
264
+ 0.03361382293701172,
265
+ 0.033391616821289063,
266
+ 0.03337318420410156,
267
+ 0.033173503875732424,
268
+ 0.03328409576416016,
269
+ 0.033116161346435545,
270
+ 0.033568767547607424,
271
+ 0.03357593536376953,
272
+ 0.0337305908203125,
273
+ 0.033554401397705075,
274
+ 0.033701889038085936,
275
+ 0.03359539031982422,
276
+ 0.0336445426940918,
277
+ 0.03360358428955078,
278
+ 0.0335810546875,
279
+ 0.033508350372314456,
280
+ 0.03361075210571289,
281
+ 0.033347583770751955,
282
+ 0.03328716659545899,
283
+ 0.0336629753112793,
284
+ 0.03380940628051758,
285
+ 0.033600513458251956,
286
+ 0.033642494201660156,
287
+ 0.033860607147216795,
288
+ 0.03369676971435547,
289
+ 0.03363430404663086,
290
+ 0.033645633697509766,
291
+ 0.033523647308349606,
292
+ 0.03365785598754883,
293
+ 0.03358617782592774,
294
+ 0.0336097297668457,
295
+ 0.033686527252197264,
296
+ 0.03363840103149414,
297
+ 0.03346124649047852,
298
+ 0.03350527954101563,
299
+ 0.03346124649047852,
300
+ 0.033584129333496096,
301
+ 0.03368960189819336,
302
+ 0.03370598220825195,
303
+ 0.03352166366577149,
304
+ 0.033584129333496096,
305
+ 0.03355033493041992,
306
+ 0.03361587142944336,
307
+ 0.0336732177734375,
308
+ 0.033704959869384765,
309
+ 0.03354316711425781,
310
+ 0.03369676971435547,
311
+ 0.033567745208740236,
312
+ 0.03359539031982422,
313
+ 0.033655807495117186,
314
+ 0.03367852783203125,
315
+ 0.034040641784667966,
316
+ 0.033838081359863284,
317
+ 0.03353702545166016,
318
+ 0.03377369689941406,
319
+ 0.033922943115234375,
320
+ 0.033770496368408204,
321
+ 0.033535999298095705,
322
+ 0.03373699188232422,
323
+ 0.033648353576660156,
324
  0.033724414825439454,
325
+ 0.03369472122192383,
326
+ 0.033732608795166014,
327
+ 0.033838081359863284,
328
+ 0.03366400146484375,
329
+ 0.033576961517333984,
330
+ 0.03379814529418945,
331
+ 0.033849342346191406,
332
+ 0.03382067108154297,
333
+ 0.03367935943603516,
334
+ 0.03365478515625,
335
+ 0.033570816040039066,
336
+ 0.033650688171386715,
337
+ 0.03367424011230469,
338
+ 0.03378995132446289,
339
+ 0.033941505432128906,
340
+ 0.033683456420898435,
341
+ 0.03371417617797851,
342
+ 0.03322470474243164,
343
+ 0.03377766418457031,
344
  0.03366604614257813,
 
 
 
 
 
 
 
 
 
 
345
  0.03389952087402344,
346
+ 0.033539070129394534,
347
+ 0.0337448959350586,
348
+ 0.033585151672363284,
349
+ 0.033858558654785154,
350
+ 0.03378073501586914,
351
+ 0.033841152191162106,
352
+ 0.033766464233398436,
353
+ 0.03391593551635742,
354
+ 0.03364956665039062,
355
+ 0.033484798431396484,
356
+ 0.03338751983642578,
357
+ 0.03364761734008789,
 
 
 
 
 
 
358
  0.03364044952392578,
359
+ 0.033726463317871096,
360
+ 0.03362201690673828,
361
+ 0.03392716979980469,
362
+ 0.033858558654785154,
363
+ 0.033939456939697264,
364
+ 0.033672191619873046,
365
+ 0.03375513458251953,
366
+ 0.03364863967895508,
367
+ 0.033856704711914064,
368
+ 0.03360953521728516,
369
+ 0.033906814575195315,
370
+ 0.03389120101928711,
371
+ 0.03371929550170898,
372
+ 0.03359436798095703,
373
+ 0.03394867324829102,
374
+ 0.03366809463500976,
375
+ 0.03371417617797851,
376
+ 0.033296382904052735,
377
+ 0.03345119857788086,
378
+ 0.033223487854003905,
379
+ 0.033410049438476565,
380
+ 0.033347583770751955,
381
+ 0.03343155288696289,
382
+ 0.03320012664794922,
383
+ 0.033208545684814454,
384
+ 0.033130271911621094,
385
+ 0.033432575225830076,
386
+ 0.033259521484375,
387
+ 0.03329433441162109,
388
+ 0.03321241760253906,
389
+ 0.0332042236328125,
390
+ 0.03316428756713867,
391
+ 0.033364990234375,
392
+ 0.03329740905761719,
393
+ 0.033426433563232424,
394
+ 0.03326259231567383,
395
+ 0.0332492790222168,
396
+ 0.033261566162109374,
397
+ 0.033514495849609374,
398
+ 0.0335206413269043,
399
+ 0.03362406539916992,
400
+ 0.033562625885009766,
401
+ 0.03398860931396484,
402
+ 0.033570816040039066,
403
+ 0.03369574356079102,
404
+ 0.03347967910766601,
405
+ 0.03355852890014648,
406
+ 0.033432575225830076,
407
+ 0.03356159973144531,
408
+ 0.03348582458496094,
409
+ 0.033808383941650394,
410
+ 0.033547264099121094,
411
+ 0.03358003234863281,
412
+ 0.033498111724853515,
413
+ 0.03370300674438476,
414
+ 0.03349903869628906,
415
+ 0.03368960189819336,
416
+ 0.03351244735717773,
417
  0.033753089904785157,
418
+ 0.03347558212280274,
419
+ 0.033535999298095705,
420
+ 0.033459201812744144,
421
+ 0.035985408782958986,
422
+ 0.03394582366943359,
423
+ 0.03367299270629883,
424
+ 0.03353497695922852,
425
+ 0.03389952087402344,
426
+ 0.033546241760253906,
427
+ 0.033708030700683594,
428
+ 0.03352883148193359,
429
+ 0.03371724700927734,
430
+ 0.03356159973144531,
431
+ 0.03359743881225586,
432
+ 0.033805313110351565,
433
+ 0.0340398063659668,
434
+ 0.033633281707763675,
435
+ 0.033672191619873046,
436
+ 0.03350630569458008,
437
+ 0.03368038558959961,
438
+ 0.0334837760925293,
439
+ 0.033742847442626955,
440
+ 0.03384012985229492,
441
+ 0.03382067108154297,
442
+ 0.03351347351074219,
443
+ 0.033702144622802736,
444
  0.03366886520385742,
445
+ 0.03386265563964844,
446
+ 0.03359027099609375,
447
+ 0.033751041412353515,
448
+ 0.0335175666809082,
449
+ 0.03376435089111328,
450
+ 0.03349913787841797,
451
+ 0.03382476806640625,
452
  0.03367833709716797,
453
+ 0.03365785598754883,
454
+ 0.033539070129394534,
455
+ 0.033649665832519535,
456
+ 0.033481727600097655,
457
+ 0.03379097747802735,
458
+ 0.03355648040771484,
459
+ 0.033691646575927735,
460
+ 0.03347763061523437,
461
+ 0.033704959869384765,
462
+ 0.03356467056274414,
463
+ 0.03403776168823242,
 
 
464
  0.033693695068359376,
465
+ 0.033791999816894534,
466
+ 0.0336445426940918,
467
+ 0.033649665832519535,
468
+ 0.03364863967895508,
469
+ 0.03378995132446289,
470
+ 0.03358617782592774,
471
+ 0.03366912078857422,
472
+ 0.033587200164794925,
473
+ 0.033701889038085936,
474
+ 0.03362508773803711,
475
+ 0.03379404830932617,
476
+ 0.03365785598754883,
477
+ 0.03365273666381836,
478
+ 0.03359231948852539,
479
+ 0.03366912078857422,
480
+ 0.03347353744506836,
481
+ 0.033857536315917966,
482
+ 0.033567745208740236,
483
+ 0.03366502380371094,
484
+ 0.03352678298950195,
485
+ 0.03359641647338867,
486
+ 0.033562625885009766,
487
+ 0.03372035217285156,
488
+ 0.03356668853759766,
489
+ 0.03365273666381836,
490
+ 0.03355350494384766,
491
+ 0.03367824172973633,
492
+ 0.033699840545654294,
493
+ 0.033811454772949216,
494
+ 0.03384832000732422,
495
+ 0.03383091354370117,
496
+ 0.03360563278198242,
497
+ 0.03358003234863281,
498
+ 0.033598464965820314,
499
+ 0.0339343376159668,
500
+ 0.033691646575927735,
501
+ 0.03376025772094727,
502
+ 0.03360563278198242,
503
  0.03371212768554688,
504
+ 0.03359027099609375,
505
+ 0.03380428695678711,
506
+ 0.03356979370117188,
507
+ 0.03375513458251953,
508
+ 0.03361075210571289,
509
+ 0.03372544097900391,
510
+ 0.033667072296142575,
511
+ 0.033753089904785157,
512
+ 0.03358617782592774,
513
+ 0.03360153579711914,
514
+ 0.033538047790527346,
515
+ 0.03362406539916992,
516
+ 0.03363225555419922,
517
+ 0.03368038558959961,
518
+ 0.03354627227783203,
519
+ 0.03367318344116211,
520
+ 0.033693695068359376,
521
+ 0.03373696136474609,
522
+ 0.03360230255126953,
523
  0.03373158264160156,
524
+ 0.03355136108398438,
525
+ 0.03386777496337891,
526
+ 0.03372032165527344,
527
+ 0.03373788833618164,
528
+ 0.03359830474853515,
529
+ 0.03376464080810547,
530
+ 0.03360636901855469,
531
+ 0.03363225555419922,
532
+ 0.03347455978393555,
533
+ 0.03355750274658203,
534
+ 0.033620990753173825,
535
+ 0.03380940628051758,
536
+ 0.03359334564208984,
537
+ 0.03362611389160156,
538
+ 0.03578060913085938,
539
+ 0.03385036849975586,
540
+ 0.03357388687133789,
541
+ 0.03383193588256836,
542
+ 0.03361075210571289,
543
+ 0.03366092681884766,
544
+ 0.03352179336547852,
545
+ 0.03364236831665039,
546
+ 0.033683456420898435,
547
+ 0.03372748947143555,
548
+ 0.03355852890014648,
549
+ 0.0335912971496582,
550
+ 0.03319193649291992,
551
+ 0.03329740905761719,
552
+ 0.033235969543457033,
553
+ 0.03366092681884766,
554
+ 0.03371929550170898,
555
+ 0.03365785598754883,
556
+ 0.03386265563964844,
557
+ 0.03390259170532227,
558
+ 0.03379302215576172,
559
+ 0.0337786865234375,
560
+ 0.033576961517333984,
561
+ 0.03368454360961914,
562
+ 0.03359635162353516,
563
  0.033772544860839845,
564
+ 0.0336517105102539,
565
+ 0.0336629753112793,
566
+ 0.03353702545166016,
567
+ 0.033653759002685545,
568
+ 0.03355648040771484,
569
+ 0.03365785598754883,
570
+ 0.03422719955444336,
571
+ 0.03394355010986328,
572
+ 0.03362201690673828,
573
+ 0.0336629753112793,
574
+ 0.03354316711425781,
575
+ 0.03368447875976562,
576
+ 0.0336517105102539,
577
+ 0.033834049224853516,
578
+ 0.03364243316650391,
579
+ 0.03372236633300781,
580
+ 0.03361075210571289,
581
+ 0.03372851181030274,
582
+ 0.033688575744628906,
583
+ 0.03365785598754883,
584
+ 0.03353497695922852,
585
+ 0.033642494201660156,
586
+ 0.03354828643798828,
587
+ 0.033977344512939454,
588
+ 0.03373567962646484,
589
+ 0.033800193786621094,
590
+ 0.033576961517333984,
591
+ 0.033653759002685545,
592
+ 0.03360665512084961
593
  ]
594
  },
595
  "throughput": {
596
  "unit": "tokens/s",
597
+ "value": 29.70530728844871
598
  },
599
  "energy": null,
600
  "efficiency": null