Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
3ef71fe
·
verified ·
1 Parent(s): 0575495

Upload /phi-2/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. phi-2/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +450 -447
phi-2/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,206 +2,209 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 3940.134912,
6
  "max_vram": 3766.484992,
7
  "max_reserved": 3353.346048,
8
  "max_allocated": 3294.665216
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.05422576269201329,
13
- "stdev": 0.0007865958319359106,
14
  "values": [
15
- 0.058200767517089844,
16
- 0.05838441467285156,
17
- 0.05629542541503906,
18
- 0.05532467269897461,
19
- 0.05923244857788086,
20
- 0.0603955192565918,
21
- 0.05494784164428711,
22
- 0.054077438354492184,
23
- 0.054075393676757816,
24
- 0.05415321731567383,
25
- 0.05403340911865234,
26
- 0.05402009582519531,
27
- 0.0540682258605957,
28
- 0.05422694396972656,
29
- 0.05408563232421875,
30
- 0.054042625427246097,
31
- 0.0541030387878418,
32
- 0.05403238296508789,
33
- 0.05416960144042969,
34
- 0.054075393676757816,
35
- 0.05405491256713867,
36
- 0.05398323059082031,
37
- 0.053959678649902344,
38
- 0.05390848159790039,
39
- 0.05395251083374023,
40
- 0.05392895889282227,
41
- 0.053935104370117185,
42
- 0.053897216796875,
43
- 0.05404774475097656,
44
- 0.0539156494140625,
45
- 0.05390233612060547,
46
- 0.0544532470703125,
47
- 0.05433958435058594,
48
- 0.0539504623413086,
49
- 0.05457017517089844,
50
- 0.053992446899414064,
51
- 0.05405491256713867,
52
- 0.0541030387878418,
53
- 0.054042625427246097,
54
- 0.05393305587768555,
55
- 0.053951488494873044,
56
- 0.05397196960449219,
57
- 0.0540948486328125,
58
- 0.054357086181640625,
59
- 0.05378867340087891,
60
- 0.05407436752319336,
61
- 0.05403145599365235,
62
- 0.05412966537475586,
63
- 0.05390972900390625,
64
- 0.054089729309082034,
65
- 0.05389619064331055,
66
- 0.05393920135498047,
67
- 0.053873855590820315,
68
- 0.0542740478515625,
69
- 0.053994495391845705,
70
- 0.053901313781738285,
71
- 0.05386444854736328,
72
- 0.05382252883911133,
73
- 0.05385523223876953,
74
- 0.053910526275634765,
75
- 0.05397094345092773,
76
- 0.05388800048828125,
77
- 0.053901313781738285,
78
- 0.05389619064331055,
79
- 0.053910526275634765,
80
- 0.05396582412719726,
81
- 0.05394432067871094,
82
- 0.05398323059082031,
83
- 0.0542658576965332,
84
- 0.05453209686279297,
85
- 0.053981182098388675,
86
- 0.054093822479248044,
87
- 0.05455974578857422,
88
- 0.05409894561767578,
89
- 0.0540313606262207,
90
- 0.05403340911865234,
91
- 0.05397622299194336,
92
- 0.05404569625854492,
93
- 0.053989376068115234,
94
- 0.05410940933227539,
95
- 0.054225921630859375,
96
- 0.05434777450561523,
97
- 0.05417062377929688,
98
- 0.05408768081665039,
99
- 0.053923839569091796,
100
- 0.05406719970703125,
101
- 0.053927040100097655,
102
- 0.054013950347900394,
103
- 0.05406617736816406,
104
- 0.05396582412719726,
105
- 0.05407436752319336,
106
- 0.05400371170043945,
107
- 0.05390233612060547,
108
- 0.05408870315551758,
109
- 0.05398425674438476,
110
- 0.054007904052734375,
111
- 0.053905406951904294,
112
- 0.053967872619628904,
113
- 0.053956737518310545,
114
- 0.054004737854003906,
115
- 0.05388390350341797,
116
- 0.054161407470703124,
117
- 0.054158336639404295,
118
- 0.05400678253173828,
119
- 0.053850112915039064,
120
- 0.05415116882324219,
121
- 0.05431808090209961,
122
- 0.053935230255126955,
123
- 0.05390643310546875,
124
- 0.05474816131591797,
125
- 0.05389209747314453,
126
- 0.054217727661132815,
127
- 0.05413785552978516,
128
- 0.05396889495849609,
129
- 0.05418700790405274,
130
- 0.05420441436767578,
131
- 0.05411942291259766,
132
- 0.05401804733276367,
133
- 0.05461315155029297,
134
- 0.05411635208129883,
135
- 0.054128639221191405,
136
- 0.05399552154541016,
137
- 0.054046718597412106,
138
- 0.05408051300048828,
139
- 0.05420646286010742,
140
- 0.054073345184326174,
141
- 0.05403750228881836,
142
- 0.054106113433837894,
143
- 0.05412454223632813,
144
- 0.054108222961425784,
145
- 0.05395872116088867,
146
- 0.05398646545410156,
147
- 0.05411635208129883,
148
- 0.0540497932434082,
149
- 0.0540313606262207,
150
- 0.05408256149291992,
151
- 0.05401804733276367,
152
- 0.05399347305297852,
153
- 0.05395558547973633,
154
- 0.05423820877075195,
155
- 0.0540948486328125,
156
- 0.05407436752319336,
157
- 0.05492428970336914,
158
- 0.05394944000244141,
159
- 0.05404876708984375,
160
- 0.054193153381347656,
161
- 0.05465804672241211,
162
- 0.05411123275756836,
163
- 0.05400166320800781,
164
- 0.054106113433837894,
165
- 0.05410815811157227,
166
- 0.05410508728027344,
167
- 0.05409177780151367,
168
- 0.05402521514892578,
169
- 0.054125568389892575,
170
- 0.055275520324707034,
171
- 0.05554483032226563,
172
- 0.054147071838378906,
173
- 0.05406412887573242,
174
- 0.05412044906616211,
175
- 0.05399859237670898,
176
- 0.05409999847412109,
177
- 0.054056961059570315,
178
- 0.05419417572021484,
179
  0.05408768081665039,
180
- 0.05420339202880859,
181
- 0.054177921295166014,
182
- 0.05423820877075195,
183
- 0.05403033447265625,
184
- 0.05409503936767578,
185
- 0.05399859237670898,
186
- 0.05413683319091797,
187
- 0.05410713577270508,
188
- 0.05406515121459961,
189
- 0.053997566223144534,
190
- 0.054043647766113284,
191
- 0.054182910919189455,
192
- 0.05418700790405274,
193
- 0.05424025726318359,
194
- 0.05498470306396484,
195
- 0.0541605110168457,
196
- 0.05396582412719726,
197
- 0.05402016067504883,
198
- 0.05438259124755859,
199
- 0.053938175201416014
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
200
  ]
201
  },
202
  "throughput": {
203
  "unit": "tokens/s",
204
- "value": 4721.003214911079
205
  },
206
  "energy": null,
207
  "efficiency": null
@@ -209,22 +212,22 @@
209
  "decode": {
210
  "memory": {
211
  "unit": "MB",
212
- "max_ram": 3940.134912,
213
  "max_vram": 4129.292288,
214
  "max_reserved": 3636.461568,
215
  "max_allocated": 3603.202048
216
  },
217
  "latency": {
218
  "unit": "s",
219
- "mean": 13.807161384582521,
220
  "stdev": 0,
221
  "values": [
222
- 13.807161384582521
223
  ]
224
  },
225
  "throughput": {
226
  "unit": "tokens/s",
227
- "value": 18.468676717630057
228
  },
229
  "energy": null,
230
  "efficiency": null
@@ -233,269 +236,269 @@
233
  "memory": null,
234
  "latency": {
235
  "unit": "s",
236
- "mean": 0.054145730919931453,
237
- "stdev": 0.00019632060470432824,
238
  "values": [
239
- 0.054666305541992186,
240
- 0.05413267135620117,
241
- 0.054183135986328124,
242
- 0.05402601623535156,
243
- 0.0542105598449707,
244
- 0.05423820877075195,
245
- 0.0544716796875,
246
- 0.05412966537475586,
247
- 0.054163455963134766,
248
- 0.05408665466308594,
249
- 0.05407356643676758,
250
- 0.05398300933837891,
251
- 0.05425254440307617,
252
- 0.05402624130249024,
253
- 0.05416159820556641,
254
- 0.05398611068725586,
255
- 0.05416252899169922,
256
- 0.054164382934570314,
257
- 0.054110366821289065,
258
- 0.05409059143066406,
259
- 0.05414912033081055,
260
- 0.05399961471557617,
261
- 0.05409075164794922,
262
- 0.05402931213378906,
263
- 0.05406828689575195,
264
- 0.053943233489990236,
265
- 0.054381568908691405,
266
- 0.05424844741821289,
267
- 0.05424332809448242,
268
- 0.05406924819946289,
269
- 0.0551383056640625,
270
- 0.05409689712524414,
271
- 0.05411942291259766,
272
- 0.054002689361572265,
273
- 0.05406105422973633,
274
- 0.05439385604858398,
275
- 0.054225086212158206,
276
- 0.054090560913085936,
277
- 0.054112255096435545,
278
- 0.05414912033081055,
279
- 0.054280193328857425,
280
- 0.054092800140380856,
281
- 0.05407231903076172,
282
- 0.05446758270263672,
283
- 0.054184959411621096,
284
- 0.054199295043945314,
285
- 0.054155265808105466,
286
- 0.053956607818603515,
287
- 0.054128639221191405,
288
- 0.0540682258605957,
289
- 0.0540846061706543,
290
- 0.05394944000244141,
291
- 0.05425574493408203,
292
- 0.05398515319824219,
293
- 0.05401497650146484,
294
- 0.053889022827148435,
295
- 0.054035457611083984,
296
- 0.053923839569091796,
297
- 0.05436415863037109,
298
- 0.05406719970703125,
299
- 0.0541973762512207,
300
- 0.05408038330078125,
301
- 0.054155265808105466,
302
- 0.05395251083374023,
303
- 0.054245376586914064,
304
- 0.054012928009033206,
305
- 0.0541102066040039,
306
- 0.05509734344482422,
307
- 0.05413289642333984,
308
- 0.054012767791748045,
309
- 0.05404774475097656,
310
- 0.05424435043334961,
311
- 0.05470412826538086,
312
- 0.05417267227172851,
313
- 0.05409791946411133,
314
- 0.0542023696899414,
315
- 0.054280193328857425,
316
- 0.0540211181640625,
317
- 0.05424127960205078,
318
- 0.054079486846923826,
319
- 0.05420032119750977,
320
- 0.05451468658447266,
321
- 0.05417695999145508,
322
- 0.05408953475952148,
323
- 0.05428041458129883,
324
- 0.05423183822631836,
325
- 0.054653953552246094,
326
- 0.05407231903076172,
327
- 0.05418905639648437,
328
- 0.05415116882324219,
329
- 0.054109184265136716,
330
- 0.05405491256713867,
331
- 0.053897216796875,
332
- 0.05406515121459961,
333
- 0.05402828979492187,
334
- 0.05421158218383789,
335
- 0.05428736114501953,
336
- 0.05418188858032227,
337
- 0.054225921630859375,
338
- 0.0541317138671875,
339
- 0.05427814483642578,
340
- 0.054141952514648435,
341
- 0.05397401428222656,
342
- 0.054076416015625,
343
- 0.055032833099365235,
344
- 0.05399654388427735,
345
- 0.054179840087890625,
346
- 0.054109184265136716,
347
- 0.054387710571289063,
348
- 0.05458432006835937,
349
- 0.054174720764160154,
350
- 0.05415116882324219,
351
- 0.05423308944702149,
352
- 0.05392281723022461,
353
- 0.05400883102416992,
354
- 0.05419417572021484,
355
- 0.05417475128173828,
356
- 0.0540794563293457,
357
- 0.05450137710571289,
358
- 0.05439705657958984,
359
- 0.05416742324829102,
360
- 0.05422796630859375,
361
- 0.05420851135253906,
362
- 0.05406617736816406,
363
- 0.05404470443725586,
364
- 0.05397296142578125,
365
- 0.054147201538085936,
366
- 0.054109054565429686,
367
- 0.05424435043334961,
368
- 0.05383782577514649,
369
- 0.05408153533935547,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
370
  0.05389619064331055,
371
- 0.054076416015625,
372
- 0.053989376068115234,
373
- 0.05419724655151367,
374
- 0.05390438461303711,
375
- 0.05419417572021484,
376
- 0.05399961471557617,
377
- 0.054247425079345706,
378
- 0.05402521514892578,
379
- 0.05493987274169922,
380
- 0.05391439819335937,
381
- 0.05417267227172851,
382
- 0.0540313606262207,
383
- 0.05417574310302734,
384
- 0.05416447830200195,
385
- 0.054504447937011716,
386
- 0.05400883102416992,
387
- 0.05407846450805664,
388
- 0.05394636917114258,
389
- 0.054251518249511715,
390
- 0.053833728790283204,
391
- 0.0541952018737793,
392
- 0.054079486846923826,
393
- 0.054324222564697267,
394
- 0.05457612609863281,
395
- 0.054040576934814455,
396
- 0.05396582412719726,
397
- 0.05417574310302734,
398
- 0.05394432067871094,
399
- 0.054228992462158204,
400
- 0.05394944000244141,
401
- 0.05425664138793945,
402
- 0.05393203353881836,
403
- 0.054059009552001956,
404
- 0.05412761688232422,
405
- 0.05408358383178711,
406
- 0.0538419189453125,
407
- 0.054130878448486325,
408
- 0.05378847885131836,
409
- 0.054163455963134766,
410
- 0.05384703826904297,
411
- 0.05401599884033203,
412
- 0.05409689712524414,
413
- 0.05410310363769531,
414
- 0.05383980941772461,
415
- 0.054131839752197264,
416
- 0.05387865447998047,
417
- 0.0543375358581543,
418
- 0.053795841217041014,
419
- 0.05416447830200195,
420
- 0.05395455932617187,
421
- 0.054097087860107425,
422
- 0.05414995193481445,
423
- 0.05440422439575195,
424
- 0.05385203170776367,
425
- 0.054155265808105466,
426
- 0.05401497650146484,
427
- 0.05424025726318359,
428
- 0.054133758544921876,
429
- 0.05418188858032227,
430
- 0.054035457611083984,
431
- 0.05449420928955078,
432
- 0.05394841766357422,
433
- 0.054040576934814455,
434
- 0.0540948486328125,
435
- 0.05414400100708008,
436
- 0.054284286499023435,
437
- 0.0541214714050293,
438
- 0.05416960144042969,
439
- 0.05424639892578125,
440
  0.05422796630859375,
441
- 0.05412454223632813,
442
- 0.05413580703735352,
443
- 0.05409894561767578,
444
- 0.054150142669677735,
445
- 0.054220928192138675,
446
- 0.054193023681640626,
447
- 0.05420544052124023,
448
- 0.05425971221923828,
449
- 0.054196224212646485,
450
- 0.0542023696899414,
451
- 0.05427609634399414,
452
- 0.054207489013671874,
453
- 0.054251518249511715,
454
- 0.054231040954589846,
455
- 0.05414400100708008,
456
- 0.05419827270507813,
457
- 0.05419744110107422,
458
- 0.05414176177978516,
459
- 0.05415219116210938,
460
- 0.05465599822998047,
461
- 0.05420851135253906,
462
- 0.054381568908691405,
463
- 0.05429759979248047,
464
- 0.05414912033081055,
465
- 0.05426892852783203,
466
- 0.054168575286865236,
467
- 0.05405491256713867,
468
- 0.05444812774658203,
469
- 0.054573055267333984,
470
- 0.05401497650146484,
471
- 0.053852161407470706,
472
- 0.054051841735839844,
473
- 0.054005760192871094,
474
- 0.05408563232421875,
475
- 0.05396377563476563,
476
- 0.05402009582519531,
477
- 0.05403350448608398,
478
- 0.05407222366333008,
479
- 0.053829696655273436,
480
- 0.05396473693847656,
481
- 0.05392998504638672,
482
- 0.053992446899414064,
483
- 0.05389836883544922,
484
- 0.05400870513916016,
485
- 0.05397094345092773,
486
  0.05394841766357422,
487
- 0.0540428466796875,
488
- 0.05408848190307617,
489
- 0.05407231903076172,
490
- 0.05411430358886719,
491
- 0.05384499359130859,
492
- 0.05424127960205078,
493
- 0.054047775268554685
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
494
  ]
495
  },
496
  "throughput": {
497
  "unit": "tokens/s",
498
- "value": 18.468676717630057
499
  },
500
  "energy": null,
501
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 4451.168256,
6
  "max_vram": 3766.484992,
7
  "max_reserved": 3353.346048,
8
  "max_allocated": 3294.665216
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.053329922615213604,
13
+ "stdev": 0.0006779601625380452,
14
  "values": [
15
+ 0.05661446380615234,
16
+ 0.05504307174682617,
17
+ 0.05473996734619141,
18
+ 0.054744064331054686,
19
+ 0.057990142822265625,
20
+ 0.05935718536376953,
21
+ 0.05476249694824219,
22
+ 0.05346201705932617,
23
+ 0.05355929565429687,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
24
  0.05408768081665039,
25
+ 0.053269504547119144,
26
+ 0.05328486251831055,
27
+ 0.05310464096069336,
28
+ 0.05318860626220703,
29
+ 0.0531671028137207,
30
+ 0.053144577026367185,
31
+ 0.052994049072265625,
32
+ 0.053160961151123044,
33
+ 0.05309952163696289,
34
+ 0.053048320770263675,
35
+ 0.053032958984375,
36
+ 0.05332377624511719,
37
+ 0.053698558807373044,
38
+ 0.05310873413085938,
39
+ 0.05363507080078125,
40
+ 0.05369241714477539,
41
+ 0.053141502380371096,
42
+ 0.05309132766723633,
43
+ 0.05304729461669922,
44
+ 0.05306982421875,
45
+ 0.05314355087280274,
46
+ 0.05364940643310547,
47
+ 0.05303091049194336,
48
+ 0.05308927917480469,
49
+ 0.053048320770263675,
50
+ 0.05307289505004883,
51
+ 0.052819969177246094,
52
+ 0.05289984130859375,
53
+ 0.05302067184448242,
54
+ 0.05304636764526367,
55
+ 0.05287526321411133,
56
+ 0.052967422485351565,
57
+ 0.05315913772583008,
58
+ 0.05389619064331055,
59
+ 0.052994049072265625,
60
+ 0.05306470489501953,
61
+ 0.053046272277832034,
62
+ 0.05332992172241211,
63
+ 0.053085182189941404,
64
+ 0.05332499313354492,
65
+ 0.052988929748535155,
66
+ 0.05303398513793945,
67
+ 0.05319168090820312,
68
+ 0.053370880126953124,
69
+ 0.05321222305297851,
70
+ 0.05330636978149414,
71
+ 0.053187583923339846,
72
+ 0.05332889556884766,
73
+ 0.053146625518798826,
74
+ 0.0531599349975586,
75
+ 0.05344768142700195,
76
+ 0.053215232849121094,
77
+ 0.053016574859619144,
78
+ 0.05310464096069336,
79
+ 0.05302579116821289,
80
+ 0.053091392517089844,
81
+ 0.052954113006591794,
82
+ 0.053149696350097655,
83
+ 0.053163009643554686,
84
+ 0.05375692749023438,
85
+ 0.05324185562133789,
86
+ 0.053354496002197264,
87
+ 0.053154815673828126,
88
+ 0.05317631912231445,
89
+ 0.05329020690917969,
90
+ 0.05339750289916992,
91
+ 0.053285888671875,
92
+ 0.05325823974609375,
93
+ 0.053326847076416016,
94
+ 0.053231616973876954,
95
+ 0.05327155303955078,
96
+ 0.05314252853393555,
97
+ 0.05291110229492187,
98
+ 0.05312716674804688,
99
+ 0.053028865814208986,
100
+ 0.0530882568359375,
101
+ 0.05309439849853516,
102
+ 0.05304729461669922,
103
+ 0.053119998931884765,
104
+ 0.0532408332824707,
105
+ 0.053198848724365234,
106
+ 0.05344460678100586,
107
+ 0.05302579116821289,
108
+ 0.053171199798583986,
109
+ 0.05315379333496094,
110
+ 0.05330739212036133,
111
+ 0.053190654754638675,
112
+ 0.05311283111572265,
113
+ 0.0535470085144043,
114
+ 0.05321644973754883,
115
+ 0.053197887420654295,
116
+ 0.053166080474853515,
117
+ 0.053308414459228515,
118
+ 0.05322649765014648,
119
+ 0.053015647888183595,
120
+ 0.05314355087280274,
121
+ 0.05312921524047851,
122
+ 0.053528575897216796,
123
+ 0.05302175903320312,
124
+ 0.05324697494506836,
125
+ 0.05306163024902344,
126
+ 0.05346713638305664,
127
+ 0.05335347366333008,
128
+ 0.05334220886230469,
129
+ 0.05334630584716797,
130
+ 0.053389312744140625,
131
+ 0.05351424026489258,
132
+ 0.05327376174926758,
133
+ 0.05344255828857422,
134
+ 0.05325619125366211,
135
+ 0.053354496002197264,
136
+ 0.053341182708740234,
137
+ 0.05329715347290039,
138
+ 0.05331148910522461,
139
+ 0.05330739212036133,
140
+ 0.05311897659301758,
141
+ 0.05312409591674805,
142
+ 0.053179393768310546,
143
+ 0.0530247688293457,
144
+ 0.05321318435668945,
145
+ 0.05312614440917969,
146
+ 0.053318656921386716,
147
+ 0.053351425170898435,
148
+ 0.053164031982421874,
149
+ 0.05319270324707031,
150
+ 0.05326438522338867,
151
+ 0.05352140808105469,
152
+ 0.05301862335205078,
153
+ 0.05322444915771484,
154
+ 0.05324492645263672,
155
+ 0.0531671028137207,
156
+ 0.05306470489501953,
157
+ 0.05310464096069336,
158
+ 0.05313433456420898,
159
+ 0.053131263732910154,
160
+ 0.05351833724975586,
161
+ 0.05331148910522461,
162
+ 0.05322137451171875,
163
+ 0.05313843154907227,
164
+ 0.05320806503295898,
165
+ 0.053157886505126956,
166
+ 0.05324492645263672,
167
+ 0.05328793716430664,
168
+ 0.05346406555175781,
169
+ 0.053172222137451174,
170
+ 0.05308313751220703,
171
+ 0.053147647857666014,
172
+ 0.05329305648803711,
173
+ 0.05305241775512695,
174
+ 0.05304729461669922,
175
+ 0.05302374267578125,
176
+ 0.05337497711181641,
177
+ 0.0533309440612793,
178
+ 0.053207038879394535,
179
+ 0.053735424041748046,
180
+ 0.05321334457397461,
181
+ 0.05309952163696289,
182
+ 0.05318656158447266,
183
+ 0.05317529678344726,
184
+ 0.05306470489501953,
185
+ 0.05321625518798828,
186
+ 0.053422080993652345,
187
+ 0.05324294281005859,
188
+ 0.05323878479003906,
189
+ 0.05356748962402344,
190
+ 0.05315379333496094,
191
+ 0.053207134246826174,
192
+ 0.05301760101318359,
193
+ 0.05303807830810547,
194
+ 0.053100543975830077,
195
+ 0.053369857788085937,
196
+ 0.05324288177490234,
197
+ 0.05326847839355469,
198
+ 0.05361459350585938,
199
+ 0.05303705596923828,
200
+ 0.05309439849853516,
201
+ 0.05326969528198242,
202
+ 0.05319270324707031
203
  ]
204
  },
205
  "throughput": {
206
  "unit": "tokens/s",
207
+ "value": 4800.306984262716
208
  },
209
  "energy": null,
210
  "efficiency": null
 
212
  "decode": {
213
  "memory": {
214
  "unit": "MB",
215
+ "max_ram": 4451.168256,
216
  "max_vram": 4129.292288,
217
  "max_reserved": 3636.461568,
218
  "max_allocated": 3603.202048
219
  },
220
  "latency": {
221
  "unit": "s",
222
+ "mean": 13.608112110137933,
223
  "stdev": 0,
224
  "values": [
225
+ 13.608112110137933
226
  ]
227
  },
228
  "throughput": {
229
  "unit": "tokens/s",
230
+ "value": 18.738822691652214
231
  },
232
  "energy": null,
233
  "efficiency": null
 
236
  "memory": null,
237
  "latency": {
238
  "unit": "s",
239
+ "mean": 0.053365145529952675,
240
+ "stdev": 0.00021987407220052185,
241
  "values": [
242
+ 0.053716991424560545,
243
+ 0.05374156951904297,
244
+ 0.05330739212036133,
245
+ 0.05319680023193359,
246
+ 0.053133312225341796,
247
+ 0.05330636978149414,
248
+ 0.05338623809814453,
249
+ 0.05352959823608398,
250
+ 0.05322240066528321,
251
+ 0.05300940704345703,
252
+ 0.0530882568359375,
253
+ 0.05305753707885742,
254
+ 0.053154815673828126,
255
+ 0.05310464096069336,
256
+ 0.05314252853393555,
257
+ 0.05319680023193359,
258
+ 0.053207038879394535,
259
+ 0.05326540756225586,
260
+ 0.053169151306152344,
261
+ 0.053369857788085937,
262
+ 0.05320601654052735,
263
+ 0.053179393768310546,
264
+ 0.05333606338500976,
265
+ 0.05348556900024414,
266
+ 0.05319987106323242,
267
+ 0.053116928100585936,
268
+ 0.053319679260253904,
269
+ 0.05304115295410156,
270
+ 0.053201919555664064,
271
+ 0.052951038360595705,
272
+ 0.053203968048095705,
273
+ 0.05299302291870117,
274
+ 0.053602302551269534,
275
+ 0.052999168395996096,
276
+ 0.053171199798583986,
277
+ 0.05312409591674805,
278
+ 0.05340467071533203,
279
+ 0.052999168395996096,
280
+ 0.053149696350097655,
281
+ 0.05292134475708008,
282
+ 0.05317836761474609,
283
+ 0.05312921524047851,
284
+ 0.05310566329956055,
285
+ 0.053031936645507816,
286
+ 0.05356339263916016,
287
+ 0.05325107192993164,
288
+ 0.05322342300415039,
289
+ 0.05312204742431641,
290
+ 0.053351425170898435,
291
+ 0.053032958984375,
292
+ 0.053308414459228515,
293
+ 0.05299728012084961,
294
+ 0.05330313491821289,
295
+ 0.053049343109130856,
296
+ 0.053200897216796876,
297
+ 0.05307187271118164,
298
+ 0.05317324829101563,
299
+ 0.05306060791015625,
300
+ 0.053392383575439455,
301
+ 0.053348350524902347,
302
+ 0.05357158279418945,
303
+ 0.05354598236083984,
304
+ 0.05310566329956055,
305
+ 0.05290598297119141,
306
+ 0.053357566833496094,
307
+ 0.05312204742431641,
308
+ 0.05301862335205078,
309
+ 0.05312921524047851,
310
+ 0.05324595260620117,
311
+ 0.053119998931884765,
312
+ 0.05363814544677734,
313
+ 0.05293875122070312,
314
+ 0.05317529678344726,
315
+ 0.05342105484008789,
316
+ 0.05340262222290039,
317
+ 0.053203968048095705,
318
+ 0.053531646728515625,
319
+ 0.053367809295654295,
320
+ 0.053354496002197264,
321
+ 0.053220352172851565,
322
+ 0.0536995849609375,
323
+ 0.05353676986694336,
324
+ 0.05349068832397461,
325
+ 0.053375999450683595,
326
+ 0.05334732818603516,
327
+ 0.053526527404785154,
328
+ 0.05365248107910156,
329
+ 0.053663745880126956,
330
+ 0.05365760040283203,
331
+ 0.053166080474853515,
332
+ 0.05340979385375977,
333
+ 0.053266433715820315,
334
+ 0.053465087890625,
335
+ 0.053250049591064455,
336
+ 0.05338828659057617,
337
+ 0.053266433715820315,
338
+ 0.053389312744140625,
339
+ 0.053288127899169924,
340
+ 0.053611328125,
341
+ 0.05347840118408203,
342
+ 0.053321727752685545,
343
+ 0.05313536071777344,
344
+ 0.05324800109863281,
345
+ 0.053276702880859374,
346
+ 0.05329199981689453,
347
+ 0.05330022430419922,
348
+ 0.05328076934814453,
349
+ 0.05360025787353516,
350
+ 0.053819393157958986,
351
+ 0.053379070281982424,
352
+ 0.05342105484008789,
353
+ 0.053389312744140625,
354
+ 0.05331455993652344,
355
+ 0.05324595260620117,
356
+ 0.05320604705810547,
357
+ 0.053230560302734375,
358
+ 0.05344768142700195,
359
+ 0.053746688842773435,
360
+ 0.053510143280029294,
361
+ 0.053303295135498044,
362
+ 0.05330124664306641,
363
+ 0.0532940788269043,
364
+ 0.05331353759765625,
365
+ 0.05325516891479492,
366
+ 0.05350502395629883,
367
+ 0.05346918487548828,
368
+ 0.05345382308959961,
369
+ 0.0536473617553711,
370
+ 0.053433345794677733,
371
+ 0.053354496002197264,
372
+ 0.053395454406738284,
373
+ 0.05327974319458008,
374
+ 0.05318860626220703,
375
+ 0.05328486251831055,
376
+ 0.053372928619384766,
377
+ 0.05343129730224609,
378
+ 0.05363507080078125,
379
+ 0.05324390411376953,
380
+ 0.053269504547119144,
381
+ 0.05328998565673828,
382
+ 0.05328384017944336,
383
+ 0.05325516891479492,
384
+ 0.05334732818603516,
385
+ 0.05348966217041016,
386
+ 0.05336883163452148,
387
+ 0.05382860946655273,
388
+ 0.053384193420410155,
389
+ 0.05333196640014649,
390
+ 0.05340671920776367,
391
+ 0.053588993072509764,
392
+ 0.053400577545166014,
393
+ 0.05322547149658203,
394
+ 0.05338828659057617,
395
+ 0.05360128021240235,
396
+ 0.05342310333251953,
397
+ 0.053356544494628906,
398
+ 0.05353369522094727,
399
+ 0.05381119918823242,
400
+ 0.05329817581176758,
401
+ 0.053343231201171876,
402
+ 0.053335041046142576,
403
+ 0.053362686157226565,
404
+ 0.05325516891479492,
405
+ 0.053441535949707034,
406
+ 0.053285888671875,
407
+ 0.053362686157226565,
408
+ 0.05327974319458008,
409
+ 0.05337395095825195,
410
+ 0.053395454406738284,
411
+ 0.05355929565429687,
412
+ 0.0534200325012207,
413
+ 0.053354496002197264,
414
+ 0.053338111877441405,
415
+ 0.053526527404785154,
416
+ 0.05378662490844727,
417
+ 0.05342924880981445,
418
+ 0.05337804794311524,
419
+ 0.05327360153198242,
420
+ 0.05326233673095703,
421
+ 0.053381118774414066,
422
+ 0.05320499038696289,
423
+ 0.053357566833496094,
424
+ 0.05335244750976562,
425
  0.05389619064331055,
426
+ 0.0536627197265625,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
427
  0.05422796630859375,
428
+ 0.05424639892578125,
429
+ 0.053564414978027344,
430
+ 0.05332377624511719,
431
+ 0.053338111877441405,
432
+ 0.05360128021240235,
433
+ 0.053387264251708984,
434
+ 0.05356339263916016,
435
+ 0.05342617416381836,
436
+ 0.05365350341796875,
437
+ 0.05346406555175781,
438
+ 0.053697536468505856,
439
+ 0.053661697387695315,
440
+ 0.05354086303710937,
441
+ 0.05322342300415039,
442
+ 0.053738494873046876,
443
+ 0.05382553482055664,
444
+ 0.053400577545166014,
445
+ 0.05323263931274414,
446
+ 0.05336883163452148,
447
+ 0.053395454406738284,
448
+ 0.053410816192626956,
449
+ 0.05329100799560547,
450
+ 0.053282817840576174,
451
+ 0.05334732818603516,
452
+ 0.05330022430419922,
453
+ 0.05324185562133789,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
454
  0.05394841766357422,
455
+ 0.05325209426879883,
456
+ 0.05330124664306641,
457
+ 0.05323878479003906,
458
+ 0.053340160369873046,
459
+ 0.05321318435668945,
460
+ 0.05336064147949219,
461
+ 0.05328793716430664,
462
+ 0.053400577545166014,
463
+ 0.05354598236083984,
464
+ 0.05333196640014649,
465
+ 0.053193729400634764,
466
+ 0.05349785614013672,
467
+ 0.053321727752685545,
468
+ 0.053348350524902347,
469
+ 0.05320601654052735,
470
+ 0.05449728012084961,
471
+ 0.0536360969543457,
472
+ 0.05345382308959961,
473
+ 0.05320806503295898,
474
+ 0.053174270629882815,
475
+ 0.05332582473754883,
476
+ 0.05335551834106445,
477
+ 0.0533309440612793,
478
+ 0.053510143280029294,
479
+ 0.05344460678100586,
480
+ 0.05359206390380859,
481
+ 0.053438465118408204,
482
+ 0.05332787322998047,
483
+ 0.05320499038696289,
484
+ 0.05337395095825195,
485
+ 0.05346918487548828,
486
+ 0.05352140808105469,
487
+ 0.05341820907592774,
488
+ 0.053520160675048827,
489
+ 0.05323571014404297,
490
+ 0.05348454284667969,
491
+ 0.053375999450683595,
492
+ 0.05417574310302734,
493
+ 0.05343436813354492,
494
+ 0.05342105484008789,
495
+ 0.053326847076416016,
496
+ 0.05336678314208984
497
  ]
498
  },
499
  "throughput": {
500
  "unit": "tokens/s",
501
+ "value": 18.738822691652217
502
  },
503
  "energy": null,
504
  "efficiency": null