Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
0609341
•
1 Parent(s): a45b339

Upload /Llama-2-7b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-7b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +476 -0
Llama-2-7b-hf/int8_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json ADDED
@@ -0,0 +1,476 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "prefill": {
3
+ "memory": {
4
+ "unit": "MB",
5
+ "max_ram": 5067.800576,
6
+ "max_vram": 7918.845952,
7
+ "max_reserved": 7426.015232,
8
+ "max_allocated": 7386.006016
9
+ },
10
+ "latency": {
11
+ "unit": "s",
12
+ "mean": 0.06367147460164899,
13
+ "stdev": 0.0008941133422340036,
14
+ "values": [
15
+ 0.06799167633056641,
16
+ 0.06710681915283204,
17
+ 0.06496562957763671,
18
+ 0.06858854675292969,
19
+ 0.07014195251464844,
20
+ 0.06403584289550782,
21
+ 0.06594457244873046,
22
+ 0.0633529281616211,
23
+ 0.06289408111572266,
24
+ 0.0633733139038086,
25
+ 0.06322278213500977,
26
+ 0.0633620491027832,
27
+ 0.06317670440673828,
28
+ 0.06382905578613281,
29
+ 0.06342041778564453,
30
+ 0.06343782424926758,
31
+ 0.0633364486694336,
32
+ 0.06327603149414063,
33
+ 0.06309888076782226,
34
+ 0.0630835189819336,
35
+ 0.06296678543090821,
36
+ 0.06327705764770508,
37
+ 0.06343475341796875,
38
+ 0.06350233459472657,
39
+ 0.06339174270629883,
40
+ 0.06339686584472656,
41
+ 0.06340812683105469,
42
+ 0.06345420837402344,
43
+ 0.06302022552490234,
44
+ 0.06314803314208985,
45
+ 0.06347980880737304,
46
+ 0.0636129264831543,
47
+ 0.06353526306152343,
48
+ 0.06352179336547852,
49
+ 0.0634593276977539,
50
+ 0.06349311828613281,
51
+ 0.06330060958862305,
52
+ 0.06370406341552734,
53
+ 0.06342348861694336,
54
+ 0.06349516677856445,
55
+ 0.0633733139038086,
56
+ 0.06337638473510743,
57
+ 0.06329651260375976,
58
+ 0.06315008163452149,
59
+ 0.06307635116577148,
60
+ 0.06366924667358398,
61
+ 0.06309990310668945,
62
+ 0.06300780868530273,
63
+ 0.06294937515258789,
64
+ 0.06296268844604493,
65
+ 0.06309683227539062,
66
+ 0.06333849716186524,
67
+ 0.06327705764770508,
68
+ 0.0633620491027832,
69
+ 0.06335283279418945,
70
+ 0.06320230484008789,
71
+ 0.06302719879150391,
72
+ 0.06307635116577148,
73
+ 0.06300262451171874,
74
+ 0.06339891052246094,
75
+ 0.06330470275878906,
76
+ 0.06335385513305664,
77
+ 0.06374502563476563,
78
+ 0.06345318222045898,
79
+ 0.0634705924987793,
80
+ 0.06337753677368164,
81
+ 0.06339788818359375,
82
+ 0.06337740707397461,
83
+ 0.06370611190795898,
84
+ 0.06515526580810548,
85
+ 0.06442495727539063,
86
+ 0.06346649551391602,
87
+ 0.06339379119873047,
88
+ 0.06331391906738282,
89
+ 0.06319206237792968,
90
+ 0.0634521598815918,
91
+ 0.06337843322753907,
92
+ 0.06387814331054688,
93
+ 0.06362623977661133,
94
+ 0.0636497917175293,
95
+ 0.06345318222045898,
96
+ 0.06363545608520507,
97
+ 0.06359449768066407,
98
+ 0.06357606506347656,
99
+ 0.06359059143066406,
100
+ 0.06373376083374023,
101
+ 0.06359552001953125,
102
+ 0.06365388870239258,
103
+ 0.06361395263671875,
104
+ 0.06369996643066406,
105
+ 0.06368371200561523,
106
+ 0.06355660629272461,
107
+ 0.0636129264831543,
108
+ 0.063604736328125,
109
+ 0.06369792175292968,
110
+ 0.06355046463012695,
111
+ 0.06351260757446289,
112
+ 0.06349414443969727,
113
+ 0.06356787109375,
114
+ 0.06361088180541992,
115
+ 0.06345830535888672,
116
+ 0.06385663986206054,
117
+ 0.06371737670898438,
118
+ 0.06357196807861328,
119
+ 0.06343167877197266,
120
+ 0.06328627014160157,
121
+ 0.06339993667602539,
122
+ 0.06343782424926758,
123
+ 0.06408806610107422,
124
+ 0.06343679809570313,
125
+ 0.06356480026245118,
126
+ 0.06343782424926758,
127
+ 0.06349414443969727,
128
+ 0.06358752059936523,
129
+ 0.06390784072875977,
130
+ 0.06371839904785156,
131
+ 0.0637655029296875,
132
+ 0.06371839904785156,
133
+ 0.06372147369384766,
134
+ 0.06422630310058594,
135
+ 0.0638474235534668,
136
+ 0.06366310501098633,
137
+ 0.06359961700439454,
138
+ 0.06343987274169922,
139
+ 0.0636385269165039,
140
+ 0.06356889724731446,
141
+ 0.06366003036499024,
142
+ 0.06368767929077149,
143
+ 0.06366412734985352,
144
+ 0.0636835823059082,
145
+ 0.06366310501098633,
146
+ 0.0635412483215332,
147
+ 0.06386380767822265,
148
+ 0.06399795150756836,
149
+ 0.06374195098876953,
150
+ 0.06353817749023437,
151
+ 0.06610636901855468,
152
+ 0.06449561309814453,
153
+ 0.06325043106079102,
154
+ 0.06337433624267579,
155
+ 0.0637388801574707,
156
+ 0.06350848007202148,
157
+ 0.06327193450927734,
158
+ 0.0633446388244629,
159
+ 0.06327500915527344,
160
+ 0.06336102294921875,
161
+ 0.06343884658813477,
162
+ 0.06349311828613281,
163
+ 0.06349926376342774,
164
+ 0.06359654235839844,
165
+ 0.06351564788818359,
166
+ 0.06361497497558594,
167
+ 0.06376038360595702,
168
+ 0.06352179336547852,
169
+ 0.0636733741760254,
170
+ 0.06349824142456055,
171
+ 0.06367846298217773,
172
+ 0.06353203201293946
173
+ ]
174
+ },
175
+ "throughput": {
176
+ "unit": "tokens/s",
177
+ "value": 4020.63878057836
178
+ },
179
+ "energy": null,
180
+ "efficiency": null
181
+ },
182
+ "decode": {
183
+ "memory": {
184
+ "unit": "MB",
185
+ "max_ram": 5067.800576,
186
+ "max_vram": 8434.745344,
187
+ "max_reserved": 7941.914624,
188
+ "max_allocated": 7904.986112
189
+ },
190
+ "latency": {
191
+ "unit": "s",
192
+ "mean": 16.20600730133057,
193
+ "stdev": 0,
194
+ "values": [
195
+ 16.20600730133057
196
+ ]
197
+ },
198
+ "throughput": {
199
+ "unit": "tokens/s",
200
+ "value": 15.734905906099623
201
+ },
202
+ "energy": null,
203
+ "efficiency": null
204
+ },
205
+ "per_token": {
206
+ "memory": null,
207
+ "latency": {
208
+ "unit": "s",
209
+ "mean": 0.06355296980913949,
210
+ "stdev": 0.00021514546109576284,
211
+ "values": [
212
+ 0.06431436920166016,
213
+ 0.06406758117675782,
214
+ 0.06351052856445312,
215
+ 0.0636497917175293,
216
+ 0.06320435333251953,
217
+ 0.06388531112670899,
218
+ 0.06328524780273438,
219
+ 0.06367744064331055,
220
+ 0.06342144012451172,
221
+ 0.06332211303710937,
222
+ 0.06345625686645508,
223
+ 0.06352384185791016,
224
+ 0.06343475341796875,
225
+ 0.06387612915039062,
226
+ 0.06323708724975587,
227
+ 0.06349311828613281,
228
+ 0.06325657653808593,
229
+ 0.06357401657104492,
230
+ 0.06338355255126953,
231
+ 0.0636231689453125,
232
+ 0.06346956634521485,
233
+ 0.06367334365844726,
234
+ 0.06372351837158204,
235
+ 0.06356582260131836,
236
+ 0.06352486419677734,
237
+ 0.06349311828613281,
238
+ 0.0633733139038086,
239
+ 0.06346649551391602,
240
+ 0.06358937454223633,
241
+ 0.06372556686401368,
242
+ 0.06360883331298828,
243
+ 0.0635494384765625,
244
+ 0.06346547317504883,
245
+ 0.06339379119873047,
246
+ 0.06313881683349609,
247
+ 0.0634142723083496,
248
+ 0.06344704055786132,
249
+ 0.06392019271850585,
250
+ 0.06321247863769532,
251
+ 0.06349824142456055,
252
+ 0.06324326324462891,
253
+ 0.06331494522094727,
254
+ 0.06330060958862305,
255
+ 0.06350054550170899,
256
+ 0.0633884162902832,
257
+ 0.06383840179443359,
258
+ 0.06331475067138671,
259
+ 0.06320230484008789,
260
+ 0.06316953659057617,
261
+ 0.06337433624267579,
262
+ 0.06330777740478516,
263
+ 0.06348083114624023,
264
+ 0.06339686584472656,
265
+ 0.06337535858154297,
266
+ 0.06354739379882812,
267
+ 0.06347264099121094,
268
+ 0.06334771347045899,
269
+ 0.06327807998657227,
270
+ 0.06326374435424804,
271
+ 0.06343167877197266,
272
+ 0.06320640182495117,
273
+ 0.06343167877197266,
274
+ 0.06345727920532226,
275
+ 0.06350540924072266,
276
+ 0.06365388870239258,
277
+ 0.06375244903564453,
278
+ 0.06330342483520508,
279
+ 0.06362524795532226,
280
+ 0.06336201477050782,
281
+ 0.06416588592529297,
282
+ 0.06341529464721679,
283
+ 0.06344192123413087,
284
+ 0.06329241561889648,
285
+ 0.06365184020996094,
286
+ 0.0635146255493164,
287
+ 0.0637204475402832,
288
+ 0.06385868835449218,
289
+ 0.06362214279174805,
290
+ 0.06343884658813477,
291
+ 0.0633507843017578,
292
+ 0.06347366333007813,
293
+ 0.06346051025390625,
294
+ 0.06353084945678711,
295
+ 0.06331596755981446,
296
+ 0.06344499206542968,
297
+ 0.06340300750732422,
298
+ 0.06378803253173829,
299
+ 0.06342147064208985,
300
+ 0.06341116714477539,
301
+ 0.06344704055786132,
302
+ 0.06361804962158203,
303
+ 0.06345727920532226,
304
+ 0.0633446388244629,
305
+ 0.06310297775268554,
306
+ 0.06333132934570312,
307
+ 0.06345142364501953,
308
+ 0.06340784072875977,
309
+ 0.06329139328002929,
310
+ 0.06366924667358398,
311
+ 0.0633804817199707,
312
+ 0.06398771286010742,
313
+ 0.06366003036499024,
314
+ 0.06380646514892578,
315
+ 0.06341632080078125,
316
+ 0.06371123123168945,
317
+ 0.06352588653564453,
318
+ 0.06380031967163086,
319
+ 0.06341632080078125,
320
+ 0.06393241500854492,
321
+ 0.06339686584472656,
322
+ 0.06409728240966797,
323
+ 0.06350950241088867,
324
+ 0.06365900802612305,
325
+ 0.06341734313964843,
326
+ 0.0636753921508789,
327
+ 0.06348287963867187,
328
+ 0.06364467239379883,
329
+ 0.06361008071899414,
330
+ 0.06359427261352539,
331
+ 0.06358118438720703,
332
+ 0.06356889724731446,
333
+ 0.06328729629516601,
334
+ 0.06341734313964843,
335
+ 0.06331606292724609,
336
+ 0.0636333122253418,
337
+ 0.06333337783813477,
338
+ 0.0636835823059082,
339
+ 0.06346752166748047,
340
+ 0.06352691268920899,
341
+ 0.0637850227355957,
342
+ 0.06359750366210938,
343
+ 0.06342873764038086,
344
+ 0.06411456298828125,
345
+ 0.06350438308715821,
346
+ 0.06357606506347656,
347
+ 0.06330163192749023,
348
+ 0.06363955307006836,
349
+ 0.0633251838684082,
350
+ 0.06356172943115235,
351
+ 0.06331289672851563,
352
+ 0.0638658561706543,
353
+ 0.0634521598815918,
354
+ 0.06375321578979493,
355
+ 0.06339379119873047,
356
+ 0.06332620620727539,
357
+ 0.06357606506347656,
358
+ 0.0636129264831543,
359
+ 0.06343577575683594,
360
+ 0.06357606506347656,
361
+ 0.06355660629272461,
362
+ 0.06334361648559571,
363
+ 0.06333951950073242,
364
+ 0.06363443374633788,
365
+ 0.06343484878540039,
366
+ 0.06344796752929688,
367
+ 0.06333849716186524,
368
+ 0.06348492813110351,
369
+ 0.06365184020996094,
370
+ 0.06371942520141602,
371
+ 0.06340422439575195,
372
+ 0.06363423919677734,
373
+ 0.06351769638061523,
374
+ 0.06377881622314453,
375
+ 0.06365184020996094,
376
+ 0.06413619232177735,
377
+ 0.06341734313964843,
378
+ 0.06357094573974609,
379
+ 0.06369792175292968,
380
+ 0.0636835823059082,
381
+ 0.06366822433471679,
382
+ 0.06418329620361328,
383
+ 0.06444441223144531,
384
+ 0.0637583351135254,
385
+ 0.06348492813110351,
386
+ 0.06353100967407227,
387
+ 0.06369075012207032,
388
+ 0.06374604797363281,
389
+ 0.06354127883911133,
390
+ 0.06340604782104492,
391
+ 0.06341939163208007,
392
+ 0.0637501449584961,
393
+ 0.06380543899536133,
394
+ 0.06371020889282226,
395
+ 0.06355456161499023,
396
+ 0.06360268783569335,
397
+ 0.06344806289672851,
398
+ 0.06344704055786132,
399
+ 0.06347571182250976,
400
+ 0.06362623977661133,
401
+ 0.06349311828613281,
402
+ 0.06373068618774413,
403
+ 0.0635863037109375,
404
+ 0.06355353546142578,
405
+ 0.06360166549682617,
406
+ 0.06384947204589844,
407
+ 0.06400614166259766,
408
+ 0.0643031005859375,
409
+ 0.06360678482055664,
410
+ 0.06345830535888672,
411
+ 0.06357513427734375,
412
+ 0.0635810890197754,
413
+ 0.06388633728027343,
414
+ 0.06341939163208007,
415
+ 0.0640348129272461,
416
+ 0.06366207885742188,
417
+ 0.06352588653564453,
418
+ 0.06374092864990234,
419
+ 0.0637122573852539,
420
+ 0.06358425521850586,
421
+ 0.06378905487060547,
422
+ 0.06371737670898438,
423
+ 0.06382899093627929,
424
+ 0.0635975685119629,
425
+ 0.06356787109375,
426
+ 0.06331903839111327,
427
+ 0.06367641448974609,
428
+ 0.06350028610229493,
429
+ 0.06375526428222657,
430
+ 0.06362009429931641,
431
+ 0.0638218231201172,
432
+ 0.06379417419433593,
433
+ 0.06367334365844726,
434
+ 0.06359654235839844,
435
+ 0.06345011138916015,
436
+ 0.06362828826904297,
437
+ 0.06373580932617187,
438
+ 0.0637020149230957,
439
+ 0.06395830535888672,
440
+ 0.06370377731323242,
441
+ 0.0633446388244629,
442
+ 0.06363545608520507,
443
+ 0.06352896118164063,
444
+ 0.06327603149414063,
445
+ 0.06337433624267579,
446
+ 0.06345420837402344,
447
+ 0.06391705703735352,
448
+ 0.06334054565429688,
449
+ 0.06332015991210938,
450
+ 0.06340803146362305,
451
+ 0.06326284790039062,
452
+ 0.06338956832885742,
453
+ 0.06347673416137695,
454
+ 0.06356684875488282,
455
+ 0.0635146255493164,
456
+ 0.06334156799316407,
457
+ 0.06332416152954101,
458
+ 0.0634705924987793,
459
+ 0.06356991958618165,
460
+ 0.0635525131225586,
461
+ 0.06362521743774414,
462
+ 0.06354022216796874,
463
+ 0.06343065643310547,
464
+ 0.06346547317504883,
465
+ 0.06332313537597656,
466
+ 0.06364774322509766
467
+ ]
468
+ },
469
+ "throughput": {
470
+ "unit": "tokens/s",
471
+ "value": 15.734905906099623
472
+ },
473
+ "energy": null,
474
+ "efficiency": null
475
+ }
476
+ }