Hugging Face's logo

kreas
/
FA_benchmarks

Model card Files Community
kreas commited on
Commit
6f13f92
•
1 Parent(s): a2df178

Upload /Llama-2-13b-hf/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. Llama-2-13b-hf/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +374 -374
Llama-2-13b-hf/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED
@@ -2,141 +2,141 @@
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
- "max_ram": 1019.068416,
6
  "max_vram": 8359.247872,
7
  "max_reserved": 7874.80576,
8
  "max_allocated": 7776.413184
9
  },
10
  "latency": {
11
  "unit": "s",
12
- "mean": 0.08362868264516198,
13
- "stdev": 0.0005853808320203658,
14
  "values": [
15
- 0.08983631896972656,
16
- 0.08470630645751953,
17
- 0.08380518341064454,
18
- 0.08375091552734375,
19
- 0.08335871887207032,
20
- 0.08358297729492188,
21
- 0.08349183654785156,
22
- 0.08354611206054688,
23
- 0.0835225601196289,
24
- 0.08355020904541016,
25
- 0.08349491119384765,
26
- 0.08333312225341796,
27
- 0.08380108642578125,
28
- 0.08340889739990234,
29
- 0.0835225601196289,
30
- 0.08359117126464843,
31
- 0.08348876953125,
32
- 0.08336589050292968,
33
- 0.08354508972167969,
34
- 0.08330137634277343,
35
- 0.08355840301513671,
36
- 0.08343961334228515,
37
- 0.08356352233886719,
38
- 0.08346419525146484,
39
- 0.08360652923583985,
40
  0.08351846313476563,
41
- 0.08354713439941407,
42
- 0.08336691284179687,
43
- 0.08351538848876953,
44
- 0.08338534545898438,
45
- 0.08351334381103516,
46
- 0.08355328369140624,
47
- 0.08356771087646485,
48
- 0.08354918670654297,
49
- 0.08356761932373047,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
50
  0.0835420150756836,
51
- 0.08347238159179687,
52
- 0.08361779022216796,
53
- 0.0835225601196289,
54
- 0.08360243225097656,
55
- 0.08349491119384765,
56
- 0.0835962905883789,
57
- 0.08337100982666015,
58
- 0.08359219360351562,
59
- 0.08346931457519531,
60
- 0.08357990264892579,
61
- 0.08357785797119141,
62
- 0.08359731292724609,
63
- 0.0834897918701172,
64
- 0.08348569488525391,
 
 
 
 
 
65
  0.08356658935546875,
 
 
 
 
 
 
66
  0.08365465545654296,
67
- 0.08348774719238282,
68
- 0.08371814727783203,
69
- 0.08349798583984375,
70
- 0.0836485137939453,
71
- 0.08347545623779297,
72
- 0.08364543914794922,
73
- 0.08351232147216797,
74
- 0.08361478424072266,
75
- 0.0835594253540039,
76
- 0.08360447692871094,
77
- 0.08349491119384765,
78
- 0.0835389404296875,
79
- 0.08356147003173828,
80
- 0.08361984252929687,
81
- 0.08354713439941407,
82
- 0.08363008117675781,
83
- 0.08351846313476563,
84
- 0.08367411041259766,
85
- 0.08348473358154297,
86
  0.0836659164428711,
87
- 0.0835440673828125,
88
- 0.0836864013671875,
89
- 0.08336399841308594,
90
- 0.08362393951416015,
91
- 0.08365670776367187,
92
- 0.08365670776367187,
93
- 0.08352767944335937,
94
- 0.08361676788330077,
95
- 0.08363314819335937,
96
- 0.08359423828125,
97
- 0.08361164855957032,
98
- 0.08357068634033203,
99
- 0.08360755157470703,
100
- 0.08362086486816406,
101
  0.08364031982421875,
102
- 0.083631103515625,
103
- 0.0836648941040039,
104
- 0.08355532836914062,
105
- 0.08365567779541015,
106
- 0.08343654632568359,
107
- 0.08357785797119141,
108
  0.08364339447021485,
109
- 0.08360249328613281,
110
- 0.08353485107421875,
111
- 0.08357990264892579,
112
- 0.08367616271972657,
113
- 0.08360345458984375,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
114
  0.08363212585449219,
115
- 0.08361062622070313,
116
- 0.08357785797119141,
117
- 0.08362290954589843,
118
- 0.08356864166259766,
119
- 0.08365670776367187,
120
- 0.08355532836914062,
121
- 0.08361881256103515,
122
- 0.08357273864746094,
123
- 0.08354918670654297,
124
- 0.08361472320556641,
125
- 0.0835758056640625,
126
- 0.0836157455444336,
127
- 0.083736572265625,
128
- 0.08359935760498047,
129
- 0.08367001342773438,
130
- 0.08368434906005859,
131
- 0.08361676788330077,
132
  0.08370073699951172,
133
- 0.08360857391357422,
134
- 0.08348467254638672
 
 
 
135
  ]
136
  },
137
  "throughput": {
138
  "unit": "tokens/s",
139
- "value": 3061.1506949859854
140
  },
141
  "energy": null,
142
  "efficiency": null
@@ -144,22 +144,22 @@
144
  "decode": {
145
  "memory": {
146
  "unit": "MB",
147
- "max_ram": 1019.068416,
148
  "max_vram": 9105.833984,
149
  "max_reserved": 8621.391872,
150
- "max_allocated": 8484.93824
151
  },
152
  "latency": {
153
  "unit": "s",
154
- "mean": 10.647108638763433,
155
  "stdev": 0,
156
  "values": [
157
- 10.647108638763433
158
  ]
159
  },
160
  "throughput": {
161
  "unit": "tokens/s",
162
- "value": 23.950164185571417
163
  },
164
  "energy": null,
165
  "efficiency": null
@@ -168,269 +168,269 @@
168
  "memory": null,
169
  "latency": {
170
  "unit": "s",
171
- "mean": 0.04175336721083699,
172
- "stdev": 0.00015897738186358224,
173
  "values": [
174
- 0.04219801712036133,
175
- 0.04244070434570312,
176
- 0.04166758346557617,
177
- 0.04163174438476563,
178
- 0.04178432083129883,
179
- 0.04164947128295898,
180
- 0.041617088317871094,
181
- 0.04190729522705078,
182
- 0.041731998443603514,
183
- 0.0417097282409668,
184
- 0.04163772964477539,
185
- 0.041665534973144534,
186
- 0.04169113540649414,
187
- 0.04170444869995117,
188
- 0.041525344848632816,
189
- 0.041611392974853514,
190
- 0.041853729248046874,
191
- 0.041670654296875,
192
- 0.04159078216552734,
193
- 0.0422031364440918,
194
- 0.04166348648071289,
195
- 0.04166144180297852,
196
- 0.04178636932373047,
197
- 0.04178227233886719,
198
- 0.04161740875244141,
199
- 0.041637889862060545,
200
- 0.041540607452392575,
201
- 0.041680896759033206,
202
- 0.04149350357055664,
203
- 0.041853950500488284,
204
- 0.04163891220092773,
205
- 0.042157054901123044,
206
- 0.041724929809570314,
207
- 0.04184678268432617,
208
- 0.04176998519897461,
209
- 0.04156313705444336,
210
- 0.041793537139892575,
211
- 0.04184064102172851,
212
- 0.041731071472167966,
213
- 0.04159795379638672,
214
- 0.041635841369628904,
215
- 0.041799678802490234,
216
- 0.04178841781616211,
217
- 0.04166860961914062,
218
- 0.04155392074584961,
219
- 0.04159795379638672,
220
- 0.04189081573486328,
221
- 0.04163593673706055,
222
- 0.04162140655517578,
223
- 0.041591808319091796,
224
- 0.04174848175048828,
225
- 0.04168505477905273,
226
- 0.04173100662231445,
227
- 0.04184883117675781,
228
- 0.04174335861206055,
229
- 0.04178636932373047,
230
- 0.04176998519897461,
231
- 0.04193280029296875,
232
- 0.04166451263427735,
233
- 0.04170649719238281,
234
- 0.041626625061035157,
235
- 0.04183552169799805,
236
- 0.0415549430847168,
237
- 0.04173619079589844,
238
- 0.04194303894042969,
239
- 0.04162876892089844,
240
- 0.041638816833496094,
241
- 0.04215091323852539,
242
- 0.041744384765625,
243
- 0.0415428466796875,
244
- 0.04168377685546875,
245
- 0.04152937698364258,
246
- 0.04166140747070313,
247
- 0.0417259521484375,
248
- 0.04163993453979492,
249
- 0.04149248123168945,
250
- 0.041828353881835936,
251
- 0.04155801773071289,
252
- 0.04156825637817383,
253
- 0.04218163299560547,
254
- 0.04151910400390625,
255
- 0.04177519989013672,
256
- 0.041640865325927735,
257
- 0.04164198303222656,
258
- 0.04178841781616211,
259
- 0.04186127853393555,
260
- 0.041912158966064456,
261
- 0.04161228942871094,
262
- 0.04188774490356445,
263
- 0.041880577087402344,
264
- 0.04161228942871094,
265
- 0.04169126510620117,
266
- 0.041487232208251956,
267
- 0.04148857498168945,
268
- 0.04159161758422852,
269
- 0.04171980667114258,
270
- 0.04153855895996094,
271
- 0.04185190582275391,
272
- 0.04175769424438477,
273
- 0.04186223983764648,
274
- 0.04184156799316406,
275
- 0.04189801788330078,
276
- 0.04187030410766602,
277
- 0.041836544036865236,
278
- 0.041780223846435545,
279
- 0.041708545684814455,
280
- 0.04182425689697265,
281
- 0.04182947158813476,
282
- 0.04204636764526367,
283
- 0.041854209899902343,
284
- 0.041729793548583985,
285
  0.04175974273681641,
286
- 0.041829376220703124,
287
- 0.041714687347412106,
288
- 0.04189286422729492,
289
- 0.04172390365600586,
290
- 0.04212428665161133,
291
- 0.041708545684814455,
292
- 0.041812992095947264,
293
- 0.041919486999511715,
294
- 0.04166860961914062,
295
- 0.04163174438476563,
296
- 0.04183859252929688,
297
- 0.04176793670654297,
298
- 0.041902080535888675,
299
- 0.04172902297973633,
300
- 0.04196352005004883,
301
- 0.04229324722290039,
302
- 0.041799678802490234,
303
- 0.04192153549194336,
304
- 0.0418682861328125,
305
- 0.0418600959777832,
306
- 0.04173516845703125,
307
- 0.041987071990966796,
308
- 0.04173926544189453,
309
- 0.04172288131713867,
310
- 0.04189286422729492,
311
- 0.041780223846435545,
312
- 0.041670654296875,
313
- 0.04171673583984375,
314
- 0.041902080535888675,
315
- 0.04194713592529297,
316
- 0.04179455947875976,
317
- 0.04173926544189453,
318
- 0.04173516845703125,
319
- 0.04178636932373047,
320
- 0.04187238311767578,
321
- 0.041665534973144534,
322
- 0.04189286422729492,
323
- 0.04149760055541992,
324
- 0.04184473419189453,
325
- 0.04191436767578125,
326
- 0.04183244705200195,
327
- 0.042280223846435545,
328
- 0.042299102783203125,
329
- 0.04186214447021484,
330
- 0.04178841781616211,
331
- 0.04185497665405274,
332
- 0.04175769424438477,
333
- 0.04167782211303711,
334
- 0.04173516845703125,
335
- 0.041816062927246093,
336
- 0.04177203369140625,
337
- 0.0417894401550293,
338
- 0.042105857849121096,
339
- 0.04157654571533203,
340
- 0.04186614227294922,
341
- 0.041842689514160154,
342
- 0.041605121612548826,
343
- 0.04171878433227539,
344
- 0.041629695892333986,
345
- 0.041875457763671874,
346
- 0.04161536026000977,
347
- 0.04171366500854492,
348
- 0.04176588821411133,
349
- 0.04219596862792969,
350
- 0.04166144180297852,
351
- 0.04165836715698242,
352
- 0.041659393310546876,
353
- 0.04185625457763672,
354
- 0.04177382278442383,
355
- 0.04182732772827148,
356
- 0.041847808837890625,
357
- 0.041826305389404295,
358
- 0.04172083282470703,
359
- 0.04182527923583984,
360
- 0.0418600959777832,
361
- 0.04174950408935547,
362
- 0.04171571350097656,
363
- 0.041708545684814455,
364
- 0.04163686370849609,
365
- 0.04158464050292969,
366
- 0.041665534973144534,
367
- 0.04190719985961914,
368
- 0.041680896759033206,
369
- 0.041777153015136716,
370
- 0.041534465789794923,
371
- 0.04157136154174805,
372
- 0.04159382247924805,
373
- 0.04162355041503906,
374
- 0.04171571350097656,
375
- 0.041673728942871094,
376
- 0.041724929809570314,
377
- 0.041665534973144534,
378
- 0.041594879150390625,
379
- 0.04173209762573242,
380
- 0.04168294525146484,
381
- 0.04171980667114258,
382
- 0.0416890869140625,
383
- 0.04168601608276367,
384
- 0.041556991577148435,
385
- 0.041712928771972656,
386
- 0.042162910461425784,
387
- 0.04135424041748047,
388
- 0.04165119934082031,
389
- 0.04175872039794922,
390
- 0.04175564956665039,
391
- 0.041715999603271485,
392
- 0.041715423583984376,
393
- 0.041567230224609376,
394
- 0.04177305603027344,
395
- 0.04170348739624023,
396
- 0.041805759429931644,
397
- 0.041662464141845705,
398
- 0.04213555145263672,
399
- 0.04206489562988281,
400
- 0.04169113540649414,
401
- 0.04160531234741211,
402
- 0.041748287200927735,
403
- 0.04173516845703125,
404
- 0.041632766723632815,
405
- 0.04172902297973633,
406
- 0.04197683334350586,
407
- 0.041750526428222655,
408
- 0.041635841369628904,
409
- 0.04169318389892578,
410
- 0.04157747268676758,
411
- 0.041750526428222655,
412
- 0.04165017700195312,
413
- 0.04164198303222656,
414
  0.04153855895996094,
415
- 0.0416184310913086,
416
- 0.04174540710449219,
417
- 0.041657344818115234,
418
- 0.041752574920654296,
419
- 0.04167782211303711,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
420
  0.041971710205078124,
421
- 0.04169625473022461,
422
- 0.04170342254638672,
423
- 0.04166041564941406,
 
 
 
 
 
 
 
424
  0.041545726776123046,
425
- 0.04167270278930664,
426
- 0.04174335861206055,
427
- 0.04185190582275391,
428
- 0.041777153015136716
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
429
  ]
430
  },
431
  "throughput": {
432
  "unit": "tokens/s",
433
- "value": 23.950164185571413
434
  },
435
  "energy": null,
436
  "efficiency": null
 
2
  "prefill": {
3
  "memory": {
4
  "unit": "MB",
5
+ "max_ram": 1019.375616,
6
  "max_vram": 8359.247872,
7
  "max_reserved": 7874.80576,
8
  "max_allocated": 7776.413184
9
  },
10
  "latency": {
11
  "unit": "s",
12
+ "mean": 0.08363019695281983,
13
+ "stdev": 0.0003531849560279038,
14
  "values": [
15
+ 0.08732947540283204,
16
+ 0.08376319885253906,
17
+ 0.083957763671875,
18
+ 0.0838809585571289,
19
+ 0.08340582275390625,
20
+ 0.08363212585449219,
21
+ 0.08374066925048829,
22
+ 0.08372736358642578,
23
+ 0.08356150054931641,
24
+ 0.08356674957275391,
25
+ 0.08352870178222656,
26
+ 0.08333721923828125,
27
+ 0.08359833526611328,
28
+ 0.08344985961914063,
29
+ 0.08359526062011718,
30
+ 0.08359526062011718,
 
 
 
 
 
 
 
 
 
31
  0.08351846313476563,
32
+ 0.08339148712158204,
33
+ 0.08352665710449218,
34
+ 0.08335769653320313,
35
+ 0.0835819549560547,
36
+ 0.08344166564941406,
37
+ 0.08362905883789062,
38
+ 0.08351641845703126,
39
+ 0.08358502197265626,
40
+ 0.08353997039794922,
41
+ 0.08359833526611328,
42
+ 0.08341913604736328,
43
+ 0.08358399963378907,
44
+ 0.08345394897460938,
45
+ 0.0835594253540039,
46
+ 0.08357068634033203,
47
+ 0.08361062622070313,
48
+ 0.08357382202148438,
49
+ 0.08353596496582032,
50
+ 0.08361472320556641,
51
+ 0.08351744079589844,
52
+ 0.08368434906005859,
53
+ 0.08358911895751953,
54
+ 0.08367001342773438,
55
  0.0835420150756836,
56
+ 0.0836126708984375,
57
+ 0.08337920379638672,
58
+ 0.0836341781616211,
59
+ 0.08347443389892578,
60
+ 0.08360969543457031,
61
+ 0.08359423828125,
62
+ 0.08370073699951172,
63
+ 0.08353177642822265,
64
+ 0.08351744079589844,
65
+ 0.08354611206054688,
66
+ 0.08370687866210938,
67
+ 0.08353791809082031,
68
+ 0.08374681854248046,
69
+ 0.08353075408935547,
70
+ 0.08368537902832031,
71
+ 0.0835072021484375,
72
+ 0.08369971466064453,
73
+ 0.08352153778076171,
74
+ 0.08364441680908204,
75
  0.08356658935546875,
76
+ 0.08365171051025391,
77
+ 0.0835072021484375,
78
+ 0.0835788803100586,
79
+ 0.0835819549560547,
80
+ 0.08368844604492187,
81
+ 0.08360057830810547,
82
  0.08365465545654296,
83
+ 0.08356352233886719,
84
+ 0.08372633361816406,
85
+ 0.08350617980957031,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
86
  0.0836659164428711,
87
+ 0.08357376098632813,
88
+ 0.08371711730957031,
89
+ 0.08338739013671875,
90
+ 0.08364236450195313,
91
+ 0.0837232666015625,
92
+ 0.08367820739746094,
93
+ 0.08354815673828125,
94
+ 0.08364659118652344,
 
 
 
 
 
 
95
  0.08364031982421875,
96
+ 0.08358809661865234,
 
 
 
 
 
97
  0.08364339447021485,
98
+ 0.0835788803100586,
99
+ 0.08363314819335937,
100
+ 0.08358604431152344,
101
+ 0.08369356536865234,
102
+ 0.08365158081054687,
103
+ 0.08367513275146485,
104
+ 0.08359219360351562,
105
+ 0.08369049835205078,
106
+ 0.08345292663574219,
107
+ 0.08387276458740234,
108
+ 0.08367922973632813,
109
+ 0.08362905883789062,
110
+ 0.08358399963378907,
111
+ 0.08357478332519531,
112
+ 0.08351232147216797,
113
+ 0.08364150238037109,
114
+ 0.08361779022216796,
115
+ 0.08365055847167968,
116
+ 0.08356556701660156,
117
+ 0.08363622283935547,
118
+ 0.08354713439941407,
119
+ 0.083631103515625,
120
+ 0.0835788803100586,
121
  0.08363212585449219,
122
+ 0.08355430603027343,
123
+ 0.0835420150756836,
124
+ 0.08362188720703125,
125
+ 0.08357990264892579,
126
+ 0.08364543914794922,
127
+ 0.08374066925048829,
128
+ 0.08362496185302734,
 
 
 
 
 
 
 
 
 
 
129
  0.08370073699951172,
130
+ 0.08369664001464844,
131
+ 0.08363520050048828,
132
+ 0.08368025970458984,
133
+ 0.08363008117675781,
134
+ 0.08352051544189452
135
  ]
136
  },
137
  "throughput": {
138
  "unit": "tokens/s",
139
+ "value": 3061.09526615635
140
  },
141
  "energy": null,
142
  "efficiency": null
 
144
  "decode": {
145
  "memory": {
146
  "unit": "MB",
147
+ "max_ram": 1019.375616,
148
  "max_vram": 9105.833984,
149
  "max_reserved": 8621.391872,
150
+ "max_allocated": 8484.938752
151
  },
152
  "latency": {
153
  "unit": "s",
154
+ "mean": 10.570713066101069,
155
  "stdev": 0,
156
  "values": [
157
+ 10.570713066101069
158
  ]
159
  },
160
  "throughput": {
161
  "unit": "tokens/s",
162
+ "value": 24.12325435431149
163
  },
164
  "energy": null,
165
  "efficiency": null
 
168
  "memory": null,
169
  "latency": {
170
  "unit": "s",
171
+ "mean": 0.041453776729808114,
172
+ "stdev": 0.0001673921734561523,
173
  "values": [
174
+ 0.04201593780517578,
175
+ 0.042260288238525394,
176
+ 0.04128076934814453,
177
+ 0.04130892944335938,
178
+ 0.04147942352294922,
179
+ 0.041406208038330075,
180
+ 0.04157440185546875,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
181
  0.04175974273681641,
182
+ 0.04134604644775391,
183
+ 0.04144963073730469,
184
+ 0.041427806854248045,
185
+ 0.04130009460449219,
186
+ 0.04140838241577149,
187
+ 0.04185702514648437,
188
+ 0.04133302307128906,
189
+ 0.04144508743286133,
190
+ 0.04121395111083984,
191
+ 0.04165631866455078,
192
+ 0.04146585464477539,
193
+ 0.041468929290771485,
194
+ 0.04134809494018555,
195
+ 0.04151398468017578,
196
+ 0.041250816345214845,
197
+ 0.04140771102905273,
198
+ 0.0418383674621582,
199
+ 0.041368576049804685,
200
+ 0.0413675537109375,
201
+ 0.04146380615234375,
202
+ 0.04143308639526367,
203
+ 0.04145379257202148,
204
+ 0.04152511978149414,
205
+ 0.04150588989257813,
206
+ 0.041404224395751955,
207
+ 0.04174140930175781,
208
+ 0.04129481506347656,
209
+ 0.04145043182373047,
210
+ 0.04154265594482422,
211
+ 0.041468929290771485,
212
+ 0.04139139175415039,
213
+ 0.04156796646118164,
214
+ 0.04136038589477539,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
215
  0.04153855895996094,
216
+ 0.04157132720947266,
217
+ 0.041356353759765624,
218
+ 0.04123129653930664,
219
+ 0.04129894256591797,
220
+ 0.041336830139160154,
221
+ 0.041186302185058594,
222
+ 0.04126310348510742,
223
+ 0.041221118927001955,
224
+ 0.041175201416015626,
225
+ 0.04118716812133789,
226
+ 0.04113612747192383,
227
+ 0.041400417327880856,
228
+ 0.04129679870605469,
229
+ 0.04144947052001953,
230
+ 0.041543678283691404,
231
+ 0.04138086318969727,
232
+ 0.041473312377929686,
233
+ 0.04135721588134766,
234
+ 0.041269214630126956,
235
+ 0.04157014465332031,
236
+ 0.04137984085083008,
237
+ 0.04141363143920898,
238
+ 0.041441566467285154,
239
+ 0.04162838363647461,
240
+ 0.04131532669067383,
241
+ 0.041278465270996094,
242
+ 0.04131327819824219,
243
+ 0.04143206405639648,
244
+ 0.04128566360473633,
245
+ 0.04144534301757812,
246
+ 0.04116070556640625,
247
+ 0.04171673583984375,
248
+ 0.04120985412597656,
249
+ 0.04153139114379883,
250
+ 0.04135628890991211,
251
+ 0.0415285758972168,
252
+ 0.041528289794921874,
253
+ 0.041506591796875,
254
+ 0.04146278381347656,
255
+ 0.04167475128173828,
256
+ 0.04147814559936523,
257
+ 0.04133174514770508,
258
+ 0.041212894439697265,
259
+ 0.04150783920288086,
260
+ 0.041481281280517576,
261
+ 0.041410495758056644,
262
+ 0.041488384246826174,
263
+ 0.04154163360595703,
264
+ 0.04141670227050781,
265
+ 0.041414657592773435,
266
+ 0.041326656341552734,
267
+ 0.041427902221679684,
268
+ 0.04147222518920898,
269
+ 0.04126697540283203,
270
+ 0.041076736450195314,
271
+ 0.04139929580688476,
272
+ 0.04119667053222656,
273
+ 0.041363327026367185,
274
+ 0.041416801452636716,
275
+ 0.041471038818359375,
276
+ 0.0412762565612793,
277
+ 0.04148019027709961,
278
+ 0.04108902359008789,
279
+ 0.04132659149169922,
280
+ 0.04142489624023438,
281
+ 0.041280513763427736,
282
+ 0.04137881469726563,
283
+ 0.041491455078125,
284
+ 0.0416071662902832,
285
+ 0.04127948760986328,
286
+ 0.041335807800292966,
287
+ 0.041283584594726565,
288
+ 0.04135321426391601,
289
+ 0.04151311874389649,
290
+ 0.04164080047607422,
291
+ 0.041452545166015625,
292
+ 0.04143820953369141,
293
+ 0.04148428726196289,
294
+ 0.04135833740234375,
295
+ 0.04153343963623047,
296
+ 0.041837566375732424,
297
+ 0.04139123153686523,
298
+ 0.04149871826171875,
299
+ 0.04161727905273437,
300
+ 0.041551807403564456,
301
+ 0.041468894958496094,
302
+ 0.04149964904785156,
303
+ 0.04165324783325195,
304
+ 0.041398273468017575,
305
+ 0.04132044982910156,
306
+ 0.04149964904785156,
307
+ 0.04148019027709961,
308
+ 0.041390079498291016,
309
+ 0.04143011093139649,
310
+ 0.04157430267333984,
311
+ 0.04169446563720703,
312
+ 0.04150143814086914,
313
+ 0.041485313415527345,
314
+ 0.041474048614501956,
315
+ 0.041626625061035157,
316
+ 0.0413675537109375,
317
+ 0.04150579071044922,
318
+ 0.041576446533203124,
319
+ 0.04151603317260742,
320
+ 0.04175155258178711,
321
+ 0.041441280364990236,
322
+ 0.041606143951416014,
323
+ 0.04152627182006836,
324
+ 0.04145663833618164,
325
+ 0.04156620788574219,
326
+ 0.041568321228027345,
327
+ 0.04196448135375976,
328
+ 0.04197478485107422,
329
+ 0.04153139114379883,
330
+ 0.041640960693359375,
331
+ 0.041388031005859374,
332
+ 0.041439231872558595,
333
+ 0.042120193481445314,
334
+ 0.04157235336303711,
335
+ 0.041666847229003906,
336
+ 0.04175024032592774,
337
+ 0.04152336120605469,
338
+ 0.041484127044677736,
339
+ 0.04150175857543945,
340
+ 0.04153747177124024,
341
+ 0.04151091384887695,
342
+ 0.04138620758056641,
343
+ 0.04149020767211914,
344
  0.041971710205078124,
345
+ 0.041603073120117184,
346
+ 0.041451583862304686,
347
+ 0.04141766357421875,
348
+ 0.04148847961425781,
349
+ 0.041494560241699216,
350
+ 0.041430912017822265,
351
+ 0.041444446563720705,
352
+ 0.0414483528137207,
353
+ 0.04139212799072266,
354
+ 0.04155084609985352,
355
  0.041545726776123046,
356
+ 0.04165222549438476,
357
+ 0.041518081665039064,
358
+ 0.04158054351806641,
359
+ 0.04149657440185547,
360
+ 0.04148735809326172,
361
+ 0.0415365104675293,
362
+ 0.04160204696655274,
363
+ 0.04157440185546875,
364
+ 0.041578495025634765,
365
+ 0.041578590393066404,
366
+ 0.0415722541809082,
367
+ 0.041619457244873044,
368
+ 0.041482433319091794,
369
+ 0.041346881866455076,
370
+ 0.04150476837158203,
371
+ 0.04127436828613281,
372
+ 0.04145459365844727,
373
+ 0.041444351196289066,
374
+ 0.041524223327636715,
375
+ 0.041312255859375,
376
+ 0.04142387390136719,
377
+ 0.0414730224609375,
378
+ 0.04142899322509765,
379
+ 0.04136675262451172,
380
+ 0.04128028869628906,
381
+ 0.041839935302734374,
382
+ 0.041273025512695315,
383
+ 0.041355262756347655,
384
+ 0.04137881469726563,
385
+ 0.04136243057250977,
386
+ 0.04140240097045898,
387
+ 0.04125900650024414,
388
+ 0.04160713577270508,
389
+ 0.041398273468017575,
390
+ 0.04150783920288086,
391
+ 0.041419776916503906,
392
+ 0.0413809928894043,
393
+ 0.04185279846191406,
394
+ 0.04119756698608398,
395
+ 0.04137267303466797,
396
+ 0.04132044982910156,
397
+ 0.04151939010620117,
398
+ 0.04137648010253906,
399
+ 0.04147328186035156,
400
+ 0.041288448333740235,
401
+ 0.04149555206298828,
402
+ 0.04142182540893555,
403
+ 0.041437217712402344,
404
+ 0.04119244766235351,
405
+ 0.0413603515625,
406
+ 0.041401344299316405,
407
+ 0.041419776916503906,
408
+ 0.041128959655761715,
409
+ 0.04139724731445313,
410
+ 0.04129302215576172,
411
+ 0.04132124710083008,
412
+ 0.04123648071289063,
413
+ 0.041221118927001955,
414
+ 0.04125196838378906,
415
+ 0.04148620986938477,
416
+ 0.041285633087158206,
417
+ 0.04118937683105469,
418
+ 0.04123955154418945,
419
+ 0.04137984085083008,
420
+ 0.041332736968994144,
421
+ 0.04140054321289063,
422
+ 0.041361183166503904,
423
+ 0.041452545166015625,
424
+ 0.041576446533203124,
425
+ 0.04146380615234375,
426
+ 0.04145663833618164,
427
+ 0.041669921875,
428
+ 0.04140412902832031
429
  ]
430
  },
431
  "throughput": {
432
  "unit": "tokens/s",
433
+ "value": 24.12325435431149
434
  },
435
  "energy": null,
436
  "efficiency": null