kreas
/

FA_benchmarks

Model card Files Files and versions Community

kreas commited on Mar 14

Commit

7db40d3

•

1 Parent(s): daa1853

Upload /Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files

Files changed (1) hide show

Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +747 -747

Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED Viewed

@@ -2,301 +2,301 @@
     "prefill": {
         "memory": {
             "unit": "MB",
-            "max_ram": 982.05696,
-            "max_vram": 15755.902976,
             "max_reserved": 15271.460864,
             "max_allocated": 15114.469888
         },
         "latency": {
             "unit": "s",
-            "mean": 0.03579916167940416,
-            "stdev": 0.0003319593452223131,
             "values": [
-                0.03864310455322266,
-                0.037443584442138675,
-                0.03616153717041016,
-                0.03612895965576172,
-                0.035934207916259765,
-                0.035855358123779296,
-                0.03599564743041992,
-                0.037318656921386716,
-                0.03678105545043946,
-                0.03640934371948242,
-                0.035730430603027344,
-                0.03565465545654297,
-                0.03566393661499023,
-                0.035707904815673826,
-                0.03589836883544922,
-                0.03567849731445313,
-                0.03565875244140625,
-                0.035692543029785154,
-                0.03567718505859375,
-                0.035710975646972655,
-                0.03566387176513672,
-                0.03562905502319336,
-                0.035659774780273434,
-                0.035642368316650394,
-                0.03560038375854492,
-                0.03565260696411133,
-                0.035656993865966796,
-                0.03566284942626953,
-                0.036274177551269535,
                 0.03572326278686523,
-                0.03574272155761719,
-                0.035655681610107424,
-                0.035659774780273434,
-                0.035678207397460936,
-                0.03566611099243164,
-                0.03570483016967774,
-                0.035732574462890625,
-                0.03564441680908203,
-                0.03567718505859375,
-                0.03569065475463867,
-                0.03566592025756836,
-                0.03568230438232422,
-                0.03567103958129883,
-                0.03568947219848633,
-                0.035655681610107424,
-                0.03569664001464844,
-                0.03564441680908203,
-                0.035714046478271484,
-                0.03567923355102539,
-                0.0356671028137207,
-                0.03569868850708008,
-                0.03566592025756836,
-                0.035661823272705076,
-                0.03570175933837891,
-                0.035681278228759765,
-                0.035664894104003905,
-                0.035694591522216795,
-                0.035705856323242184,
-                0.03570278549194336,
-                0.0357283821105957,
-                0.03568867111206055,
-                0.03571814346313477,
-                0.035707904815673826,
-                0.035675136566162106,
-                0.03569049453735352,
-                0.03568252944946289,
-                0.03575193786621094,
-                0.035697662353515625,
-                0.03570175933837891,
-                0.03569049453735352,
-                0.03575398254394531,
-                0.0358031997680664,
-                0.03568975830078125,
-                0.03566694259643555,
-                0.03572019195556641,
-                0.03568537521362305,
-                0.035691520690917966,
-                0.03570995330810547,
-                0.035760128021240234,
-                0.03567923355102539,
-                0.03567411041259766,
-                0.03568659210205078,
-                0.035699710845947266,
-                0.035732479095458985,
-                0.03582281494140625,
-                0.03568025588989258,
-                0.03569868850708008,
-                0.0357130241394043,
                 0.03567411041259766,
-                0.035730430603027344,
                 0.035643390655517575,
-                0.03570175933837891,
-                0.035694591522216795,
-                0.03567718505859375,
-                0.035659774780273434,
                 0.035625984191894534,
-                0.03571814346313477,
-                0.03570995330810547,
-                0.038266880035400394,
-                0.03717529678344727,
-                0.03711296081542969,
-                0.036615169525146485,
-                0.03585740661621094,
-                0.03567001724243164,
-                0.03568742370605469,
-                0.03570278549194336,
-                0.03575193786621094,
-                0.03569049453735352,
-                0.03573350524902344,
-                0.03570995330810547,
-                0.035730430603027344,
-                0.03574169540405273,
-                0.035729408264160156,
                 0.03563417434692383,
-                0.0356864013671875,
-                0.03573657608032227,
-                0.03572531127929687,
-                0.03571507263183594,
-                0.03572019195556641,
-                0.03572633743286133,
-                0.03573657608032227,
-                0.03643801498413086,
-                0.03618099212646484,
-                0.036313087463378906,
-                0.03635507202148437,
-                0.0363612174987793,
-                0.03639529418945313,
-                0.03651686477661133,
-                0.036332542419433594,
-                0.03635507202148437,
-                0.03630080032348633,
-                0.03592704010009766,
-                0.03562496185302735,
-                0.03576319885253906,
-                0.03574272155761719,
-                0.0358389778137207,
-                0.0357061767578125,
-                0.03570483016967774,
-                0.03570073699951172,
-                0.0357386245727539,
-                0.03584921646118164,
-                0.035707904815673826,
-                0.035705856323242184,
-                0.035697662353515625,
-                0.03567433547973633,
-                0.035716094970703126,
-                0.03569356918334961,
-                0.03569664001464844,
-                0.03570483016967774,
-                0.03572633743286133,
-                0.035688449859619144,
-                0.035660064697265625,
-                0.035692543029785154,
-                0.03567718505859375,
-                0.03571814346313477,
-                0.035675136566162106,
                 0.03567718505859375,
-                0.03571507263183594,
-                0.03570278549194336,
                 0.035676158905029294,
-                0.035727359771728515,
-                0.03575203323364258,
-                0.035755134582519534,
-                0.03575193786621094,
-                0.03571200180053711,
-                0.03570687866210937,
-                0.03569868850708008,
-                0.035729408264160156,
-                0.03571814346313477,
-                0.035697662353515625,
-                0.03571814346313477,
-                0.035675136566162106,
-                0.03567718505859375,
-                0.035732479095458985,
-                0.03567103958129883,
-                0.03571507263183594,
-                0.0357314567565918,
-                0.03572326278686523,
-                0.03579596710205078,
-                0.03573452758789063,
-                0.03565670394897461,
-                0.03570278549194336,
-                0.03571007919311524,
-                0.03585638427734375,
-                0.03567625427246094,
-                0.03570995330810547,
-                0.03565574264526367,
-                0.0357130241394043,
-                0.03565465545654297,
-                0.03571916961669922,
-                0.03567923355102539,
-                0.03570483016967774,
-                0.035676448822021485,
-                0.03568230438232422,
-                0.03570380783081055,
-                0.035745792388916016,
                 0.03568537521362305,
-                0.03589836883544922,
-                0.03570380783081055,
-                0.03567411041259766,
-                0.03570892715454101,
-                0.03570892715454101,
-                0.035697662353515625,
-                0.03570278549194336,
-                0.03570687866210937,
-                0.03574272155761719,
-                0.03573555374145508,
-                0.03570380783081055,
-                0.03570380783081055,
-                0.035681278228759765,
-                0.03566694259643555,
-                0.035664894104003905,
-                0.035676158905029294,
-                0.035675136566162106,
-                0.035688449859619144,
                 0.0357212142944336,
                 0.035730430603027344,
-                0.035729408264160156,
-                0.03575603103637695,
-                0.035692543029785154,
-                0.03571712112426758,
-                0.03570687866210937,
-                0.03571916961669922,
                 0.035714046478271484,
-                0.03570687866210937,
-                0.03569881439208984,
-                0.03567103958129883,
-                0.0357212142944336,
-                0.03576422500610352,
-                0.03579289627075195,
                 0.03579904174804688,
-                0.03577446365356445,
-                0.03574784088134766,
                 0.035810302734375,
-                0.035776512145996094,
-                0.0357498893737793,
-                0.03577139282226562,
-                0.035779838562011716,
-                0.035762176513671876,
-                0.03570278549194336,
-                0.0358737907409668,
-                0.03575398254394531,
-                0.03575500869750976,
-                0.03572531127929687,
-                0.035730430603027344,
-                0.035796993255615236,
-                0.03579084777832031,
-                0.035762176513671876,
-                0.03570195388793945,
-                0.035760383605957034,
-                0.03579596710205078,
-                0.0357314567565918,
-                0.03573350524902344,
-                0.03592806243896484,
-                0.03572665786743164,
-                0.035789825439453124,
-                0.035714046478271484,
-                0.035740673065185545,
-                0.035732479095458985,
-                0.035829761505126956,
-                0.0357212142944336,
-                0.035776512145996094,
                 0.035811328887939455,
-                0.035765247344970705,
-                0.03574272155761719,
-                0.03578691101074219,
-                0.03578265762329102,
-                0.03582566452026367,
-                0.03571712112426758,
-                0.03575296020507813,
-                0.03579289627075195,
                 0.03577446365356445,
-                0.03578265762329102,
-                0.035757057189941405,
-                0.03576319885253906,
-                0.03577958297729492,
-                0.03574476623535156,
                 0.03579596710205078,
-                0.035783679962158206,
-                0.035773441314697264
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 7151.005442322437
         },
         "energy": null,
         "efficiency": null
@@ -304,23 +304,23 @@
     "decode": {
         "memory": {
             "unit": "MB",
-            "max_ram": 982.05696,
-            "max_vram": 15923.675136,
-            "max_reserved": 15439.233024,
             "max_allocated": 15238.453248
         },
         "latency": {
             "unit": "s",
-            "mean": 7.060369524955747,
-            "stdev": 0.0012442979812625765,
             "values": [
-                7.06161382293701,
-                7.059125226974484
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 36.11708977818669
         },
         "energy": null,
         "efficiency": null
@@ -329,524 +329,524 @@
         "memory": null,
         "latency": {
             "unit": "s",
-            "mean": 0.027687723627277443,
-            "stdev": 0.00014619835344585513,
             "values": [
-                0.029616128921508788,
-                0.02901094436645508,
-                0.027604127883911134,
-                0.027571039199829103,
-                0.027580511093139647,
-                0.027565984725952147,
-                0.02759065628051758,
-                0.02756710433959961,
-                0.027577503204345703,
-                0.027602783203125,
                 0.02756915283203125,
-                0.027648000717163085,
-                0.027636735916137696,
                 0.02758246421813965,
-                0.027549888610839842,
-                0.027629375457763672,
-                0.027638784408569338,
-                0.027603967666625977,
-                0.02757967948913574,
-                0.027773664474487304,
-                0.02764825630187988,
-                0.027607807159423826,
-                0.027570175170898437,
-                0.027589887619018556,
-                0.027634431838989258,
-                0.027576320648193358,
-                0.027662336349487306,
-                0.027593727111816405,
-                0.027613183975219727,
-                0.027630592346191408,
-                0.027685888290405275,
-                0.027614208221435548,
-                0.027625471115112304,
-                0.027650047302246093,
-                0.02771455955505371,
-                0.027583488464355467,
-                0.02761222457885742,
-                0.027848640441894532,
-                0.027653375625610353,
-                0.027633407592773437,
                 0.027620351791381836,
-                0.02759884834289551,
-                0.02763376045227051,
-                0.027631519317626953,
-                0.027673599243164062,
-                0.027608064651489257,
-                0.027658239364624023,
-                0.027633663177490234,
-                0.027639808654785155,
-                0.027670528411865233,
-                0.027651071548461914,
-                0.027640832901000976,
-                0.027603967666625977,
-                0.027619327545166016,
-                0.027585792541503906,
-                0.02757811164855957,
                 0.027586559295654296,
                 0.027621376037597657,
-                0.02768294334411621,
-                0.027679616928100587,
-                0.02767990493774414,
-                0.02767856025695801,
-                0.02760425567626953,
-                0.02764054489135742,
-                0.027654144287109376,
-                0.027602943420410156,
                 0.02759782409667969,
-                0.027653120040893556,
-                0.027599071502685545,
-                0.027621152877807618,
                 0.027594751358032226,
-                0.027636735916137696,
-                0.02761427116394043,
-                0.027595712661743165,
-                0.02768998336791992,
-                0.027627519607543945,
-                0.027588800430297853,
-                0.027567935943603517,
-                0.02769817543029785,
                 0.027650047302246093,
                 0.027580415725708008,
                 0.027620351791381836,
-                0.027684864044189454,
-                0.027616256713867186,
-                0.027534528732299803,
-                0.02832364845275879,
-                0.028655872344970704,
-                0.02786688041687012,
-                0.027686912536621092,
-                0.027699199676513672,
-                0.02769014358520508,
-                0.027677536010742188,
-                0.02790809631347656,
-                0.027682815551757813,
                 0.02770227241516113,
-                0.027651071548461914,
-                0.02772915267944336,
-                0.027657983779907226,
-                0.0276889591217041,
-                0.027657215118408202,
-                0.027667455673217774,
-                0.027654144287109376,
-                0.027627519607543945,
-                0.027646240234375,
-                0.027678432464599608,
-                0.027645952224731447,
-                0.027672576904296874,
-                0.027670528411865233,
                 0.027640832901000976,
-                0.027768831253051757,
-                0.027786272048950195,
-                0.02764591979980469,
-                0.027619327545166016,
-                0.027629568099975587,
-                0.027624448776245116,
-                0.027652095794677735,
-                0.027723039627075195,
-                0.02766102409362793,
-                0.027657215118408202,
                 0.027638784408569338,
-                0.027626495361328125,
-                0.027624448776245116,
-                0.027736160278320314,
-                0.027610015869140626,
-                0.027684064865112306,
-                0.0277040958404541,
                 0.027691007614135742,
-                0.027632640838623046,
-                0.02771865653991699,
-                0.02773196792602539,
-                0.027662656784057618,
-                0.027656896591186524,
-                0.027677696228027345,
-                0.027644927978515626,
-                0.02775859260559082,
-                0.027678720474243163,
-                0.027663360595703124,
-                0.027638784408569338,
-                0.027669504165649415,
-                0.027593727111816405,
-                0.02767888069152832,
-                0.02767856025695801,
-                0.027694080352783205,
-                0.027658239364624023,
-                0.027717632293701173,
-                0.027682880401611328,
-                0.027729856491088868,
-                0.027646976470947264,
-                0.02765827178955078,
-                0.027681760787963867,
-                0.027687936782836913,
-                0.02773094367980957,
-                0.027654144287109376,
-                0.027644927978515626,
-                0.027637760162353517,
-                0.027658239364624023,
-                0.027660383224487304,
-                0.02772777557373047,
                 0.027704320907592773,
-                0.027652095794677735,
-                0.027687936782836913,
-                0.027683839797973633,
-                0.027705631256103515,
-                0.02770403289794922,
-                0.02768511962890625,
-                0.02779417610168457,
-                0.027645952224731447,
-                0.02771865653991699,
-                0.027641855239868163,
-                0.027709440231323244,
-                0.027666431427001953,
-                0.027701248168945314,
-                0.027616416931152344,
-                0.027690847396850585,
-                0.027665407180786132,
-                0.027700223922729493,
                 0.027630592346191408,
-                0.027608064651489257,
-                0.027687967300415037,
-                0.02762953567504883,
-                0.027725984573364258,
-                0.02765500831604004,
-                0.027819007873535157,
-                0.027679744720458983,
-                0.027705472946166994,
-                0.027648895263671876,
                 0.027671552658081053,
-                0.027658239364624023,
-                0.027703392028808595,
-                0.02765507125854492,
                 0.027671552658081053,
-                0.027642879486083984,
-                0.027683839797973633,
-                0.027683839797973633,
-                0.027659263610839844,
-                0.027650047302246093,
-                0.027645952224731447,
-                0.02775961685180664,
                 0.027678720474243163,
-                0.02770636749267578,
-                0.02766854476928711,
-                0.027748287200927733,
-                0.02770240020751953,
-                0.0277390079498291,
-                0.02775654411315918,
-                0.027695104598999022,
-                0.027709440231323244,
-                0.02770636749267578,
-                0.027696447372436525,
-                0.02769887924194336,
-                0.02773504066467285,
-                0.027707391738891602,
-                0.02770534324645996,
-                0.02776268768310547,
                 0.02770534324645996,
-                0.02768076705932617,
-                0.02775347137451172,
-                0.02766454315185547,
-                0.027747455596923827,
-                0.02769993591308594,
-                0.02774732780456543,
                 0.02772172737121582,
-                0.027692256927490236,
-                0.0277542724609375,
-                0.02774838447570801,
-                0.027663328170776366,
                 0.027699199676513672,
-                0.027708415985107423,
-                0.027692031860351563,
-                0.027715583801269532,
-                0.02774835205078125,
-                0.0277708797454834,
-                0.027724800109863282,
-                0.02778726387023926,
-                0.027784191131591796,
-                0.027720703125,
-                0.027674623489379883,
-                0.027802623748779298,
-                0.02787740707397461,
-                0.027721696853637696,
-                0.02775142478942871,
-                0.027741184234619142,
-                0.027793407440185547,
-                0.02774015998840332,
-                0.027743263244628905,
-                0.02780259132385254,
-                0.02774224090576172,
-                0.027719648361206054,
-                0.02774239921569824,
-                0.027813695907592775,
-                0.02779964828491211,
-                0.02772470474243164,
-                0.027685888290405275,
-                0.02770636749267578,
-                0.02771686363220215,
                 0.02755583953857422,
                 0.027593727111816405,
-                0.027617279052734374,
-                0.027625471115112304,
-                0.027576608657836912,
-                0.027568864822387695,
-                0.02767263984680176,
-                0.029018047332763672,
-                0.027704544067382812,
-                0.027599647521972658,
-                0.02758470344543457,
-                0.027590463638305664,
-                0.027561023712158204,
-                0.027568063735961913,
-                0.027578367233276366,
                 0.027610111236572265,
-                0.027585535049438475,
-                0.027656192779541015,
-                0.027631872177124022,
-                0.02754636764526367,
-                0.02757024002075195,
-                0.02761619186401367,
                 0.027612159729003907,
-                0.027578367233276366,
-                0.027592704772949218,
                 0.027640832901000976,
-                0.02758143997192383,
                 0.027613183975219727,
-                0.027619327545166016,
-                0.027586559295654296,
                 0.02758963203430176,
-                0.027634687423706054,
-                0.027591680526733397,
-                0.02759065628051758,
-                0.027651168823242187,
-                0.027621280670166014,
-                0.027622688293457032,
-                0.02761084747314453,
-                0.027630592346191408,
-                0.02760601615905762,
-                0.02761555290222168,
-                0.02767942428588867,
-                0.027629663467407226,
-                0.027626399993896485,
-                0.02764521598815918,
-                0.027726560592651366,
-                0.02771046447753906,
-                0.02758143997192383,
-                0.02760601615905762,
-                0.027621376037597657,
                 0.027636735916137696,
-                0.02758963203430176,
-                0.027578367233276366,
-                0.027593727111816405,
-                0.027808767318725586,
                 0.02757734489440918,
-                0.027629695892333984,
-                0.027604864120483397,
-                0.027644927978515626,
-                0.02756915283203125,
-                0.027594751358032226,
-                0.027658239364624023,
-                0.02754457664489746,
-                0.027617279052734374,
-                0.02754150390625,
-                0.027630592346191408,
-                0.027661407470703125,
-                0.027640735626220703,
-                0.027603967666625977,
-                0.027609088897705077,
-                0.027568128585815428,
-                0.027633663177490234,
-                0.027815935134887695,
-                0.027620351791381836,
-                0.027625471115112304,
-                0.027656192779541015,
-                0.027664384841918944,
-                0.027669504165649415,
                 0.027656192779541015,
                 0.027674623489379883,
-                0.027628543853759766,
-                0.027602943420410156,
-                0.02773811149597168,
-                0.027617279052734374,
-                0.027591680526733397,
                 0.027604991912841798,
-                0.027665407180786132,
-                0.027587583541870117,
-                0.027643903732299805,
-                0.027757568359375,
-                0.027671552658081053,
-                0.027612159729003907,
-                0.027666431427001953,
-                0.02769817543029785,
-                0.02765446472167969,
-                0.027643583297729493,
-                0.027681791305541992,
-                0.027658239364624023,
-                0.027661312103271486,
-                0.027686912536621092,
-                0.02764723205566406,
-                0.02762931251525879,
-                0.027681791305541992,
-                0.027679744720458983,
-                0.027695104598999022,
-                0.027655168533325194,
-                0.027675647735595704,
-                0.02770636749267578,
-                0.02765020751953125,
-                0.02762940788269043,
-                0.027696128845214843,
-                0.02768076705932617,
-                0.027659360885620116,
-                0.027674528121948243,
-                0.027633663177490234,
                 0.027609088897705077,
-                0.027628543853759766,
                 0.0276889591217041,
-                0.027649023056030272,
-                0.027640832901000976,
-                0.027633663177490234,
-                0.027683839797973633,
                 0.02769715118408203,
-                0.027699199676513672,
                 0.02768076705932617,
-                0.0276889591217041,
-                0.027661504745483397,
-                0.02784748840332031,
-                0.02763702392578125,
-                0.02767638397216797,
-                0.027715583801269532,
-                0.02772787284851074,
-                0.027660287857055665,
-                0.027637760162353517,
-                0.027657215118408202,
-                0.027681791305541992,
-                0.027624448776245116,
-                0.027711488723754882,
-                0.027688255310058595,
-                0.02770809555053711,
-                0.02770025634765625,
-                0.027731935501098634,
-                0.02770748710632324,
-                0.027706272125244142,
-                0.02768716812133789,
-                0.027891456604003908,
-                0.028013568878173828,
-                0.027864063262939453,
-                0.027613471984863282,
-                0.02765488052368164,
-                0.02772787284851074,
-                0.02772889518737793,
                 0.027671552658081053,
-                0.0277258243560791,
-                0.02766249656677246,
-                0.027669343948364258,
-                0.027691007614135742,
-                0.027724800109863282,
-                0.02768515205383301,
-                0.027703008651733398,
-                0.027624448776245116,
-                0.027675647735595704,
-                0.02766454315185547,
-                0.027702112197875977,
                 0.027684864044189454,
-                0.02770636749267578,
                 0.027674623489379883,
-                0.027635711669921875,
-                0.027670528411865233,
-                0.027673599243164062,
-                0.02771353530883789,
-                0.027640832901000976,
-                0.027680864334106447,
-                0.02771139144897461,
-                0.027719776153564454,
-                0.02768476867675781,
-                0.027704416275024416,
-                0.027665311813354493,
-                0.027645952224731447,
-                0.027608064651489257,
-                0.02771251106262207,
                 0.027687936782836913,
-                0.02765135955810547,
-                0.027718368530273436,
-                0.0276889591217041,
-                0.027610111236572265,
-                0.027685888290405275,
-                0.02771251106262207,
-                0.027664384841918944,
-                0.027685888290405275,
-                0.027721759796142578,
-                0.027700191497802736,
-                0.027677696228027345,
-                0.027642879486083984,
-                0.027743295669555666,
-                0.027659200668334962,
-                0.027717632293701173,
-                0.02771251106262207,
-                0.02770867156982422,
-                0.02776652717590332,
-                0.02793084716796875,
-                0.027801376342773437,
-                0.027827199935913087,
-                0.027786239624023438,
-                0.027760639190673828,
-                0.02772787284851074,
-                0.02771455955505371,
-                0.02770636749267578,
-                0.027738271713256837,
-                0.027784032821655272,
-                0.027807743072509765,
-                0.027785215377807617,
-                0.027832319259643554,
-                0.027700223922729493,
-                0.027741184234619142,
-                0.02772172737121582,
-                0.02771868705749512,
-                0.027967456817626954,
-                0.027768831253051757,
-                0.02769817543029785,
-                0.027707551956176756,
-                0.027707231521606444,
-                0.02771455955505371,
-                0.02772991943359375,
-                0.027810815811157227,
-                0.027676671981811524,
-                0.02771865653991699,
-                0.02771968078613281,
-                0.027667552947998046,
-                0.027765663146972656,
                 0.027757568359375,
-                0.027709440231323244,
-                0.02775040054321289,
-                0.027823104858398437,
-                0.02779043197631836,
-                0.027784095764160157,
-                0.027798528671264647,
-                0.027786239624023438,
-                0.027814912796020507,
-                0.02772172737121582,
-                0.027704479217529297,
-                0.02775331115722656,
-                0.02773811149597168,
-                0.027709440231323244,
-                0.02777190399169922,
-                0.02775859260559082,
-                0.027724800109863282,
-                0.027709440231323244,
-                0.027732255935668946,
-                0.027720415115356445,
-                0.027744255065917968,
-                0.027661312103271486,
-                0.027661312103271486,
-                0.027668479919433595,
-                0.027707391738891602
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 36.11708977818668
         },
         "energy": null,
         "efficiency": null

     "prefill": {
         "memory": {
             "unit": "MB",
+            "max_ram": 994.455552,
+            "max_vram": 15716.057088,
             "max_reserved": 15271.460864,
             "max_allocated": 15114.469888
         },
         "latency": {
             "unit": "s",
+            "mean": 0.0357679583958217,
+            "stdev": 0.00025741227433738017,
             "values": [
+                0.03878659057617188,
+                0.037553150177001955,
+                0.035939327239990236,
+                0.03592704010009766,
+                0.035939552307128905,
+                0.035884033203125,
+                0.03610009765625,
+                0.03608268737792969,
+                0.03680665588378906,
+                0.03654655838012695,
+                0.03651686477661133,
+                0.03602022552490235,
                 0.03572326278686523,
+                0.03567318344116211,
+                0.03566284942626953,
+                0.03562188720703125,
                 0.03567411041259766,
+                0.03564134216308594,
+                0.03561164855957031,
+                0.03567750549316406,
                 0.035643390655517575,
+                0.03563212966918945,
+                0.03566080093383789,
+                0.03561779022216797,
+                0.03563417434692383,
+                0.035606529235839846,
+                0.035590465545654294,
+                0.03559423828125,
+                0.03561881637573242,
+                0.03557807922363281,
+                0.035588096618652344,
+                0.03560243225097656,
+                0.035606529235839846,
+                0.03560857772827149,
+                0.03560755157470703,
+                0.035655681610107424,
+                0.03557273483276367,
+                0.035684417724609375,
+                0.03565071868896484,
+                0.035643390655517575,
+                0.03560243225097656,
+                0.03562905502319336,
+                0.03559628677368164,
+                0.035576831817626955,
+                0.03557183837890625,
+                0.03557068634033203,
+                0.03558911895751953,
+                0.035544063568115236,
+                0.035609600067138675,
+                0.03570687866210937,
+                0.03567340850830078,
+                0.035579902648925785,
+                0.03561881637573242,
+                0.0355788803100586,
+                0.03561369705200195,
+                0.03562393569946289,
+                0.03560755157470703,
+                0.03565875244140625,
+                0.035620864868164064,
                 0.035625984191894534,
+                0.03561471939086914,
+                0.03559731292724609,
+                0.03579391860961914,
+                0.03589120101928711,
+                0.03578675079345703,
+                0.035745792388916016,
+                0.035800064086914066,
+                0.035759105682373046,
+                0.035772705078125,
+                0.03575398254394531,
+                0.03567724609375,
+                0.03559833526611328,
+                0.03561983871459961,
                 0.03563417434692383,
+                0.0356126708984375,
+                0.03563417434692383,
+                0.03565055847167969,
+                0.03563935852050781,
+                0.0356577262878418,
+                0.035643390655517575,
+                0.03560857772827149,
+                0.035625984191894534,
+                0.03564646530151367,
+                0.035644641876220705,
+                0.0356126708984375,
+                0.035593215942382815,
+                0.03564646530151367,
+                0.03566387176513672,
+                0.03561676788330078,
+                0.0356495361328125,
+                0.03564134216308594,
+                0.03562400054931641,
+                0.03561779022216797,
+                0.035672065734863284,
                 0.03567718505859375,
+                0.035643390655517575,
+                0.03559936141967773,
+                0.03664588928222656,
+                0.03582463836669922,
+                0.03563520050048828,
+                0.03561779022216797,
                 0.035676158905029294,
+                0.03563139343261719,
+                0.03562393569946289,
+                0.03563724899291992,
                 0.03568537521362305,
+                0.0357918701171875,
+                0.03565465545654297,
                 0.0357212142944336,
                 0.035730430603027344,
+                0.03564134216308594,
+                0.035659934997558596,
+                0.035643390655517575,
+                0.03565260696411133,
+                0.03565465545654297,
+                0.03561983871459961,
+                0.03561779022216797,
+                0.03566899108886719,
+                0.03565875244140625,
+                0.035783679962158206,
                 0.035714046478271484,
+                0.0356577262878418,
+                0.03565670394897461,
+                0.03564441680908203,
+                0.035710975646972655,
+                0.03559833526611328,
+                0.03567308807373047,
+                0.035681278228759765,
+                0.03564441680908203,
+                0.03564851379394531,
+                0.03566694259643555,
+                0.03565363311767578,
+                0.03561062240600586,
+                0.035625984191894534,
+                0.03566899108886719,
+                0.03562700653076172,
+                0.03561574554443359,
+                0.03563827133178711,
+                0.03562803268432617,
+                0.035566593170166014,
+                0.03561164855957031,
+                0.03561062240600586,
+                0.03564134216308594,
+                0.035678207397460936,
+                0.03566899108886719,
+                0.035620864868164064,
+                0.03566899108886719,
+                0.03568435287475586,
+                0.03567308807373047,
+                0.03563212966918945,
+                0.03573452758789063,
+                0.0358021125793457,
+                0.03582463836669922,
+                0.035804191589355466,
+                0.03585126495361328,
+                0.03583078384399414,
+                0.03579497528076172,
                 0.03579904174804688,
+                0.035814399719238284,
+                0.03582483291625976,
+                0.035811328887939455,
+                0.035855358123779296,
+                0.035896320343017575,
+                0.03587481689453125,
+                0.03583488082885742,
+                0.03583203125,
+                0.03582156753540039,
+                0.03584307098388672,
+                0.03580825424194336,
+                0.035813377380371096,
+                0.03583180618286133,
+                0.0358287353515625,
+                0.03585638427734375,
+                0.03581542587280274,
                 0.035810302734375,
+                0.03586771011352539,
+                0.035953662872314454,
+                0.0358389778137207,
+                0.035860481262207033,
+                0.0358135986328125,
+                0.035810302734375,
+                0.03577260971069336,
+                0.03582668685913086,
+                0.03583283233642578,
+                0.035800064086914066,
+                0.03582259368896484,
+                0.03583283233642578,
+                0.03582572937011719,
                 0.035811328887939455,
+                0.0358021125793457,
+                0.03584534454345703,
+                0.03579904174804688,
+                0.035821758270263675,
+                0.03586764907836914,
+                0.03583180618286133,
+                0.035813377380371096,
+                0.03588198471069336,
+                0.035811328887939455,
+                0.03583795166015625,
+                0.0358287353515625,
+                0.035794944763183595,
+                0.03586969757080078,
+                0.03583590316772461,
+                0.0358389778137207,
+                0.03584307098388672,
+                0.03583795166015625,
+                0.03584307098388672,
+                0.03584921646118164,
+                0.0358155517578125,
+                0.03582259368896484,
+                0.03580518341064453,
+                0.03578572845458984,
+                0.035811328887939455,
+                0.03588198471069336,
+                0.03584204864501953,
+                0.03581244659423828,
+                0.035817470550537106,
+                0.035844097137451174,
+                0.03581756973266602,
+                0.03587891387939453,
+                0.035784702301025394,
+                0.035827713012695314,
+                0.03583795166015625,
+                0.035849441528320314,
+                0.03582668685913086,
+                0.035833854675292966,
+                0.03581542587280274,
+                0.035794944763183595,
+                0.03580748748779297,
+                0.03581542587280274,
+                0.03584102249145508,
+                0.035833854675292966,
+                0.03587276840209961,
+                0.03585228729248047,
+                0.035813377380371096,
+                0.035773441314697264,
+                0.03580313491821289,
+                0.035762176513671876,
+                0.03581951904296875,
+                0.035760128021240234,
+                0.03581644821166992,
+                0.03577657699584961,
                 0.03577446365356445,
+                0.03574585723876953,
+                0.035767295837402346,
+                0.035784702301025394,
+                0.035802398681640625,
+                0.0357716178894043,
+                0.035806209564208984,
+                0.03578384017944336,
+                0.03582271957397461,
+                0.035806209564208984,
+                0.035823680877685546,
+                0.03577468872070313,
+                0.035798015594482424,
+                0.035767520904541016,
+                0.03580723190307617,
+                0.03580313491821289,
+                0.03585843276977539,
+                0.03581951904296875,
+                0.03581644821166992,
+                0.03578879928588867,
+                0.03577241516113281,
+                0.03581235122680664,
+                0.03581235122680664,
                 0.03579596710205078,
+                0.0358205451965332,
+                0.03581644821166992,
+                0.035765247344970705,
+                0.035760128021240234,
+                0.035784702301025394,
+                0.03576115036010742,
+                0.03583078384399414,
+                0.035806209564208984,
+                0.0358287353515625,
+                0.03592499160766602,
+                0.03587491226196289,
+                0.0357918701171875,
+                0.03582361602783203,
+                0.035783679962158206
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 7157.243842855318
         },
         "energy": null,
         "efficiency": null
     "decode": {
         "memory": {
             "unit": "MB",
+            "max_ram": 994.455552,
+            "max_vram": 15925.772288,
+            "max_reserved": 15441.330176,
             "max_allocated": 15238.453248
         },
         "latency": {
             "unit": "s",
+            "mean": 7.04666519832611,
+            "stdev": 0.003940360069274451,
             "values": [
+                7.050605558395384,
+                7.042724838256835
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 36.18733015165437
         },
         "energy": null,
         "efficiency": null
         "memory": null,
         "latency": {
             "unit": "s",
+            "mean": 0.02763398116990632,
+            "stdev": 0.0001406665852038265,
             "values": [
+                0.02976051139831543,
+                0.029001728057861328,
+                0.027527168273925783,
+                0.02751692771911621,
+                0.027592704772949218,
+                0.02755072021484375,
+                0.027613183975219727,
+                0.027573408126831053,
+                0.027517791748046874,
+                0.027510784149169923,
+                0.02770636749267578,
+                0.02768998336791992,
+                0.02756505584716797,
+                0.02753023910522461,
+                0.02755072021484375,
+                0.02755504035949707,
+                0.027621152877807618,
+                0.02758963203430176,
+                0.027579391479492187,
+                0.027568128585815428,
+                0.02756505584716797,
+                0.02754150390625,
+                0.02758963203430176,
+                0.027543552398681642,
+                0.02753331184387207,
+                0.02754150390625,
+                0.027591680526733397,
+                0.027538431167602538,
+                0.027510784149169923,
+                0.02757734489440918,
+                0.02755891227722168,
+                0.02753126335144043,
+                0.02755072021484375,
+                0.027546783447265626,
+                0.027543392181396485,
                 0.02756915283203125,
+                0.02759782409667969,
+                0.02749235153198242,
+                0.02754764747619629,
+                0.02753433609008789,
+                0.027561983108520507,
+                0.02755686378479004,
+                0.027587583541870117,
+                0.02755379295349121,
+                0.027602943420410156,
+                0.027551744461059572,
                 0.02758246421813965,
+                0.027571199417114257,
+                0.027572223663330078,
+                0.027527168273925783,
+                0.02756403160095215,
                 0.027620351791381836,
+                0.027612159729003907,
+                0.027580415725708008,
+                0.027575328826904298,
+                0.027544544219970702,
+                0.027599872589111327,
+                0.027801599502563477,
+                0.027614208221435548,
+                0.027610111236572265,
                 0.027586559295654296,
+                0.02757529640197754,
+                0.02756710433959961,
+                0.027571199417114257,
+                0.02758246421813965,
+                0.027709440231323244,
+                0.027513856887817382,
+                0.027591680526733397,
+                0.027643903732299805,
+                0.027596799850463868,
                 0.027621376037597657,
+                0.02756505584716797,
+                0.027561983108520507,
+                0.027596799850463868,
+                0.027627519607543945,
                 0.02759782409667969,
+                0.027620351791381836,
+                0.027625471115112304,
                 0.027594751358032226,
+                0.027617279052734374,
+                0.027624448776245116,
                 0.027650047302246093,
+                0.027657215118408202,
+                0.027851776123046876,
+                0.027572223663330078,
+                0.02837708854675293,
+                0.02859110450744629,
+                0.02774015998840332,
+                0.027637760162353517,
+                0.027633663177490234,
                 0.027580415725708008,
+                0.027673599243164062,
+                0.027600896835327147,
+                0.027627840042114257,
+                0.027613887786865233,
+                0.027551744461059572,
+                0.027559999465942384,
+                0.02760697555541992,
+                0.027641855239868163,
                 0.027620351791381836,
+                0.027583488464355467,
+                0.027613183975219727,
+                0.027586559295654296,
+                0.027630592346191408,
+                0.02769715118408203,
+                0.027617279052734374,
+                0.027648000717163085,
+                0.027649023056030272,
+                0.027661312103271486,
+                0.027675647735595704,
+                0.027661312103271486,
+                0.027602079391479493,
+                0.02760585594177246,
+                0.027621376037597657,
+                0.027661312103271486,
                 0.02770227241516113,
                 0.027640832901000976,
+                0.02778316879272461,
+                0.027622400283813478,
+                0.027631616592407225,
+                0.027610111236572265,
+                0.027643903732299805,
+                0.027630592346191408,
+                0.027630592346191408,
+                0.027625471115112304,
+                0.027589887619018556,
+                0.027584255218505858,
+                0.02760704040527344,
+                0.02756608009338379,
+                0.027628543853759766,
+                0.02754252815246582,
+                0.027568128585815428,
+                0.027592704772949218,
+                0.02756096076965332,
+                0.02754560089111328,
+                0.027628543853759766,
+                0.02759065628051758,
+                0.027620351791381836,
+                0.027808767318725586,
+                0.027616256713867186,
+                0.027637760162353517,
+                0.027579391479492187,
+                0.02756710433959961,
+                0.027628543853759766,
+                0.02757529640197754,
+                0.027614208221435548,
+                0.027601919174194335,
+                0.027602943420410156,
+                0.027615232467651366,
+                0.027681791305541992,
+                0.027615232467651366,
+                0.027628543853759766,
+                0.027655168533325194,
                 0.027638784408569338,
+                0.027580415725708008,
+                0.027616256713867186,
+                0.02779955291748047,
                 0.027691007614135742,
                 0.027704320907592773,
+                0.027643903732299805,
+                0.027609088897705077,
+                0.027614208221435548,
+                0.027617279052734374,
                 0.027630592346191408,
+                0.027603967666625977,
+                0.027614208221435548,
+                0.027660287857055665,
+                0.027622400283813478,
+                0.027609088897705077,
+                0.027648000717163085,
+                0.027624448776245116,
+                0.027619327545166016,
+                0.027643903732299805,
+                0.027600896835327147,
+                0.027645952224731447,
+                0.027650047302246093,
+                0.027649023056030272,
+                0.027602943420410156,
+                0.027585535049438475,
+                0.027648000717163085,
+                0.027636735916137696,
+                0.027629568099975587,
+                0.027636735916137696,
+                0.027662336349487306,
+                0.027667455673217774,
+                0.027641855239868163,
+                0.027627519607543945,
+                0.027649023056030272,
                 0.027671552658081053,
+                0.027629568099975587,
+                0.027682815551757813,
+                0.027661312103271486,
+                0.0276889591217041,
+                0.027629568099975587,
+                0.027609088897705077,
+                0.027692031860351563,
+                0.027681791305541992,
+                0.027677696228027345,
+                0.02768079948425293,
+                0.027665376663208008,
+                0.027591680526733397,
+                0.02774835205078125,
+                0.027757568359375,
+                0.02773708724975586,
+                0.02768998336791992,
+                0.027686912536621092,
+                0.027677696228027345,
+                0.02774015998840332,
+                0.027677696228027345,
                 0.027671552658081053,
+                0.027661312103271486,
+                0.027893760681152343,
+                0.02769715118408203,
+                0.027691007614135742,
+                0.027685888290405275,
+                0.027692031860351563,
+                0.0277708797454834,
+                0.027682815551757813,
+                0.027662336349487306,
+                0.027691007614135742,
+                0.027692031860351563,
+                0.027700223922729493,
+                0.027668479919433595,
+                0.027641855239868163,
                 0.027678720474243163,
+                0.027665407180786132,
+                0.02768998336791992,
+                0.02771046447753906,
+                0.027744255065917968,
+                0.027807743072509765,
+                0.027657215118408202,
+                0.027717632293701173,
+                0.027694080352783205,
+                0.027704320907592773,
+                0.027708415985107423,
+                0.027653120040893556,
+                0.027679744720458983,
+                0.02774630355834961,
                 0.02770534324645996,
+                0.027675647735595704,
+                0.027620351791381836,
                 0.02772172737121582,
+                0.027655168533325194,
+                0.027709440231323244,
+                0.027682912826538085,
+                0.02771036720275879,
+                0.027649023056030272,
+                0.027631616592407225,
+                0.027622400283813478,
+                0.0277258243560791,
+                0.027709440231323244,
+                0.027571392059326173,
+                0.027576128005981446,
+                0.027665407180786132,
+                0.027626495361328125,
+                0.027524063110351563,
+                0.02756403160095215,
+                0.02756096076965332,
+                0.02750873565673828,
+                0.027487232208251954,
+                0.027495424270629884,
+                0.027520000457763674,
+                0.027520000457763674,
+                0.02751283264160156,
+                0.02754560089111328,
+                0.027520000457763674,
+                0.02754560089111328,
+                0.027495424270629884,
+                0.02753638458251953,
+                0.02751487922668457,
+                0.027496448516845705,
+                0.02753740882873535,
+                0.02756608009338379,
+                0.0275599365234375,
+                0.02755891227722168,
+                0.02754172706604004,
+                0.02758019256591797,
+                0.027596799850463868,
+                0.02754150390625,
+                0.02754764747619629,
+                0.02756710433959961,
+                0.027568416595458986,
+                0.027578079223632812,
+                0.02771865653991699,
+                0.02751283264160156,
+                0.02749951934814453,
+                0.02757427215576172,
+                0.027601919174194335,
+                0.02756710433959961,
+                0.02756505584716797,
+                0.027583488464355467,
+                0.02755072021484375,
+                0.02751692771911621,
+                0.02754969596862793,
+                0.02755788803100586,
+                0.027591680526733397,
                 0.027699199676513672,
+                0.027535360336303712,
+                0.027535360336303712,
+                0.027594751358032226,
+                0.027706464767456054,
+                0.027533216476440428,
+                0.02754867172241211,
+                0.02753945541381836,
+                0.02756435203552246,
+                0.02753401565551758,
+                0.02756096076965332,
+                0.027517951965332032,
+                0.02754560089111328,
+                0.02766659164428711,
+                0.027560800552368165,
+                0.02752511978149414,
+                0.027535360336303712,
+                0.02759884834289551,
+                0.02758143997192383,
+                0.02754457664489746,
+                0.027546623229980468,
+                0.02750873565673828,
+                0.027616256713867186,
+                0.02752614402770996,
+                0.027619327545166016,
+                0.027595775604248047,
+                0.027571199417114257,
+                0.02757529640197754,
+                0.027579391479492187,
+                0.027599872589111327,
+                0.02755686378479004,
+                0.0275599365234375,
+                0.027610111236572265,
+                0.027580415725708008,
+                0.027670528411865233,
                 0.02755583953857422,
+                0.02760601615905762,
+                0.027543552398681642,
+                0.02757427215576172,
+                0.027563007354736328,
+                0.027614208221435548,
+                0.027630592346191408,
+                0.027613183975219727,
+                0.0275281925201416,
+                0.027594751358032226,
+                0.027628543853759766,
+                0.027667455673217774,
+                0.027626495361328125,
+                0.027601919174194335,
                 0.027593727111816405,
+                0.02759782409667969,
+                0.02758246421813965,
+                0.027561983108520507,
+                0.02760704040527344,
+                0.02756710433959961,
+                0.02771046447753906,
+                0.027658239364624023,
+                0.027651071548461914,
+                0.027643903732299805,
+                0.027798528671264647,
+                0.027808767318725586,
+                0.027653120040893556,
+                0.027600896835327147,
+                0.02764092826843262,
+                0.027593631744384766,
+                0.02757529640197754,
+                0.027561983108520507,
+                0.027613183975219727,
+                0.027642879486083984,
+                0.027626495361328125,
+                0.02758246421813965,
+                0.027637760162353517,
+                0.027599872589111327,
+                0.027608064651489257,
+                0.027601919174194335,
+                0.02756915283203125,
+                0.027623424530029295,
+                0.027883520126342775,
+                0.027604991912841798,
+                0.027588607788085938,
+                0.027588607788085938,
+                0.027627519607543945,
+                0.027653120040893556,
+                0.027580415725708008,
+                0.027593727111816405,
+                0.027586559295654296,
+                0.02757734489440918,
+                0.02756915283203125,
+                0.02758246421813965,
                 0.027610111236572265,
+                0.027617279052734374,
+                0.027611135482788086,
+                0.027595775604248047,
                 0.027612159729003907,
+                0.027615232467651366,
+                0.027576320648193358,
+                0.027580415725708008,
                 0.027640832901000976,
+                0.027644927978515626,
+                0.027644927978515626,
+                0.027621376037597657,
+                0.027671552658081053,
+                0.027570175170898437,
                 0.027613183975219727,
                 0.02758963203430176,
+                0.027597984313964843,
+                0.027625312805175783,
+                0.027652095794677735,
                 0.027636735916137696,
+                0.027687936782836913,
+                0.027676671981811524,
+                0.027663360595703124,
+                0.027655168533325194,
+                0.027632640838623046,
                 0.02757734489440918,
+                0.027631616592407225,
+                0.027635871887207033,
+                0.027594591140747072,
+                0.027646207809448244,
+                0.0275914249420166,
+                0.027667455673217774,
+                0.02758246421813965,
+                0.027622400283813478,
+                0.027602943420410156,
+                0.027637760162353517,
+                0.02756608009338379,
+                0.027624448776245116,
+                0.027682815551757813,
+                0.02768076705932617,
                 0.027656192779541015,
+                0.027620351791381836,
+                0.027643903732299805,
+                0.027592704772949218,
+                0.02791628837585449,
+                0.027629568099975587,
+                0.027599872589111327,
+                0.027670528411865233,
+                0.027546623229980468,
+                0.027622560501098632,
+                0.02761404800415039,
+                0.02759884834289551,
+                0.027613183975219727,
+                0.027682815551757813,
+                0.027701248168945314,
                 0.027674623489379883,
+                0.027656192779541015,
+                0.02757529640197754,
                 0.027604991912841798,
+                0.027652095794677735,
+                0.027635711669921875,
+                0.027809791564941407,
+                0.027649023056030272,
+                0.027642879486083984,
+                0.02759884834289551,
+                0.027654144287109376,
+                0.027623424530029295,
+                0.027660287857055665,
+                0.027700223922729493,
                 0.027609088897705077,
+                0.027646976470947264,
+                0.027693056106567384,
                 0.0276889591217041,
+                0.027784191131591796,
                 0.02769715118408203,
+                0.027610111236572265,
+                0.027686912536621092,
                 0.02768076705932617,
+                0.02771046447753906,
+                0.027664384841918944,
+                0.02774630355834961,
+                0.027676671981811524,
+                0.027649023056030272,
+                0.027617279052734374,
+                0.027679744720458983,
+                0.027649023056030272,
+                0.027623424530029295,
+                0.027661312103271486,
+                0.027614208221435548,
+                0.027696128845214843,
+                0.027654144287109376,
+                0.027687936782836913,
+                0.027643903732299805,
                 0.027671552658081053,
+                0.027669504165649415,
                 0.027684864044189454,
+                0.027627519607543945,
+                0.027654144287109376,
+                0.027649023056030272,
+                0.027669504165649415,
+                0.027667455673217774,
+                0.027650047302246093,
+                0.027630592346191408,
                 0.027674623489379883,
+                0.027694080352783205,
+                0.02777190399169922,
+                0.027694080352783205,
+                0.027692031860351563,
                 0.027687936782836913,
+                0.027672576904296874,
+                0.027684864044189454,
+                0.02769715118408203,
+                0.027678720474243163,
+                0.027670528411865233,
+                0.027665407180786132,
+                0.027720703125,
                 0.027757568359375,
+                0.027846656799316406,
+                0.02771046447753906,
+                0.02772275161743164,
+                0.027674623489379883,
+                0.027634687423706054,
+                0.02768998336791992,
+                0.027659263610839844,
+                0.027623424530029295
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 36.187330151654365
         },
         "energy": null,
         "efficiency": null