kreas
/

FA_benchmarks

Model card Files Files and versions Community

kreas commited on Apr 16

Commit

ff7261f

•

1 Parent(s): b0ef684

Upload /Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files

Files changed (1) hide show

Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +687 -695

Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED Viewed

@@ -2,194 +2,186 @@
     "prefill": {
         "memory": {
             "unit": "MB",
-            "max_ram": 2388.832256,
             "max_vram": 5490.343936,
             "max_reserved": 5005.901824,
             "max_allocated": 4844.946944
         },
         "latency": {
             "unit": "s",
-            "mean": 0.05811469193827902,
-            "stdev": 0.000602213469494835,
             "values": [
-                0.06424403381347656,
-                0.060627967834472656,
-                0.058673152923583986,
-                0.05822054290771484,
-                0.05900697708129883,
-                0.058456062316894535,
                 0.060142593383789064,
-                0.05822259140014648,
-                0.05931417465209961,
-                0.057815040588378906,
-                0.05829632186889649,
-                0.05780582427978516,
-                0.05838131332397461,
-                0.05786624145507813,
-                0.058359809875488285,
-                0.05784473419189453,
-                0.058281982421875,
-                0.05778636932373047,
-                0.058281982421875,
-                0.05779558563232422,
-                0.058261825561523435,
-                0.05782015991210938,
-                0.05830144119262695,
-                0.05778739166259766,
-                0.058264575958251956,
-                0.057791488647460934,
-                0.05828300857543945,
-                0.057818431854248044,
-                0.05829939270019531,
-                0.057791488647460934,
-                0.05843865585327149,
-                0.057780223846435545,
-                0.05833932876586914,
-                0.05779587173461914,
-                0.05834444808959961,
-                0.05779046249389649,
-                0.05831782531738281,
-                0.057731071472167966,
-                0.05830553436279297,
-                0.05788876724243164,
-                0.05831270217895508,
-                0.05773740768432617,
-                0.058308609008789064,
-                0.057780223846435545,
-                0.05831884765625,
-                0.05775360107421875,
-                0.058308609008789064,
-                0.05779865646362305,
-                0.05830963134765625,
-                0.05779046249389649,
-                0.058292224884033204,
-                0.05775769424438477,
-                0.05830358505249023,
-                0.0576993293762207,
-                0.05837311935424805,
-                0.05776998519897461,
-                0.05822259140014648,
-                0.057766910552978515,
-                0.05829017639160156,
-                0.057785343170166016,
-                0.0583454704284668,
-                0.05779558563232422,
-                0.05830451202392578,
-                0.0577710075378418,
-                0.0583006706237793,
-                0.05788979339599609,
-                0.05819903945922852,
-                0.05773926544189453,
-                0.05825228881835937,
-                0.05771468734741211,
-                0.05825126266479492,
-                0.05774643325805664,
-                0.05827481460571289,
-                0.05784371185302734,
-                0.058211326599121094,
-                0.057826305389404295,
-                0.058210304260253906,
-                0.05771059036254883,
-                0.058259456634521485,
-                0.05777110290527344,
-                0.05826764678955078,
-                0.05772185516357422,
-                0.0582553596496582,
-                0.05780377578735352,
-                0.05824512100219727,
-                0.05777510452270508,
-                0.05830553436279297,
-                0.05774028778076172,
-                0.05823078536987305,
-                0.05777305603027344,
-                0.0584796142578125,
-                0.057750526428222655,
-                0.05823897552490234,
-                0.057711616516113284,
-                0.058210304260253906,
-                0.05773926544189453,
-                0.05826764678955078,
-                0.05775475311279297,
-                0.05825228881835937,
-                0.05772288131713867,
-                0.05831782531738281,
-                0.05767475128173828,
-                0.05824409484863281,
-                0.05772515106201172,
-                0.05828403091430664,
-                0.05777920150756836,
-                0.058246143341064455,
-                0.05775974273681641,
-                0.05826764678955078,
-                0.05772304153442383,
-                0.05821440124511719,
-                0.05776486587524414,
-                0.05827993774414063,
-                0.05777407836914063,
-                0.05823385620117188,
-                0.05768703842163086,
-                0.058327041625976565,
-                0.057731071472167966,
-                0.058259456634521485,
-                0.057729022979736325,
-                0.05829017639160156,
-                0.05781913757324219,
-                0.0582737922668457,
-                0.05778227233886719,
-                0.058240001678466796,
-                0.057780223846435545,
-                0.05828403091430664,
-                0.05778739166259766,
-                0.05823705673217774,
-                0.05780070495605469,
-                0.058259456634521485,
-                0.057796607971191405,
-                0.05828915023803711,
-                0.057791488647460934,
-                0.05828607940673828,
-                0.057875457763671874,
-                0.05835776138305664,
-                0.057750526428222655,
-                0.05834239959716797,
-                0.05773516845703125,
-                0.058278911590576174,
-                0.05775872039794922,
-                0.05827993774414063,
-                0.05790617752075195,
-                0.058256385803222656,
-                0.05781196975708008,
-                0.05825331115722656,
-                0.057799678802490234,
-                0.05823283386230469,
-                0.05777411270141602,
-                0.05830246353149414,
-                0.057791488647460934,
-                0.058264575958251956,
-                0.057783294677734375,
-                0.05825126266479492,
-                0.0577525749206543,
-                0.05826355361938477,
-                0.057777153015136716,
-                0.05825331115722656,
-                0.05775487899780273,
-                0.05823180770874024,
-                0.05766963195800781,
-                0.05824409484863281,
-                0.057734142303466796,
-                0.05831884765625,
-                0.057778175354003904,
-                0.05833321762084961,
-                0.057809921264648435,
-                0.05829119873046875,
-                0.05789491271972656,
-                0.058257408142089843,
-                0.057796607971191405,
-                0.05821542358398438
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 4405.082285764949
         },
         "energy": null,
         "efficiency": null
@@ -197,23 +189,23 @@
     "decode": {
         "memory": {
             "unit": "MB",
-            "max_ram": 2388.832256,
             "max_vram": 5710.544896,
             "max_reserved": 5226.102784,
             "max_allocated": 4911.274496
         },
         "latency": {
             "unit": "s",
-            "mean": 8.552467468261714,
-            "stdev": 0.016764766693113664,
             "values": [
-                8.569232234954828,
-                8.535702701568601
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 29.815956733692044
         },
         "energy": null,
         "efficiency": null
@@ -222,524 +214,524 @@
         "memory": null,
         "latency": {
             "unit": "s",
-            "mean": 0.033539088110830284,
-            "stdev": 0.0002386668535919456,
             "values": [
-                0.0359760627746582,
-                0.03543142318725586,
-                0.03403673553466797,
-                0.033759231567382815,
-                0.03375414276123047,
-                0.03368035125732422,
-                0.03397017669677734,
-                0.033544193267822264,
-                0.03343667221069336,
-                0.03351481628417969,
-                0.03369337463378906,
-                0.033737728118896484,
-                0.03383817672729492,
-                0.03345500946044922,
-                0.033463294982910154,
-                0.03362918472290039,
-                0.0336363525390625,
-                0.03351862335205078,
-                0.03372262573242187,
-                0.033632991790771484,
-                0.03356796646118164,
-                0.03355945587158203,
-                0.03362188720703125,
-                0.03372544097900391,
-                0.03368243026733399,
-                0.03352268981933594,
-                0.03362303924560547,
-                0.033672191619873046,
-                0.03367433547973633,
-                0.03381135940551758,
-                0.033713153839111325,
-                0.03352678298950195,
-                0.03356467056274414,
-                0.0334571533203125,
-                0.03363020706176758,
-                0.03359743881225586,
-                0.03350732803344727,
-                0.03342540740966797,
-                0.033446910858154294,
-                0.03357593536376953,
-                0.03362815856933594,
-                0.03376355361938477,
-                0.03360659027099609,
-                0.03353993606567383,
-                0.033511425018310545,
-                0.03362303924560547,
-                0.03359436798095703,
-                0.03367628860473633,
-                0.033849342346191406,
-                0.03360153579711914,
-                0.033637374877929685,
-                0.0336097297668457,
-                0.03411558532714844,
-                0.033716224670410154,
-                0.03361382293701172,
-                0.03348992156982422,
-                0.03373696136474609,
-                0.03340774536132812,
-                0.03372163009643555,
-                0.03357155227661133,
-                0.03353190231323242,
-                0.03333222579956055,
-                0.03355750274658203,
-                0.03350732803344727,
-                0.03351347351074219,
-                0.0334837760925293,
-                0.033807361602783206,
-                0.03365087890625,
-                0.033603679656982424,
-                0.033729248046875,
-                0.033598464965820314,
-                0.03354521560668945,
-                0.03367116928100586,
-                0.033495040893554685,
-                0.03368243026733399,
-                0.033514495849609374,
-                0.03375718307495117,
-                0.03362406539916992,
-                0.033898494720458985,
-                0.03370700836181641,
-                0.03365273666381836,
-                0.03382067108154297,
-                0.03389980697631836,
-                0.03375894546508789,
-                0.03371033477783203,
-                0.03442047882080078,
-                0.03461955261230469,
-                0.03360979080200195,
-                0.033666847229003906,
-                0.033463294982910154,
-                0.03367424011230469,
-                0.03349606323242187,
-                0.033504417419433594,
-                0.033415008544921875,
-                0.033519615173339845,
-                0.033511425018310545,
-                0.03371724700927734,
-                0.033514495849609374,
-                0.0334837760925293,
-                0.033544193267822264,
-                0.03352905654907227,
-                0.03346614456176758,
-                0.033530879974365234,
-                0.03357705688476562,
-                0.03356867218017578,
-                0.03337113571166992,
-                0.03349913787841797,
-                0.033462272644042966,
-                0.03362416076660156,
-                0.03354102325439453,
-                0.03362201690673828,
-                0.03352883148193359,
-                0.03395072174072265,
-                0.033585151672363284,
-                0.033697822570800784,
-                0.03367113494873047,
-                0.033693695068359376,
-                0.03377459335327149,
-                0.03381862258911133,
-                0.03368960189819336,
-                0.03389763259887695,
-                0.033657825469970704,
-                0.033898624420166015,
-                0.03369241714477539,
-                0.033718273162841796,
-                0.03366195297241211,
-                0.03418214416503906,
-                0.0335022087097168,
-                0.033637374877929685,
-                0.03359260940551758,
-                0.033520576477050784,
-                0.03351222229003906,
-                0.03358627319335938,
-                0.03349903869628906,
-                0.0335994873046875,
-                0.03340390396118164,
-                0.033555454254150394,
-                0.033524734497070316,
-                0.03354828643798828,
-                0.033588222503662106,
-                0.033651744842529294,
-                0.033670177459716795,
-                0.03377043151855469,
-                0.03340288162231445,
-                0.03368960189819336,
-                0.03356364822387695,
-                0.03357593536376953,
-                0.0334284782409668,
-                0.03353190231323242,
-                0.03360255813598633,
-                0.03344384002685547,
-                0.03355852890014648,
-                0.03343769454956055,
-                0.03349913787841797,
-                0.03353318405151367,
-                0.0334202880859375,
-                0.033673984527587894,
-                0.03348889541625977,
-                0.033511425018310545,
-                0.03364352035522461,
-                0.03360153579711914,
-                0.03351871871948242,
-                0.033535999298095705,
-                0.03365568161010742,
-                0.03347763061523437,
-                0.03361894226074219,
-                0.033693695068359376,
-                0.03360870361328125,
-                0.03354316711425781,
-                0.03365999984741211,
-                0.0335533447265625,
-                0.033511390686035154,
-                0.03403673553466797,
-                0.03358332824707031,
-                0.033478431701660157,
-                0.03355161666870117,
-                0.033491710662841796,
-                0.03343769454956055,
-                0.03337420654296875,
-                0.03342540740966797,
-                0.033495040893554685,
-                0.03341823959350586,
-                0.03346124649047852,
-                0.03356169509887695,
-                0.03352361679077148,
-                0.033486846923828126,
-                0.03381769561767578,
-                0.03329526519775391,
-                0.033380352020263675,
-                0.03359868621826172,
-                0.033476383209228515,
-                0.03364556884765625,
-                0.03363961410522461,
-                0.033377120971679684,
-                0.03352179336547852,
-                0.0333996467590332,
-                0.0334029426574707,
-                0.03340179061889648,
-                0.033380352020263675,
-                0.03324620819091797,
-                0.03341721725463867,
-                0.03326489639282226,
-                0.03330553436279297,
-                0.033392448425292966,
-                0.0334029426574707,
-                0.033484737396240236,
-                0.03344179153442383,
-                0.033296382904052735,
-                0.03330892944335938,
-                0.03354291152954102,
-                0.03347967910766601,
-                0.03348889541625977,
-                0.03349401473999023,
-                0.03348070526123047,
-                0.033509441375732425,
-                0.03354924774169922,
-                0.03351347351074219,
-                0.03361600112915039,
-                0.03346316909790039,
-                0.03379721450805664,
-                0.033533855438232424,
-                0.03381248092651367,
-                0.033531967163085936,
-                0.033534912109375,
-                0.03345510482788086,
-                0.03351551818847656,
-                0.03345619201660156,
-                0.0335615348815918,
-                0.033503231048583985,
-                0.03364659118652344,
-                0.03359231948852539,
-                0.03371212768554688,
-                0.03413715362548828,
-                0.033780670166015624,
-                0.0335145263671875,
-                0.033662944793701174,
-                0.033701057434082034,
-                0.03381536102294922,
-                0.03346432113647461,
-                0.03342131042480469,
-                0.033448959350585936,
-                0.03361177444458008,
-                0.03337625503540039,
-                0.03353724670410156,
-                0.03358902359008789,
-                0.03355878448486328,
-                0.03362892913818359,
-                0.03371110534667969,
-                0.03321343994140625,
-                0.03344076919555664,
-                0.03366726303100586,
-                0.03323168182373047,
-                0.033285118103027346,
-                0.03326668930053711,
-                0.033529857635498046,
-                0.03382470321655273,
-                0.03356364822387695,
-                0.033620990753173825,
-                0.03348284912109375,
-                0.03334748840332031,
-                0.0334837760925293,
-                0.0335994873046875,
-                0.03351039886474609,
-                0.03356159973144531,
-                0.03354828643798828,
-                0.033570816040039066,
-                0.03352371215820313,
-                0.033547264099121094,
-                0.03349628829956055,
-                0.03356752014160156,
-                0.03358940887451172,
-                0.03346124649047852,
-                0.0334918098449707,
-                0.03357183837890625,
-                0.03344179153442383,
-                0.03354214477539062,
-                0.03355852890014648,
-                0.0336445426940918,
-                0.03355033493041992,
-                0.033567745208740236,
-                0.033358848571777344,
-                0.03348889541625977,
-                0.0335912971496582,
-                0.03351551818847656,
-                0.033548446655273435,
-                0.033640289306640626,
-                0.033549312591552735,
-                0.033501182556152344,
-                0.0333939208984375,
-                0.033355518341064455,
-                0.03343769454956055,
-                0.033807361602783206,
-                0.03334569549560547,
-                0.033456096649169924,
-                0.03340991973876953,
-                0.033463294982910154,
-                0.03347763061523437,
-                0.03348889541625977,
-                0.033549312591552735,
-                0.03360358428955078,
-                0.03347558212280274,
-                0.03357183837890625,
-                0.03348787307739258,
-                0.03348992156982422,
-                0.03348787307739258,
-                0.033979393005371096,
-                0.03350425720214844,
-                0.03348275375366211,
-                0.033535999298095705,
-                0.033617919921875,
-                0.033462272644042966,
-                0.033484798431396484,
-                0.033532062530517576,
-                0.03351558303833008,
-                0.03338227081298828,
-                0.033602462768554685,
-                0.03351055908203125,
-                0.03346825790405274,
-                0.033500160217285156,
-                0.03355033493041992,
-                0.033355777740478515,
-                0.03338671875,
-                0.033408798217773435,
-                0.033320960998535154,
-                0.033397918701171876,
-                0.03354915237426758,
-                0.033527809143066405,
-                0.03347148895263672,
-                0.03344179153442383,
-                0.03337846374511719,
-                0.033469280242919924,
-                0.03354214477539062,
-                0.03347558212280274,
-                0.033546241760253906,
-                0.03340595245361328,
-                0.033532928466796875,
-                0.033529857635498046,
-                0.03361996841430664,
-                0.033350654602050785,
-                0.033312767028808594,
-                0.03337324905395508,
-                0.03354924774169922,
-                0.03329228973388672,
-                0.033463294982910154,
-                0.03349913787841797,
-                0.03369472122192383,
-                0.03349631881713867,
-                0.03359104156494141,
-                0.03348889541625977,
-                0.03347763061523437,
-                0.03340492630004883,
-                0.03366809463500976,
-                0.033350784301757815,
-                0.03337305450439453,
-                0.03341337585449219,
-                0.0334384651184082,
-                0.033350654602050785,
-                0.03345510482788086,
-                0.03342668914794922,
-                0.03354188919067383,
-                0.033399070739746094,
-                0.03335548782348633,
-                0.03335270309448242,
-                0.03350527954101563,
-                0.03344188690185547,
-                0.0340939826965332,
-                0.0333383674621582,
-                0.03329945755004883,
-                0.033360897064208986,
-                0.03336908721923828,
-                0.03341209411621094,
-                0.03352166366577149,
-                0.03354214477539062,
-                0.033587200164794925,
-                0.033511425018310545,
-                0.03355955123901367,
-                0.03337625503540039,
-                0.03343974304199219,
-                0.03343267059326172,
-                0.03341507339477539,
-                0.03348713684082031,
-                0.033481632232666016,
-                0.033468223571777346,
-                0.03343065643310547,
-                0.03347750473022461,
-                0.0334284782409668,
-                0.03342233657836914,
-                0.033396736145019534,
-                0.033317886352539065,
-                0.03341737747192383,
-                0.03332694244384766,
-                0.03342335891723633,
-                0.033312767028808594,
-                0.033435680389404296,
-                0.03342435073852539,
-                0.033567806243896485,
-                0.03340281677246094,
-                0.03339775848388672,
-                0.03343974304199219,
-                0.0334571533203125,
-                0.03336601638793945,
-                0.03348582458496094,
-                0.033296382904052735,
-                0.03346739196777344,
-                0.03360255813598633,
-                0.03355955123901367,
-                0.03353811264038086,
-                0.03354515075683594,
-                0.033446910858154294,
-                0.03350732803344727,
-                0.03350425720214844,
-                0.03394662475585938,
-                0.03340595245361328,
-                0.03352166366577149,
-                0.03338956832885742,
-                0.03336806488037109,
-                0.03337318420410156,
-                0.0333383674621582,
-                0.0334859504699707,
-                0.03355123138427735,
-                0.033554431915283206,
-                0.03349913787841797,
-                0.033509502410888674,
-                0.03328313446044922,
-                0.03336479949951172,
-                0.03394047927856445,
-                0.03350527954101563,
-                0.03346739196777344,
-                0.03337830352783203,
-                0.03355865478515625,
-                0.033559425354003906,
-                0.0334571533203125,
-                0.03340415954589844,
-                0.03595955276489258,
-                0.033463294982910154,
-                0.03339980697631836,
-                0.03336601638793945,
-                0.033445888519287106,
-                0.033328128814697267,
-                0.03328921508789062,
-                0.03324415969848633,
-                0.033255424499511715,
-                0.03321446228027344,
-                0.033199230194091794,
-                0.03324198532104492,
-                0.03325235366821289,
-                0.03341823959350586,
-                0.033448959350585936,
-                0.03346432113647461,
-                0.03345305633544922,
-                0.033585151672363284,
-                0.03351039886474609,
-                0.033345535278320314,
-                0.03361587142944336,
-                0.03336294555664063,
-                0.033375232696533204,
-                0.03344192123413086,
-                0.03341606521606445,
-                0.03340083312988281,
-                0.03348992156982422,
-                0.033380352020263675,
-                0.0335022087097168,
-                0.03343360137939453,
-                0.033414142608642575,
-                0.03345612716674805,
-                0.03335168075561523,
-                0.033535999298095705,
-                0.03347455978393555,
-                0.03326668930053711,
-                0.03347558212280274,
-                0.03347148895263672,
-                0.03383193588256836,
-                0.033393665313720705,
-                0.033391616821289063,
-                0.03348582458496094,
-                0.033527809143066405,
-                0.033301502227783206,
-                0.033344512939453126,
-                0.03343667221069336,
-                0.03356979370117188,
-                0.03331071853637695,
-                0.033317886352539065,
-                0.033486846923828126,
-                0.03333248138427734,
-                0.03343539047241211,
-                0.0333199348449707,
-                0.03369472122192383,
-                0.03332198333740234,
-                0.03330355072021484,
-                0.03339878463745117,
-                0.03373065567016602,
-                0.03348368072509766,
-                0.033309886932373044,
-                0.033417152404785155,
-                0.033406848907470706,
-                0.03351551818847656,
-                0.033304576873779294,
-                0.03346150588989258,
-                0.0333493766784668,
-                0.03330355072021484,
-                0.03343990325927734,
-                0.033248096466064456,
-                0.03359231948852539,
-                0.03322880172729492,
-                0.03324313735961914,
-                0.03352576065063476,
-                0.033342464447021485,
-                0.033387710571289066,
-                0.03349996948242188,
-                0.033277183532714846
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 29.815956733692015
         },
         "energy": null,
         "efficiency": null

     "prefill": {
         "memory": {
             "unit": "MB",
+            "max_ram": 2488.049664,
             "max_vram": 5490.343936,
             "max_reserved": 5005.901824,
             "max_allocated": 4844.946944
         },
         "latency": {
             "unit": "s",
+            "mean": 0.060623542924360785,
+            "stdev": 0.0007153265612964587,
             "values": [
+                0.06664755249023438,
+                0.06551961517333985,
+                0.06308147048950195,
+                0.06135014343261719,
+                0.06193561553955078,
+                0.06124236679077148,
+                0.06168678283691406,
+                0.0612567024230957,
+                0.061521919250488284,
+                0.06076211166381836,
+                0.06094540786743164,
+                0.060203231811523435,
+                0.0607375373840332,
+                0.0602531852722168,
+                0.06070374298095703,
+                0.06008627319335937,
+                0.06071807861328125,
+                0.0602531852722168,
+                0.060750846862792966,
+                0.06012416076660156,
+                0.06068838500976562,
+                0.060211200714111325,
+                0.06077132797241211,
+                0.06010377502441406,
+                0.06073446273803711,
+                0.0602215690612793,
+                0.06068428802490235,
+                0.06024499130249023,
+                0.060747776031494144,
+                0.06054297637939453,
+                0.06077030563354492,
+                0.06019276809692383,
+                0.06070374298095703,
+                0.06028799819946289,
+                0.06073548889160156,
+                0.060232704162597656,
+                0.060674049377441405,
+                0.06024499130249023,
+                0.06072217559814453,
+                0.06017433547973633,
+                0.06073344039916992,
+                0.06021859359741211,
+                0.06068940734863281,
+                0.060273792266845705,
+                0.0607825927734375,
                 0.060142593383789064,
+                0.061023231506347655,
+                0.060184574127197264,
+                0.06076739120483399,
+                0.0601610221862793,
+                0.06065663909912109,
+                0.06023168182373047,
+                0.0607907829284668,
+                0.060184574127197264,
+                0.060746753692626956,
+                0.06027571105957031,
+                0.06071398544311524,
+                0.060243968963623044,
+                0.060765247344970706,
+                0.06021324920654297,
+                0.06063513565063477,
+                0.06015795135498047,
+                0.06062387084960937,
+                0.06028595352172852,
+                0.06070272064208984,
+                0.06018252944946289,
+                0.0607088623046875,
+                0.0602716178894043,
+                0.06076006317138672,
+                0.06015283203125,
+                0.06068633651733398,
+                0.060300289154052736,
+                0.060739585876464844,
+                0.06023987197875977,
+                0.06062694549560547,
+                0.060290046691894535,
+                0.06070476913452148,
+                0.060252159118652344,
+                0.06074982452392578,
+                0.060319744110107425,
+                0.0610621452331543,
+                0.060268543243408204,
+                0.06075699234008789,
+                0.060368064880371095,
+                0.060747776031494144,
+                0.06017638397216797,
+                0.060715007781982425,
+                0.06030233764648438,
+                0.060662784576416016,
+                0.060061695098876954,
+                0.06076416015625,
+                0.06026448059082031,
+                0.06073446273803711,
+                0.060165119171142575,
+                0.06071295928955078,
+                0.0602081298828125,
+                0.06091571044921875,
+                0.06026444625854492,
+                0.06074265670776367,
+                0.0603098258972168,
+                0.060708927154541015,
+                0.06021142578125,
+                0.060864513397216796,
+                0.06031155014038086,
+                0.06072524642944336,
+                0.06020016098022461,
+                0.06088601684570313,
+                0.06031052780151367,
+                0.06079590225219727,
+                0.060262401580810546,
+                0.06075289535522461,
+                0.06026137542724609,
+                0.060765182495117184,
+                0.060219390869140625,
+                0.06073446273803711,
+                0.06030233764648438,
+                0.0607303695678711,
+                0.060243968963623044,
+                0.06076313781738281,
+                0.0603054084777832,
+                0.060783870697021486,
+                0.060388351440429686,
+                0.06099660873413086,
+                0.06027980804443359,
+                0.0607088623046875,
+                0.060189697265625,
+                0.06076620864868164,
+                0.060283039093017576,
+                0.06078668975830078,
+                0.060331008911132813,
+                0.06074367904663086,
+                0.060249088287353515,
+                0.060747776031494144,
+                0.060283905029296876,
+                0.06077648162841797,
+                0.06025830459594726,
+                0.06073344039916992,
+                0.06033919906616211,
+                0.06081766510009766,
+                0.06055321502685547,
+                0.060763328552246094,
+                0.060200958251953124,
+                0.060609535217285154,
+                0.060214271545410154,
+                0.060780544281005856,
+                0.060265472412109375,
+                0.06071603012084961,
+                0.06024515151977539,
+                0.06080118560791015,
+                0.06030847930908203,
+                0.0607191047668457,
+                0.06025830459594726,
+                0.06077644729614258,
+                0.06027775955200195,
+                0.06075494384765625,
+                0.060189697265625,
+                0.06076313781738281,
+                0.060290046691894535,
+                0.06067609786987305,
+                0.060232704162597656,
+                0.06073344039916992,
+                0.0602531852722168,
+                0.060783615112304686,
+                0.06022143936157227,
+                0.06081433486938476
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 4222.781903713676
         },
         "energy": null,
         "efficiency": null
     "decode": {
         "memory": {
             "unit": "MB",
+            "max_ram": 2489.09824,
             "max_vram": 5710.544896,
             "max_reserved": 5226.102784,
             "max_allocated": 4911.274496
         },
         "latency": {
             "unit": "s",
+            "mean": 9.737531486511228,
+            "stdev": 0.026294307708740305,
             "values": [
+                9.763825794219969,
+                9.711237178802488
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 26.187335091366325
         },
         "energy": null,
         "efficiency": null
         "memory": null,
         "latency": {
             "unit": "s",
+            "mean": 0.03818639798631856,
+            "stdev": 0.0005703578808184826,
             "values": [
+                0.0408616943359375,
+                0.040243198394775394,
+                0.03837849426269531,
+                0.038193153381347655,
+                0.03828224182128906,
+                0.03826483154296875,
+                0.03803647994995117,
+                0.03823616027832031,
+                0.03832012939453125,
+                0.03828838348388672,
+                0.03837542343139649,
+                0.03905535888671875,
+                0.038198272705078126,
+                0.0381399040222168,
+                0.0381736946105957,
+                0.03822284698486328,
+                0.038174720764160154,
+                0.03827814483642578,
+                0.03815935897827148,
+                0.03819417572021484,
+                0.038204414367675785,
+                0.03817881774902344,
+                0.038104129791259767,
+                0.03820947265625,
+                0.03817062377929688,
+                0.03826396942138672,
+                0.03813872146606445,
+                0.0381921272277832,
+                0.03845939254760742,
+                0.0382033920288086,
+                0.03824332809448242,
+                0.03841228866577148,
+                0.03808768081665039,
+                0.038280193328857424,
+                0.03835084915161133,
+                0.03808153533935547,
+                0.038166526794433595,
+                0.03832320022583008,
+                0.03827097702026367,
+                0.03836415863037109,
+                0.03829350280761719,
+                0.03801599884033203,
+                0.03826892852783203,
+                0.038024192810058595,
+                0.03822489547729492,
+                0.038084606170654296,
+                0.03831808090209961,
+                0.038168575286865236,
+                0.03830681610107422,
+                0.038265857696533206,
+                0.03828940963745117,
+                0.0381102066040039,
+                0.03815423965454102,
+                0.038269950866699216,
+                0.03829350280761719,
+                0.03821977615356445,
+                0.038234111785888675,
+                0.03824947357177735,
+                0.0381736946105957,
+                0.03802521514892578,
+                0.038267902374267575,
+                0.03812044906616211,
+                0.03818905639648437,
+                0.038284286499023434,
+                0.038160385131835936,
+                0.03805286407470703,
+                0.03814912033081055,
+                0.0381736946105957,
+                0.03827507019042969,
+                0.03817881774902344,
+                0.03821059036254883,
+                0.03878396987915039,
+                0.03812249755859375,
+                0.038422527313232424,
+                0.038316032409667966,
+                0.038286334991455076,
+                0.03834982299804687,
+                0.03831398391723633,
+                0.03841228866577148,
+                0.038364223480224606,
+                0.03834668731689453,
+                0.0383375358581543,
+                0.038509567260742186,
+                0.03869081497192383,
+                0.03832524871826172,
+                0.03930624008178711,
+                0.03949593734741211,
+                0.03835366439819336,
+                0.03819116973876953,
+                0.038311904907226565,
+                0.03831907272338867,
+                0.03829862213134766,
+                0.03825766372680664,
+                0.03830988693237305,
+                0.03854438400268555,
+                0.03851776123046875,
+                0.03834470367431641,
+                0.03939948654174805,
+                0.038320159912109374,
+                0.03842755126953125,
+                0.03860275268554687,
+                0.03828838348388672,
+                0.038312961578369144,
+                0.03822079849243164,
+                0.03814118576049805,
+                0.038025985717773436,
+                0.03808153533935547,
+                0.03805491256713867,
+                0.03808563232421875,
+                0.03806719970703125,
+                0.03813785552978516,
+                0.03807231903076172,
+                0.038212608337402344,
+                0.03815526580810547,
+                0.03819417572021484,
+                0.03817881774902344,
+                0.0380579833984375,
+                0.038158336639404294,
+                0.03806719970703125,
+                0.038125568389892575,
+                0.03806412887573242,
+                0.03818598556518555,
+                0.03810726547241211,
+                0.03825139236450195,
+                0.038095870971679685,
+                0.038095870971679685,
+                0.03803340911865234,
+                0.038117374420166016,
+                0.03803852844238281,
+                0.03813478469848633,
+                0.03808563232421875,
+                0.03804172897338867,
+                0.03813056182861328,
+                0.03807129669189453,
+                0.0381030387878418,
+                0.03805593490600586,
+                0.03801804733276367,
+                0.03809689712524414,
+                0.03820646286010742,
+                0.03800371170043945,
+                0.03799244689941406,
+                0.03806003189086914,
+                0.03809075164794922,
+                0.03791462326049805,
+                0.03889664077758789,
+                0.03794739151000977,
+                0.03792793655395508,
+                0.03793305587768555,
+                0.038059009552001956,
+                0.038174720764160154,
+                0.03987353515625,
+                0.04172288131713867,
+                0.04145155334472656,
+                0.039871456146240235,
+                0.038661121368408206,
+                0.03824844741821289,
+                0.038286334991455076,
+                0.038373374938964845,
+                0.03829043197631836,
+                0.0385351676940918,
+                0.038652992248535155,
+                0.03842144012451172,
+                0.038508544921875,
+                0.038161407470703124,
+                0.038199295043945314,
+                0.03831808090209961,
+                0.03838771057128906,
+                0.03825971221923828,
+                0.03808768081665039,
+                0.03845734405517578,
+                0.03799552154541016,
+                0.038196224212646485,
+                0.03815423965454102,
+                0.03811532974243164,
+                0.038109184265136715,
+                0.038267902374267575,
+                0.03803238296508789,
+                0.03811123275756836,
+                0.03828326416015625,
+                0.03799039840698242,
+                0.03808768081665039,
+                0.038079486846923825,
+                0.0380497932434082,
+                0.03811123275756836,
+                0.03812249755859375,
+                0.038125568389892575,
+                0.037894142150878905,
+                0.03823513412475586,
+                0.03809075164794922,
+                0.038236480712890625,
+                0.03802592086791992,
+                0.03799244689941406,
+                0.037770336151123046,
+                0.037970848083496093,
+                0.037961727142333986,
+                0.037874687194824216,
+                0.03791667175292969,
+                0.037951488494873044,
+                0.03804774475097656,
+                0.03800678253173828,
+                0.038063102722167966,
+                0.037921791076660154,
+                0.037996543884277346,
+                0.03806003189086914,
+                0.037975040435791016,
+                0.03791881561279297,
+                0.037989280700683595,
+                0.03788623809814453,
+                0.037908191680908206,
+                0.03782963180541992,
+                0.03787171173095703,
+                0.03788380813598633,
+                0.03791667175292969,
+                0.037904384613037106,
+                0.038027263641357424,
+                0.03806719970703125,
+                0.037889022827148434,
+                0.03803647994995117,
+                0.03857920074462891,
+                0.03810611343383789,
+                0.03802214431762695,
+                0.037943294525146484,
+                0.03796480178833008,
+                0.037981182098388674,
+                0.038002689361572264,
+                0.037972991943359374,
+                0.03791155242919922,
+                0.037874687194824216,
+                0.03790848159790039,
+                0.03799347305297852,
+                0.037945343017578126,
+                0.038120609283447265,
+                0.03809059143066406,
+                0.03828736114501953,
+                0.03806105422973633,
+                0.0380211181640625,
+                0.03798220825195313,
+                0.03806003189086914,
+                0.03783987045288086,
+                0.03806515121459961,
+                0.0380579833984375,
+                0.03790233612060547,
+                0.03796694564819336,
+                0.03807222366333008,
+                0.03803340911865234,
+                0.03906969451904297,
+                0.048204959869384764,
+                0.03881148910522461,
+                0.03794124984741211,
+                0.038265857696533206,
+                0.03866726303100586,
+                0.03825356674194336,
+                0.03816960144042969,
+                0.03839692687988281,
+                0.03856601715087891,
+                0.03841228866577148,
+                0.03814604949951172,
+                0.03851264190673828,
+                0.03813478469848633,
+                0.038095870971679685,
+                0.03803852844238281,
+                0.038089729309082034,
+                0.038141952514648435,
+                0.03803340911865234,
+                0.038217727661132815,
+                0.03811635208129883,
+                0.038144001007080076,
+                0.03805184173583984,
+                0.03818393707275391,
+                0.038117374420166016,
+                0.03809894561767578,
+                0.03811635208129883,
+                0.03817062377929688,
+                0.03812044906616211,
+                0.038128639221191404,
+                0.037996768951416016,
+                0.03855747222900391,
+                0.03853744125366211,
+                0.03800860977172851,
+                0.03802316665649414,
+                0.03798732757568359,
+                0.038329345703125,
+                0.038046718597412106,
+                0.038397953033447264,
+                0.03802009582519531,
+                0.03826892852783203,
+                0.03792281723022461,
+                0.03797094345092773,
+                0.03790233612060547,
+                0.03799859237670898,
+                0.038168575286865236,
+                0.03810815811157227,
+                0.038114303588867186,
+                0.03797094345092773,
+                0.03800371170043945,
+                0.037989376068115234,
+                0.038027263641357424,
+                0.03805728149414062,
+                0.0380750732421875,
+                0.03803033447265625,
+                0.03810201644897461,
+                0.03817574310302734,
+                0.038063102722167966,
+                0.03807129669189453,
+                0.03815731048583984,
+                0.03806412887573242,
+                0.03804876708984375,
+                0.03803353500366211,
+                0.03829132843017578,
+                0.03812351989746094,
+                0.03822387313842773,
+                0.03836723327636719,
+                0.0381736946105957,
+                0.03826892852783203,
+                0.03812044906616211,
+                0.038199329376220705,
+                0.038062049865722654,
+                0.03846451187133789,
+                0.03812249755859375,
+                0.03817689514160156,
+                0.038086528778076174,
+                0.03810201644897461,
+                0.03806003189086914,
+                0.038125568389892575,
+                0.03828736114501953,
+                0.03806412887573242,
+                0.03813888168334961,
+                0.03802624130249024,
+                0.03827302551269531,
+                0.03808256149291992,
+                0.03803238296508789,
+                0.03802624130249024,
+                0.03816243362426758,
+                0.038163455963134765,
+                0.038166526794433595,
+                0.03822387313842773,
+                0.038225921630859375,
+                0.03815321731567383,
+                0.03797196960449219,
+                0.038117374420166016,
+                0.037989376068115234,
+                0.03820032119750977,
+                0.03815423965454102,
+                0.038345729827880856,
+                0.038225921630859375,
+                0.03818204879760742,
+                0.03820528030395508,
+                0.0381921272277832,
+                0.03807129669189453,
+                0.03805081558227539,
+                0.03800678253173828,
+                0.037996543884277346,
+                0.03798732757568359,
+                0.03807743835449219,
+                0.03818393707275391,
+                0.03819417572021484,
+                0.03830988693237305,
+                0.038817790985107424,
+                0.038263809204101565,
+                0.038176769256591796,
+                0.03816550445556641,
+                0.03816243362426758,
+                0.03807436752319336,
+                0.03827215957641601,
+                0.03828617477416992,
+                0.038120574951171875,
+                0.03835686492919922,
+                0.0381921272277832,
+                0.03810713577270508,
+                0.03803750228881836,
+                0.03804569625854492,
+                0.03795891189575195,
+                0.03810688018798828,
+                0.03799155044555664,
+                0.037997440338134764,
+                0.03805593490600586,
+                0.03805081558227539,
+                0.038076416015625,
+                0.03818598556518555,
+                0.037838848114013675,
+                0.03808665466308594,
+                0.037988353729248046,
+                0.03815423965454102,
+                0.038370304107666016,
+                0.03928473663330078,
+                0.038338558197021484,
+                0.03809894561767578,
+                0.038308097839355466,
+                0.03799014282226563,
+                0.0382033920288086,
+                0.037951488494873044,
+                0.03813580703735352,
+                0.03791462326049805,
+                0.037921791076660154,
+                0.03777024078369141,
+                0.03801702499389648,
+                0.03794124984741211,
+                0.03797094345092773,
+                0.0380313606262207,
+                0.0381952018737793,
+                0.037835777282714846,
+                0.03806719970703125,
+                0.03781222534179687,
+                0.03809075164794922,
+                0.038109184265136715,
+                0.038319103240966795,
+                0.03809996795654297,
+                0.038203487396240236,
+                0.03794524765014649,
+                0.03803750228881836,
+                0.03793817520141601,
+                0.03812761688232422,
+                0.03784396743774414,
+                0.03791462326049805,
+                0.03783168029785156,
+                0.03805388641357422,
+                0.037855232238769534,
+                0.037920768737792966,
+                0.03765353775024414,
+                0.03788412857055664,
+                0.03788159942626953,
+                0.037894142150878905,
+                0.03808358383178711,
+                0.037986305236816405,
+                0.03804387283325195,
+                0.038118175506591793,
+                0.03814809417724609,
+                0.03803340911865234,
+                0.03808358383178711,
+                0.03824844741821289,
+                0.03831398391723633,
+                0.038862911224365235,
+                0.03790431976318359,
+                0.03793203353881836,
+                0.0379607048034668,
+                0.038191104888916014,
+                0.037937152862548826,
+                0.037923839569091795,
+                0.038029312133789066,
+                0.03784294509887695,
+                0.037803009033203126,
+                0.03808051300048828,
+                0.03786751937866211,
+                0.03788083267211914,
+                0.03771596908569336,
+                0.03787161636352539,
+                0.03774566268920899,
+                0.03791360092163086,
+                0.037819393157958986,
+                0.03778047943115234,
+                0.03785113525390625,
+                0.03794432067871094,
+                0.0378869743347168,
+                0.037894142150878905,
+                0.037948577880859376,
+                0.037999454498291015,
+                0.038201343536376955,
+                0.037986305236816405,
+                0.03793203353881836,
+                0.037978206634521484,
+                0.03789712142944336,
+                0.03788083267211914,
+                0.03785420989990235,
+                0.038002689361572264,
+                0.037904384613037106,
+                0.038046718597412106,
+                0.03795782470703125,
+                0.03803936004638672,
+                0.03790848159790039,
+                0.03796793746948242,
+                0.03802617645263672,
+                0.038012928009033206,
+                0.03801190567016602,
+                0.038079486846923825,
+                0.03816447830200195,
+                0.037959678649902344,
+                0.03809689712524414,
+                0.038196224212646485,
+                0.03804060745239258,
+                0.03818083190917969,
+                0.03810611343383789,
+                0.038201343536376955,
+                0.03808768081665039,
+                0.0380497932434082,
+                0.03796480178833008,
+                0.03806412887573242,
+                0.037988353729248046,
+                0.03815628814697265,
+                0.03818700790405274,
+                0.03798732757568359,
+                0.038024192810058595,
+                0.038258689880371094,
+                0.03811635208129883,
+                0.038145023345947264,
+                0.03815423965454102,
+                0.038265857696533206,
+                0.038035457611083984,
+                0.0380662727355957,
+                0.037994400024414066,
+                0.03809382247924804,
+                0.038204414367675785,
+                0.037940223693847655,
+                0.037976062774658204,
+                0.037986305236816405,
+                0.03784089660644531,
+                0.03852492904663086,
+                0.03803776168823242,
+                0.0379615364074707,
+                0.03789920043945313,
+                0.037852161407470705
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 26.187335091366315
         },
         "energy": null,
         "efficiency": null