kreas
/

FA_benchmarks

Model card Files Files and versions Community

kreas commited on Mar 14

Commit

41f003c

•

1 Parent(s): ed91a56

Upload /Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files

Files changed (1) hide show

Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +670 -669

Mistral-7B-v0.1/nf4_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED Viewed

@@ -2,193 +2,194 @@
     "prefill": {
         "memory": {
             "unit": "MB",
-            "max_ram": 2559.225856,
             "max_vram": 5490.343936,
             "max_reserved": 5005.901824,
             "max_allocated": 4844.946944
         },
         "latency": {
             "unit": "s",
-            "mean": 0.05824675790653673,
-            "stdev": 0.0008722885227873175,
             "values": [
-                0.06430147552490234,
-                0.06216191864013672,
-                0.06033407974243164,
-                0.05873971176147461,
-                0.05878476715087891,
-                0.058594398498535157,
-                0.05981491088867188,
-                0.05782425689697265,
-                0.05833420944213867,
-                0.057605121612548826,
-                0.05817753601074219,
-                0.05772083282470703,
-                0.05823180770874024,
-                0.057729022979736325,
-                0.058194942474365234,
-                0.05782732772827148,
-                0.058213375091552735,
-                0.0577158088684082,
-                0.058218494415283206,
-                0.05765529632568359,
-                0.05828403091430664,
-                0.05770764923095703,
-                0.05834035110473633,
-                0.05784883117675781,
-                0.05826662445068359,
-                0.05777305603027344,
-                0.058280094146728516,
-                0.05774950408935547,
-                0.05824716949462891,
-                0.05769830322265625,
-                0.05824512100219727,
-                0.05770751953125,
-                0.058181697845458985,
-                0.05768191909790039,
-                0.05822684860229492,
-                0.057695232391357425,
-                0.058229759216308595,
-                0.057747455596923826,
-                0.05821449661254883,
-                0.057717758178710936,
-                0.058243072509765625,
-                0.05773209762573242,
-                0.05821440124511719,
-                0.05774131011962891,
                 0.058210304260253906,
-                0.05773823928833008,
-                0.05823897552490234,
-                0.05782233428955078,
-                0.05821760177612305,
-                0.05768703842163086,
-                0.05839769744873047,
-                0.05770240020751953,
                 0.05823897552490234,
-                0.05776412963867188,
-                0.058257408142089843,
-                0.05770035171508789,
-                0.058210494995117185,
                 0.05772288131713867,
-                0.05831270217895508,
-                0.05767782211303711,
-                0.058234878540039066,
-                0.05769420623779297,
-                0.05822771072387695,
-                0.057885696411132816,
-                0.0583741455078125,
-                0.05773945617675781,
-                0.05822576141357422,
-                0.05775564956665039,
-                0.05831494522094727,
-                0.05773516845703125,
-                0.05828505706787109,
-                0.05770547103881836,
-                0.058256385803222656,
-                0.05771673583984375,
-                0.05824716949462891,
-                0.05773004913330078,
-                0.058176513671875,
-                0.05768601608276367,
-                0.05828505706787109,
-                0.057643009185791017,
-                0.05814988708496094,
-                0.05771571350097656,
-                0.05824716949462891,
-                0.05771878433227539,
-                0.05825331115722656,
-                0.057919486999511716,
-                0.059169792175292966,
-                0.06013670349121094,
-                0.060819454193115234,
-                0.06149558258056641,
-                0.0602081298828125,
-                0.05997260665893555,
-                0.060232704162597656,
-                0.058703872680664064,
-                0.059845630645751956,
-                0.06047948837280273,
-                0.05856358337402344,
-                0.057660415649414064,
-                0.05814886474609375,
-                0.05760921478271484,
-                0.058156032562255856,
-                0.05766175842285156,
-                0.05818982315063476,
-                0.05842739105224609,
-                0.05828915023803711,
-                0.057659393310546876,
-                0.058205184936523435,
-                0.05763507080078125,
-                0.0581580810546875,
-                0.057727294921875,
-                0.05815193557739258,
                 0.05767475128173828,
                 0.05821440124511719,
-                0.057621505737304686,
-                0.058208255767822265,
-                0.057633056640625,
-                0.05817462539672852,
-                0.05766144180297852,
-                0.058126335144042966,
-                0.0577628173828125,
-                0.05819596862792969,
-                0.05794412612915039,
-                0.058234878540039066,
-                0.05771673583984375,
-                0.05825024032592773,
-                0.05783039855957031,
-                0.058226688385009766,
-                0.0578682861328125,
                 0.058259456634521485,
-                0.057816062927246094,
-                0.05820927810668945,
-                0.057744384765625,
-                0.05824204635620117,
                 0.057729022979736325,
-                0.058310657501220706,
-                0.057815040588378906,
                 0.05823283386230469,
-                0.05773004913330078,
-                0.05822054290771484,
-                0.0577710075378418,
-                0.05824319839477539,
-                0.057781536102294924,
-                0.058221569061279295,
-                0.05777222442626953,
                 0.05825126266479492,
-                0.05770547103881836,
-                0.05815500640869141,
-                0.05763379287719726,
-                0.058191871643066405,
-                0.05781708908081055,
-                0.058295295715332034,
-                0.05771366500854492,
                 0.05825331115722656,
-                0.0577628173828125,
-                0.05838438415527344,
-                0.05768313598632813,
-                0.058265598297119144,
-                0.05773619079589844,
-                0.058298366546630856,
-                0.05775769424438477,
-                0.058275840759277345,
-                0.05775872039794922,
-                0.05837004852294922,
-                0.060353534698486325,
-                0.06062080001831055,
-                0.05895372772216797,
-                0.05814476776123047,
-                0.05770035171508789,
-                0.0582677116394043,
-                0.057695232391357425,
-                0.058221569061279295,
-                0.05764812850952149
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 4395.094408701338
         },
         "energy": null,
         "efficiency": null
@@ -196,23 +197,23 @@
     "decode": {
         "memory": {
             "unit": "MB",
-            "max_ram": 2560.274432,
             "max_vram": 5710.544896,
             "max_reserved": 5226.102784,
             "max_allocated": 4911.274496
         },
         "latency": {
             "unit": "s",
-            "mean": 8.479476745605467,
-            "stdev": 0.003307514190674432,
             "values": [
-                8.48278425979614,
-                8.476169231414792
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 30.07261033319716
         },
         "energy": null,
         "efficiency": null
@@ -221,524 +222,524 @@
         "memory": null,
         "latency": {
             "unit": "s",
-            "mean": 0.03325284998276653,
-            "stdev": 0.0002229036512224235,
             "values": [
-                0.035507198333740234,
-                0.034864192962646486,
-                0.03317958450317383,
-                0.03322265625,
-                0.03319910430908203,
-                0.03319705581665039,
-                0.033200191497802733,
-                0.03346649551391601,
-                0.03321324920654297,
-                0.03329347229003906,
-                0.033159008026123045,
-                0.03331174468994141,
-                0.033137664794921876,
-                0.033274974822998044,
-                0.03329731369018555,
-                0.03314585494995117,
-                0.033116321563720706,
-                0.033212352752685546,
-                0.033100704193115234,
-                0.033235969543457033,
-                0.03316940689086914,
-                0.03330985641479492,
-                0.03325423812866211,
-                0.033312767028808594,
-                0.03313868713378906,
-                0.03316867065429688,
-                0.0331629753112793,
-                0.034525184631347655,
                 0.03368960189819336,
-                0.03334860610961914,
-                0.03328307342529297,
-                0.03322880172729492,
-                0.033261566162109374,
-                0.03342335891723633,
-                0.033192958831787106,
-                0.03325337600708008,
-                0.03319705581665039,
-                0.03321855926513672,
-                0.03325747299194336,
-                0.033288192749023435,
-                0.03314688110351562,
-                0.033667072296142575,
-                0.0350904312133789,
-                0.03331379318237305,
-                0.03325439834594727,
-                0.0331253776550293,
-                0.03324937438964844,
-                0.0333147201538086,
-                0.03326566314697266,
-                0.03326268768310547,
-                0.03321129608154297,
-                0.03329945755004883,
-                0.033307647705078124,
-                0.03334143829345703,
-                0.03339468765258789,
-                0.03335987091064453,
-                0.03334348678588867,
-                0.03329040145874024,
-                0.03322351837158203,
-                0.033209342956542966,
-                0.0331069450378418,
-                0.033706016540527343,
-                0.03337315368652344,
-                0.03320627212524414,
                 0.03321343994140625,
                 0.03326668930053711,
-                0.033188865661621096,
-                0.033230846405029296,
-                0.03317452621459961,
-                0.03328118515014648,
-                0.03320918273925781,
-                0.03323904037475586,
-                0.033375232696533204,
-                0.03328102493286133,
-                0.033122303009033204,
-                0.03314899063110351,
-                0.03313862228393555,
-                0.033212577819824216,
-                0.03325014495849609,
-                0.033209342956542966,
-                0.03312947082519531,
-                0.033164512634277346,
-                0.03322550582885742,
-                0.03318272018432617,
-                0.0331253776550293,
-                0.033842174530029294,
-                0.0343296012878418,
-                0.03340902328491211,
-                0.03332403182983398,
-                0.033182750701904296,
-                0.03315811157226563,
-                0.033051647186279294,
-                0.03321241760253906,
-                0.03307417678833008,
-                0.033105918884277344,
-                0.03322060775756836,
-                0.03311001586914063,
-                0.03306291198730469,
-                0.03315814590454102,
-                0.03329334259033203,
-                0.03313865661621094,
-                0.033260543823242186,
-                0.03378185653686523,
-                0.03312835311889648,
-                0.03313459014892578,
-                0.033135616302490234,
-                0.033135616302490234,
-                0.0331141128540039,
-                0.03319193649291992,
-                0.033053825378417966,
-                0.03305356979370117,
-                0.03322060775756836,
-                0.033132545471191405,
-                0.033189888000488284,
-                0.03330559921264648,
-                0.03323187255859375,
-                0.03328409576416016,
                 0.033355777740478515,
-                0.03336908721923828,
-                0.03309884643554688,
-                0.033255329132080076,
-                0.0331776008605957,
-                0.033188865661621096,
-                0.03316329574584961,
-                0.03315811157226563,
-                0.03305984115600586,
-                0.03321855926513672,
-                0.033137664794921876,
-                0.03305574417114258,
-                0.033105918884277344,
-                0.03312025451660156,
-                0.03320115280151367,
-                0.03306393432617188,
-                0.03313151931762695,
-                0.0330250244140625,
-                0.03309568023681641,
-                0.033017856597900394,
-                0.0331828498840332,
-                0.03316108703613281,
-                0.03303628921508789,
-                0.033081344604492184,
-                0.03341107177734375,
-                0.03321036911010742,
-                0.03325337600708008,
-                0.033186817169189455,
-                0.03316844940185547,
-                0.03326355361938477,
-                0.03308441543579101,
-                0.03357491302490234,
-                0.033344512939453126,
-                0.03328921508789062,
-                0.03330047988891602,
-                0.03321343994140625,
-                0.033247230529785156,
-                0.033170433044433595,
-                0.03328204727172852,
-                0.03326464080810547,
-                0.03324415969848633,
-                0.0332564468383789,
-                0.03342335891723633,
-                0.03317862319946289,
-                0.033142784118652346,
-                0.0332410888671875,
-                0.03370086288452148,
-                0.03330047988891602,
-                0.033263614654541016,
-                0.033261566162109374,
                 0.03329228973388672,
                 0.03350527954101563,
-                0.03321036911010742,
-                0.03323289489746094,
-                0.03314995193481445,
-                0.03308031845092774,
-                0.033430526733398434,
-                0.03318067169189453,
-                0.03323801422119141,
-                0.03312332916259766,
-                0.033255424499511715,
-                0.03309465789794922,
-                0.033245471954345705,
-                0.033229534149169924,
-                0.033140735626220705,
-                0.03326566314697266,
-                0.033263614654541016,
-                0.03315302276611328,
-                0.033154048919677735,
-                0.033122303009033204,
-                0.033165313720703124,
-                0.03326873779296875,
-                0.033124351501464845,
-                0.03328716659545899,
-                0.033535999298095705,
                 0.0333383674621582,
-                0.033358848571777344,
-                0.0332677116394043,
-                0.0333120002746582,
-                0.033202945709228514,
-                0.033415233612060544,
-                0.03325433731079101,
-                0.03325769424438477,
-                0.03331868743896484,
-                0.03335804748535156,
-                0.03315382385253906,
-                0.03318374252319336,
-                0.033165313720703124,
-                0.03324006271362305,
-                0.03323904037475586,
-                0.03345612716674805,
-                0.033143806457519534,
-                0.03347280120849609,
-                0.03312201690673828,
-                0.03319500732421875,
-                0.03312844848632813,
-                0.03315100860595703,
-                0.033113056182861325,
-                0.033189888000488284,
-                0.033152000427246094,
-                0.03321548843383789,
-                0.03322777557373047,
-                0.03318096160888672,
-                0.03325001525878906,
-                0.03328204727172852,
-                0.033209342956542966,
-                0.033587295532226565,
-                0.03316214370727539,
-                0.03330867385864258,
-                0.033185791015625,
-                0.03316223907470703,
-                0.03314483261108398,
-                0.033235969543457033,
-                0.03309363174438477,
-                0.03323289489746094,
-                0.03323289489746094,
-                0.033235969543457033,
-                0.03319625473022461,
-                0.03327260971069336,
-                0.033192958831787106,
-                0.033113311767578125,
-                0.03319171142578125,
-                0.03340697479248047,
-                0.03336191940307617,
-                0.03325235366821289,
-                0.033154048919677735,
-                0.03327897644042969,
-                0.03324518585205078,
-                0.03321548843383789,
-                0.0332564468383789,
-                0.03319398498535156,
-                0.03320627212524414,
-                0.03317145538330078,
-                0.03323699188232422,
-                0.0332309455871582,
-                0.03309660720825195,
-                0.03316428756713867,
-                0.03323699188232422,
-                0.03333529663085937,
-                0.0332492790222168,
-                0.03341926574707031,
-                0.033271808624267575,
-                0.033247230529785156,
-                0.03321753692626953,
-                0.03322367858886719,
-                0.033255424499511715,
-                0.033285118103027346,
-                0.03321446228027344,
-                0.03316633605957031,
-                0.03325238418579102,
-                0.033221599578857425,
-                0.0335810546875,
-                0.03314585494995117,
-                0.03321855926513672,
-                0.03311718368530273,
-                0.03327897644042969,
-                0.033225727081298825,
-                0.033312767028808594,
-                0.03324620819091797,
-                0.03328921508789062,
-                0.033298431396484376,
                 0.03342233657836914,
-                0.033242111206054685,
-                0.03316128158569336,
-                0.03313657760620117,
-                0.03357183837890625,
-                0.03312025451660156,
-                0.033172767639160154,
-                0.03313020706176758,
-                0.03305984115600586,
-                0.03300864028930664,
-                0.03312761688232422,
-                0.033116992950439454,
-                0.03319193649291992,
-                0.03305574417114258,
-                0.03314614486694336,
-                0.03306159973144531,
-                0.03309465789794922,
-                0.033189888000488284,
-                0.033260543823242186,
-                0.03316633605957031,
-                0.03324444961547852,
-                0.03331760025024414,
                 0.03343974304199219,
-                0.033306625366210936,
-                0.03331071853637695,
-                0.03330355072021484,
-                0.033306625366210936,
-                0.03320729446411133,
-                0.033331199645996096,
-                0.033259521484375,
-                0.03333955383300781,
-                0.0331569595336914,
-                0.033219585418701174,
-                0.033113086700439456,
-                0.03317270278930664,
-                0.03310467147827149,
-                0.033160190582275394,
-                0.03319910430908203,
-                0.03320435333251953,
-                0.033219455718994144,
-                0.03319193649291992,
-                0.033140735626220705,
-                0.03310182571411133,
-                0.033181697845458984,
-                0.033140735626220705,
-                0.03318476867675781,
-                0.033347583770751955,
-                0.03329536056518555,
-                0.03325439834594727,
-                0.03329740905761719,
-                0.033620063781738284,
-                0.03328195190429688,
-                0.033119232177734374,
-                0.0332042236328125,
-                0.033170433044433595,
-                0.03317964935302734,
-                0.033276927947998046,
-                0.03316121673583984,
-                0.033170433044433595,
-                0.03316633605957031,
-                0.03309782409667969,
-                0.033069984436035156,
-                0.03296768188476563,
-                0.03306291198730469,
-                0.0331141128540039,
-                0.033547264099121094,
-                0.033230846405029296,
                 0.0333383674621582,
-                0.03323625564575195,
-                0.03328278350830078,
-                0.03308265686035156,
-                0.033245918273925784,
-                0.03309260940551758,
-                0.03317452621459961,
-                0.03313151931762695,
-                0.03314688110351562,
-                0.0331069450378418,
-                0.03322163009643555,
-                0.03319398498535156,
-                0.0332564468383789,
-                0.03326566314697266,
-                0.033314815521240236,
-                0.033177631378173825,
-                0.03324515151977539,
-                0.03324313735961914,
-                0.033260543823242186,
-                0.033341503143310545,
-                0.03333523178100586,
-                0.03325030517578125,
-                0.03538534545898438,
                 0.033255424499511715,
-                0.033323009490966796,
-                0.033290241241455076,
-                0.03329740905761719,
-                0.03321241760253906,
-                0.03324825668334961,
                 0.03321446228027344,
-                0.03328409576416016,
-                0.03321753692626953,
-                0.03336703872680664,
-                0.033321216583251954,
-                0.03328998565673828,
-                0.03327094268798828,
-                0.033336158752441405,
-                0.033296382904052735,
-                0.03319398498535156,
-                0.03329644775390625,
-                0.0333004150390625,
-                0.03319411087036133,
-                0.03327987289428711,
-                0.03313151931762695,
-                0.03359231948852539,
-                0.03342438507080078,
-                0.03333631896972656,
-                0.03331711959838867,
-                0.03327052688598633,
-                0.033234176635742185,
-                0.0333647346496582,
-                0.03337830352783203,
-                0.03333631896972656,
                 0.03331071853637695,
-                0.03326259231567383,
-                0.033143806457519534,
-                0.03325747299194336,
-                0.03330355072021484,
-                0.033688575744628906,
-                0.033306625366210936,
-                0.03332403182983398,
-                0.03323699188232422,
-                0.03324415969848633,
-                0.033157119750976564,
-                0.03322982406616211,
-                0.03321343994140625,
-                0.0332042236328125,
-                0.033224929809570314,
-                0.03329513549804688,
-                0.033135616302490234,
-                0.03325030517578125,
-                0.03319091033935547,
-                0.03316633605957031,
-                0.03303014373779297,
-                0.03312844848632813,
-                0.033097728729248044,
-                0.03320217514038086,
                 0.033317886352539065,
-                0.03333017730712891,
-                0.0333496322631836,
-                0.03336601638793945,
-                0.03334656143188477,
-                0.03322675323486328,
-                0.03324518585205078,
-                0.03326464080810547,
-                0.033309696197509765,
-                0.033154048919677735,
-                0.033285377502441406,
-                0.03323571014404297,
-                0.03323494338989258,
-                0.03326668930053711,
-                0.033377281188964845,
-                0.03325132751464844,
-                0.03325337600708008,
-                0.033291263580322264,
-                0.03309392166137695,
-                0.033216224670410154,
-                0.033135616302490234,
-                0.03304550552368164,
-                0.033094879150390624,
-                0.0331743049621582,
-                0.0331038703918457,
-                0.033113086700439456,
-                0.033235969543457033,
-                0.033014785766601565,
-                0.03359334564208984,
-                0.033290241241455076,
-                0.03316633605957031,
                 0.033304576873779294,
                 0.03322880172729492,
-                0.033160190582275394,
-                0.03324006271362305,
-                0.03327897644042969,
-                0.03326259231567383,
-                0.03328204727172852,
-                0.033230976104736326,
-                0.03325836944580078,
-                0.03319193649291992,
-                0.03323494338989258,
-                0.03361894226074219,
-                0.03333017730712891,
-                0.03333763122558594,
-                0.033223392486572266,
-                0.03315097427368164,
-                0.0332492790222168,
-                0.033235969543457033,
-                0.03332505416870117,
-                0.03311206436157227,
-                0.03319910430908203,
-                0.033104896545410156,
-                0.033263614654541016,
-                0.0331253776550293,
-                0.03313868713378906,
-                0.03319398498535156,
-                0.033186817169189455,
-                0.0332410888671875,
-                0.03324518585205078,
-                0.03315929412841797,
-                0.03320716857910156,
-                0.033172481536865236,
-                0.03316326522827148,
-                0.033068031311035154,
-                0.03329433441162109,
-                0.03316633605957031,
-                0.03319807815551758,
-                0.03311942291259766,
-                0.0332081298828125,
-                0.03314483261108398,
-                0.033159168243408206,
-                0.03309983825683594,
-                0.03324614334106445,
-                0.033172481536865236,
-                0.03313868713378906,
-                0.03317657470703125,
-                0.033288192749023435,
-                0.03331891250610351,
-                0.03322367858886719,
-                0.03325030517578125,
-                0.033137664794921876,
-                0.03317657470703125,
-                0.03324415969848633,
-                0.03307929611206055,
-                0.0330885124206543,
-                0.033203201293945314,
-                0.03310899353027344
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 30.07261033319717
         },
         "energy": null,
         "efficiency": null

     "prefill": {
         "memory": {
             "unit": "MB",
+            "max_ram": 2388.832256,
             "max_vram": 5490.343936,
             "max_reserved": 5005.901824,
             "max_allocated": 4844.946944
         },
         "latency": {
             "unit": "s",
+            "mean": 0.05811469193827902,
+            "stdev": 0.000602213469494835,
             "values": [
+                0.06424403381347656,
+                0.060627967834472656,
+                0.058673152923583986,
+                0.05822054290771484,
+                0.05900697708129883,
+                0.058456062316894535,
+                0.060142593383789064,
+                0.05822259140014648,
+                0.05931417465209961,
+                0.057815040588378906,
+                0.05829632186889649,
+                0.05780582427978516,
+                0.05838131332397461,
+                0.05786624145507813,
+                0.058359809875488285,
+                0.05784473419189453,
+                0.058281982421875,
+                0.05778636932373047,
+                0.058281982421875,
+                0.05779558563232422,
+                0.058261825561523435,
+                0.05782015991210938,
+                0.05830144119262695,
+                0.05778739166259766,
+                0.058264575958251956,
+                0.057791488647460934,
+                0.05828300857543945,
+                0.057818431854248044,
+                0.05829939270019531,
+                0.057791488647460934,
+                0.05843865585327149,
+                0.057780223846435545,
+                0.05833932876586914,
+                0.05779587173461914,
+                0.05834444808959961,
+                0.05779046249389649,
+                0.05831782531738281,
+                0.057731071472167966,
+                0.05830553436279297,
+                0.05788876724243164,
+                0.05831270217895508,
+                0.05773740768432617,
+                0.058308609008789064,
+                0.057780223846435545,
+                0.05831884765625,
+                0.05775360107421875,
+                0.058308609008789064,
+                0.05779865646362305,
+                0.05830963134765625,
+                0.05779046249389649,
+                0.058292224884033204,
+                0.05775769424438477,
+                0.05830358505249023,
+                0.0576993293762207,
+                0.05837311935424805,
+                0.05776998519897461,
+                0.05822259140014648,
+                0.057766910552978515,
+                0.05829017639160156,
+                0.057785343170166016,
+                0.0583454704284668,
+                0.05779558563232422,
+                0.05830451202392578,
+                0.0577710075378418,
+                0.0583006706237793,
+                0.05788979339599609,
+                0.05819903945922852,
+                0.05773926544189453,
+                0.05825228881835937,
+                0.05771468734741211,
+                0.05825126266479492,
+                0.05774643325805664,
+                0.05827481460571289,
+                0.05784371185302734,
+                0.058211326599121094,
+                0.057826305389404295,
                 0.058210304260253906,
+                0.05771059036254883,
+                0.058259456634521485,
+                0.05777110290527344,
+                0.05826764678955078,
+                0.05772185516357422,
+                0.0582553596496582,
+                0.05780377578735352,
+                0.05824512100219727,
+                0.05777510452270508,
+                0.05830553436279297,
+                0.05774028778076172,
+                0.05823078536987305,
+                0.05777305603027344,
+                0.0584796142578125,
+                0.057750526428222655,
                 0.05823897552490234,
+                0.057711616516113284,
+                0.058210304260253906,
+                0.05773926544189453,
+                0.05826764678955078,
+                0.05775475311279297,
+                0.05825228881835937,
                 0.05772288131713867,
+                0.05831782531738281,
                 0.05767475128173828,
+                0.05824409484863281,
+                0.05772515106201172,
+                0.05828403091430664,
+                0.05777920150756836,
+                0.058246143341064455,
+                0.05775974273681641,
+                0.05826764678955078,
+                0.05772304153442383,
                 0.05821440124511719,
+                0.05776486587524414,
+                0.05827993774414063,
+                0.05777407836914063,
+                0.05823385620117188,
+                0.05768703842163086,
+                0.058327041625976565,
+                0.057731071472167966,
                 0.058259456634521485,
                 0.057729022979736325,
+                0.05829017639160156,
+                0.05781913757324219,
+                0.0582737922668457,
+                0.05778227233886719,
+                0.058240001678466796,
+                0.057780223846435545,
+                0.05828403091430664,
+                0.05778739166259766,
+                0.05823705673217774,
+                0.05780070495605469,
+                0.058259456634521485,
+                0.057796607971191405,
+                0.05828915023803711,
+                0.057791488647460934,
+                0.05828607940673828,
+                0.057875457763671874,
+                0.05835776138305664,
+                0.057750526428222655,
+                0.05834239959716797,
+                0.05773516845703125,
+                0.058278911590576174,
+                0.05775872039794922,
+                0.05827993774414063,
+                0.05790617752075195,
+                0.058256385803222656,
+                0.05781196975708008,
+                0.05825331115722656,
+                0.057799678802490234,
                 0.05823283386230469,
+                0.05777411270141602,
+                0.05830246353149414,
+                0.057791488647460934,
+                0.058264575958251956,
+                0.057783294677734375,
                 0.05825126266479492,
+                0.0577525749206543,
+                0.05826355361938477,
+                0.057777153015136716,
                 0.05825331115722656,
+                0.05775487899780273,
+                0.05823180770874024,
+                0.05766963195800781,
+                0.05824409484863281,
+                0.057734142303466796,
+                0.05831884765625,
+                0.057778175354003904,
+                0.05833321762084961,
+                0.057809921264648435,
+                0.05829119873046875,
+                0.05789491271972656,
+                0.058257408142089843,
+                0.057796607971191405,
+                0.05821542358398438
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 4405.082285764949
         },
         "energy": null,
         "efficiency": null
     "decode": {
         "memory": {
             "unit": "MB",
+            "max_ram": 2388.832256,
             "max_vram": 5710.544896,
             "max_reserved": 5226.102784,
             "max_allocated": 4911.274496
         },
         "latency": {
             "unit": "s",
+            "mean": 8.552467468261714,
+            "stdev": 0.016764766693113664,
             "values": [
+                8.569232234954828,
+                8.535702701568601
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 29.815956733692044
         },
         "energy": null,
         "efficiency": null
         "memory": null,
         "latency": {
             "unit": "s",
+            "mean": 0.033539088110830284,
+            "stdev": 0.0002386668535919456,
             "values": [
+                0.0359760627746582,
+                0.03543142318725586,
+                0.03403673553466797,
+                0.033759231567382815,
+                0.03375414276123047,
+                0.03368035125732422,
+                0.03397017669677734,
+                0.033544193267822264,
+                0.03343667221069336,
+                0.03351481628417969,
+                0.03369337463378906,
+                0.033737728118896484,
+                0.03383817672729492,
+                0.03345500946044922,
+                0.033463294982910154,
+                0.03362918472290039,
+                0.0336363525390625,
+                0.03351862335205078,
+                0.03372262573242187,
+                0.033632991790771484,
+                0.03356796646118164,
+                0.03355945587158203,
+                0.03362188720703125,
+                0.03372544097900391,
+                0.03368243026733399,
+                0.03352268981933594,
+                0.03362303924560547,
+                0.033672191619873046,
+                0.03367433547973633,
+                0.03381135940551758,
+                0.033713153839111325,
+                0.03352678298950195,
+                0.03356467056274414,
+                0.0334571533203125,
+                0.03363020706176758,
+                0.03359743881225586,
+                0.03350732803344727,
+                0.03342540740966797,
+                0.033446910858154294,
+                0.03357593536376953,
+                0.03362815856933594,
+                0.03376355361938477,
+                0.03360659027099609,
+                0.03353993606567383,
+                0.033511425018310545,
+                0.03362303924560547,
+                0.03359436798095703,
+                0.03367628860473633,
+                0.033849342346191406,
+                0.03360153579711914,
+                0.033637374877929685,
+                0.0336097297668457,
+                0.03411558532714844,
+                0.033716224670410154,
+                0.03361382293701172,
+                0.03348992156982422,
+                0.03373696136474609,
+                0.03340774536132812,
+                0.03372163009643555,
+                0.03357155227661133,
+                0.03353190231323242,
+                0.03333222579956055,
+                0.03355750274658203,
+                0.03350732803344727,
+                0.03351347351074219,
+                0.0334837760925293,
+                0.033807361602783206,
+                0.03365087890625,
+                0.033603679656982424,
+                0.033729248046875,
+                0.033598464965820314,
+                0.03354521560668945,
+                0.03367116928100586,
+                0.033495040893554685,
+                0.03368243026733399,
+                0.033514495849609374,
+                0.03375718307495117,
+                0.03362406539916992,
+                0.033898494720458985,
+                0.03370700836181641,
+                0.03365273666381836,
+                0.03382067108154297,
+                0.03389980697631836,
+                0.03375894546508789,
+                0.03371033477783203,
+                0.03442047882080078,
+                0.03461955261230469,
+                0.03360979080200195,
+                0.033666847229003906,
+                0.033463294982910154,
+                0.03367424011230469,
+                0.03349606323242187,
+                0.033504417419433594,
+                0.033415008544921875,
+                0.033519615173339845,
+                0.033511425018310545,
+                0.03371724700927734,
+                0.033514495849609374,
+                0.0334837760925293,
+                0.033544193267822264,
+                0.03352905654907227,
+                0.03346614456176758,
+                0.033530879974365234,
+                0.03357705688476562,
+                0.03356867218017578,
+                0.03337113571166992,
+                0.03349913787841797,
+                0.033462272644042966,
+                0.03362416076660156,
+                0.03354102325439453,
+                0.03362201690673828,
+                0.03352883148193359,
+                0.03395072174072265,
+                0.033585151672363284,
+                0.033697822570800784,
+                0.03367113494873047,
+                0.033693695068359376,
+                0.03377459335327149,
+                0.03381862258911133,
                 0.03368960189819336,
+                0.03389763259887695,
+                0.033657825469970704,
+                0.033898624420166015,
+                0.03369241714477539,
+                0.033718273162841796,
+                0.03366195297241211,
+                0.03418214416503906,
+                0.0335022087097168,
+                0.033637374877929685,
+                0.03359260940551758,
+                0.033520576477050784,
+                0.03351222229003906,
+                0.03358627319335938,
+                0.03349903869628906,
+                0.0335994873046875,
+                0.03340390396118164,
+                0.033555454254150394,
+                0.033524734497070316,
+                0.03354828643798828,
+                0.033588222503662106,
+                0.033651744842529294,
+                0.033670177459716795,
+                0.03377043151855469,
+                0.03340288162231445,
+                0.03368960189819336,
+                0.03356364822387695,
+                0.03357593536376953,
+                0.0334284782409668,
+                0.03353190231323242,
+                0.03360255813598633,
+                0.03344384002685547,
+                0.03355852890014648,
+                0.03343769454956055,
+                0.03349913787841797,
+                0.03353318405151367,
+                0.0334202880859375,
+                0.033673984527587894,
+                0.03348889541625977,
+                0.033511425018310545,
+                0.03364352035522461,
+                0.03360153579711914,
+                0.03351871871948242,
+                0.033535999298095705,
+                0.03365568161010742,
+                0.03347763061523437,
+                0.03361894226074219,
+                0.033693695068359376,
+                0.03360870361328125,
+                0.03354316711425781,
+                0.03365999984741211,
+                0.0335533447265625,
+                0.033511390686035154,
+                0.03403673553466797,
+                0.03358332824707031,
+                0.033478431701660157,
+                0.03355161666870117,
+                0.033491710662841796,
+                0.03343769454956055,
+                0.03337420654296875,
+                0.03342540740966797,
+                0.033495040893554685,
+                0.03341823959350586,
+                0.03346124649047852,
+                0.03356169509887695,
+                0.03352361679077148,
+                0.033486846923828126,
+                0.03381769561767578,
+                0.03329526519775391,
+                0.033380352020263675,
+                0.03359868621826172,
+                0.033476383209228515,
+                0.03364556884765625,
+                0.03363961410522461,
+                0.033377120971679684,
+                0.03352179336547852,
+                0.0333996467590332,
+                0.0334029426574707,
+                0.03340179061889648,
+                0.033380352020263675,
+                0.03324620819091797,
+                0.03341721725463867,
+                0.03326489639282226,
+                0.03330553436279297,
+                0.033392448425292966,
+                0.0334029426574707,
+                0.033484737396240236,
+                0.03344179153442383,
+                0.033296382904052735,
+                0.03330892944335938,
+                0.03354291152954102,
+                0.03347967910766601,
+                0.03348889541625977,
+                0.03349401473999023,
+                0.03348070526123047,
+                0.033509441375732425,
+                0.03354924774169922,
+                0.03351347351074219,
+                0.03361600112915039,
+                0.03346316909790039,
+                0.03379721450805664,
+                0.033533855438232424,
+                0.03381248092651367,
+                0.033531967163085936,
+                0.033534912109375,
+                0.03345510482788086,
+                0.03351551818847656,
+                0.03345619201660156,
+                0.0335615348815918,
+                0.033503231048583985,
+                0.03364659118652344,
+                0.03359231948852539,
+                0.03371212768554688,
+                0.03413715362548828,
+                0.033780670166015624,
+                0.0335145263671875,
+                0.033662944793701174,
+                0.033701057434082034,
+                0.03381536102294922,
+                0.03346432113647461,
+                0.03342131042480469,
+                0.033448959350585936,
+                0.03361177444458008,
+                0.03337625503540039,
+                0.03353724670410156,
+                0.03358902359008789,
+                0.03355878448486328,
+                0.03362892913818359,
+                0.03371110534667969,
                 0.03321343994140625,
+                0.03344076919555664,
+                0.03366726303100586,
+                0.03323168182373047,
+                0.033285118103027346,
                 0.03326668930053711,
+                0.033529857635498046,
+                0.03382470321655273,
+                0.03356364822387695,
+                0.033620990753173825,
+                0.03348284912109375,
+                0.03334748840332031,
+                0.0334837760925293,
+                0.0335994873046875,
+                0.03351039886474609,
+                0.03356159973144531,
+                0.03354828643798828,
+                0.033570816040039066,
+                0.03352371215820313,
+                0.033547264099121094,
+                0.03349628829956055,
+                0.03356752014160156,
+                0.03358940887451172,
+                0.03346124649047852,
+                0.0334918098449707,
+                0.03357183837890625,
+                0.03344179153442383,
+                0.03354214477539062,
+                0.03355852890014648,
+                0.0336445426940918,
+                0.03355033493041992,
+                0.033567745208740236,
+                0.033358848571777344,
+                0.03348889541625977,
+                0.0335912971496582,
+                0.03351551818847656,
+                0.033548446655273435,
+                0.033640289306640626,
+                0.033549312591552735,
+                0.033501182556152344,
+                0.0333939208984375,
+                0.033355518341064455,
+                0.03343769454956055,
+                0.033807361602783206,
+                0.03334569549560547,
+                0.033456096649169924,
+                0.03340991973876953,
+                0.033463294982910154,
+                0.03347763061523437,
+                0.03348889541625977,
+                0.033549312591552735,
+                0.03360358428955078,
+                0.03347558212280274,
+                0.03357183837890625,
+                0.03348787307739258,
+                0.03348992156982422,
+                0.03348787307739258,
+                0.033979393005371096,
+                0.03350425720214844,
+                0.03348275375366211,
+                0.033535999298095705,
+                0.033617919921875,
+                0.033462272644042966,
+                0.033484798431396484,
+                0.033532062530517576,
+                0.03351558303833008,
+                0.03338227081298828,
+                0.033602462768554685,
+                0.03351055908203125,
+                0.03346825790405274,
+                0.033500160217285156,
+                0.03355033493041992,
                 0.033355777740478515,
+                0.03338671875,
+                0.033408798217773435,
+                0.033320960998535154,
+                0.033397918701171876,
+                0.03354915237426758,
+                0.033527809143066405,
+                0.03347148895263672,
+                0.03344179153442383,
+                0.03337846374511719,
+                0.033469280242919924,
+                0.03354214477539062,
+                0.03347558212280274,
+                0.033546241760253906,
+                0.03340595245361328,
+                0.033532928466796875,
+                0.033529857635498046,
+                0.03361996841430664,
+                0.033350654602050785,
+                0.033312767028808594,
+                0.03337324905395508,
+                0.03354924774169922,
                 0.03329228973388672,
+                0.033463294982910154,
+                0.03349913787841797,
+                0.03369472122192383,
+                0.03349631881713867,
+                0.03359104156494141,
+                0.03348889541625977,
+                0.03347763061523437,
+                0.03340492630004883,
+                0.03366809463500976,
+                0.033350784301757815,
+                0.03337305450439453,
+                0.03341337585449219,
+                0.0334384651184082,
+                0.033350654602050785,
+                0.03345510482788086,
+                0.03342668914794922,
+                0.03354188919067383,
+                0.033399070739746094,
+                0.03335548782348633,
+                0.03335270309448242,
                 0.03350527954101563,
+                0.03344188690185547,
+                0.0340939826965332,
                 0.0333383674621582,
+                0.03329945755004883,
+                0.033360897064208986,
+                0.03336908721923828,
+                0.03341209411621094,
+                0.03352166366577149,
+                0.03354214477539062,
+                0.033587200164794925,
+                0.033511425018310545,
+                0.03355955123901367,
+                0.03337625503540039,
+                0.03343974304199219,
+                0.03343267059326172,
+                0.03341507339477539,
+                0.03348713684082031,
+                0.033481632232666016,
+                0.033468223571777346,
+                0.03343065643310547,
+                0.03347750473022461,
+                0.0334284782409668,
                 0.03342233657836914,
+                0.033396736145019534,
+                0.033317886352539065,
+                0.03341737747192383,
+                0.03332694244384766,
+                0.03342335891723633,
+                0.033312767028808594,
+                0.033435680389404296,
+                0.03342435073852539,
+                0.033567806243896485,
+                0.03340281677246094,
+                0.03339775848388672,
                 0.03343974304199219,
+                0.0334571533203125,
+                0.03336601638793945,
+                0.03348582458496094,
+                0.033296382904052735,
+                0.03346739196777344,
+                0.03360255813598633,
+                0.03355955123901367,
+                0.03353811264038086,
+                0.03354515075683594,
+                0.033446910858154294,
+                0.03350732803344727,
+                0.03350425720214844,
+                0.03394662475585938,
+                0.03340595245361328,
+                0.03352166366577149,
+                0.03338956832885742,
+                0.03336806488037109,
+                0.03337318420410156,
                 0.0333383674621582,
+                0.0334859504699707,
+                0.03355123138427735,
+                0.033554431915283206,
+                0.03349913787841797,
+                0.033509502410888674,
+                0.03328313446044922,
+                0.03336479949951172,
+                0.03394047927856445,
+                0.03350527954101563,
+                0.03346739196777344,
+                0.03337830352783203,
+                0.03355865478515625,
+                0.033559425354003906,
+                0.0334571533203125,
+                0.03340415954589844,
+                0.03595955276489258,
+                0.033463294982910154,
+                0.03339980697631836,
+                0.03336601638793945,
+                0.033445888519287106,
+                0.033328128814697267,
+                0.03328921508789062,
+                0.03324415969848633,
                 0.033255424499511715,
                 0.03321446228027344,
+                0.033199230194091794,
+                0.03324198532104492,
+                0.03325235366821289,
+                0.03341823959350586,
+                0.033448959350585936,
+                0.03346432113647461,
+                0.03345305633544922,
+                0.033585151672363284,
+                0.03351039886474609,
+                0.033345535278320314,
+                0.03361587142944336,
+                0.03336294555664063,
+                0.033375232696533204,
+                0.03344192123413086,
+                0.03341606521606445,
+                0.03340083312988281,
+                0.03348992156982422,
+                0.033380352020263675,
+                0.0335022087097168,
+                0.03343360137939453,
+                0.033414142608642575,
+                0.03345612716674805,
+                0.03335168075561523,
+                0.033535999298095705,
+                0.03347455978393555,
+                0.03326668930053711,
+                0.03347558212280274,
+                0.03347148895263672,
+                0.03383193588256836,
+                0.033393665313720705,
+                0.033391616821289063,
+                0.03348582458496094,
+                0.033527809143066405,
+                0.033301502227783206,
+                0.033344512939453126,
+                0.03343667221069336,
+                0.03356979370117188,
                 0.03331071853637695,
                 0.033317886352539065,
+                0.033486846923828126,
+                0.03333248138427734,
+                0.03343539047241211,
+                0.0333199348449707,
+                0.03369472122192383,
+                0.03332198333740234,
+                0.03330355072021484,
+                0.03339878463745117,
+                0.03373065567016602,
+                0.03348368072509766,
+                0.033309886932373044,
+                0.033417152404785155,
+                0.033406848907470706,
+                0.03351551818847656,
                 0.033304576873779294,
+                0.03346150588989258,
+                0.0333493766784668,
+                0.03330355072021484,
+                0.03343990325927734,
+                0.033248096466064456,
+                0.03359231948852539,
                 0.03322880172729492,
+                0.03324313735961914,
+                0.03352576065063476,
+                0.033342464447021485,
+                0.033387710571289066,
+                0.03349996948242188,
+                0.033277183532714846
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 29.815956733692015
         },
         "energy": null,
         "efficiency": null