kreas
/

FA_benchmarks

Model card Files Files and versions Community

kreas commited on Apr 16

Commit

5257760

•

1 Parent(s): 41955a4

Upload /Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json with huggingface_hub

Browse files

Files changed (1) hide show

Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json +788 -802

Mistral-7B-v0.1/bf16_batch_size_1_sq_len_256_new_tokens_256/benchmark_report.json CHANGED Viewed

@@ -2,301 +2,287 @@
     "prefill": {
         "memory": {
             "unit": "MB",
-            "max_ram": 994.455552,
-            "max_vram": 15716.057088,
             "max_reserved": 15271.460864,
             "max_allocated": 15114.469888
         },
         "latency": {
             "unit": "s",
-            "mean": 0.0357679583958217,
-            "stdev": 0.00025741227433738017,
             "values": [
-                0.03878659057617188,
                 0.037553150177001955,
-                0.035939327239990236,
-                0.03592704010009766,
-                0.035939552307128905,
-                0.035884033203125,
-                0.03610009765625,
-                0.03608268737792969,
-                0.03680665588378906,
-                0.03654655838012695,
-                0.03651686477661133,
-                0.03602022552490235,
-                0.03572326278686523,
-                0.03567318344116211,
-                0.03566284942626953,
-                0.03562188720703125,
-                0.03567411041259766,
-                0.03564134216308594,
-                0.03561164855957031,
-                0.03567750549316406,
-                0.035643390655517575,
-                0.03563212966918945,
-                0.03566080093383789,
-                0.03561779022216797,
-                0.03563417434692383,
-                0.035606529235839846,
-                0.035590465545654294,
-                0.03559423828125,
-                0.03561881637573242,
-                0.03557807922363281,
-                0.035588096618652344,
-                0.03560243225097656,
-                0.035606529235839846,
-                0.03560857772827149,
-                0.03560755157470703,
-                0.035655681610107424,
-                0.03557273483276367,
-                0.035684417724609375,
-                0.03565071868896484,
-                0.035643390655517575,
-                0.03560243225097656,
-                0.03562905502319336,
-                0.03559628677368164,
-                0.035576831817626955,
-                0.03557183837890625,
-                0.03557068634033203,
-                0.03558911895751953,
-                0.035544063568115236,
-                0.035609600067138675,
-                0.03570687866210937,
-                0.03567340850830078,
-                0.035579902648925785,
-                0.03561881637573242,
-                0.0355788803100586,
-                0.03561369705200195,
-                0.03562393569946289,
-                0.03560755157470703,
-                0.03565875244140625,
-                0.035620864868164064,
-                0.035625984191894534,
-                0.03561471939086914,
-                0.03559731292724609,
-                0.03579391860961914,
-                0.03589120101928711,
-                0.03578675079345703,
-                0.035745792388916016,
-                0.035800064086914066,
-                0.035759105682373046,
-                0.035772705078125,
-                0.03575398254394531,
-                0.03567724609375,
-                0.03559833526611328,
-                0.03561983871459961,
-                0.03563417434692383,
-                0.0356126708984375,
-                0.03563417434692383,
-                0.03565055847167969,
-                0.03563935852050781,
-                0.0356577262878418,
-                0.035643390655517575,
-                0.03560857772827149,
-                0.035625984191894534,
-                0.03564646530151367,
-                0.035644641876220705,
-                0.0356126708984375,
-                0.035593215942382815,
-                0.03564646530151367,
-                0.03566387176513672,
-                0.03561676788330078,
-                0.0356495361328125,
-                0.03564134216308594,
-                0.03562400054931641,
-                0.03561779022216797,
-                0.035672065734863284,
-                0.03567718505859375,
-                0.035643390655517575,
-                0.03559936141967773,
-                0.03664588928222656,
-                0.03582463836669922,
-                0.03563520050048828,
-                0.03561779022216797,
-                0.035676158905029294,
-                0.03563139343261719,
-                0.03562393569946289,
-                0.03563724899291992,
-                0.03568537521362305,
-                0.0357918701171875,
-                0.03565465545654297,
-                0.0357212142944336,
-                0.035730430603027344,
-                0.03564134216308594,
-                0.035659934997558596,
-                0.035643390655517575,
-                0.03565260696411133,
-                0.03565465545654297,
-                0.03561983871459961,
-                0.03561779022216797,
-                0.03566899108886719,
-                0.03565875244140625,
-                0.035783679962158206,
-                0.035714046478271484,
-                0.0356577262878418,
-                0.03565670394897461,
-                0.03564441680908203,
-                0.035710975646972655,
-                0.03559833526611328,
-                0.03567308807373047,
-                0.035681278228759765,
-                0.03564441680908203,
-                0.03564851379394531,
-                0.03566694259643555,
-                0.03565363311767578,
-                0.03561062240600586,
-                0.035625984191894534,
-                0.03566899108886719,
-                0.03562700653076172,
-                0.03561574554443359,
-                0.03563827133178711,
-                0.03562803268432617,
-                0.035566593170166014,
-                0.03561164855957031,
-                0.03561062240600586,
-                0.03564134216308594,
-                0.035678207397460936,
-                0.03566899108886719,
-                0.035620864868164064,
-                0.03566899108886719,
-                0.03568435287475586,
-                0.03567308807373047,
-                0.03563212966918945,
-                0.03573452758789063,
-                0.0358021125793457,
-                0.03582463836669922,
-                0.035804191589355466,
-                0.03585126495361328,
-                0.03583078384399414,
-                0.03579497528076172,
-                0.03579904174804688,
-                0.035814399719238284,
-                0.03582483291625976,
-                0.035811328887939455,
-                0.035855358123779296,
-                0.035896320343017575,
-                0.03587481689453125,
-                0.03583488082885742,
-                0.03583203125,
-                0.03582156753540039,
-                0.03584307098388672,
-                0.03580825424194336,
-                0.035813377380371096,
-                0.03583180618286133,
-                0.0358287353515625,
-                0.03585638427734375,
-                0.03581542587280274,
-                0.035810302734375,
-                0.03586771011352539,
-                0.035953662872314454,
-                0.0358389778137207,
-                0.035860481262207033,
-                0.0358135986328125,
-                0.035810302734375,
-                0.03577260971069336,
-                0.03582668685913086,
-                0.03583283233642578,
-                0.035800064086914066,
-                0.03582259368896484,
-                0.03583283233642578,
-                0.03582572937011719,
-                0.035811328887939455,
-                0.0358021125793457,
-                0.03584534454345703,
-                0.03579904174804688,
-                0.035821758270263675,
-                0.03586764907836914,
-                0.03583180618286133,
-                0.035813377380371096,
-                0.03588198471069336,
-                0.035811328887939455,
-                0.03583795166015625,
-                0.0358287353515625,
-                0.035794944763183595,
-                0.03586969757080078,
-                0.03583590316772461,
-                0.0358389778137207,
-                0.03584307098388672,
-                0.03583795166015625,
-                0.03584307098388672,
-                0.03584921646118164,
-                0.0358155517578125,
-                0.03582259368896484,
-                0.03580518341064453,
-                0.03578572845458984,
-                0.035811328887939455,
-                0.03588198471069336,
-                0.03584204864501953,
-                0.03581244659423828,
-                0.035817470550537106,
-                0.035844097137451174,
-                0.03581756973266602,
-                0.03587891387939453,
-                0.035784702301025394,
-                0.035827713012695314,
-                0.03583795166015625,
-                0.035849441528320314,
-                0.03582668685913086,
-                0.035833854675292966,
-                0.03581542587280274,
-                0.035794944763183595,
-                0.03580748748779297,
-                0.03581542587280274,
-                0.03584102249145508,
-                0.035833854675292966,
-                0.03587276840209961,
-                0.03585228729248047,
-                0.035813377380371096,
-                0.035773441314697264,
-                0.03580313491821289,
-                0.035762176513671876,
-                0.03581951904296875,
-                0.035760128021240234,
-                0.03581644821166992,
-                0.03577657699584961,
-                0.03577446365356445,
-                0.03574585723876953,
-                0.035767295837402346,
-                0.035784702301025394,
-                0.035802398681640625,
-                0.0357716178894043,
-                0.035806209564208984,
-                0.03578384017944336,
-                0.03582271957397461,
-                0.035806209564208984,
-                0.035823680877685546,
-                0.03577468872070313,
-                0.035798015594482424,
-                0.035767520904541016,
-                0.03580723190307617,
-                0.03580313491821289,
-                0.03585843276977539,
-                0.03581951904296875,
-                0.03581644821166992,
-                0.03578879928588867,
-                0.03577241516113281,
-                0.03581235122680664,
-                0.03581235122680664,
-                0.03579596710205078,
-                0.0358205451965332,
-                0.03581644821166992,
-                0.035765247344970705,
-                0.035760128021240234,
-                0.035784702301025394,
-                0.03576115036010742,
-                0.03583078384399414,
-                0.035806209564208984,
-                0.0358287353515625,
-                0.03592499160766602,
-                0.03587491226196289,
-                0.0357918701171875,
-                0.03582361602783203,
-                0.035783679962158206
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 7157.243842855318
         },
         "energy": null,
         "efficiency": null
@@ -304,23 +290,23 @@
     "decode": {
         "memory": {
             "unit": "MB",
-            "max_ram": 994.455552,
             "max_vram": 15925.772288,
             "max_reserved": 15441.330176,
             "max_allocated": 15238.453248
         },
         "latency": {
             "unit": "s",
-            "mean": 7.04666519832611,
-            "stdev": 0.003940360069274451,
             "values": [
-                7.050605558395384,
-                7.042724838256835
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 36.18733015165437
         },
         "energy": null,
         "efficiency": null
@@ -329,524 +315,524 @@
         "memory": null,
         "latency": {
             "unit": "s",
-            "mean": 0.02763398116990632,
-            "stdev": 0.0001406665852038265,
             "values": [
                 0.02976051139831543,
-                0.029001728057861328,
-                0.027527168273925783,
-                0.02751692771911621,
-                0.027592704772949218,
-                0.02755072021484375,
-                0.027613183975219727,
-                0.027573408126831053,
-                0.027517791748046874,
-                0.027510784149169923,
-                0.02770636749267578,
-                0.02768998336791992,
-                0.02756505584716797,
-                0.02753023910522461,
-                0.02755072021484375,
-                0.02755504035949707,
-                0.027621152877807618,
-                0.02758963203430176,
-                0.027579391479492187,
-                0.027568128585815428,
-                0.02756505584716797,
-                0.02754150390625,
-                0.02758963203430176,
-                0.027543552398681642,
-                0.02753331184387207,
-                0.02754150390625,
-                0.027591680526733397,
-                0.027538431167602538,
-                0.027510784149169923,
-                0.02757734489440918,
-                0.02755891227722168,
-                0.02753126335144043,
-                0.02755072021484375,
-                0.027546783447265626,
-                0.027543392181396485,
-                0.02756915283203125,
-                0.02759782409667969,
-                0.02749235153198242,
-                0.02754764747619629,
-                0.02753433609008789,
-                0.027561983108520507,
-                0.02755686378479004,
-                0.027587583541870117,
-                0.02755379295349121,
-                0.027602943420410156,
-                0.027551744461059572,
-                0.02758246421813965,
-                0.027571199417114257,
-                0.027572223663330078,
-                0.027527168273925783,
-                0.02756403160095215,
-                0.027620351791381836,
-                0.027612159729003907,
-                0.027580415725708008,
-                0.027575328826904298,
-                0.027544544219970702,
-                0.027599872589111327,
-                0.027801599502563477,
-                0.027614208221435548,
-                0.027610111236572265,
-                0.027586559295654296,
-                0.02757529640197754,
-                0.02756710433959961,
-                0.027571199417114257,
-                0.02758246421813965,
-                0.027709440231323244,
-                0.027513856887817382,
-                0.027591680526733397,
-                0.027643903732299805,
-                0.027596799850463868,
-                0.027621376037597657,
-                0.02756505584716797,
-                0.027561983108520507,
-                0.027596799850463868,
-                0.027627519607543945,
-                0.02759782409667969,
-                0.027620351791381836,
-                0.027625471115112304,
-                0.027594751358032226,
-                0.027617279052734374,
-                0.027624448776245116,
-                0.027650047302246093,
-                0.027657215118408202,
-                0.027851776123046876,
-                0.027572223663330078,
-                0.02837708854675293,
-                0.02859110450744629,
-                0.02774015998840332,
-                0.027637760162353517,
-                0.027633663177490234,
-                0.027580415725708008,
-                0.027673599243164062,
-                0.027600896835327147,
-                0.027627840042114257,
-                0.027613887786865233,
-                0.027551744461059572,
-                0.027559999465942384,
-                0.02760697555541992,
-                0.027641855239868163,
-                0.027620351791381836,
-                0.027583488464355467,
-                0.027613183975219727,
-                0.027586559295654296,
-                0.027630592346191408,
-                0.02769715118408203,
-                0.027617279052734374,
-                0.027648000717163085,
-                0.027649023056030272,
-                0.027661312103271486,
-                0.027675647735595704,
-                0.027661312103271486,
-                0.027602079391479493,
-                0.02760585594177246,
-                0.027621376037597657,
-                0.027661312103271486,
-                0.02770227241516113,
-                0.027640832901000976,
-                0.02778316879272461,
-                0.027622400283813478,
-                0.027631616592407225,
-                0.027610111236572265,
-                0.027643903732299805,
-                0.027630592346191408,
-                0.027630592346191408,
-                0.027625471115112304,
-                0.027589887619018556,
-                0.027584255218505858,
-                0.02760704040527344,
-                0.02756608009338379,
-                0.027628543853759766,
-                0.02754252815246582,
-                0.027568128585815428,
-                0.027592704772949218,
-                0.02756096076965332,
-                0.02754560089111328,
-                0.027628543853759766,
-                0.02759065628051758,
-                0.027620351791381836,
-                0.027808767318725586,
-                0.027616256713867186,
-                0.027637760162353517,
-                0.027579391479492187,
-                0.02756710433959961,
-                0.027628543853759766,
-                0.02757529640197754,
-                0.027614208221435548,
-                0.027601919174194335,
-                0.027602943420410156,
-                0.027615232467651366,
-                0.027681791305541992,
-                0.027615232467651366,
-                0.027628543853759766,
-                0.027655168533325194,
-                0.027638784408569338,
-                0.027580415725708008,
-                0.027616256713867186,
-                0.02779955291748047,
-                0.027691007614135742,
-                0.027704320907592773,
-                0.027643903732299805,
-                0.027609088897705077,
-                0.027614208221435548,
-                0.027617279052734374,
-                0.027630592346191408,
-                0.027603967666625977,
-                0.027614208221435548,
-                0.027660287857055665,
-                0.027622400283813478,
-                0.027609088897705077,
-                0.027648000717163085,
-                0.027624448776245116,
-                0.027619327545166016,
-                0.027643903732299805,
-                0.027600896835327147,
-                0.027645952224731447,
-                0.027650047302246093,
-                0.027649023056030272,
-                0.027602943420410156,
-                0.027585535049438475,
-                0.027648000717163085,
-                0.027636735916137696,
-                0.027629568099975587,
-                0.027636735916137696,
-                0.027662336349487306,
-                0.027667455673217774,
-                0.027641855239868163,
-                0.027627519607543945,
-                0.027649023056030272,
-                0.027671552658081053,
-                0.027629568099975587,
-                0.027682815551757813,
-                0.027661312103271486,
-                0.0276889591217041,
-                0.027629568099975587,
-                0.027609088897705077,
-                0.027692031860351563,
-                0.027681791305541992,
-                0.027677696228027345,
-                0.02768079948425293,
-                0.027665376663208008,
-                0.027591680526733397,
-                0.02774835205078125,
-                0.027757568359375,
-                0.02773708724975586,
-                0.02768998336791992,
-                0.027686912536621092,
-                0.027677696228027345,
-                0.02774015998840332,
-                0.027677696228027345,
-                0.027671552658081053,
-                0.027661312103271486,
-                0.027893760681152343,
-                0.02769715118408203,
-                0.027691007614135742,
-                0.027685888290405275,
-                0.027692031860351563,
-                0.0277708797454834,
-                0.027682815551757813,
-                0.027662336349487306,
-                0.027691007614135742,
-                0.027692031860351563,
-                0.027700223922729493,
-                0.027668479919433595,
-                0.027641855239868163,
-                0.027678720474243163,
-                0.027665407180786132,
-                0.02768998336791992,
-                0.02771046447753906,
-                0.027744255065917968,
-                0.027807743072509765,
-                0.027657215118408202,
-                0.027717632293701173,
-                0.027694080352783205,
-                0.027704320907592773,
-                0.027708415985107423,
-                0.027653120040893556,
-                0.027679744720458983,
-                0.02774630355834961,
-                0.02770534324645996,
-                0.027675647735595704,
-                0.027620351791381836,
-                0.02772172737121582,
-                0.027655168533325194,
-                0.027709440231323244,
-                0.027682912826538085,
-                0.02771036720275879,
-                0.027649023056030272,
-                0.027631616592407225,
-                0.027622400283813478,
-                0.0277258243560791,
-                0.027709440231323244,
-                0.027571392059326173,
-                0.027576128005981446,
-                0.027665407180786132,
-                0.027626495361328125,
-                0.027524063110351563,
-                0.02756403160095215,
-                0.02756096076965332,
-                0.02750873565673828,
-                0.027487232208251954,
-                0.027495424270629884,
-                0.027520000457763674,
-                0.027520000457763674,
-                0.02751283264160156,
-                0.02754560089111328,
-                0.027520000457763674,
-                0.02754560089111328,
-                0.027495424270629884,
-                0.02753638458251953,
-                0.02751487922668457,
-                0.027496448516845705,
-                0.02753740882873535,
-                0.02756608009338379,
-                0.0275599365234375,
-                0.02755891227722168,
-                0.02754172706604004,
-                0.02758019256591797,
-                0.027596799850463868,
-                0.02754150390625,
-                0.02754764747619629,
-                0.02756710433959961,
-                0.027568416595458986,
-                0.027578079223632812,
-                0.02771865653991699,
-                0.02751283264160156,
-                0.02749951934814453,
-                0.02757427215576172,
-                0.027601919174194335,
-                0.02756710433959961,
-                0.02756505584716797,
-                0.027583488464355467,
-                0.02755072021484375,
-                0.02751692771911621,
-                0.02754969596862793,
-                0.02755788803100586,
-                0.027591680526733397,
-                0.027699199676513672,
-                0.027535360336303712,
-                0.027535360336303712,
-                0.027594751358032226,
-                0.027706464767456054,
-                0.027533216476440428,
-                0.02754867172241211,
-                0.02753945541381836,
-                0.02756435203552246,
-                0.02753401565551758,
-                0.02756096076965332,
-                0.027517951965332032,
-                0.02754560089111328,
-                0.02766659164428711,
-                0.027560800552368165,
-                0.02752511978149414,
-                0.027535360336303712,
-                0.02759884834289551,
-                0.02758143997192383,
-                0.02754457664489746,
-                0.027546623229980468,
-                0.02750873565673828,
-                0.027616256713867186,
-                0.02752614402770996,
-                0.027619327545166016,
-                0.027595775604248047,
-                0.027571199417114257,
-                0.02757529640197754,
-                0.027579391479492187,
-                0.027599872589111327,
-                0.02755686378479004,
-                0.0275599365234375,
-                0.027610111236572265,
-                0.027580415725708008,
-                0.027670528411865233,
-                0.02755583953857422,
-                0.02760601615905762,
-                0.027543552398681642,
-                0.02757427215576172,
-                0.027563007354736328,
-                0.027614208221435548,
-                0.027630592346191408,
-                0.027613183975219727,
-                0.0275281925201416,
-                0.027594751358032226,
-                0.027628543853759766,
-                0.027667455673217774,
-                0.027626495361328125,
-                0.027601919174194335,
-                0.027593727111816405,
-                0.02759782409667969,
-                0.02758246421813965,
-                0.027561983108520507,
-                0.02760704040527344,
-                0.02756710433959961,
-                0.02771046447753906,
-                0.027658239364624023,
-                0.027651071548461914,
-                0.027643903732299805,
-                0.027798528671264647,
-                0.027808767318725586,
-                0.027653120040893556,
-                0.027600896835327147,
-                0.02764092826843262,
-                0.027593631744384766,
-                0.02757529640197754,
-                0.027561983108520507,
-                0.027613183975219727,
-                0.027642879486083984,
-                0.027626495361328125,
-                0.02758246421813965,
-                0.027637760162353517,
-                0.027599872589111327,
-                0.027608064651489257,
-                0.027601919174194335,
-                0.02756915283203125,
-                0.027623424530029295,
-                0.027883520126342775,
-                0.027604991912841798,
-                0.027588607788085938,
-                0.027588607788085938,
-                0.027627519607543945,
-                0.027653120040893556,
-                0.027580415725708008,
-                0.027593727111816405,
-                0.027586559295654296,
-                0.02757734489440918,
-                0.02756915283203125,
-                0.02758246421813965,
-                0.027610111236572265,
-                0.027617279052734374,
-                0.027611135482788086,
-                0.027595775604248047,
-                0.027612159729003907,
-                0.027615232467651366,
-                0.027576320648193358,
-                0.027580415725708008,
-                0.027640832901000976,
-                0.027644927978515626,
-                0.027644927978515626,
-                0.027621376037597657,
-                0.027671552658081053,
-                0.027570175170898437,
-                0.027613183975219727,
-                0.02758963203430176,
-                0.027597984313964843,
-                0.027625312805175783,
-                0.027652095794677735,
-                0.027636735916137696,
-                0.027687936782836913,
-                0.027676671981811524,
-                0.027663360595703124,
-                0.027655168533325194,
-                0.027632640838623046,
-                0.02757734489440918,
-                0.027631616592407225,
-                0.027635871887207033,
-                0.027594591140747072,
-                0.027646207809448244,
-                0.0275914249420166,
-                0.027667455673217774,
-                0.02758246421813965,
-                0.027622400283813478,
-                0.027602943420410156,
-                0.027637760162353517,
-                0.02756608009338379,
-                0.027624448776245116,
-                0.027682815551757813,
-                0.02768076705932617,
-                0.027656192779541015,
-                0.027620351791381836,
-                0.027643903732299805,
-                0.027592704772949218,
-                0.02791628837585449,
-                0.027629568099975587,
-                0.027599872589111327,
-                0.027670528411865233,
-                0.027546623229980468,
-                0.027622560501098632,
-                0.02761404800415039,
-                0.02759884834289551,
-                0.027613183975219727,
-                0.027682815551757813,
-                0.027701248168945314,
-                0.027674623489379883,
-                0.027656192779541015,
-                0.02757529640197754,
-                0.027604991912841798,
-                0.027652095794677735,
-                0.027635711669921875,
-                0.027809791564941407,
-                0.027649023056030272,
-                0.027642879486083984,
-                0.02759884834289551,
-                0.027654144287109376,
-                0.027623424530029295,
-                0.027660287857055665,
-                0.027700223922729493,
-                0.027609088897705077,
-                0.027646976470947264,
-                0.027693056106567384,
-                0.0276889591217041,
-                0.027784191131591796,
-                0.02769715118408203,
-                0.027610111236572265,
-                0.027686912536621092,
-                0.02768076705932617,
-                0.02771046447753906,
-                0.027664384841918944,
-                0.02774630355834961,
-                0.027676671981811524,
-                0.027649023056030272,
-                0.027617279052734374,
-                0.027679744720458983,
-                0.027649023056030272,
-                0.027623424530029295,
-                0.027661312103271486,
-                0.027614208221435548,
-                0.027696128845214843,
-                0.027654144287109376,
-                0.027687936782836913,
-                0.027643903732299805,
-                0.027671552658081053,
-                0.027669504165649415,
-                0.027684864044189454,
-                0.027627519607543945,
-                0.027654144287109376,
-                0.027649023056030272,
-                0.027669504165649415,
-                0.027667455673217774,
-                0.027650047302246093,
-                0.027630592346191408,
-                0.027674623489379883,
-                0.027694080352783205,
-                0.02777190399169922,
-                0.027694080352783205,
-                0.027692031860351563,
-                0.027687936782836913,
-                0.027672576904296874,
-                0.027684864044189454,
-                0.02769715118408203,
-                0.027678720474243163,
-                0.027670528411865233,
-                0.027665407180786132,
-                0.027720703125,
-                0.027757568359375,
-                0.027846656799316406,
-                0.02771046447753906,
-                0.02772275161743164,
-                0.027674623489379883,
-                0.027634687423706054,
-                0.02768998336791992,
-                0.027659263610839844,
-                0.027623424530029295
             ]
         },
         "throughput": {
             "unit": "tokens/s",
-            "value": 36.187330151654365
         },
         "energy": null,
         "efficiency": null

     "prefill": {
         "memory": {
             "unit": "MB",
+            "max_ram": 989.556736,
+            "max_vram": 15720.251392,
             "max_reserved": 15271.460864,
             "max_allocated": 15114.469888
         },
         "latency": {
             "unit": "s",
+            "mean": 0.03762063995877605,
+            "stdev": 0.00021781543555850558,
             "values": [
+                0.04039689636230469,
+                0.03950521469116211,
+                0.03765350341796875,
+                0.037689342498779296,
+                0.03766912078857422,
+                0.03768012619018555,
+                0.03827609634399414,
+                0.03779379272460937,
+                0.03769753646850586,
+                0.03775590515136719,
+                0.037738494873046875,
+                0.03773132705688476,
+                0.03770880126953125,
+                0.037645313262939455,
+                0.03769343948364258,
+                0.037580799102783204,
+                0.03767705535888672,
+                0.03761663818359375,
+                0.037610496520996094,
+                0.03758182525634766,
+                0.037531646728515625,
+                0.03760947036743164,
+                0.03760025787353516,
+                0.037544960021972655,
+                0.03762073516845703,
+                0.03762278366088867,
+                0.03764326477050781,
+                0.037648384094238284,
+                0.037612545013427735,
+                0.03760947036743164,
+                0.03758182525634766,
+                0.037585918426513674,
+                0.03760639953613281,
+                0.03763321685791016,
+                0.03759523010253906,
+                0.03754393768310547,
+                0.03760844802856445,
+                0.03760025787353516,
+                0.037628929138183595,
+                0.037634048461914066,
+                0.03763916778564453,
+                0.037596160888671876,
+                0.037663745880126956,
+                0.03758694458007812,
+                0.03760639953613281,
+                0.03758489608764649,
+                0.037648384094238284,
+                0.03760537719726562,
+                0.037572608947753904,
+                0.03758694458007812,
+                0.03761971282958984,
+                0.0375838737487793,
+                0.037607425689697264,
+                0.03763302230834961,
+                0.03763916778564453,
+                0.03759001541137695,
+                0.03761663818359375,
+                0.037526527404785154,
+                0.03753779220581055,
+                0.03762688064575195,
+                0.0375551986694336,
+                0.03756249618530273,
+                0.03753062438964844,
+                0.037585918426513674,
+                0.03753587341308594,
+                0.03757270431518555,
+                0.037612545013427735,
+                0.03763814544677734,
+                0.03766582489013672,
+                0.03769139099121094,
+                0.0376258544921875,
+                0.03757056045532227,
+                0.037583168029785154,
+                0.03762176132202148,
+                0.03764019012451172,
+                0.03767091369628906,
+                0.0375838737487793,
+                0.037582847595214845,
+                0.03760639953613281,
+                0.03759718322753906,
+                0.03759843063354492,
+                0.03760844802856445,
+                0.03756851196289063,
+                0.03758489608764649,
+                0.0375654411315918,
+                0.0375623664855957,
+                0.03753062438964844,
+                0.037599231719970705,
+                0.03754608154296875,
+                0.037528575897216795,
+                0.0375623664855957,
+                0.037533695220947266,
+                0.03757056045532227,
+                0.037528575897216795,
+                0.03755417633056641,
+                0.03756768035888672,
+                0.03751731109619141,
+                0.037566463470458986,
+                0.037539840698242184,
+                0.03754291152954101,
+                0.0375173454284668,
+                0.03757056045532227,
+                0.03763711929321289,
+                0.03755110549926758,
                 0.037553150177001955,
+                0.037594112396240234,
+                0.03760844802856445,
+                0.0375838737487793,
+                0.03818928146362305,
+                0.037569534301757815,
+                0.03763814544677734,
+                0.037572608947753904,
+                0.037628929138183595,
+                0.037569534301757815,
+                0.03762688064575195,
+                0.03762995147705078,
+                0.037601280212402347,
+                0.037618686676025394,
+                0.037561344146728515,
+                0.03764326477050781,
+                0.037591041564941405,
+                0.037569534301757815,
+                0.03765760040283203,
+                0.037577728271484374,
+                0.03757567977905273,
+                0.037571582794189456,
+                0.03761459350585938,
+                0.03765350341796875,
+                0.037585918426513674,
+                0.03755110549926758,
+                0.03761151885986328,
+                0.037577728271484374,
+                0.03760639953613281,
+                0.03759513473510742,
+                0.03762176132202148,
+                0.03755212783813477,
+                0.037585918426513674,
+                0.03755724716186523,
+                0.037564414978027344,
+                0.03755417633056641,
+                0.03762176132202148,
+                0.03759513473510742,
+                0.03754393768310547,
+                0.037533695220947266,
+                0.03759820938110352,
+                0.037610496520996094,
+                0.037627967834472656,
+                0.03763916778564453,
+                0.037569534301757815,
+                0.03757875061035156,
+                0.037645313262939455,
+                0.037644287109375,
+                0.037582847595214845,
+                0.03756748962402344,
+                0.03763916778564453,
+                0.03762688064575195,
+                0.03756857681274414,
+                0.037569534301757815,
+                0.03761151885986328,
+                0.037601280212402347,
+                0.03761068725585937,
+                0.03760639953613281,
+                0.037564414978027344,
+                0.03758703994750977,
+                0.03758182525634766,
+                0.03755417633056641,
+                0.0375838737487793,
+                0.0375838737487793,
+                0.03758694458007812,
+                0.037579776763916016,
+                0.03760025787353516,
+                0.03758694458007812,
+                0.03762688064575195,
+                0.0376360969543457,
+                0.03761356735229492,
+                0.03760435104370117,
+                0.03756140899658203,
+                0.03757056045532227,
+                0.03757875061035156,
+                0.03760332870483398,
+                0.03760556793212891,
+                0.0374917106628418,
+                0.037591041564941405,
+                0.037607425689697264,
+                0.037574657440185545,
+                0.03756851196289063,
+                0.0376545295715332,
+                0.03762278366088867,
+                0.03761663818359375,
+                0.037618686676025394,
+                0.03762073516845703,
+                0.03760639953613281,
+                0.03761772918701172,
+                0.03761356735229492,
+                0.037661697387695314,
+                0.037631999969482424,
+                0.037631999969482424,
+                0.03761459350585938,
+                0.03757567977905273,
+                0.037594112396240234,
+                0.037623809814453124,
+                0.03760332870483398,
+                0.0376360969543457,
+                0.03761151885986328,
+                0.037561344146728515,
+                0.03754608154296875,
+                0.03759030532836914,
+                0.037645313262939455,
+                0.03757875061035156,
+                0.03758182525634766,
+                0.03760844802856445,
+                0.03760051345825195,
+                0.037566463470458986,
+                0.037548030853271484,
+                0.03759308624267578,
+                0.0375470085144043,
+                0.037585086822509765,
+                0.0375544319152832,
+                0.037572608947753904,
+                0.037564414978027344,
+                0.037539966583251955,
+                0.0375654411315918,
+                0.03758694458007812,
+                0.03755212783813477,
+                0.03760537719726562,
+                0.03752755355834961,
+                0.03757056045532227,
+                0.03758899307250976,
+                0.03760639953613281,
+                0.03764633560180664,
+                0.037617664337158206,
+                0.037585918426513674,
+                0.03762483215332031,
+                0.03756032180786133,
+                0.03764019012451172,
+                0.03760332870483398,
+                0.037582847595214845,
+                0.037596160888671876,
+                0.03761151885986328,
+                0.037678081512451174,
+                0.03764633560180664,
+                0.03759513473510742,
+                0.037614784240722655,
+                0.037623809814453124,
+                0.03763814544677734,
+                0.03767603302001953,
+                0.03758182525634766,
+                0.0376258544921875,
+                0.037569534301757815,
+                0.037582847595214845,
+                0.03759820938110352,
+                0.037594112396240234,
+                0.03758902359008789,
+                0.037580799102783204,
+                0.037604671478271484,
+                0.0375551986694336,
+                0.037531871795654294,
+                0.037528575897216795,
+                0.03754905700683594,
+                0.03754598236083984,
+                0.037615615844726565,
+                0.03760844802856445,
+                0.03759718322753906,
+                0.03755929565429687,
+                0.037539840698242184,
+                0.03752755355834961
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 6804.7752584889495
         },
         "energy": null,
         "efficiency": null
     "decode": {
         "memory": {
             "unit": "MB",
+            "max_ram": 989.556736,
             "max_vram": 15925.772288,
             "max_reserved": 15441.330176,
             "max_allocated": 15238.453248
         },
         "latency": {
             "unit": "s",
+            "mean": 7.5910338554382335,
+            "stdev": 0.004049926757812461,
             "values": [
+                7.595083782196046,
+                7.5869839286804215
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 33.592262247298166
         },
         "energy": null,
         "efficiency": null
         "memory": null,
         "latency": {
             "unit": "s",
+            "mean": 0.029768760217404835,
+            "stdev": 0.00019159765069811204,
             "values": [
+                0.032502784729003906,
+                0.03154143905639648,
+                0.029765439987182618,
+                0.029676544189453126,
+                0.02976358413696289,
+                0.029694976806640624,
+                0.029755392074584962,
+                0.029717504501342775,
+                0.029741056442260744,
+                0.029652992248535157,
+                0.029718528747558592,
+                0.030074880599975585,
+                0.029899776458740233,
+                0.02972876739501953,
+                0.029748224258422853,
+                0.029748224258422853,
+                0.029749248504638674,
+                0.029792255401611328,
+                0.029706239700317383,
+                0.029699071884155274,
+                0.029734912872314452,
+                0.029718528747558592,
+                0.029739007949829102,
+                0.029764608383178712,
+                0.029732864379882814,
+                0.029709312438964845,
+                0.029699071884155274,
+                0.02975027275085449,
+                0.029701120376586915,
+                0.029686975479125976,
+                0.029761344909667968,
+                0.029691904067993165,
+                0.029755392074584962,
+                0.029702144622802733,
+                0.0297205753326416,
+                0.029689855575561523,
+                0.029698047637939453,
+                0.029681663513183593,
+                0.029642751693725586,
+                0.029697023391723632,
+                0.029730815887451172,
+                0.029648895263671874,
+                0.029701120376586915,
+                0.029685760498046877,
+                0.029681663513183593,
+                0.029686784744262694,
+                0.029612031936645508,
+                0.029743104934692382,
+                0.029697023391723632,
+                0.029732864379882814,
+                0.02971955108642578,
+                0.029775871276855468,
+                0.029800447463989257,
+                0.029718528747558592,
+                0.02976358413696289,
+                0.029718528747558592,
+                0.029699071884155274,
+                0.029799423217773437,
+                0.029755392074584962,
+                0.03042508888244629,
+                0.02977791976928711,
+                0.029578239440917968,
+                0.029739007949829102,
+                0.029722623825073242,
+                0.02973695945739746,
+                0.029690879821777344,
+                0.029815807342529296,
+                0.029816831588745117,
+                0.029791231155395507,
+                0.029710336685180663,
+                0.029711391448974608,
+                0.02966422462463379,
+                0.029732864379882814,
+                0.02973695945739746,
+                0.029838336944580077,
+                0.029698047637939453,
+                0.029731840133666993,
+                0.02980147171020508,
+                0.02978201675415039,
+                0.02973593521118164,
+                0.02972774314880371,
+                0.0297523193359375,
+                0.0297891845703125,
+                0.029791231155395507,
+                0.02958847999572754,
+                0.03075584030151367,
+                0.031098880767822266,
+                0.030057472229003908,
+                0.029747200012207032,
+                0.02977177619934082,
+                0.029703168869018554,
+                0.0297574405670166,
+                0.029672447204589843,
+                0.029715456008911133,
+                0.029700096130371095,
+                0.029685760498046877,
+                0.02969599914550781,
+                0.02973798370361328,
+                0.02973388862609863,
+                0.02972774314880371,
+                0.02976563262939453,
+                0.02972876739501953,
+                0.02970419120788574,
+                0.029756416320800783,
+                0.02976870346069336,
+                0.02974412727355957,
+                0.02976972770690918,
+                0.029826047897338868,
+                0.030409727096557617,
+                0.029859840393066408,
+                0.029859840393066408,
+                0.02975846481323242,
+                0.029714431762695313,
+                0.029684736251831056,
+                0.02976255989074707,
+                0.02974617576599121,
+                0.0298024959564209,
+                0.03002572822570801,
+                0.029726720809936522,
+                0.02978611183166504,
+                0.029716480255126954,
+                0.029831167221069335,
+                0.02975129508972168,
+                0.02972159957885742,
+                0.0298024959564209,
+                0.02977996826171875,
+                0.029732864379882814,
+                0.02976870346069336,
+                0.02993561553955078,
+                0.029749248504638674,
+                0.029698047637939453,
+                0.029666303634643554,
+                0.029662208557128908,
+                0.029662208557128908,
+                0.029641727447509765,
+                0.029717504501342775,
+                0.02974208068847656,
+                0.029617151260375976,
+                0.029504512786865233,
+                0.029493247985839844,
+                0.02952908706665039,
+                0.02957414436340332,
+                0.02971238327026367,
+                0.02974617576599121,
+                0.029749248504638674,
+                0.02974208068847656,
+                0.029747200012207032,
+                0.029718528747558592,
+                0.029901824951171874,
+                0.029676544189453126,
+                0.029732864379882814,
+                0.029690879821777344,
+                0.029699071884155274,
+                0.029734912872314452,
+                0.029730815887451172,
+                0.029831167221069335,
+                0.02970419120788574,
+                0.029672447204589843,
+                0.029807615280151366,
+                0.02974937629699707,
+                0.029780864715576172,
+                0.02972876739501953,
+                0.029711360931396483,
+                0.029734912872314452,
+                0.029692928314208986,
+                0.02981990432739258,
+                0.02978201675415039,
+                0.029730815887451172,
+                0.029739007949829102,
+                0.029730815887451172,
+                0.029718528747558592,
+                0.029807615280151366,
+                0.030074880599975585,
+                0.029797376632690428,
+                0.029859840393066408,
+                0.02973695945739746,
+                0.02977689552307129,
+                0.029707263946533204,
+                0.029728992462158203,
+                0.02977359962463379,
+                0.029734912872314452,
+                0.02974515151977539,
+                0.02974515151977539,
+                0.02975846481323242,
+                0.02978508758544922,
+                0.029834239959716798,
+                0.029734912872314452,
+                0.029749248504638674,
+                0.029722623825073242,
+                0.029748224258422853,
+                0.02975334358215332,
+                0.029814783096313476,
+                0.029839359283447265,
+                0.029814783096313476,
+                0.029770751953125,
+                0.02980352020263672,
+                0.029743104934692382,
+                0.029734912872314452,
+                0.02974515151977539,
+                0.029809663772583008,
+                0.030096384048461915,
+                0.0298272647857666,
+                0.029808544158935548,
+                0.029823904037475587,
+                0.0298024959564209,
+                0.02983628845214844,
+                0.029784063339233398,
+                0.029662208557128908,
+                0.02959872055053711,
+                0.02958438491821289,
+                0.029675519943237305,
+                0.029669376373291017,
+                0.029660160064697266,
+                0.029707263946533204,
+                0.029665279388427734,
+                0.029639680862426757,
+                0.029663232803344725,
+                0.029732864379882814,
+                0.02978508758544922,
+                0.02974412727355957,
+                0.029655040740966795,
                 0.02976051139831543,
+                0.02980659294128418,
+                0.029832191467285156,
+                0.029814783096313476,
+                0.029861888885498046,
+                0.029809663772583008,
+                0.02979327964782715,
+                0.02982707214355469,
+                0.02976153564453125,
+                0.029813760757446288,
+                0.029775871276855468,
+                0.03022643280029297,
+                0.029872127532958984,
+                0.02993459129333496,
+                0.02979840087890625,
+                0.02976972770690918,
+                0.029834239959716798,
+                0.029839359283447265,
+                0.029886463165283202,
+                0.029847551345825195,
+                0.029937664031982423,
+                0.02993356704711914,
+                0.029925376892089843,
+                0.029740032196044923,
+                0.02980454444885254,
+                0.029770751953125,
+                0.029730815887451172,
+                0.029644800186157227,
+                0.02982707214355469,
+                0.029829120635986327,
+                0.029749248504638674,
+                0.029689855575561523,
+                0.02975334358215332,
+                0.0297205753326416,
+                0.02980352020263672,
+                0.029815807342529296,
+                0.029748224258422853,
+                0.02966431999206543,
+                0.02969491195678711,
+                0.029649919509887695,
+                0.029617151260375976,
+                0.029656063079833983,
+                0.029658111572265625,
+                0.029683712005615235,
+                0.02960383987426758,
+                0.029657087326049804,
+                0.029642751693725586,
+                0.029693952560424806,
+                0.029628416061401368,
+                0.029633535385131835,
+                0.02971955108642578,
+                0.029640703201293944,
+                0.029642751693725586,
+                0.029644800186157227,
+                0.029617151260375976,
+                0.029667327880859375,
+                0.02969599914550781,
+                0.02971238327026367,
+                0.029703168869018554,
+                0.029638656616210936,
+                0.029661184310913087,
+                0.029722623825073242,
+                0.029680639266967773,
+                0.029608959197998046,
+                0.029577215194702147,
+                0.029641727447509765,
+                0.029692928314208986,
+                0.029633535385131835,
+                0.029636608123779298,
+                0.02962544059753418,
+                0.02969897651672363,
+                0.029631488800048827,
+                0.029650943756103516,
+                0.029661184310913087,
+                0.029663232803344725,
+                0.029656063079833983,
+                0.02962124824523926,
+                0.030292991638183595,
+                0.029665279388427734,
+                0.0297256965637207,
+                0.029693952560424806,
+                0.029647872924804686,
+                0.0297523193359375,
+                0.02973695945739746,
+                0.029722623825073242,
+                0.029667327880859375,
+                0.02970419120788574,
+                0.029681663513183593,
+                0.029718528747558592,
+                0.02968780708312988,
+                0.029682687759399414,
+                0.029673471450805664,
+                0.029709312438964845,
+                0.02971955108642578,
+                0.02963046455383301,
+                0.029692928314208986,
+                0.02960383987426758,
+                0.029700096130371095,
+                0.029660160064697266,
+                0.029698047637939453,
+                0.029714431762695313,
+                0.029707263946533204,
+                0.029669376373291017,
+                0.029692928314208986,
+                0.02972979164123535,
+                0.02963763236999512,
+                0.029652992248535157,
+                0.029692928314208986,
+                0.029663232803344725,
+                0.02968780708312988,
+                0.029690879821777344,
+                0.029661184310913087,
+                0.029665279388427734,
+                0.029705215454101562,
+                0.029722623825073242,
+                0.029705215454101562,
+                0.02974617576599121,
+                0.029730815887451172,
+                0.029723648071289063,
+                0.02980454444885254,
+                0.029892608642578124,
+                0.029899776458740233,
+                0.029755392074584962,
+                0.030300159454345704,
+                0.02978816032409668,
+                0.02977689552307129,
+                0.029872127532958984,
+                0.029821952819824218,
+                0.029915136337280275,
+                0.029772800445556642,
+                0.029646848678588866,
+                0.02975027275085449,
+                0.02974208068847656,
+                0.02979840087890625,
+                0.02976563262939453,
+                0.02980147171020508,
+                0.02976153564453125,
+                0.029792255401611328,
+                0.029820928573608397,
+                0.02973695945739746,
+                0.029716480255126954,
+                0.02972979164123535,
+                0.029904895782470704,
+                0.02977382469177246,
+                0.02975129508972168,
+                0.02976153564453125,
+                0.029710336685180663,
+                0.02972774314880371,
+                0.029669376373291017,
+                0.02975846481323242,
+                0.029658111572265625,
+                0.0297205753326416,
+                0.029731840133666993,
+                0.029701120376586915,
+                0.029851648330688478,
+                0.02981990432739258,
+                0.02976255989074707,
+                0.029698047637939453,
+                0.029648895263671874,
+                0.029730815887451172,
+                0.029664255142211913,
+                0.029713407516479492,
+                0.03003392028808594,
+                0.029747200012207032,
+                0.0297574405670166,
+                0.0297256965637207,
+                0.029703168869018554,
+                0.02976563262939453,
+                0.029716480255126954,
+                0.02973798370361328,
+                0.029690879821777344,
+                0.029809663772583008,
+                0.02972979164123535,
+                0.029823999404907226,
+                0.02978713607788086,
+                0.029726720809936522,
+                0.02978713607788086,
+                0.029718528747558592,
+                0.029783039093017577,
+                0.02974208068847656,
+                0.02976665687561035,
+                0.029708288192749024,
+                0.030045183181762695,
+                0.029812736511230467,
+                0.02982707214355469,
+                0.02978201675415039,
+                0.02976563262939453,
+                0.029905920028686524,
+                0.029702144622802733,
+                0.02971238327026367,
+                0.029707263946533204,
+                0.02976051139831543,
+                0.029711360931396483,
+                0.029717504501342775,
+                0.029740032196044923,
+                0.029749248504638674,
+                0.029678592681884764,
+                0.029734912872314452,
+                0.02975948715209961,
+                0.0297523193359375,
+                0.029700096130371095,
+                0.02975027275085449,
+                0.029713407516479492,
+                0.02975436782836914,
+                0.029767679214477538,
+                0.029831167221069335,
+                0.030059520721435546,
+                0.029851648330688478,
+                0.029855743408203125,
+                0.029869056701660155,
+                0.029747200012207032,
+                0.029841407775878907,
+                0.029732864379882814,
+                0.029764608383178712,
+                0.02975948715209961,
+                0.029625343322753905,
+                0.02958745574951172,
+                0.02971238327026367,
+                0.029854719161987304,
+                0.02975846481323242,
+                0.02979532814025879,
+                0.02980147171020508,
+                0.02976563262939453,
+                0.02976051139831543,
+                0.029813760757446288,
+                0.02974515151977539,
+                0.029673471450805664,
+                0.029631488800048827,
+                0.029764608383178712,
+                0.029748224258422853,
+                0.029767679214477538,
+                0.02979840087890625,
+                0.029651968002319336,
+                0.029698047637939453,
+                0.030058496475219725,
+                0.02976563262939453,
+                0.029851648330688478,
+                0.029879295349121093,
+                0.02976051139831543,
+                0.02976665687561035,
+                0.029838336944580077,
+                0.029749248504638674,
+                0.02978508758544922,
+                0.02976665687561035,
+                0.029740032196044923,
+                0.029813760757446288,
+                0.02978508758544922,
+                0.02976051139831543,
+                0.02979532814025879,
+                0.02977484893798828,
+                0.02979532814025879,
+                0.02976358413696289,
+                0.02973695945739746,
+                0.02978713607788086,
+                0.02979532814025879,
+                0.029784063339233398,
+                0.02976051139831543,
+                0.03014041519165039,
+                0.029891584396362306,
+                0.029852672576904295,
+                0.029917184829711913,
+                0.02980352020263672,
+                0.029784063339233398,
+                0.02978099250793457,
+                0.029799423217773437,
+                0.029834239959716798,
+                0.029799423217773437,
+                0.02977791976928711,
+                0.029887487411499023,
+                0.02998476791381836,
+                0.029871103286743163,
+                0.029770751953125,
+                0.029914112091064454,
+                0.029846527099609374,
+                0.02996019172668457,
+                0.02993561553955078,
+                0.02978611183166504,
+                0.029823999404907226,
+                0.02980352020263672,
+                0.02979327964782715,
+                0.029816831588745117,
+                0.02976153564453125,
+                0.02982809638977051,
+                0.029722623825073242,
+                0.029850624084472657,
+                0.02979327964782715,
+                0.02978713607788086,
+                0.029799423217773437,
+                0.02978713607788086
             ]
         },
         "throughput": {
             "unit": "tokens/s",
+            "value": 33.592262247298166
         },
         "energy": null,
         "efficiency": null