diff --git "a/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json" "b/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json"
--- "a/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json"
+++ "b/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json"
@@ -1 +1 @@
-{"train/loss": 5.0912, "train/learning_rate": 0.00022897196261682242, "train/epoch": 0.84, "train/global_step": 1500, "_runtime": 7724, "_timestamp": 1646276044, "_step": 1502, "gradients/decoder.transformer.ln_f.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 101.0, 915.0], "bins": [-17.208539962768555, -16.936351776123047, -16.664165496826172, -16.391977310180664, -16.11979103088379, -15.847602844238281, -15.57541561126709, -15.303228378295898, -15.031041145324707, -14.758853912353516, -14.486666679382324, -14.214479446411133, -13.942291259765625, -13.670104026794434, -13.397916793823242, -13.12572956085205, -12.85354232788086, -12.581355094909668, -12.309167861938477, -12.036979675292969, -11.764792442321777, -11.492605209350586, -11.220417976379395, -10.948230743408203, -10.676042556762695, -10.403855323791504, -10.131668090820312, -9.859479904174805, -9.587292671203613, -9.315105438232422, -9.04291820526123, -8.770730972290039, -8.498543739318848, -8.226356506347656, -7.954168796539307, -7.681981563568115, -7.409794330596924, -7.137606620788574, -6.865419387817383, -6.593232154846191, -6.321044445037842, -6.04885721206665, -5.776669502258301, -5.504482269287109, -5.232295036315918, -4.960107803344727, -4.687920093536377, -4.4157328605651855, -4.143545150756836, -3.8713576793670654, -3.599170446395874, -3.3269829750061035, -3.054795742034912, -2.7826082706451416, -2.510420799255371, -2.2382335662841797, -1.9660460948944092, -1.6938587427139282, -1.4216713905334473, -1.1494839191436768, -0.8772965669631958, -0.6051092147827148, -0.33292174339294434, -0.06073439121246338, 0.211452916264534]}, "gradients/decoder.transformer.ln_f.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 4.0, 0.0, 7.0, 9.0, 7.0, 7.0, 19.0, 20.0, 17.0, 15.0, 20.0, 30.0, 21.0, 31.0, 30.0, 43.0, 47.0, 42.0, 45.0, 58.0, 57.0, 53.0, 50.0, 41.0, 40.0, 43.0, 46.0, 27.0, 36.0, 31.0, 20.0, 26.0, 13.0, 12.0, 11.0, 5.0, 4.0, 4.0, 5.0, 3.0, 6.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-1.6517627239227295, -1.6054511070251465, -1.559139370918274, -1.512827754020691, -1.4665160179138184, -1.4202044010162354, -1.3738927841186523, -1.3275810480117798, -1.2812694311141968, -1.2349578142166138, -1.1886460781097412, -1.1423344612121582, -1.0960227251052856, -1.0497111082077026, -1.00339937210083, -0.9570877552032471, -0.9107760787010193, -0.8644644021987915, -0.8181527256965637, -0.7718410491943359, -0.7255294322967529, -0.6792177557945251, -0.6329060792922974, -0.5865944623947144, -0.5402827262878418, -0.493971049785614, -0.4476594030857086, -0.40134772658348083, -0.35503607988357544, -0.30872440338134766, -0.2624127268791199, -0.21610108017921448, -0.16978943347930908, -0.12347777187824249, -0.0771661028265953, -0.03085443377494812, 0.01545722782611847, 0.06176888942718506, 0.10808056592941284, 0.15439221262931824, 0.20070388913154602, 0.2470155507326126, 0.2933272123336792, 0.339638888835907, 0.38595056533813477, 0.43226221203804016, 0.47857388854026794, 0.5248855352401733, 0.5711972117424011, 0.6175088882446289, 0.6638205647468567, 0.7101322412490845, 0.7564438581466675, 0.8027555346488953, 0.849067211151123, 0.895378828048706, 0.9416905641555786, 0.9880022406578064, 1.0343139171600342, 1.0806255340576172, 1.1269372701644897, 1.1732488870620728, 1.2195606231689453, 1.2658722400665283, 1.3121838569641113]}, "gradients/decoder.transformer.h.23.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 3.0, 10.0, 14.0, 24.0, 24.0, 28.0, 33.0, 42.0, 41.0, 61.0, 60.0, 78.0, 70.0, 78.0, 69.0, 60.0, 61.0, 69.0, 49.0, 40.0, 31.0, 21.0, 12.0, 10.0, 6.0, 2.0, 3.0, 6.0, 2.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0232696533203125, -0.02272820472717285, -0.022186756134033203, -0.021645307540893555, -0.021103858947753906, -0.020562410354614258, -0.02002096176147461, -0.01947951316833496, -0.018938064575195312, -0.018396615982055664, -0.017855167388916016, -0.017313718795776367, -0.01677227020263672, -0.01623082160949707, -0.015689373016357422, -0.015147924423217773, -0.014606475830078125, -0.014065027236938477, -0.013523578643798828, -0.01298213005065918, -0.012440681457519531, -0.011899232864379883, -0.011357784271240234, -0.010816335678100586, -0.010274887084960938, -0.009733438491821289, -0.00919198989868164, -0.008650541305541992, -0.008109092712402344, -0.007567644119262695, -0.007026195526123047, -0.0064847469329833984, -0.00594329833984375, -0.0054018497467041016, -0.004860401153564453, -0.004318952560424805, -0.0037775039672851562, -0.003236055374145508, -0.0026946067810058594, -0.002153158187866211, -0.0016117095947265625, -0.001070261001586914, -0.0005288124084472656, 1.2636184692382812e-05, 0.0005540847778320312, 0.0010955333709716797, 0.0016369819641113281, 0.0021784305572509766, 0.002719879150390625, 0.0032613277435302734, 0.003802776336669922, 0.00434422492980957, 0.004885673522949219, 0.005427122116088867, 0.005968570709228516, 0.006510019302368164, 0.0070514678955078125, 0.007592916488647461, 0.00813436508178711, 0.008675813674926758, 0.009217262268066406, 0.009758710861206055, 0.010300159454345703, 0.010841608047485352, 0.011383056640625]}, "gradients/decoder.transformer.h.23.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 3.0, 1.0, 1.0, 7.0, 6.0, 8.0, 5.0, 13.0, 18.0, 20.0, 45.0, 92.0, 116.0, 170.0, 312.0, 510.0, 938.0, 1770.0, 3947.0, 11546.0, 417065.0, 3731534.0, 16827.0, 4901.0, 2123.0, 997.0, 558.0, 294.0, 172.0, 119.0, 53.0, 42.0, 28.0, 13.0, 12.0, 11.0, 6.0, 3.0, 2.0, 0.0, 0.0, 2.0, 2.0], "bins": [-0.263916015625, -0.2576484680175781, -0.25138092041015625, -0.24511337280273438, -0.2388458251953125, -0.23257827758789062, -0.22631072998046875, -0.22004318237304688, -0.213775634765625, -0.20750808715820312, -0.20124053955078125, -0.19497299194335938, -0.1887054443359375, -0.18243789672851562, -0.17617034912109375, -0.16990280151367188, -0.16363525390625, -0.15736770629882812, -0.15110015869140625, -0.14483261108398438, -0.1385650634765625, -0.13229751586914062, -0.12602996826171875, -0.11976242065429688, -0.113494873046875, -0.10722732543945312, -0.10095977783203125, -0.09469223022460938, -0.0884246826171875, -0.08215713500976562, -0.07588958740234375, -0.06962203979492188, -0.0633544921875, -0.057086944580078125, -0.05081939697265625, -0.044551849365234375, -0.0382843017578125, -0.032016754150390625, -0.02574920654296875, -0.019481658935546875, -0.013214111328125, -0.006946563720703125, -0.00067901611328125, 0.005588531494140625, 0.0118560791015625, 0.018123626708984375, 0.02439117431640625, 0.030658721923828125, 0.03692626953125, 0.043193817138671875, 0.04946136474609375, 0.055728912353515625, 0.0619964599609375, 0.06826400756835938, 0.07453155517578125, 0.08079910278320312, 0.087066650390625, 0.09333419799804688, 0.09960174560546875, 0.10586929321289062, 0.1121368408203125, 0.11840438842773438, 0.12467193603515625, 0.13093948364257812, 0.13720703125]}, "gradients/decoder.transformer.h.23.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 11.0, 10.0, 25.0, 64.0, 104.0, 214.0, 471.0, 1575.0, 956.0, 301.0, 157.0, 93.0, 54.0, 27.0, 13.0, 5.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11456298828125, -0.1110696792602539, -0.10757637023925781, -0.10408306121826172, -0.10058975219726562, -0.09709644317626953, -0.09360313415527344, -0.09010982513427734, -0.08661651611328125, -0.08312320709228516, -0.07962989807128906, -0.07613658905029297, -0.07264328002929688, -0.06914997100830078, -0.06565666198730469, -0.062163352966308594, -0.0586700439453125, -0.055176734924316406, -0.05168342590332031, -0.04819011688232422, -0.044696807861328125, -0.04120349884033203, -0.03771018981933594, -0.034216880798339844, -0.03072357177734375, -0.027230262756347656, -0.023736953735351562, -0.02024364471435547, -0.016750335693359375, -0.013257026672363281, -0.009763717651367188, -0.006270408630371094, -0.002777099609375, 0.0007162094116210938, 0.0042095184326171875, 0.007702827453613281, 0.011196136474609375, 0.014689445495605469, 0.018182754516601562, 0.021676063537597656, 0.02516937255859375, 0.028662681579589844, 0.03215599060058594, 0.03564929962158203, 0.039142608642578125, 0.04263591766357422, 0.04612922668457031, 0.049622535705566406, 0.0531158447265625, 0.056609153747558594, 0.06010246276855469, 0.06359577178955078, 0.06708908081054688, 0.07058238983154297, 0.07407569885253906, 0.07756900787353516, 0.08106231689453125, 0.08455562591552734, 0.08804893493652344, 0.09154224395751953, 0.09503555297851562, 0.09852886199951172, 0.10202217102050781, 0.1055154800415039, 0.1090087890625]}, "gradients/decoder.transformer.h.23.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 3.0, 4.0, 7.0, 21.0, 42.0, 90.0, 215.0, 680.0, 4727.0, 4178763.0, 8336.0, 946.0, 262.0, 109.0, 48.0, 15.0, 11.0, 2.0, 0.0, 3.0, 4.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.425048828125, -0.4123878479003906, -0.39972686767578125, -0.3870658874511719, -0.3744049072265625, -0.3617439270019531, -0.34908294677734375, -0.3364219665527344, -0.323760986328125, -0.3111000061035156, -0.29843902587890625, -0.2857780456542969, -0.2731170654296875, -0.2604560852050781, -0.24779510498046875, -0.23513412475585938, -0.22247314453125, -0.20981216430664062, -0.19715118408203125, -0.18449020385742188, -0.1718292236328125, -0.15916824340820312, -0.14650726318359375, -0.13384628295898438, -0.121185302734375, -0.10852432250976562, -0.09586334228515625, -0.08320236206054688, -0.0705413818359375, -0.057880401611328125, -0.04521942138671875, -0.032558441162109375, -0.0198974609375, -0.007236480712890625, 0.00542449951171875, 0.018085479736328125, 0.0307464599609375, 0.043407440185546875, 0.05606842041015625, 0.06872940063476562, 0.081390380859375, 0.09405136108398438, 0.10671234130859375, 0.11937332153320312, 0.1320343017578125, 0.14469528198242188, 0.15735626220703125, 0.17001724243164062, 0.18267822265625, 0.19533920288085938, 0.20800018310546875, 0.22066116333007812, 0.2333221435546875, 0.24598312377929688, 0.25864410400390625, 0.2713050842285156, 0.283966064453125, 0.2966270446777344, 0.30928802490234375, 0.3219490051269531, 0.3346099853515625, 0.3472709655761719, 0.35993194580078125, 0.3725929260253906, 0.38525390625]}, "gradients/decoder.transformer.h.23.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 8.0, 672.0, 320.0, 13.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.748523473739624, -0.7142030000686646, -0.6798825263977051, -0.6455620527267456, -0.6112415790557861, -0.5769211053848267, -0.5426006317138672, -0.5082801580429077, -0.47395968437194824, -0.43963921070098877, -0.4053187370300293, -0.3709982633590698, -0.33667778968811035, -0.3023573160171509, -0.2680368423461914, -0.23371636867523193, -0.19939589500427246, -0.165075421333313, -0.13075494766235352, -0.09643447399139404, -0.06211400032043457, -0.027793526649475098, 0.006526947021484375, 0.04084742069244385, 0.07516789436340332, 0.10948836803436279, 0.14380884170532227, 0.17812931537628174, 0.2124497890472412, 0.24677026271820068, 0.28109073638916016, 0.31541121006011963, 0.3497316837310791, 0.3840521574020386, 0.41837263107299805, 0.4526931047439575, 0.487013578414917, 0.5213340520858765, 0.5556545257568359, 0.5899749994277954, 0.6242954730987549, 0.6586159467697144, 0.6929364204406738, 0.7272568941116333, 0.7615773677825928, 0.7958978414535522, 0.8302183151245117, 0.8645387887954712, 0.8988592624664307, 0.9331797361373901, 0.9675002098083496, 1.001820683479309, 1.0361411571502686, 1.070461630821228, 1.1047821044921875, 1.139102578163147, 1.1734230518341064, 1.207743525505066, 1.2420639991760254, 1.2763844728469849, 1.3107049465179443, 1.3450254201889038, 1.3793458938598633, 1.4136663675308228, 1.4479868412017822]}, "gradients/decoder.transformer.h.23.ln_2.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 2.0, 3.0, 8.0, 2.0, 3.0, 4.0, 7.0, 3.0, 6.0, 14.0, 16.0, 12.0, 20.0, 20.0, 21.0, 24.0, 30.0, 38.0, 42.0, 49.0, 33.0, 40.0, 44.0, 50.0, 41.0, 41.0, 39.0, 42.0, 40.0, 29.0, 26.0, 32.0, 40.0, 30.0, 24.0, 24.0, 23.0, 17.0, 13.0, 13.0, 11.0, 8.0, 6.0, 4.0, 5.0, 4.0, 6.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19367218017578125, -0.1874643862247467, -0.18125660717487335, -0.175048828125, -0.16884103417396545, -0.1626332402229309, -0.15642546117305756, -0.1502176821231842, -0.14400988817214966, -0.1378020942211151, -0.13159431517124176, -0.1253865361213684, -0.11917874217033386, -0.11297095566987991, -0.10676316916942596, -0.10055538266897202, -0.09434759616851807, -0.08813980966806412, -0.08193202316761017, -0.07572423666715622, -0.06951645016670227, -0.06330866366624832, -0.05710087716579437, -0.050893090665340424, -0.044685304164886475, -0.038477517664432526, -0.03226973116397858, -0.026061944663524628, -0.01985415816307068, -0.01364637166261673, -0.007438585162162781, -0.0012307986617088318, 0.004976987838745117, 0.011184774339199066, 0.017392560839653015, 0.023600347340106964, 0.029808133840560913, 0.03601592034101486, 0.04222370684146881, 0.04843149334192276, 0.05463927984237671, 0.06084706634283066, 0.0670548528432846, 0.07326263934373856, 0.0794704258441925, 0.08567821234464645, 0.0918859988451004, 0.09809378534555435, 0.1043015718460083, 0.11050935834646225, 0.1167171448469162, 0.12292493134737015, 0.1291327178478241, 0.13534051179885864, 0.141548290848732, 0.14775606989860535, 0.1539638638496399, 0.16017165780067444, 0.1663794368505478, 0.17258721590042114, 0.1787950098514557, 0.18500280380249023, 0.1912105828523636, 0.19741836190223694, 0.20362615585327148]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 3.0, 8.0, 14.0, 25.0, 18.0, 30.0, 32.0, 39.0, 45.0, 46.0, 66.0, 74.0, 67.0, 68.0, 81.0, 70.0, 55.0, 65.0, 51.0, 49.0, 32.0, 24.0, 14.0, 10.0, 6.0, 4.0, 3.0, 4.0, 3.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0228424072265625, -0.022301435470581055, -0.02176046371459961, -0.021219491958618164, -0.02067852020263672, -0.020137548446655273, -0.019596576690673828, -0.019055604934692383, -0.018514633178710938, -0.017973661422729492, -0.017432689666748047, -0.0168917179107666, -0.016350746154785156, -0.01580977439880371, -0.015268802642822266, -0.01472783088684082, -0.014186859130859375, -0.01364588737487793, -0.013104915618896484, -0.012563943862915039, -0.012022972106933594, -0.011482000350952148, -0.010941028594970703, -0.010400056838989258, -0.009859085083007812, -0.009318113327026367, -0.008777141571044922, -0.008236169815063477, -0.007695198059082031, -0.007154226303100586, -0.006613254547119141, -0.006072282791137695, -0.00553131103515625, -0.004990339279174805, -0.004449367523193359, -0.003908395767211914, -0.0033674240112304688, -0.0028264522552490234, -0.002285480499267578, -0.0017445087432861328, -0.0012035369873046875, -0.0006625652313232422, -0.00012159347534179688, 0.00041937828063964844, 0.0009603500366210938, 0.001501321792602539, 0.0020422935485839844, 0.0025832653045654297, 0.003124237060546875, 0.0036652088165283203, 0.004206180572509766, 0.004747152328491211, 0.005288124084472656, 0.0058290958404541016, 0.006370067596435547, 0.006911039352416992, 0.0074520111083984375, 0.007992982864379883, 0.008533954620361328, 0.009074926376342773, 0.009615898132324219, 0.010156869888305664, 0.01069784164428711, 0.011238813400268555, 0.01177978515625]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 6.0, 6.0, 6.0, 6.0, 13.0, 15.0, 22.0, 25.0, 40.0, 67.0, 108.0, 208.0, 362.0, 713.0, 1475.0, 3507.0, 8803.0, 24052.0, 70274.0, 274880.0, 509630.0, 101181.0, 32460.0, 12119.0, 4624.0, 2056.0, 890.0, 442.0, 213.0, 114.0, 71.0, 44.0, 31.0, 34.0, 11.0, 11.0, 15.0, 6.0, 8.0, 4.0, 4.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00020456314086914062, -0.00019874423742294312, -0.0001929253339767456, -0.0001871064305305481, -0.00018128752708435059, -0.00017546862363815308, -0.00016964972019195557, -0.00016383081674575806, -0.00015801191329956055, -0.00015219300985336304, -0.00014637410640716553, -0.00014055520296096802, -0.0001347362995147705, -0.000128917396068573, -0.0001230984926223755, -0.00011727958917617798, -0.00011146068572998047, -0.00010564178228378296, -9.982287883758545e-05, -9.400397539138794e-05, -8.818507194519043e-05, -8.236616849899292e-05, -7.654726505279541e-05, -7.07283616065979e-05, -6.490945816040039e-05, -5.909055471420288e-05, -5.327165126800537e-05, -4.745274782180786e-05, -4.163384437561035e-05, -3.581494092941284e-05, -2.9996037483215332e-05, -2.4177134037017822e-05, -1.8358230590820312e-05, -1.2539327144622803e-05, -6.720423698425293e-06, -9.015202522277832e-07, 4.9173831939697266e-06, 1.0736286640167236e-05, 1.6555190086364746e-05, 2.2374093532562256e-05, 2.8192996978759766e-05, 3.4011900424957275e-05, 3.9830803871154785e-05, 4.5649707317352295e-05, 5.1468610763549805e-05, 5.7287514209747314e-05, 6.310641765594482e-05, 6.892532110214233e-05, 7.474422454833984e-05, 8.056312799453735e-05, 8.638203144073486e-05, 9.220093488693237e-05, 9.801983833312988e-05, 0.00010383874177932739, 0.0001096576452255249, 0.00011547654867172241, 0.00012129545211791992, 0.00012711435556411743, 0.00013293325901031494, 0.00013875216245651245, 0.00014457106590270996, 0.00015038996934890747, 0.00015620887279510498, 0.0001620277762413025, 0.0001678466796875]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 1.0, 2.0, 2.0, 5.0, 0.0, 5.0, 2.0, 5.0, 5.0, 7.0, 16.0, 11.0, 19.0, 13.0, 13.0, 19.0, 21.0, 22.0, 26.0, 29.0, 41.0, 24.0, 32.0, 39.0, 44.0, 43.0, 45.0, 1058.0, 43.0, 32.0, 39.0, 49.0, 34.0, 39.0, 31.0, 24.0, 23.0, 17.0, 32.0, 24.0, 17.0, 16.0, 17.0, 12.0, 7.0, 9.0, 3.0, 5.0, 6.0, 3.0, 8.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0083770751953125, -0.008102655410766602, -0.007828235626220703, -0.007553815841674805, -0.007279396057128906, -0.007004976272583008, -0.006730556488037109, -0.006456136703491211, -0.0061817169189453125, -0.005907297134399414, -0.005632877349853516, -0.005358457565307617, -0.005084037780761719, -0.00480961799621582, -0.004535198211669922, -0.0042607784271240234, -0.003986358642578125, -0.0037119388580322266, -0.003437519073486328, -0.0031630992889404297, -0.0028886795043945312, -0.002614259719848633, -0.0023398399353027344, -0.002065420150756836, -0.0017910003662109375, -0.001516580581665039, -0.0012421607971191406, -0.0009677410125732422, -0.0006933212280273438, -0.0004189014434814453, -0.00014448165893554688, 0.00012993812561035156, 0.00040435791015625, 0.0006787776947021484, 0.0009531974792480469, 0.0012276172637939453, 0.0015020370483398438, 0.0017764568328857422, 0.0020508766174316406, 0.002325296401977539, 0.0025997161865234375, 0.002874135971069336, 0.0031485557556152344, 0.003422975540161133, 0.0036973953247070312, 0.00397181510925293, 0.004246234893798828, 0.0045206546783447266, 0.004795074462890625, 0.0050694942474365234, 0.005343914031982422, 0.00561833381652832, 0.005892753601074219, 0.006167173385620117, 0.006441593170166016, 0.006716012954711914, 0.0069904327392578125, 0.007264852523803711, 0.007539272308349609, 0.007813692092895508, 0.008088111877441406, 0.008362531661987305, 0.008636951446533203, 0.008911371231079102, 0.009185791015625]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 6.0, 1.0, 4.0, 9.0, 4.0, 7.0, 9.0, 16.0, 10.0, 17.0, 24.0, 15.0, 18.0, 35.0, 23.0, 31.0, 71.0, 100.0, 163.0, 388.0, 756.0, 1785.0, 6429.0, 2061837.0, 19655.0, 3313.0, 1314.0, 413.0, 226.0, 137.0, 69.0, 40.0, 37.0, 20.0, 23.0, 21.0, 18.0, 8.0, 13.0, 16.0, 14.0, 6.0, 9.0, 4.0, 9.0, 3.0, 1.0, 1.0, 3.0, 4.0, 2.0, 1.0, 1.0, 2.0, 2.0], "bins": [-8.404254913330078e-06, -8.147209882736206e-06, -7.890164852142334e-06, -7.633119821548462e-06, -7.37607479095459e-06, -7.119029760360718e-06, -6.861984729766846e-06, -6.604939699172974e-06, -6.3478946685791016e-06, -6.0908496379852295e-06, -5.833804607391357e-06, -5.576759576797485e-06, -5.319714546203613e-06, -5.062669515609741e-06, -4.805624485015869e-06, -4.548579454421997e-06, -4.291534423828125e-06, -4.034489393234253e-06, -3.777444362640381e-06, -3.520399332046509e-06, -3.2633543014526367e-06, -3.0063092708587646e-06, -2.7492642402648926e-06, -2.4922192096710205e-06, -2.2351741790771484e-06, -1.9781291484832764e-06, -1.7210841178894043e-06, -1.4640390872955322e-06, -1.2069940567016602e-06, -9.499490261077881e-07, -6.92903995513916e-07, -4.3585896492004395e-07, -1.7881393432617188e-07, 7.82310962677002e-08, 3.3527612686157227e-07, 5.923211574554443e-07, 8.493661880493164e-07, 1.1064112186431885e-06, 1.3634562492370605e-06, 1.6205012798309326e-06, 1.8775463104248047e-06, 2.1345913410186768e-06, 2.391636371612549e-06, 2.648681402206421e-06, 2.905726432800293e-06, 3.162771463394165e-06, 3.419816493988037e-06, 3.676861524581909e-06, 3.933906555175781e-06, 4.190951585769653e-06, 4.447996616363525e-06, 4.7050416469573975e-06, 4.9620866775512695e-06, 5.219131708145142e-06, 5.476176738739014e-06, 5.733221769332886e-06, 5.990266799926758e-06, 6.24731183052063e-06, 6.504356861114502e-06, 6.761401891708374e-06, 7.018446922302246e-06, 7.275491952896118e-06, 7.53253698348999e-06, 7.789582014083862e-06, 8.046627044677734e-06]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 3.0, 8.0, 14.0, 25.0, 18.0, 30.0, 32.0, 39.0, 45.0, 46.0, 66.0, 74.0, 67.0, 68.0, 81.0, 70.0, 55.0, 65.0, 51.0, 49.0, 32.0, 24.0, 14.0, 10.0, 6.0, 4.0, 3.0, 4.0, 3.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0228424072265625, -0.022301435470581055, -0.02176046371459961, -0.021219491958618164, -0.02067852020263672, -0.020137548446655273, -0.019596576690673828, -0.019055604934692383, -0.018514633178710938, -0.017973661422729492, -0.017432689666748047, -0.0168917179107666, -0.016350746154785156, -0.01580977439880371, -0.015268802642822266, -0.01472783088684082, -0.014186859130859375, -0.01364588737487793, -0.013104915618896484, -0.012563943862915039, -0.012022972106933594, -0.011482000350952148, -0.010941028594970703, -0.010400056838989258, -0.009859085083007812, -0.009318113327026367, -0.008777141571044922, -0.008236169815063477, -0.007695198059082031, -0.007154226303100586, -0.006613254547119141, -0.006072282791137695, -0.00553131103515625, -0.004990339279174805, -0.004449367523193359, -0.003908395767211914, -0.0033674240112304688, -0.0028264522552490234, -0.002285480499267578, -0.0017445087432861328, -0.0012035369873046875, -0.0006625652313232422, -0.00012159347534179688, 0.00041937828063964844, 0.0009603500366210938, 0.001501321792602539, 0.0020422935485839844, 0.0025832653045654297, 0.003124237060546875, 0.0036652088165283203, 0.004206180572509766, 0.004747152328491211, 0.005288124084472656, 0.0058290958404541016, 0.006370067596435547, 0.006911039352416992, 0.0074520111083984375, 0.007992982864379883, 0.008533954620361328, 0.009074926376342773, 0.009615898132324219, 0.010156869888305664, 0.01069784164428711, 0.011238813400268555, 0.01177978515625]}, "gradients/decoder.transformer.h.23.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 4.0, 5.0, 4.0, 14.0, 16.0, 19.0, 28.0, 66.0, 86.0, 153.0, 251.0, 491.0, 822.0, 1391.0, 2400.0, 4399.0, 10833.0, 108354.0, 879712.0, 25334.0, 6553.0, 3196.0, 1809.0, 1133.0, 631.0, 328.0, 201.0, 125.0, 72.0, 56.0, 22.0, 14.0, 14.0, 4.0, 3.0, 4.0, 3.0, 0.0, 2.0, 0.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2125244140625, -0.2050037384033203, -0.19748306274414062, -0.18996238708496094, -0.18244171142578125, -0.17492103576660156, -0.16740036010742188, -0.1598796844482422, -0.1523590087890625, -0.1448383331298828, -0.13731765747070312, -0.12979698181152344, -0.12227630615234375, -0.11475563049316406, -0.10723495483398438, -0.09971427917480469, -0.092193603515625, -0.08467292785644531, -0.07715225219726562, -0.06963157653808594, -0.06211090087890625, -0.05459022521972656, -0.047069549560546875, -0.03954887390136719, -0.0320281982421875, -0.024507522583007812, -0.016986846923828125, -0.009466171264648438, -0.00194549560546875, 0.0055751800537109375, 0.013095855712890625, 0.020616531372070312, 0.02813720703125, 0.03565788269042969, 0.043178558349609375, 0.05069923400878906, 0.05821990966796875, 0.06574058532714844, 0.07326126098632812, 0.08078193664550781, 0.0883026123046875, 0.09582328796386719, 0.10334396362304688, 0.11086463928222656, 0.11838531494140625, 0.12590599060058594, 0.13342666625976562, 0.1409473419189453, 0.148468017578125, 0.1559886932373047, 0.16350936889648438, 0.17103004455566406, 0.17855072021484375, 0.18607139587402344, 0.19359207153320312, 0.2011127471923828, 0.2086334228515625, 0.2161540985107422, 0.22367477416992188, 0.23119544982910156, 0.23871612548828125, 0.24623680114746094, 0.2537574768066406, 0.2612781524658203, 0.268798828125]}, "gradients/decoder.transformer.h.23.attn.c_attn.bias": {"_type": "histogram", "values": [5.0, 4.0, 1.0, 2.0, 2.0, 2.0, 4.0, 4.0, 5.0, 9.0, 6.0, 3.0, 11.0, 9.0, 13.0, 14.0, 17.0, 15.0, 11.0, 25.0, 30.0, 22.0, 45.0, 36.0, 39.0, 49.0, 70.0, 81.0, 92.0, 200.0, 1542.0, 157.0, 89.0, 76.0, 58.0, 38.0, 37.0, 26.0, 30.0, 29.0, 26.0, 10.0, 19.0, 12.0, 17.0, 18.0, 12.0, 14.0, 2.0, 5.0, 3.0, 6.0, 3.0, 2.0, 2.0, 0.0, 4.0, 4.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.030242919921875, -0.029246807098388672, -0.028250694274902344, -0.027254581451416016, -0.026258468627929688, -0.02526235580444336, -0.02426624298095703, -0.023270130157470703, -0.022274017333984375, -0.021277904510498047, -0.02028179168701172, -0.01928567886352539, -0.018289566040039062, -0.017293453216552734, -0.016297340393066406, -0.015301227569580078, -0.01430511474609375, -0.013309001922607422, -0.012312889099121094, -0.011316776275634766, -0.010320663452148438, -0.00932455062866211, -0.008328437805175781, -0.007332324981689453, -0.006336212158203125, -0.005340099334716797, -0.004343986511230469, -0.0033478736877441406, -0.0023517608642578125, -0.0013556480407714844, -0.00035953521728515625, 0.0006365776062011719, 0.0016326904296875, 0.002628803253173828, 0.0036249160766601562, 0.004621028900146484, 0.0056171417236328125, 0.006613254547119141, 0.007609367370605469, 0.008605480194091797, 0.009601593017578125, 0.010597705841064453, 0.011593818664550781, 0.01258993148803711, 0.013586044311523438, 0.014582157135009766, 0.015578269958496094, 0.016574382781982422, 0.01757049560546875, 0.018566608428955078, 0.019562721252441406, 0.020558834075927734, 0.021554946899414062, 0.02255105972290039, 0.02354717254638672, 0.024543285369873047, 0.025539398193359375, 0.026535511016845703, 0.02753162384033203, 0.02852773666381836, 0.029523849487304688, 0.030519962310791016, 0.031516075134277344, 0.03251218795776367, 0.03350830078125]}, "gradients/decoder.transformer.h.23.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 1.0, 2.0, 2.0, 5.0, 8.0, 2.0, 6.0, 3.0, 8.0, 5.0, 18.0, 23.0, 26.0, 18.0, 22.0, 39.0, 52.0, 56.0, 87.0, 107.0, 159.0, 284.0, 612.0, 2021.0, 26733.0, 2807154.0, 297432.0, 8381.0, 1203.0, 434.0, 243.0, 114.0, 90.0, 84.0, 63.0, 45.0, 27.0, 23.0, 18.0, 20.0, 23.0, 15.0, 9.0, 10.0, 11.0, 1.0, 3.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 2.0, 3.0], "bins": [-0.122802734375, -0.1191701889038086, -0.11553764343261719, -0.11190509796142578, -0.10827255249023438, -0.10464000701904297, -0.10100746154785156, -0.09737491607666016, -0.09374237060546875, -0.09010982513427734, -0.08647727966308594, -0.08284473419189453, -0.07921218872070312, -0.07557964324951172, -0.07194709777832031, -0.0683145523071289, -0.0646820068359375, -0.061049461364746094, -0.05741691589355469, -0.05378437042236328, -0.050151824951171875, -0.04651927947998047, -0.04288673400878906, -0.039254188537597656, -0.03562164306640625, -0.031989097595214844, -0.028356552124023438, -0.02472400665283203, -0.021091461181640625, -0.01745891571044922, -0.013826370239257812, -0.010193824768066406, -0.006561279296875, -0.0029287338256835938, 0.0007038116455078125, 0.004336357116699219, 0.007968902587890625, 0.011601448059082031, 0.015233993530273438, 0.018866539001464844, 0.02249908447265625, 0.026131629943847656, 0.029764175415039062, 0.03339672088623047, 0.037029266357421875, 0.04066181182861328, 0.04429435729980469, 0.047926902770996094, 0.0515594482421875, 0.055191993713378906, 0.05882453918457031, 0.06245708465576172, 0.06608963012695312, 0.06972217559814453, 0.07335472106933594, 0.07698726654052734, 0.08061981201171875, 0.08425235748291016, 0.08788490295410156, 0.09151744842529297, 0.09514999389648438, 0.09878253936767578, 0.10241508483886719, 0.1060476303100586, 0.10968017578125]}, "gradients/decoder.transformer.h.23.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 24.0, 396.0, 577.0, 19.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.2627075910568237, -1.2405915260314941, -1.2184754610061646, -1.196359395980835, -1.1742433309555054, -1.1521272659301758, -1.1300112009048462, -1.1078951358795166, -1.0857791900634766, -1.063663125038147, -1.0415470600128174, -1.0194309949874878, -0.9973149299621582, -0.9751989245414734, -0.9530828595161438, -0.9309667944908142, -0.9088506698608398, -0.8867346048355103, -0.8646185398101807, -0.8425024747848511, -0.8203864097595215, -0.7982704043388367, -0.7761543393135071, -0.7540382742881775, -0.7319222092628479, -0.7098061442375183, -0.6876900792121887, -0.6655740141868591, -0.6434580087661743, -0.6213419437408447, -0.5992258787155151, -0.5771098136901855, -0.5549936890602112, -0.5328776240348816, -0.510761559009552, -0.4886455237865448, -0.4665294587612152, -0.4444133937358856, -0.4222973585128784, -0.40018129348754883, -0.37806522846221924, -0.35594916343688965, -0.33383309841156006, -0.31171706318855286, -0.28960099816322327, -0.2674849331378937, -0.24536888301372528, -0.22325283288955688, -0.2011367827653885, -0.1790207326412201, -0.1569046676158905, -0.1347886025905609, -0.11267255246639252, -0.09055649489164352, -0.06844043731689453, -0.046324387192726135, -0.024208322167396545, -0.0020922645926475525, 0.02002379298210144, 0.04213985055685043, 0.06425590813159943, 0.08637196570634842, 0.10848802328109741, 0.1306040734052658, 0.1527201384305954]}, "gradients/decoder.transformer.h.23.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 4.0, 0.0, 2.0, 2.0, 3.0, 3.0, 3.0, 8.0, 9.0, 10.0, 11.0, 9.0, 16.0, 18.0, 18.0, 19.0, 30.0, 39.0, 35.0, 56.0, 53.0, 37.0, 52.0, 49.0, 42.0, 45.0, 48.0, 44.0, 51.0, 36.0, 32.0, 42.0, 37.0, 22.0, 24.0, 15.0, 17.0, 14.0, 10.0, 11.0, 7.0, 8.0, 9.0, 4.0, 3.0, 3.0, 0.0, 3.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.14427226781845093, -0.13963304460048676, -0.1349938064813614, -0.13035458326339722, -0.12571534514427185, -0.12107612192630768, -0.11643689125776291, -0.11179766058921814, -0.10715842992067337, -0.1025191992521286, -0.09787996858358383, -0.09324073791503906, -0.08860151469707489, -0.08396227657794952, -0.07932305335998535, -0.07468382269144058, -0.07004459202289581, -0.06540536135435104, -0.060766130685806274, -0.056126903742551804, -0.051487673074007034, -0.046848442405462265, -0.042209215462207794, -0.037569984793663025, -0.032930754125118256, -0.028291523456573486, -0.023652294650673866, -0.019013065844774246, -0.014373835176229477, -0.009734604507684708, -0.005095375701785088, -0.00045614689588546753, 0.004183083772659302, 0.008822313509881496, 0.013461543247103691, 0.01810077205300331, 0.02274000272154808, 0.02737923339009285, 0.03201846033334732, 0.03665769100189209, 0.04129692167043686, 0.04593615233898163, 0.0505753830075264, 0.05521460995078087, 0.05985384061932564, 0.0644930750131607, 0.06913229823112488, 0.07377152889966965, 0.07841075956821442, 0.08304999023675919, 0.08768922090530396, 0.09232845157384872, 0.0969676822423935, 0.10160690546035767, 0.10624613612890244, 0.1108853667974472, 0.11552459746599197, 0.12016382813453674, 0.12480305880308151, 0.12944228947162628, 0.13408151268959045, 0.13872075080871582, 0.14335997402668, 0.14799919724464417, 0.15263843536376953]}, "gradients/decoder.transformer.h.22.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 4.0, 5.0, 9.0, 19.0, 20.0, 23.0, 28.0, 27.0, 44.0, 50.0, 53.0, 68.0, 72.0, 64.0, 60.0, 93.0, 69.0, 54.0, 62.0, 54.0, 44.0, 26.0, 22.0, 13.0, 14.0, 3.0, 3.0, 4.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.023468017578125, -0.02290976047515869, -0.022351503372192383, -0.021793246269226074, -0.021234989166259766, -0.020676732063293457, -0.02011847496032715, -0.01956021785736084, -0.01900196075439453, -0.018443703651428223, -0.017885446548461914, -0.017327189445495605, -0.016768932342529297, -0.01621067523956299, -0.01565241813659668, -0.015094161033630371, -0.014535903930664062, -0.013977646827697754, -0.013419389724731445, -0.012861132621765137, -0.012302875518798828, -0.01174461841583252, -0.011186361312866211, -0.010628104209899902, -0.010069847106933594, -0.009511590003967285, -0.008953332901000977, -0.008395075798034668, -0.00783681869506836, -0.007278561592102051, -0.006720304489135742, -0.006162047386169434, -0.005603790283203125, -0.005045533180236816, -0.004487276077270508, -0.003929018974304199, -0.0033707618713378906, -0.002812504768371582, -0.0022542476654052734, -0.0016959905624389648, -0.0011377334594726562, -0.0005794763565063477, -2.1219253540039062e-05, 0.0005370378494262695, 0.0010952949523925781, 0.0016535520553588867, 0.0022118091583251953, 0.002770066261291504, 0.0033283233642578125, 0.003886580467224121, 0.00444483757019043, 0.005003094673156738, 0.005561351776123047, 0.0061196088790893555, 0.006677865982055664, 0.007236123085021973, 0.007794380187988281, 0.00835263729095459, 0.008910894393920898, 0.009469151496887207, 0.010027408599853516, 0.010585665702819824, 0.011143922805786133, 0.011702179908752441, 0.01226043701171875]}, "gradients/decoder.transformer.h.22.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 1.0, 3.0, 1.0, 3.0, 5.0, 9.0, 9.0, 19.0, 27.0, 45.0, 85.0, 136.0, 228.0, 346.0, 692.0, 1395.0, 4591.0, 103608.0, 4045494.0, 31972.0, 3236.0, 1132.0, 549.0, 273.0, 166.0, 106.0, 67.0, 39.0, 19.0, 14.0, 9.0, 3.0, 4.0, 3.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2216796875, -0.2160491943359375, -0.210418701171875, -0.2047882080078125, -0.19915771484375, -0.1935272216796875, -0.187896728515625, -0.1822662353515625, -0.1766357421875, -0.1710052490234375, -0.165374755859375, -0.1597442626953125, -0.15411376953125, -0.1484832763671875, -0.142852783203125, -0.1372222900390625, -0.131591796875, -0.1259613037109375, -0.120330810546875, -0.1147003173828125, -0.10906982421875, -0.1034393310546875, -0.097808837890625, -0.0921783447265625, -0.0865478515625, -0.0809173583984375, -0.075286865234375, -0.0696563720703125, -0.06402587890625, -0.0583953857421875, -0.052764892578125, -0.0471343994140625, -0.04150390625, -0.0358734130859375, -0.030242919921875, -0.0246124267578125, -0.01898193359375, -0.0133514404296875, -0.007720947265625, -0.0020904541015625, 0.0035400390625, 0.0091705322265625, 0.014801025390625, 0.0204315185546875, 0.02606201171875, 0.0316925048828125, 0.037322998046875, 0.0429534912109375, 0.048583984375, 0.0542144775390625, 0.059844970703125, 0.0654754638671875, 0.07110595703125, 0.0767364501953125, 0.082366943359375, 0.0879974365234375, 0.0936279296875, 0.0992584228515625, 0.104888916015625, 0.1105194091796875, 0.11614990234375, 0.1217803955078125, 0.127410888671875, 0.1330413818359375, 0.138671875]}, "gradients/decoder.transformer.h.22.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 2.0, 5.0, 0.0, 2.0, 10.0, 13.0, 12.0, 29.0, 43.0, 80.0, 165.0, 296.0, 638.0, 1109.0, 778.0, 391.0, 238.0, 116.0, 68.0, 41.0, 18.0, 10.0, 7.0, 6.0, 4.0, 3.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052703857421875, -0.05027055740356445, -0.047837257385253906, -0.04540395736694336, -0.04297065734863281, -0.040537357330322266, -0.03810405731201172, -0.03567075729370117, -0.033237457275390625, -0.030804157257080078, -0.02837085723876953, -0.025937557220458984, -0.023504257202148438, -0.02107095718383789, -0.018637657165527344, -0.016204357147216797, -0.01377105712890625, -0.011337757110595703, -0.008904457092285156, -0.006471157073974609, -0.0040378570556640625, -0.0016045570373535156, 0.0008287429809570312, 0.003262042999267578, 0.005695343017578125, 0.008128643035888672, 0.010561943054199219, 0.012995243072509766, 0.015428543090820312, 0.01786184310913086, 0.020295143127441406, 0.022728443145751953, 0.0251617431640625, 0.027595043182373047, 0.030028343200683594, 0.03246164321899414, 0.03489494323730469, 0.037328243255615234, 0.03976154327392578, 0.04219484329223633, 0.044628143310546875, 0.04706144332885742, 0.04949474334716797, 0.051928043365478516, 0.05436134338378906, 0.05679464340209961, 0.059227943420410156, 0.0616612434387207, 0.06409454345703125, 0.0665278434753418, 0.06896114349365234, 0.07139444351196289, 0.07382774353027344, 0.07626104354858398, 0.07869434356689453, 0.08112764358520508, 0.08356094360351562, 0.08599424362182617, 0.08842754364013672, 0.09086084365844727, 0.09329414367675781, 0.09572744369506836, 0.0981607437133789, 0.10059404373168945, 0.10302734375]}, "gradients/decoder.transformer.h.22.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 0.0, 2.0, 3.0, 7.0, 6.0, 13.0, 24.0, 14.0, 65.0, 94.0, 226.0, 508.0, 1252.0, 4324.0, 49022.0, 3161353.0, 951317.0, 21574.0, 2782.0, 873.0, 423.0, 185.0, 107.0, 46.0, 29.0, 18.0, 9.0, 4.0, 2.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1180419921875, -0.11329460144042969, -0.10854721069335938, -0.10379981994628906, -0.09905242919921875, -0.09430503845214844, -0.08955764770507812, -0.08481025695800781, -0.0800628662109375, -0.07531547546386719, -0.07056808471679688, -0.06582069396972656, -0.06107330322265625, -0.05632591247558594, -0.051578521728515625, -0.04683113098144531, -0.042083740234375, -0.03733634948730469, -0.032588958740234375, -0.027841567993164062, -0.02309417724609375, -0.018346786499023438, -0.013599395751953125, -0.008852005004882812, -0.0041046142578125, 0.0006427764892578125, 0.005390167236328125, 0.010137557983398438, 0.01488494873046875, 0.019632339477539062, 0.024379730224609375, 0.029127120971679688, 0.03387451171875, 0.03862190246582031, 0.043369293212890625, 0.04811668395996094, 0.05286407470703125, 0.05761146545410156, 0.062358856201171875, 0.06710624694824219, 0.0718536376953125, 0.07660102844238281, 0.08134841918945312, 0.08609580993652344, 0.09084320068359375, 0.09559059143066406, 0.10033798217773438, 0.10508537292480469, 0.109832763671875, 0.11458015441894531, 0.11932754516601562, 0.12407493591308594, 0.12882232666015625, 0.13356971740722656, 0.13831710815429688, 0.1430644989013672, 0.1478118896484375, 0.1525592803955078, 0.15730667114257812, 0.16205406188964844, 0.16680145263671875, 0.17154884338378906, 0.17629623413085938, 0.1810436248779297, 0.185791015625]}, "gradients/decoder.transformer.h.22.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 30.0, 115.0, 321.0, 333.0, 148.0, 53.0, 10.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.5340493321418762, -0.5163298845291138, -0.49861040711402893, -0.4808909296989441, -0.46317148208618164, -0.4454520046710968, -0.42773252725601196, -0.4100130796432495, -0.39229363203048706, -0.3745741546154022, -0.35685470700263977, -0.33913522958755493, -0.3214157819747925, -0.30369630455970764, -0.2859768271446228, -0.26825737953186035, -0.2505379021167755, -0.23281843960285187, -0.21509897708892822, -0.19737949967384338, -0.17966005206108093, -0.1619405746459961, -0.14422111213207245, -0.1265016496181488, -0.10878218710422516, -0.09106272459030151, -0.07334326207637787, -0.05562379211187363, -0.03790432959794998, -0.020184867084026337, -0.0024653971195220947, 0.01525406539440155, 0.032973527908325195, 0.05069299042224884, 0.06841245293617249, 0.08613192290067673, 0.10385138541460037, 0.12157084792852402, 0.13929031789302826, 0.1570097804069519, 0.17472924292087555, 0.1924487054347992, 0.21016816794872284, 0.22788763046264648, 0.24560710787773132, 0.2633265554904938, 0.2810460329055786, 0.29876548051834106, 0.3164849579334259, 0.33420443534851074, 0.3519238829612732, 0.36964336037635803, 0.3873628079891205, 0.4050822854042053, 0.4228017330169678, 0.4405212104320526, 0.45824068784713745, 0.4759601652622223, 0.49367961287498474, 0.5113990902900696, 0.529118537902832, 0.5468379855155945, 0.5645574927330017, 0.5822769403457642, 0.5999963879585266]}, "gradients/decoder.transformer.h.22.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 6.0, 5.0, 9.0, 7.0, 5.0, 15.0, 18.0, 22.0, 16.0, 15.0, 23.0, 29.0, 34.0, 33.0, 41.0, 37.0, 44.0, 35.0, 45.0, 47.0, 43.0, 46.0, 39.0, 34.0, 34.0, 30.0, 33.0, 30.0, 28.0, 34.0, 22.0, 28.0, 24.0, 17.0, 27.0, 13.0, 10.0, 7.0, 10.0, 6.0, 10.0, 4.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.14944636821746826, -0.14453375339508057, -0.13962115347385406, -0.13470853865146637, -0.12979593873023987, -0.12488332390785217, -0.11997070908546448, -0.11505810171365738, -0.11014549434185028, -0.10523288697004318, -0.10032027959823608, -0.09540766477584839, -0.09049505740404129, -0.08558245003223419, -0.0806698352098465, -0.0757572278380394, -0.0708446204662323, -0.0659320130944252, -0.061019401997327805, -0.05610679090023041, -0.05119418352842331, -0.04628157615661621, -0.041368965059518814, -0.03645635396242142, -0.03154374659061432, -0.02663113735616207, -0.021718528121709824, -0.016805918887257576, -0.011893309652805328, -0.006980700418353081, -0.002068091183900833, 0.0028445199131965637, 0.007757127285003662, 0.01266973651945591, 0.017582345753908157, 0.022494954988360405, 0.027407564222812653, 0.03232017159461975, 0.03723278269171715, 0.042145393788814545, 0.04705800116062164, 0.05197060853242874, 0.05688321962952614, 0.061795830726623535, 0.06670843809843063, 0.07162104547023773, 0.07653366029262543, 0.08144626766443253, 0.08635887503623962, 0.09127148240804672, 0.09618408977985382, 0.10109670460224152, 0.10600931197404861, 0.11092191934585571, 0.11583453416824341, 0.1207471415400505, 0.1256597489118576, 0.1305723637342453, 0.1354849636554718, 0.1403975784778595, 0.1453101933002472, 0.1502227932214737, 0.1551354080438614, 0.1600480079650879, 0.16496062278747559]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 9.0, 19.0, 10.0, 25.0, 24.0, 23.0, 32.0, 38.0, 58.0, 48.0, 68.0, 57.0, 74.0, 77.0, 72.0, 70.0, 53.0, 61.0, 60.0, 36.0, 27.0, 18.0, 11.0, 15.0, 12.0, 3.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.023223876953125, -0.022670388221740723, -0.022116899490356445, -0.021563410758972168, -0.02100992202758789, -0.020456433296203613, -0.019902944564819336, -0.01934945583343506, -0.01879596710205078, -0.018242478370666504, -0.017688989639282227, -0.01713550090789795, -0.016582012176513672, -0.016028523445129395, -0.015475034713745117, -0.01492154598236084, -0.014368057250976562, -0.013814568519592285, -0.013261079788208008, -0.01270759105682373, -0.012154102325439453, -0.011600613594055176, -0.011047124862670898, -0.010493636131286621, -0.009940147399902344, -0.009386658668518066, -0.008833169937133789, -0.008279681205749512, -0.007726192474365234, -0.007172703742980957, -0.00661921501159668, -0.006065726280212402, -0.005512237548828125, -0.004958748817443848, -0.00440526008605957, -0.003851771354675293, -0.0032982826232910156, -0.0027447938919067383, -0.002191305160522461, -0.0016378164291381836, -0.0010843276977539062, -0.0005308389663696289, 2.2649765014648438e-05, 0.0005761384963989258, 0.0011296272277832031, 0.0016831159591674805, 0.002236604690551758, 0.002790093421936035, 0.0033435821533203125, 0.00389707088470459, 0.004450559616088867, 0.0050040483474731445, 0.005557537078857422, 0.006111025810241699, 0.0066645145416259766, 0.007218003273010254, 0.007771492004394531, 0.008324980735778809, 0.008878469467163086, 0.009431958198547363, 0.00998544692993164, 0.010538935661315918, 0.011092424392700195, 0.011645913124084473, 0.01219940185546875]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 9.0, 2.0, 4.0, 12.0, 27.0, 16.0, 35.0, 59.0, 70.0, 124.0, 262.0, 500.0, 982.0, 2158.0, 5074.0, 12704.0, 33457.0, 105739.0, 545350.0, 243132.0, 62394.0, 21406.0, 8387.0, 3558.0, 1459.0, 747.0, 388.0, 194.0, 102.0, 68.0, 40.0, 23.0, 14.0, 14.0, 16.0, 8.0, 4.0, 4.0, 1.0, 5.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018799304962158203, -0.00018122605979442596, -0.0001744590699672699, -0.00016769208014011383, -0.00016092509031295776, -0.0001541581004858017, -0.00014739111065864563, -0.00014062412083148956, -0.0001338571310043335, -0.00012709014117717743, -0.00012032315135002136, -0.0001135561615228653, -0.00010678917169570923, -0.00010002218186855316, -9.32551920413971e-05, -8.648820221424103e-05, -7.972121238708496e-05, -7.29542225599289e-05, -6.618723273277283e-05, -5.942024290561676e-05, -5.265325307846069e-05, -4.5886263251304626e-05, -3.911927342414856e-05, -3.235228359699249e-05, -2.5585293769836426e-05, -1.881830394268036e-05, -1.2051314115524292e-05, -5.284324288368225e-06, 1.4826655387878418e-06, 8.249655365943909e-06, 1.5016645193099976e-05, 2.1783635020256042e-05, 2.855062484741211e-05, 3.5317614674568176e-05, 4.208460450172424e-05, 4.885159432888031e-05, 5.561858415603638e-05, 6.238557398319244e-05, 6.915256381034851e-05, 7.591955363750458e-05, 8.268654346466064e-05, 8.945353329181671e-05, 9.622052311897278e-05, 0.00010298751294612885, 0.00010975450277328491, 0.00011652149260044098, 0.00012328848242759705, 0.0001300554722547531, 0.00013682246208190918, 0.00014358945190906525, 0.0001503564417362213, 0.00015712343156337738, 0.00016389042139053345, 0.00017065741121768951, 0.00017742440104484558, 0.00018419139087200165, 0.00019095838069915771, 0.00019772537052631378, 0.00020449236035346985, 0.00021125935018062592, 0.00021802634000778198, 0.00022479332983493805, 0.00023156031966209412, 0.00023832730948925018, 0.00024509429931640625]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 1.0, 4.0, 2.0, 4.0, 2.0, 5.0, 8.0, 13.0, 7.0, 9.0, 12.0, 15.0, 15.0, 18.0, 20.0, 19.0, 22.0, 20.0, 28.0, 28.0, 27.0, 29.0, 35.0, 44.0, 48.0, 32.0, 39.0, 1064.0, 18.0, 35.0, 31.0, 34.0, 31.0, 46.0, 28.0, 25.0, 28.0, 24.0, 34.0, 17.0, 13.0, 16.0, 14.0, 9.0, 13.0, 14.0, 5.0, 9.0, 4.0, 4.0, 2.0, 4.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0], "bins": [-0.00930023193359375, -0.009010553359985352, -0.008720874786376953, -0.008431196212768555, -0.008141517639160156, -0.007851839065551758, -0.007562160491943359, -0.007272481918334961, -0.0069828033447265625, -0.006693124771118164, -0.006403446197509766, -0.006113767623901367, -0.005824089050292969, -0.00553441047668457, -0.005244731903076172, -0.0049550533294677734, -0.004665374755859375, -0.0043756961822509766, -0.004086017608642578, -0.0037963390350341797, -0.0035066604614257812, -0.003216981887817383, -0.0029273033142089844, -0.002637624740600586, -0.0023479461669921875, -0.002058267593383789, -0.0017685890197753906, -0.0014789104461669922, -0.0011892318725585938, -0.0008995532989501953, -0.0006098747253417969, -0.00032019615173339844, -3.0517578125e-05, 0.00025916099548339844, 0.0005488395690917969, 0.0008385181427001953, 0.0011281967163085938, 0.0014178752899169922, 0.0017075538635253906, 0.001997232437133789, 0.0022869110107421875, 0.002576589584350586, 0.0028662681579589844, 0.003155946731567383, 0.0034456253051757812, 0.0037353038787841797, 0.004024982452392578, 0.0043146610260009766, 0.004604339599609375, 0.0048940181732177734, 0.005183696746826172, 0.00547337532043457, 0.005763053894042969, 0.006052732467651367, 0.006342411041259766, 0.006632089614868164, 0.0069217681884765625, 0.007211446762084961, 0.007501125335693359, 0.007790803909301758, 0.008080482482910156, 0.008370161056518555, 0.008659839630126953, 0.008949518203735352, 0.00923919677734375]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 1.0, 4.0, 3.0, 6.0, 1.0, 2.0, 5.0, 9.0, 4.0, 15.0, 8.0, 12.0, 15.0, 15.0, 20.0, 19.0, 24.0, 36.0, 31.0, 56.0, 79.0, 139.0, 305.0, 596.0, 909.0, 2987.0, 14149.0, 2043900.0, 27426.0, 3701.0, 1297.0, 505.0, 333.0, 185.0, 71.0, 54.0, 34.0, 27.0, 20.0, 13.0, 16.0, 19.0, 13.0, 8.0, 17.0, 11.0, 11.0, 7.0, 7.0, 2.0, 5.0, 5.0, 1.0, 1.0, 4.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-8.821487426757812e-06, -8.542090654373169e-06, -8.262693881988525e-06, -7.983297109603882e-06, -7.703900337219238e-06, -7.424503564834595e-06, -7.145106792449951e-06, -6.865710020065308e-06, -6.586313247680664e-06, -6.3069164752960205e-06, -6.027519702911377e-06, -5.748122930526733e-06, -5.46872615814209e-06, -5.189329385757446e-06, -4.909932613372803e-06, -4.630535840988159e-06, -4.351139068603516e-06, -4.071742296218872e-06, -3.7923455238342285e-06, -3.512948751449585e-06, -3.2335519790649414e-06, -2.954155206680298e-06, -2.6747584342956543e-06, -2.3953616619110107e-06, -2.115964889526367e-06, -1.8365681171417236e-06, -1.55717134475708e-06, -1.2777745723724365e-06, -9.98377799987793e-07, -7.189810276031494e-07, -4.3958425521850586e-07, -1.601874828338623e-07, 1.1920928955078125e-07, 3.986060619354248e-07, 6.780028343200684e-07, 9.57399606704712e-07, 1.2367963790893555e-06, 1.516193151473999e-06, 1.7955899238586426e-06, 2.074986696243286e-06, 2.3543834686279297e-06, 2.6337802410125732e-06, 2.913177013397217e-06, 3.1925737857818604e-06, 3.471970558166504e-06, 3.7513673305511475e-06, 4.030764102935791e-06, 4.3101608753204346e-06, 4.589557647705078e-06, 4.868954420089722e-06, 5.148351192474365e-06, 5.427747964859009e-06, 5.707144737243652e-06, 5.986541509628296e-06, 6.2659382820129395e-06, 6.545335054397583e-06, 6.8247318267822266e-06, 7.10412859916687e-06, 7.383525371551514e-06, 7.662922143936157e-06, 7.9423189163208e-06, 8.221715688705444e-06, 8.501112461090088e-06, 8.780509233474731e-06, 9.059906005859375e-06]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 9.0, 19.0, 10.0, 25.0, 24.0, 23.0, 32.0, 38.0, 58.0, 48.0, 68.0, 57.0, 74.0, 77.0, 72.0, 70.0, 53.0, 61.0, 60.0, 36.0, 27.0, 18.0, 11.0, 15.0, 12.0, 3.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.023223876953125, -0.022670388221740723, -0.022116899490356445, -0.021563410758972168, -0.02100992202758789, -0.020456433296203613, -0.019902944564819336, -0.01934945583343506, -0.01879596710205078, -0.018242478370666504, -0.017688989639282227, -0.01713550090789795, -0.016582012176513672, -0.016028523445129395, -0.015475034713745117, -0.01492154598236084, -0.014368057250976562, -0.013814568519592285, -0.013261079788208008, -0.01270759105682373, -0.012154102325439453, -0.011600613594055176, -0.011047124862670898, -0.010493636131286621, -0.009940147399902344, -0.009386658668518066, -0.008833169937133789, -0.008279681205749512, -0.007726192474365234, -0.007172703742980957, -0.00661921501159668, -0.006065726280212402, -0.005512237548828125, -0.004958748817443848, -0.00440526008605957, -0.003851771354675293, -0.0032982826232910156, -0.0027447938919067383, -0.002191305160522461, -0.0016378164291381836, -0.0010843276977539062, -0.0005308389663696289, 2.2649765014648438e-05, 0.0005761384963989258, 0.0011296272277832031, 0.0016831159591674805, 0.002236604690551758, 0.002790093421936035, 0.0033435821533203125, 0.00389707088470459, 0.004450559616088867, 0.0050040483474731445, 0.005557537078857422, 0.006111025810241699, 0.0066645145416259766, 0.007218003273010254, 0.007771492004394531, 0.008324980735778809, 0.008878469467163086, 0.009431958198547363, 0.00998544692993164, 0.010538935661315918, 0.011092424392700195, 0.011645913124084473, 0.01219940185546875]}, "gradients/decoder.transformer.h.22.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0, 9.0, 6.0, 5.0, 4.0, 9.0, 15.0, 23.0, 32.0, 67.0, 209.0, 778.0, 3736.0, 32212.0, 663310.0, 323890.0, 20580.0, 2744.0, 616.0, 154.0, 57.0, 29.0, 18.0, 21.0, 11.0, 3.0, 9.0, 1.0, 2.0, 3.0, 2.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07708740234375, -0.07520294189453125, -0.0733184814453125, -0.07143402099609375, -0.069549560546875, -0.06766510009765625, -0.0657806396484375, -0.06389617919921875, -0.06201171875, -0.06012725830078125, -0.0582427978515625, -0.05635833740234375, -0.054473876953125, -0.05258941650390625, -0.0507049560546875, -0.04882049560546875, -0.04693603515625, -0.04505157470703125, -0.0431671142578125, -0.04128265380859375, -0.039398193359375, -0.03751373291015625, -0.0356292724609375, -0.03374481201171875, -0.0318603515625, -0.02997589111328125, -0.0280914306640625, -0.02620697021484375, -0.024322509765625, -0.02243804931640625, -0.0205535888671875, -0.01866912841796875, -0.01678466796875, -0.01490020751953125, -0.0130157470703125, -0.01113128662109375, -0.009246826171875, -0.00736236572265625, -0.0054779052734375, -0.00359344482421875, -0.001708984375, 0.00017547607421875, 0.0020599365234375, 0.00394439697265625, 0.005828857421875, 0.00771331787109375, 0.0095977783203125, 0.01148223876953125, 0.01336669921875, 0.01525115966796875, 0.0171356201171875, 0.01902008056640625, 0.020904541015625, 0.02278900146484375, 0.0246734619140625, 0.02655792236328125, 0.0284423828125, 0.03032684326171875, 0.0322113037109375, 0.03409576416015625, 0.035980224609375, 0.03786468505859375, 0.0397491455078125, 0.04163360595703125, 0.04351806640625]}, "gradients/decoder.transformer.h.22.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 4.0, 0.0, 1.0, 4.0, 2.0, 5.0, 1.0, 7.0, 10.0, 9.0, 5.0, 6.0, 12.0, 10.0, 15.0, 24.0, 19.0, 19.0, 29.0, 32.0, 32.0, 36.0, 29.0, 36.0, 38.0, 80.0, 102.0, 302.0, 1562.0, 143.0, 63.0, 49.0, 45.0, 29.0, 52.0, 32.0, 29.0, 27.0, 25.0, 19.0, 23.0, 20.0, 8.0, 20.0, 10.0, 13.0, 7.0, 4.0, 3.0, 6.0, 3.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.03302001953125, -0.031887054443359375, -0.03075408935546875, -0.029621124267578125, -0.0284881591796875, -0.027355194091796875, -0.02622222900390625, -0.025089263916015625, -0.023956298828125, -0.022823333740234375, -0.02169036865234375, -0.020557403564453125, -0.0194244384765625, -0.018291473388671875, -0.01715850830078125, -0.016025543212890625, -0.014892578125, -0.013759613037109375, -0.01262664794921875, -0.011493682861328125, -0.0103607177734375, -0.009227752685546875, -0.00809478759765625, -0.006961822509765625, -0.005828857421875, -0.004695892333984375, -0.00356292724609375, -0.002429962158203125, -0.0012969970703125, -0.000164031982421875, 0.00096893310546875, 0.002101898193359375, 0.00323486328125, 0.004367828369140625, 0.00550079345703125, 0.006633758544921875, 0.0077667236328125, 0.008899688720703125, 0.01003265380859375, 0.011165618896484375, 0.012298583984375, 0.013431549072265625, 0.01456451416015625, 0.015697479248046875, 0.0168304443359375, 0.017963409423828125, 0.01909637451171875, 0.020229339599609375, 0.0213623046875, 0.022495269775390625, 0.02362823486328125, 0.024761199951171875, 0.0258941650390625, 0.027027130126953125, 0.02816009521484375, 0.029293060302734375, 0.030426025390625, 0.031558990478515625, 0.03269195556640625, 0.033824920654296875, 0.0349578857421875, 0.036090850830078125, 0.03722381591796875, 0.038356781005859375, 0.03948974609375]}, "gradients/decoder.transformer.h.22.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 6.0, 3.0, 3.0, 5.0, 4.0, 10.0, 15.0, 12.0, 23.0, 16.0, 27.0, 18.0, 29.0, 28.0, 50.0, 64.0, 76.0, 144.0, 217.0, 493.0, 2004.0, 45753.0, 3014612.0, 78059.0, 2739.0, 519.0, 208.0, 150.0, 85.0, 65.0, 52.0, 43.0, 36.0, 19.0, 19.0, 21.0, 14.0, 11.0, 5.0, 11.0, 5.0, 8.0, 9.0, 8.0, 2.0, 2.0, 3.0, 2.0, 4.0, 0.0, 4.0], "bins": [-0.09234619140625, -0.08974933624267578, -0.08715248107910156, -0.08455562591552734, -0.08195877075195312, -0.0793619155883789, -0.07676506042480469, -0.07416820526123047, -0.07157135009765625, -0.06897449493408203, -0.06637763977050781, -0.0637807846069336, -0.061183929443359375, -0.058587074279785156, -0.05599021911621094, -0.05339336395263672, -0.0507965087890625, -0.04819965362548828, -0.04560279846191406, -0.043005943298339844, -0.040409088134765625, -0.037812232971191406, -0.03521537780761719, -0.03261852264404297, -0.03002166748046875, -0.02742481231689453, -0.024827957153320312, -0.022231101989746094, -0.019634246826171875, -0.017037391662597656, -0.014440536499023438, -0.011843681335449219, -0.009246826171875, -0.006649971008300781, -0.0040531158447265625, -0.0014562606811523438, 0.001140594482421875, 0.0037374496459960938, 0.0063343048095703125, 0.008931159973144531, 0.01152801513671875, 0.014124870300292969, 0.016721725463867188, 0.019318580627441406, 0.021915435791015625, 0.024512290954589844, 0.027109146118164062, 0.02970600128173828, 0.0323028564453125, 0.03489971160888672, 0.03749656677246094, 0.040093421936035156, 0.042690277099609375, 0.045287132263183594, 0.04788398742675781, 0.05048084259033203, 0.05307769775390625, 0.05567455291748047, 0.05827140808105469, 0.060868263244628906, 0.06346511840820312, 0.06606197357177734, 0.06865882873535156, 0.07125568389892578, 0.0738525390625]}, "gradients/decoder.transformer.h.22.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 11.0, 23.0, 42.0, 115.0, 167.0, 184.0, 178.0, 148.0, 76.0, 36.0, 15.0, 8.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06950105726718903, -0.06643399596214294, -0.06336693465709686, -0.06029987335205078, -0.0572328120470047, -0.05416575074195862, -0.051098693162202835, -0.048031631857156754, -0.04496457055211067, -0.04189750924706459, -0.03883044794201851, -0.035763390362262726, -0.032696329057216644, -0.029629265889525414, -0.02656220644712448, -0.0234951451420784, -0.020428083837032318, -0.017361022531986237, -0.01429396215826273, -0.011226901784539223, -0.008159840479493141, -0.00509277917444706, -0.0020257197320461273, 0.0010413415729999542, 0.004108402878046036, 0.00717546371743083, 0.010242524556815624, 0.013309584930539131, 0.016376646235585213, 0.019443707540631294, 0.022510766983032227, 0.025577828288078308, 0.02864488959312439, 0.03171195089817047, 0.03477901220321655, 0.037846073508262634, 0.040913134813308716, 0.0439801961183548, 0.04704725369811058, 0.05011431500315666, 0.053181376308202744, 0.056248437613248825, 0.05931549891829491, 0.06238255649805069, 0.06544961780309677, 0.06851667910814285, 0.07158374041318893, 0.07465080171823502, 0.0777178630232811, 0.08078492432832718, 0.08385198563337326, 0.08691904693841934, 0.08998610824346542, 0.0930531695485115, 0.09612022340297699, 0.09918728470802307, 0.10225434601306915, 0.10532140731811523, 0.10838846862316132, 0.1114555299282074, 0.11452259123325348, 0.11758965253829956, 0.12065671384334564, 0.12372377514839172, 0.1267908364534378]}, "gradients/decoder.transformer.h.22.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 3.0, 6.0, 4.0, 5.0, 4.0, 8.0, 5.0, 10.0, 12.0, 10.0, 11.0, 10.0, 13.0, 18.0, 22.0, 22.0, 23.0, 23.0, 32.0, 31.0, 26.0, 34.0, 35.0, 40.0, 32.0, 42.0, 43.0, 33.0, 49.0, 40.0, 24.0, 31.0, 33.0, 24.0, 28.0, 33.0, 31.0, 21.0, 15.0, 19.0, 16.0, 16.0, 17.0, 8.0, 13.0, 10.0, 7.0, 6.0, 6.0, 2.0, 0.0, 4.0, 0.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.11085492372512817, -0.10716159641742706, -0.10346826910972595, -0.09977493435144424, -0.09608160704374313, -0.09238827973604202, -0.08869494497776031, -0.0850016176700592, -0.0813082903623581, -0.07761496305465698, -0.07392163574695587, -0.07022830098867416, -0.06653497368097305, -0.06284164637327194, -0.05914831534028053, -0.055454984307289124, -0.05176165699958801, -0.0480683296918869, -0.04437499865889549, -0.04068166762590408, -0.03698834031820297, -0.03329501301050186, -0.029601681977510452, -0.025908352807164192, -0.022215023636817932, -0.018521694466471672, -0.014828365296125412, -0.011135036125779152, -0.007441706955432892, -0.0037483777850866318, -5.5048614740371704e-05, 0.0036382805556058884, 0.0073316097259521484, 0.011024938896298409, 0.014718268066644669, 0.01841159723699093, 0.02210492640733719, 0.02579825557768345, 0.02949158474802971, 0.03318491578102112, 0.03687824308872223, 0.04057157039642334, 0.04426490142941475, 0.04795823246240616, 0.05165155977010727, 0.05534488707780838, 0.05903821811079979, 0.0627315491437912, 0.06642487645149231, 0.07011820375919342, 0.07381153106689453, 0.07750486582517624, 0.08119819313287735, 0.08489152044057846, 0.08858485519886017, 0.09227818250656128, 0.09597150981426239, 0.0996648371219635, 0.10335816442966461, 0.10705149918794632, 0.11074482649564743, 0.11443815380334854, 0.11813148856163025, 0.12182481586933136, 0.12551814317703247]}, "gradients/decoder.transformer.h.21.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 2.0, 6.0, 9.0, 17.0, 16.0, 24.0, 20.0, 30.0, 32.0, 44.0, 53.0, 55.0, 61.0, 67.0, 68.0, 73.0, 75.0, 66.0, 55.0, 72.0, 42.0, 37.0, 26.0, 18.0, 10.0, 14.0, 11.0, 3.0, 2.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.023345947265625, -0.022786617279052734, -0.02222728729248047, -0.021667957305908203, -0.021108627319335938, -0.020549297332763672, -0.019989967346191406, -0.01943063735961914, -0.018871307373046875, -0.01831197738647461, -0.017752647399902344, -0.017193317413330078, -0.016633987426757812, -0.016074657440185547, -0.015515327453613281, -0.014955997467041016, -0.01439666748046875, -0.013837337493896484, -0.013278007507324219, -0.012718677520751953, -0.012159347534179688, -0.011600017547607422, -0.011040687561035156, -0.01048135757446289, -0.009922027587890625, -0.00936269760131836, -0.008803367614746094, -0.008244037628173828, -0.0076847076416015625, -0.007125377655029297, -0.006566047668457031, -0.006006717681884766, -0.0054473876953125, -0.004888057708740234, -0.004328727722167969, -0.003769397735595703, -0.0032100677490234375, -0.002650737762451172, -0.0020914077758789062, -0.0015320777893066406, -0.000972747802734375, -0.0004134178161621094, 0.00014591217041015625, 0.0007052421569824219, 0.0012645721435546875, 0.0018239021301269531, 0.0023832321166992188, 0.0029425621032714844, 0.00350189208984375, 0.004061222076416016, 0.004620552062988281, 0.005179882049560547, 0.0057392120361328125, 0.006298542022705078, 0.006857872009277344, 0.007417201995849609, 0.007976531982421875, 0.00853586196899414, 0.009095191955566406, 0.009654521942138672, 0.010213851928710938, 0.010773181915283203, 0.011332511901855469, 0.011891841888427734, 0.012451171875]}, "gradients/decoder.transformer.h.21.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 6.0, 2.0, 6.0, 8.0, 9.0, 23.0, 23.0, 38.0, 39.0, 55.0, 91.0, 148.0, 259.0, 524.0, 1103.0, 3071.0, 21009.0, 797920.0, 3310880.0, 51235.0, 5193.0, 1377.0, 564.0, 288.0, 138.0, 94.0, 56.0, 32.0, 31.0, 22.0, 15.0, 16.0, 4.0, 4.0, 5.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.1397705078125, -0.1362895965576172, -0.13280868530273438, -0.12932777404785156, -0.12584686279296875, -0.12236595153808594, -0.11888504028320312, -0.11540412902832031, -0.1119232177734375, -0.10844230651855469, -0.10496139526367188, -0.10148048400878906, -0.09799957275390625, -0.09451866149902344, -0.09103775024414062, -0.08755683898925781, -0.084075927734375, -0.08059501647949219, -0.07711410522460938, -0.07363319396972656, -0.07015228271484375, -0.06667137145996094, -0.06319046020507812, -0.05970954895019531, -0.0562286376953125, -0.05274772644042969, -0.049266815185546875, -0.04578590393066406, -0.04230499267578125, -0.03882408142089844, -0.035343170166015625, -0.03186225891113281, -0.02838134765625, -0.024900436401367188, -0.021419525146484375, -0.017938613891601562, -0.01445770263671875, -0.010976791381835938, -0.007495880126953125, -0.0040149688720703125, -0.0005340576171875, 0.0029468536376953125, 0.006427764892578125, 0.009908676147460938, 0.01338958740234375, 0.016870498657226562, 0.020351409912109375, 0.023832321166992188, 0.027313232421875, 0.030794143676757812, 0.034275054931640625, 0.03775596618652344, 0.04123687744140625, 0.04471778869628906, 0.048198699951171875, 0.05167961120605469, 0.0551605224609375, 0.05864143371582031, 0.062122344970703125, 0.06560325622558594, 0.06908416748046875, 0.07256507873535156, 0.07604598999023438, 0.07952690124511719, 0.0830078125]}, "gradients/decoder.transformer.h.21.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 6.0, 3.0, 3.0, 6.0, 13.0, 16.0, 12.0, 23.0, 40.0, 54.0, 90.0, 94.0, 158.0, 260.0, 397.0, 569.0, 646.0, 549.0, 365.0, 272.0, 159.0, 109.0, 74.0, 52.0, 33.0, 29.0, 13.0, 10.0, 13.0, 3.0, 6.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.05328369140625, -0.051691532135009766, -0.05009937286376953, -0.0485072135925293, -0.04691505432128906, -0.04532289505004883, -0.043730735778808594, -0.04213857650756836, -0.040546417236328125, -0.03895425796508789, -0.037362098693847656, -0.03576993942260742, -0.03417778015136719, -0.03258562088012695, -0.03099346160888672, -0.029401302337646484, -0.02780914306640625, -0.026216983795166016, -0.02462482452392578, -0.023032665252685547, -0.021440505981445312, -0.019848346710205078, -0.018256187438964844, -0.01666402816772461, -0.015071868896484375, -0.01347970962524414, -0.011887550354003906, -0.010295391082763672, -0.008703231811523438, -0.007111072540283203, -0.005518913269042969, -0.003926753997802734, -0.0023345947265625, -0.0007424354553222656, 0.0008497238159179688, 0.002441883087158203, 0.0040340423583984375, 0.005626201629638672, 0.007218360900878906, 0.00881052017211914, 0.010402679443359375, 0.01199483871459961, 0.013586997985839844, 0.015179157257080078, 0.016771316528320312, 0.018363475799560547, 0.01995563507080078, 0.021547794342041016, 0.02313995361328125, 0.024732112884521484, 0.02632427215576172, 0.027916431427001953, 0.029508590698242188, 0.031100749969482422, 0.032692909240722656, 0.03428506851196289, 0.035877227783203125, 0.03746938705444336, 0.039061546325683594, 0.04065370559692383, 0.04224586486816406, 0.0438380241394043, 0.04543018341064453, 0.047022342681884766, 0.048614501953125]}, "gradients/decoder.transformer.h.21.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 3.0, 6.0, 4.0, 13.0, 11.0, 13.0, 24.0, 33.0, 60.0, 114.0, 191.0, 345.0, 657.0, 1562.0, 5064.0, 32908.0, 494267.0, 3351470.0, 279351.0, 21639.0, 3901.0, 1288.0, 616.0, 303.0, 167.0, 104.0, 55.0, 44.0, 26.0, 13.0, 10.0, 8.0, 2.0, 4.0, 1.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.099609375, -0.09610271453857422, -0.09259605407714844, -0.08908939361572266, -0.08558273315429688, -0.0820760726928711, -0.07856941223144531, -0.07506275177001953, -0.07155609130859375, -0.06804943084716797, -0.06454277038574219, -0.061036109924316406, -0.057529449462890625, -0.054022789001464844, -0.05051612854003906, -0.04700946807861328, -0.0435028076171875, -0.03999614715576172, -0.03648948669433594, -0.032982826232910156, -0.029476165771484375, -0.025969505310058594, -0.022462844848632812, -0.01895618438720703, -0.01544952392578125, -0.011942863464355469, -0.008436203002929688, -0.004929542541503906, -0.001422882080078125, 0.0020837783813476562, 0.0055904388427734375, 0.009097099304199219, 0.012603759765625, 0.01611042022705078, 0.019617080688476562, 0.023123741149902344, 0.026630401611328125, 0.030137062072753906, 0.03364372253417969, 0.03715038299560547, 0.04065704345703125, 0.04416370391845703, 0.04767036437988281, 0.051177024841308594, 0.054683685302734375, 0.058190345764160156, 0.06169700622558594, 0.06520366668701172, 0.0687103271484375, 0.07221698760986328, 0.07572364807128906, 0.07923030853271484, 0.08273696899414062, 0.0862436294555664, 0.08975028991699219, 0.09325695037841797, 0.09676361083984375, 0.10027027130126953, 0.10377693176269531, 0.1072835922241211, 0.11079025268554688, 0.11429691314697266, 0.11780357360839844, 0.12131023406982422, 0.12481689453125]}, "gradients/decoder.transformer.h.21.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 5.0, 2.0, 19.0, 32.0, 95.0, 175.0, 207.0, 183.0, 150.0, 85.0, 36.0, 20.0, 7.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4604577422142029, -0.4486212432384491, -0.4367847144603729, -0.42494821548461914, -0.41311171650886536, -0.4012752175331116, -0.3894386887550354, -0.3776021897792816, -0.36576569080352783, -0.35392919182777405, -0.3420926630496979, -0.3302561640739441, -0.3184196650981903, -0.3065831661224365, -0.29474663734436035, -0.28291013836860657, -0.2710736393928528, -0.259237140417099, -0.24740062654018402, -0.23556411266326904, -0.22372761368751526, -0.21189109981060028, -0.2000545859336853, -0.18821808695793152, -0.17638155817985535, -0.16454504430294037, -0.15270854532718658, -0.1408720314502716, -0.12903553247451782, -0.11719901859760284, -0.10536251217126846, -0.09352600574493408, -0.0816895067691803, -0.06985300034284592, -0.058016493916511536, -0.046179983764886856, -0.034343477338552475, -0.022506970912218094, -0.010670460760593414, 0.0011660456657409668, 0.013002552092075348, 0.02483905851840973, 0.03667556494474411, 0.04851207509636879, 0.06034858152270317, 0.07218508422374725, 0.08402159810066223, 0.09585810452699661, 0.107694610953331, 0.11953111737966537, 0.13136762380599976, 0.14320413768291473, 0.15504063665866852, 0.1668771505355835, 0.17871364951133728, 0.19055016338825226, 0.20238667726516724, 0.21422319114208221, 0.226059690117836, 0.23789620399475098, 0.24973270297050476, 0.26156920194625854, 0.2734057307243347, 0.2852422297000885, 0.2970787286758423]}, "gradients/decoder.transformer.h.21.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 5.0, 5.0, 4.0, 3.0, 7.0, 4.0, 10.0, 8.0, 9.0, 8.0, 14.0, 19.0, 30.0, 28.0, 40.0, 18.0, 25.0, 31.0, 41.0, 34.0, 37.0, 39.0, 37.0, 44.0, 33.0, 42.0, 41.0, 42.0, 41.0, 36.0, 27.0, 37.0, 35.0, 27.0, 18.0, 18.0, 12.0, 19.0, 14.0, 8.0, 12.0, 8.0, 14.0, 6.0, 8.0, 1.0, 3.0, 1.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.14587819576263428, -0.14120317995548248, -0.1365281641483307, -0.1318531334400177, -0.1271781176328659, -0.12250310182571411, -0.11782807856798172, -0.11315305531024933, -0.10847803950309753, -0.10380302369594574, -0.09912800043821335, -0.09445297718048096, -0.08977796137332916, -0.08510294556617737, -0.08042792230844498, -0.07575289905071259, -0.07107788324356079, -0.066402867436409, -0.061727844178676605, -0.05705282464623451, -0.05237780511379242, -0.04770278558135033, -0.043027766048908234, -0.03835274651646614, -0.03367772698402405, -0.029002707451581955, -0.024327687919139862, -0.01965266838669777, -0.014977648854255676, -0.010302629321813583, -0.0056276097893714905, -0.0009525902569293976, 0.0037224292755126953, 0.008397448807954788, 0.013072468340396881, 0.017747487872838974, 0.022422507405281067, 0.02709752693772316, 0.03177254647016525, 0.036447566002607346, 0.04112258553504944, 0.04579760506749153, 0.050472624599933624, 0.05514764413237572, 0.05982266366481781, 0.0644976794719696, 0.069172702729702, 0.07384772598743439, 0.07852274179458618, 0.08319775760173798, 0.08787278085947037, 0.09254780411720276, 0.09722281992435455, 0.10189783573150635, 0.10657285898923874, 0.11124788224697113, 0.11592289805412292, 0.12059791386127472, 0.1252729296684265, 0.1299479603767395, 0.1346229761838913, 0.1392979919910431, 0.14397302269935608, 0.14864803850650787, 0.15332305431365967]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 6.0, 10.0, 10.0, 18.0, 23.0, 32.0, 25.0, 27.0, 45.0, 59.0, 55.0, 56.0, 71.0, 80.0, 63.0, 77.0, 69.0, 55.0, 60.0, 54.0, 26.0, 20.0, 25.0, 19.0, 7.0, 9.0, 4.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0243988037109375, -0.02381312847137451, -0.023227453231811523, -0.022641777992248535, -0.022056102752685547, -0.02147042751312256, -0.02088475227355957, -0.020299077033996582, -0.019713401794433594, -0.019127726554870605, -0.018542051315307617, -0.01795637607574463, -0.01737070083618164, -0.016785025596618652, -0.016199350357055664, -0.015613675117492676, -0.015027999877929688, -0.0144423246383667, -0.013856649398803711, -0.013270974159240723, -0.012685298919677734, -0.012099623680114746, -0.011513948440551758, -0.01092827320098877, -0.010342597961425781, -0.009756922721862793, -0.009171247482299805, -0.008585572242736816, -0.007999897003173828, -0.00741422176361084, -0.0068285465240478516, -0.006242871284484863, -0.005657196044921875, -0.005071520805358887, -0.0044858455657958984, -0.00390017032623291, -0.003314495086669922, -0.0027288198471069336, -0.0021431446075439453, -0.001557469367980957, -0.0009717941284179688, -0.00038611888885498047, 0.0001995563507080078, 0.0007852315902709961, 0.0013709068298339844, 0.0019565820693969727, 0.002542257308959961, 0.0031279325485229492, 0.0037136077880859375, 0.004299283027648926, 0.004884958267211914, 0.005470633506774902, 0.006056308746337891, 0.006641983985900879, 0.007227659225463867, 0.007813334465026855, 0.008399009704589844, 0.008984684944152832, 0.00957036018371582, 0.010156035423278809, 0.010741710662841797, 0.011327385902404785, 0.011913061141967773, 0.012498736381530762, 0.01308441162109375]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 2.0, 4.0, 7.0, 8.0, 11.0, 22.0, 24.0, 50.0, 95.0, 161.0, 338.0, 659.0, 1508.0, 3720.0, 9890.0, 31300.0, 127231.0, 649054.0, 165556.0, 38717.0, 12103.0, 4591.0, 1859.0, 800.0, 367.0, 199.0, 101.0, 56.0, 32.0, 27.0, 15.0, 14.0, 11.0, 8.0, 8.0, 3.0, 5.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020372867584228516, -0.00019706785678863525, -0.00019040703773498535, -0.00018374621868133545, -0.00017708539962768555, -0.00017042458057403564, -0.00016376376152038574, -0.00015710294246673584, -0.00015044212341308594, -0.00014378130435943604, -0.00013712048530578613, -0.00013045966625213623, -0.00012379884719848633, -0.00011713802814483643, -0.00011047720909118652, -0.00010381639003753662, -9.715557098388672e-05, -9.049475193023682e-05, -8.383393287658691e-05, -7.717311382293701e-05, -7.051229476928711e-05, -6.385147571563721e-05, -5.7190656661987305e-05, -5.05298376083374e-05, -4.38690185546875e-05, -3.72081995010376e-05, -3.0547380447387695e-05, -2.3886561393737793e-05, -1.722574234008789e-05, -1.0564923286437988e-05, -3.904104232788086e-06, 2.7567148208618164e-06, 9.417533874511719e-06, 1.607835292816162e-05, 2.2739171981811523e-05, 2.9399991035461426e-05, 3.606081008911133e-05, 4.272162914276123e-05, 4.938244819641113e-05, 5.6043267250061035e-05, 6.270408630371094e-05, 6.936490535736084e-05, 7.602572441101074e-05, 8.268654346466064e-05, 8.934736251831055e-05, 9.600818157196045e-05, 0.00010266900062561035, 0.00010932981967926025, 0.00011599063873291016, 0.00012265145778656006, 0.00012931227684020996, 0.00013597309589385986, 0.00014263391494750977, 0.00014929473400115967, 0.00015595555305480957, 0.00016261637210845947, 0.00016927719116210938, 0.00017593801021575928, 0.00018259882926940918, 0.00018925964832305908, 0.00019592046737670898, 0.0002025812864303589, 0.0002092421054840088, 0.0002159029245376587, 0.0002225637435913086]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 1.0, 2.0, 7.0, 7.0, 10.0, 10.0, 7.0, 23.0, 22.0, 23.0, 18.0, 20.0, 33.0, 34.0, 40.0, 43.0, 51.0, 43.0, 60.0, 61.0, 1075.0, 58.0, 58.0, 37.0, 46.0, 31.0, 34.0, 30.0, 32.0, 24.0, 17.0, 15.0, 10.0, 17.0, 9.0, 9.0, 7.0, 3.0, 9.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.01531219482421875, -0.014920949935913086, -0.014529705047607422, -0.014138460159301758, -0.013747215270996094, -0.01335597038269043, -0.012964725494384766, -0.012573480606079102, -0.012182235717773438, -0.011790990829467773, -0.01139974594116211, -0.011008501052856445, -0.010617256164550781, -0.010226011276245117, -0.009834766387939453, -0.009443521499633789, -0.009052276611328125, -0.008661031723022461, -0.008269786834716797, -0.007878541946411133, -0.007487297058105469, -0.007096052169799805, -0.006704807281494141, -0.0063135623931884766, -0.0059223175048828125, -0.0055310726165771484, -0.005139827728271484, -0.00474858283996582, -0.004357337951660156, -0.003966093063354492, -0.003574848175048828, -0.003183603286743164, -0.0027923583984375, -0.002401113510131836, -0.002009868621826172, -0.0016186237335205078, -0.0012273788452148438, -0.0008361339569091797, -0.0004448890686035156, -5.364418029785156e-05, 0.0003376007080078125, 0.0007288455963134766, 0.0011200904846191406, 0.0015113353729248047, 0.0019025802612304688, 0.002293825149536133, 0.002685070037841797, 0.003076314926147461, 0.003467559814453125, 0.003858804702758789, 0.004250049591064453, 0.004641294479370117, 0.005032539367675781, 0.005423784255981445, 0.005815029144287109, 0.0062062740325927734, 0.0065975189208984375, 0.0069887638092041016, 0.007380008697509766, 0.00777125358581543, 0.008162498474121094, 0.008553743362426758, 0.008944988250732422, 0.009336233139038086, 0.00972747802734375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 7.0, 5.0, 11.0, 8.0, 14.0, 11.0, 16.0, 14.0, 17.0, 22.0, 40.0, 34.0, 53.0, 110.0, 253.0, 786.0, 2307.0, 26211.0, 2058304.0, 6293.0, 1604.0, 489.0, 211.0, 84.0, 34.0, 36.0, 21.0, 22.0, 17.0, 27.0, 25.0, 15.0, 8.0, 8.0, 11.0, 4.0, 2.0, 3.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.655952453613281e-06, -9.274110198020935e-06, -8.892267942428589e-06, -8.510425686836243e-06, -8.128583431243896e-06, -7.74674117565155e-06, -7.364898920059204e-06, -6.983056664466858e-06, -6.601214408874512e-06, -6.2193721532821655e-06, -5.837529897689819e-06, -5.455687642097473e-06, -5.073845386505127e-06, -4.692003130912781e-06, -4.3101608753204346e-06, -3.928318619728088e-06, -3.546476364135742e-06, -3.164634108543396e-06, -2.78279185295105e-06, -2.4009495973587036e-06, -2.0191073417663574e-06, -1.6372650861740112e-06, -1.255422830581665e-06, -8.735805749893188e-07, -4.917383193969727e-07, -1.0989606380462646e-07, 2.7194619178771973e-07, 6.537884473800659e-07, 1.0356307029724121e-06, 1.4174729585647583e-06, 1.7993152141571045e-06, 2.1811574697494507e-06, 2.562999725341797e-06, 2.944841980934143e-06, 3.3266842365264893e-06, 3.7085264921188354e-06, 4.090368747711182e-06, 4.472211003303528e-06, 4.854053258895874e-06, 5.23589551448822e-06, 5.617737770080566e-06, 5.999580025672913e-06, 6.381422281265259e-06, 6.763264536857605e-06, 7.145106792449951e-06, 7.526949048042297e-06, 7.908791303634644e-06, 8.29063355922699e-06, 8.672475814819336e-06, 9.054318070411682e-06, 9.436160326004028e-06, 9.818002581596375e-06, 1.019984483718872e-05, 1.0581687092781067e-05, 1.0963529348373413e-05, 1.134537160396576e-05, 1.1727213859558105e-05, 1.2109056115150452e-05, 1.2490898370742798e-05, 1.2872740626335144e-05, 1.325458288192749e-05, 1.3636425137519836e-05, 1.4018267393112183e-05, 1.4400109648704529e-05, 1.4781951904296875e-05]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 6.0, 10.0, 10.0, 18.0, 23.0, 32.0, 25.0, 27.0, 45.0, 59.0, 55.0, 56.0, 71.0, 80.0, 63.0, 77.0, 69.0, 55.0, 60.0, 54.0, 26.0, 20.0, 25.0, 19.0, 7.0, 9.0, 4.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0243988037109375, -0.02381312847137451, -0.023227453231811523, -0.022641777992248535, -0.022056102752685547, -0.02147042751312256, -0.02088475227355957, -0.020299077033996582, -0.019713401794433594, -0.019127726554870605, -0.018542051315307617, -0.01795637607574463, -0.01737070083618164, -0.016785025596618652, -0.016199350357055664, -0.015613675117492676, -0.015027999877929688, -0.0144423246383667, -0.013856649398803711, -0.013270974159240723, -0.012685298919677734, -0.012099623680114746, -0.011513948440551758, -0.01092827320098877, -0.010342597961425781, -0.009756922721862793, -0.009171247482299805, -0.008585572242736816, -0.007999897003173828, -0.00741422176361084, -0.0068285465240478516, -0.006242871284484863, -0.005657196044921875, -0.005071520805358887, -0.0044858455657958984, -0.00390017032623291, -0.003314495086669922, -0.0027288198471069336, -0.0021431446075439453, -0.001557469367980957, -0.0009717941284179688, -0.00038611888885498047, 0.0001995563507080078, 0.0007852315902709961, 0.0013709068298339844, 0.0019565820693969727, 0.002542257308959961, 0.0031279325485229492, 0.0037136077880859375, 0.004299283027648926, 0.004884958267211914, 0.005470633506774902, 0.006056308746337891, 0.006641983985900879, 0.007227659225463867, 0.007813334465026855, 0.008399009704589844, 0.008984684944152832, 0.00957036018371582, 0.010156035423278809, 0.010741710662841797, 0.011327385902404785, 0.011913061141967773, 0.012498736381530762, 0.01308441162109375]}, "gradients/decoder.transformer.h.21.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 7.0, 9.0, 9.0, 10.0, 11.0, 24.0, 39.0, 61.0, 119.0, 171.0, 315.0, 568.0, 1147.0, 2213.0, 4782.0, 11287.0, 31576.0, 125922.0, 695399.0, 123246.0, 31115.0, 11102.0, 4622.0, 2259.0, 1170.0, 578.0, 312.0, 198.0, 89.0, 85.0, 46.0, 11.0, 21.0, 14.0, 9.0, 4.0, 2.0, 2.0, 4.0, 1.0, 4.0, 0.0, 1.0], "bins": [-0.048126220703125, -0.046907663345336914, -0.04568910598754883, -0.04447054862976074, -0.043251991271972656, -0.04203343391418457, -0.040814876556396484, -0.0395963191986084, -0.03837776184082031, -0.03715920448303223, -0.03594064712524414, -0.034722089767456055, -0.03350353240966797, -0.03228497505187988, -0.031066417694091797, -0.02984786033630371, -0.028629302978515625, -0.02741074562072754, -0.026192188262939453, -0.024973630905151367, -0.02375507354736328, -0.022536516189575195, -0.02131795883178711, -0.020099401473999023, -0.018880844116210938, -0.01766228675842285, -0.016443729400634766, -0.01522517204284668, -0.014006614685058594, -0.012788057327270508, -0.011569499969482422, -0.010350942611694336, -0.00913238525390625, -0.007913827896118164, -0.006695270538330078, -0.005476713180541992, -0.004258155822753906, -0.0030395984649658203, -0.0018210411071777344, -0.0006024837493896484, 0.0006160736083984375, 0.0018346309661865234, 0.0030531883239746094, 0.004271745681762695, 0.005490303039550781, 0.006708860397338867, 0.007927417755126953, 0.009145975112915039, 0.010364532470703125, 0.011583089828491211, 0.012801647186279297, 0.014020204544067383, 0.015238761901855469, 0.016457319259643555, 0.01767587661743164, 0.018894433975219727, 0.020112991333007812, 0.0213315486907959, 0.022550106048583984, 0.02376866340637207, 0.024987220764160156, 0.026205778121948242, 0.027424335479736328, 0.028642892837524414, 0.0298614501953125]}, "gradients/decoder.transformer.h.21.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 2.0, 1.0, 4.0, 3.0, 6.0, 9.0, 12.0, 7.0, 15.0, 19.0, 31.0, 21.0, 26.0, 32.0, 29.0, 43.0, 39.0, 65.0, 56.0, 101.0, 241.0, 1661.0, 169.0, 85.0, 64.0, 45.0, 36.0, 34.0, 31.0, 28.0, 25.0, 14.0, 19.0, 20.0, 16.0, 17.0, 5.0, 9.0, 2.0, 4.0, 6.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0484619140625, -0.04700613021850586, -0.04555034637451172, -0.04409456253051758, -0.04263877868652344, -0.0411829948425293, -0.039727210998535156, -0.038271427154541016, -0.036815643310546875, -0.035359859466552734, -0.033904075622558594, -0.03244829177856445, -0.030992507934570312, -0.029536724090576172, -0.02808094024658203, -0.02662515640258789, -0.02516937255859375, -0.02371358871459961, -0.02225780487060547, -0.020802021026611328, -0.019346237182617188, -0.017890453338623047, -0.016434669494628906, -0.014978885650634766, -0.013523101806640625, -0.012067317962646484, -0.010611534118652344, -0.009155750274658203, -0.0076999664306640625, -0.006244182586669922, -0.004788398742675781, -0.0033326148986816406, -0.0018768310546875, -0.0004210472106933594, 0.0010347366333007812, 0.002490520477294922, 0.0039463043212890625, 0.005402088165283203, 0.006857872009277344, 0.008313655853271484, 0.009769439697265625, 0.011225223541259766, 0.012681007385253906, 0.014136791229248047, 0.015592575073242188, 0.017048358917236328, 0.01850414276123047, 0.01995992660522461, 0.02141571044921875, 0.02287149429321289, 0.02432727813720703, 0.025783061981201172, 0.027238845825195312, 0.028694629669189453, 0.030150413513183594, 0.031606197357177734, 0.033061981201171875, 0.034517765045166016, 0.035973548889160156, 0.0374293327331543, 0.03888511657714844, 0.04034090042114258, 0.04179668426513672, 0.04325246810913086, 0.044708251953125]}, "gradients/decoder.transformer.h.21.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 4.0, 2.0, 4.0, 6.0, 10.0, 13.0, 18.0, 20.0, 15.0, 23.0, 35.0, 37.0, 56.0, 71.0, 115.0, 241.0, 686.0, 4125.0, 45787.0, 2885396.0, 195901.0, 10928.0, 1371.0, 334.0, 161.0, 83.0, 60.0, 31.0, 41.0, 31.0, 25.0, 25.0, 15.0, 8.0, 11.0, 7.0, 4.0, 3.0, 5.0, 3.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09149169921875, -0.08851242065429688, -0.08553314208984375, -0.08255386352539062, -0.0795745849609375, -0.07659530639648438, -0.07361602783203125, -0.07063674926757812, -0.067657470703125, -0.06467819213867188, -0.06169891357421875, -0.058719635009765625, -0.0557403564453125, -0.052761077880859375, -0.04978179931640625, -0.046802520751953125, -0.0438232421875, -0.040843963623046875, -0.03786468505859375, -0.034885406494140625, -0.0319061279296875, -0.028926849365234375, -0.02594757080078125, -0.022968292236328125, -0.019989013671875, -0.017009735107421875, -0.01403045654296875, -0.011051177978515625, -0.0080718994140625, -0.005092620849609375, -0.00211334228515625, 0.000865936279296875, 0.00384521484375, 0.006824493408203125, 0.00980377197265625, 0.012783050537109375, 0.0157623291015625, 0.018741607666015625, 0.02172088623046875, 0.024700164794921875, 0.027679443359375, 0.030658721923828125, 0.03363800048828125, 0.036617279052734375, 0.0395965576171875, 0.042575836181640625, 0.04555511474609375, 0.048534393310546875, 0.051513671875, 0.054492950439453125, 0.05747222900390625, 0.060451507568359375, 0.0634307861328125, 0.06641006469726562, 0.06938934326171875, 0.07236862182617188, 0.075347900390625, 0.07832717895507812, 0.08130645751953125, 0.08428573608398438, 0.0872650146484375, 0.09024429321289062, 0.09322357177734375, 0.09620285034179688, 0.09918212890625]}, "gradients/decoder.transformer.h.21.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 21.0, 157.0, 474.0, 298.0, 63.0, 8.0, 0.0, 1.0], "bins": [-0.7119547724723816, -0.699834406375885, -0.6877140402793884, -0.6755937337875366, -0.66347336769104, -0.6513530015945435, -0.6392326354980469, -0.6271122694015503, -0.6149919033050537, -0.6028715372085571, -0.5907511711120605, -0.578630805015564, -0.5665104985237122, -0.5543901324272156, -0.542269766330719, -0.5301494002342224, -0.5180290937423706, -0.505908727645874, -0.49378839135169983, -0.48166802525520325, -0.46954765915870667, -0.45742732286453247, -0.4453069567680359, -0.4331865906715393, -0.4210662245750427, -0.40894585847854614, -0.39682552218437195, -0.38470515608787537, -0.3725847899913788, -0.3604644536972046, -0.348344087600708, -0.3362237215042114, -0.32410338521003723, -0.31198301911354065, -0.29986268281936646, -0.2877423167228699, -0.2756219506263733, -0.2635015845298767, -0.2513812482357025, -0.23926088213920593, -0.22714051604270935, -0.21502016484737396, -0.20289979875087738, -0.190779447555542, -0.1786590814590454, -0.16653873026371002, -0.15441837906837463, -0.14229801297187805, -0.13017767667770386, -0.11805731803178787, -0.10593695938587189, -0.0938166081905365, -0.08169624954462051, -0.06957589089870453, -0.05745553970336914, -0.045335181057453156, -0.033214814960956573, -0.021094458177685738, -0.008974101394414902, 0.003146253526210785, 0.01526661217212677, 0.027386970818042755, 0.03950732201337814, 0.05162768065929413, 0.06374803930521011]}, "gradients/decoder.transformer.h.21.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 8.0, 9.0, 8.0, 7.0, 17.0, 9.0, 11.0, 15.0, 12.0, 18.0, 16.0, 22.0, 23.0, 29.0, 37.0, 31.0, 34.0, 29.0, 31.0, 40.0, 39.0, 40.0, 28.0, 50.0, 37.0, 33.0, 36.0, 38.0, 35.0, 27.0, 26.0, 32.0, 23.0, 26.0, 19.0, 18.0, 24.0, 17.0, 7.0, 11.0, 5.0, 10.0, 6.0, 7.0, 1.0, 1.0, 5.0, 2.0, 3.0, 2.0, 0.0, 1.0], "bins": [-0.13781505823135376, -0.1337517648935318, -0.12968847155570984, -0.12562519311904907, -0.12156189978122711, -0.11749860644340515, -0.11343531310558319, -0.10937201976776123, -0.10530873388051987, -0.1012454405426979, -0.09718215465545654, -0.09311886131763458, -0.08905556797981262, -0.08499228209257126, -0.0809289887547493, -0.07686570286750793, -0.07280240952968597, -0.06873911619186401, -0.06467583030462265, -0.06061253696680069, -0.05654924735426903, -0.052485957741737366, -0.048422664403915405, -0.04435937479138374, -0.04029608517885208, -0.03623279556632042, -0.03216950595378876, -0.028106212615966797, -0.024042923003435135, -0.019979633390903473, -0.01591634191572666, -0.01185305044054985, -0.0077897608280181885, -0.003726470284163952, 0.00033682025969028473, 0.004400110803544521, 0.008463401347398758, 0.01252669095993042, 0.01658998243510723, 0.020653273910284042, 0.024716563522815704, 0.028779853135347366, 0.03284314274787903, 0.03690643608570099, 0.04096972569823265, 0.04503301531076431, 0.04909630864858627, 0.053159598261117935, 0.0572228878736496, 0.06128617748618126, 0.06534946709871292, 0.06941276043653488, 0.07347604632377625, 0.0775393396615982, 0.08160263299942017, 0.08566592633724213, 0.08972921222448349, 0.09379250556230545, 0.09785579144954681, 0.10191908478736877, 0.10598237812519073, 0.1100456640124321, 0.11410895735025406, 0.11817224323749542, 0.12223553657531738]}, "gradients/decoder.transformer.h.20.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 4.0, 11.0, 11.0, 18.0, 21.0, 35.0, 23.0, 27.0, 45.0, 46.0, 59.0, 53.0, 84.0, 62.0, 65.0, 74.0, 68.0, 59.0, 63.0, 48.0, 37.0, 23.0, 26.0, 17.0, 11.0, 7.0, 7.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.02471923828125, -0.024128198623657227, -0.023537158966064453, -0.02294611930847168, -0.022355079650878906, -0.021764039993286133, -0.02117300033569336, -0.020581960678100586, -0.019990921020507812, -0.01939988136291504, -0.018808841705322266, -0.018217802047729492, -0.01762676239013672, -0.017035722732543945, -0.016444683074951172, -0.0158536434173584, -0.015262603759765625, -0.014671564102172852, -0.014080524444580078, -0.013489484786987305, -0.012898445129394531, -0.012307405471801758, -0.011716365814208984, -0.011125326156616211, -0.010534286499023438, -0.009943246841430664, -0.00935220718383789, -0.008761167526245117, -0.008170127868652344, -0.00757908821105957, -0.006988048553466797, -0.0063970088958740234, -0.00580596923828125, -0.0052149295806884766, -0.004623889923095703, -0.00403285026550293, -0.0034418106079101562, -0.002850770950317383, -0.0022597312927246094, -0.001668691635131836, -0.0010776519775390625, -0.00048661231994628906, 0.00010442733764648438, 0.0006954669952392578, 0.0012865066528320312, 0.0018775463104248047, 0.002468585968017578, 0.0030596256256103516, 0.003650665283203125, 0.0042417049407958984, 0.004832744598388672, 0.005423784255981445, 0.006014823913574219, 0.006605863571166992, 0.007196903228759766, 0.007787942886352539, 0.008378982543945312, 0.008970022201538086, 0.00956106185913086, 0.010152101516723633, 0.010743141174316406, 0.01133418083190918, 0.011925220489501953, 0.012516260147094727, 0.0131072998046875]}, "gradients/decoder.transformer.h.20.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 9.0, 7.0, 14.0, 20.0, 39.0, 42.0, 58.0, 78.0, 133.0, 188.0, 468.0, 1361.0, 7134.0, 136661.0, 3863388.0, 174296.0, 7961.0, 1463.0, 460.0, 188.0, 115.0, 66.0, 51.0, 33.0, 21.0, 14.0, 8.0, 6.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1513671875, -0.1477222442626953, -0.14407730102539062, -0.14043235778808594, -0.13678741455078125, -0.13314247131347656, -0.12949752807617188, -0.1258525848388672, -0.1222076416015625, -0.11856269836425781, -0.11491775512695312, -0.11127281188964844, -0.10762786865234375, -0.10398292541503906, -0.10033798217773438, -0.09669303894042969, -0.093048095703125, -0.08940315246582031, -0.08575820922851562, -0.08211326599121094, -0.07846832275390625, -0.07482337951660156, -0.07117843627929688, -0.06753349304199219, -0.0638885498046875, -0.06024360656738281, -0.056598663330078125, -0.05295372009277344, -0.04930877685546875, -0.04566383361816406, -0.042018890380859375, -0.03837394714355469, -0.03472900390625, -0.031084060668945312, -0.027439117431640625, -0.023794174194335938, -0.02014923095703125, -0.016504287719726562, -0.012859344482421875, -0.009214401245117188, -0.0055694580078125, -0.0019245147705078125, 0.001720428466796875, 0.0053653717041015625, 0.00901031494140625, 0.012655258178710938, 0.016300201416015625, 0.019945144653320312, 0.023590087890625, 0.027235031127929688, 0.030879974365234375, 0.03452491760253906, 0.03816986083984375, 0.04181480407714844, 0.045459747314453125, 0.04910469055175781, 0.0527496337890625, 0.05639457702636719, 0.060039520263671875, 0.06368446350097656, 0.06732940673828125, 0.07097434997558594, 0.07461929321289062, 0.07826423645019531, 0.0819091796875]}, "gradients/decoder.transformer.h.20.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 6.0, 10.0, 12.0, 26.0, 44.0, 74.0, 107.0, 211.0, 326.0, 537.0, 848.0, 739.0, 455.0, 277.0, 163.0, 106.0, 64.0, 25.0, 11.0, 21.0, 5.0, 2.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07861328125, -0.07653141021728516, -0.07444953918457031, -0.07236766815185547, -0.07028579711914062, -0.06820392608642578, -0.06612205505371094, -0.0640401840209961, -0.06195831298828125, -0.059876441955566406, -0.05779457092285156, -0.05571269989013672, -0.053630828857421875, -0.05154895782470703, -0.04946708679199219, -0.047385215759277344, -0.0453033447265625, -0.043221473693847656, -0.04113960266113281, -0.03905773162841797, -0.036975860595703125, -0.03489398956298828, -0.03281211853027344, -0.030730247497558594, -0.02864837646484375, -0.026566505432128906, -0.024484634399414062, -0.02240276336669922, -0.020320892333984375, -0.01823902130126953, -0.016157150268554688, -0.014075279235839844, -0.011993408203125, -0.009911537170410156, -0.007829666137695312, -0.005747795104980469, -0.003665924072265625, -0.0015840530395507812, 0.0004978179931640625, 0.0025796890258789062, 0.00466156005859375, 0.006743431091308594, 0.008825302124023438, 0.010907173156738281, 0.012989044189453125, 0.015070915222167969, 0.017152786254882812, 0.019234657287597656, 0.0213165283203125, 0.023398399353027344, 0.025480270385742188, 0.02756214141845703, 0.029644012451171875, 0.03172588348388672, 0.03380775451660156, 0.035889625549316406, 0.03797149658203125, 0.040053367614746094, 0.04213523864746094, 0.04421710968017578, 0.046298980712890625, 0.04838085174560547, 0.05046272277832031, 0.052544593811035156, 0.05462646484375]}, "gradients/decoder.transformer.h.20.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 7.0, 6.0, 10.0, 15.0, 27.0, 49.0, 105.0, 172.0, 323.0, 665.0, 1554.0, 5656.0, 114760.0, 3796462.0, 262922.0, 8193.0, 1819.0, 726.0, 392.0, 200.0, 112.0, 52.0, 26.0, 11.0, 11.0, 4.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15283203125, -0.14708518981933594, -0.14133834838867188, -0.1355915069580078, -0.12984466552734375, -0.12409782409667969, -0.11835098266601562, -0.11260414123535156, -0.1068572998046875, -0.10111045837402344, -0.09536361694335938, -0.08961677551269531, -0.08386993408203125, -0.07812309265136719, -0.07237625122070312, -0.06662940979003906, -0.060882568359375, -0.05513572692871094, -0.049388885498046875, -0.04364204406738281, -0.03789520263671875, -0.03214836120605469, -0.026401519775390625, -0.020654678344726562, -0.0149078369140625, -0.009160995483398438, -0.003414154052734375, 0.0023326873779296875, 0.00807952880859375, 0.013826370239257812, 0.019573211669921875, 0.025320053100585938, 0.03106689453125, 0.03681373596191406, 0.042560577392578125, 0.04830741882324219, 0.05405426025390625, 0.05980110168457031, 0.06554794311523438, 0.07129478454589844, 0.0770416259765625, 0.08278846740722656, 0.08853530883789062, 0.09428215026855469, 0.10002899169921875, 0.10577583312988281, 0.11152267456054688, 0.11726951599121094, 0.123016357421875, 0.12876319885253906, 0.13451004028320312, 0.1402568817138672, 0.14600372314453125, 0.1517505645751953, 0.15749740600585938, 0.16324424743652344, 0.1689910888671875, 0.17473793029785156, 0.18048477172851562, 0.1862316131591797, 0.19197845458984375, 0.1977252960205078, 0.20347213745117188, 0.20921897888183594, 0.2149658203125]}, "gradients/decoder.transformer.h.20.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 5.0, 8.0, 9.0, 11.0, 23.0, 23.0, 31.0, 40.0, 49.0, 60.0, 53.0, 92.0, 93.0, 77.0, 79.0, 68.0, 59.0, 59.0, 45.0, 38.0, 28.0, 19.0, 12.0, 17.0, 8.0, 3.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.25337648391723633, -0.24780234694480896, -0.24222822487354279, -0.2366541028022766, -0.23107996582984924, -0.22550582885742188, -0.2199317067861557, -0.21435758471488953, -0.20878344774246216, -0.2032093107700348, -0.19763518869876862, -0.19206106662750244, -0.18648692965507507, -0.1809127926826477, -0.17533867061138153, -0.16976454854011536, -0.164190411567688, -0.15861627459526062, -0.15304215252399445, -0.14746803045272827, -0.1418938934803009, -0.13631975650787354, -0.13074563443660736, -0.1251715123653412, -0.11959737539291382, -0.11402324587106705, -0.10844911634922028, -0.1028749868273735, -0.09730085730552673, -0.09172672778367996, -0.08615259826183319, -0.08057846873998642, -0.07500433176755905, -0.06943020224571228, -0.06385607272386551, -0.05828194320201874, -0.05270781368017197, -0.047133684158325195, -0.041559554636478424, -0.03598542511463165, -0.03041129559278488, -0.02483716607093811, -0.01926303654909134, -0.013688907027244568, -0.008114777505397797, -0.0025406479835510254, 0.003033481538295746, 0.008607611060142517, 0.014181740581989288, 0.01975587010383606, 0.02532999962568283, 0.030904129147529602, 0.03647825866937637, 0.042052388191223145, 0.047626517713069916, 0.05320064723491669, 0.05877477675676346, 0.06434890627861023, 0.069923035800457, 0.07549716532230377, 0.08107129484415054, 0.08664542436599731, 0.09221955388784409, 0.09779368340969086, 0.10336781293153763]}, "gradients/decoder.transformer.h.20.ln_2.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 4.0, 1.0, 6.0, 8.0, 8.0, 10.0, 11.0, 17.0, 23.0, 18.0, 22.0, 18.0, 13.0, 24.0, 31.0, 26.0, 41.0, 44.0, 33.0, 37.0, 55.0, 32.0, 43.0, 37.0, 40.0, 47.0, 35.0, 44.0, 29.0, 28.0, 26.0, 24.0, 25.0, 14.0, 17.0, 26.0, 10.0, 10.0, 11.0, 13.0, 17.0, 9.0, 7.0, 3.0, 2.0, 5.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.15118730068206787, -0.14651063084602356, -0.14183394610881805, -0.13715727627277374, -0.13248059153556824, -0.12780392169952393, -0.12312725186347961, -0.1184505745768547, -0.1137738972902298, -0.10909722000360489, -0.10442054271697998, -0.09974387288093567, -0.09506719559431076, -0.09039051830768585, -0.08571384847164154, -0.08103717118501663, -0.07636049389839172, -0.07168381661176682, -0.0670071393251419, -0.062330469489097595, -0.05765379220247269, -0.05297711491584778, -0.04830044135451317, -0.04362376779317856, -0.03894709050655365, -0.03427041321992874, -0.02959373965859413, -0.024917064234614372, -0.020240388810634613, -0.015563713386654854, -0.010887037962675095, -0.006210364401340485, -0.0015336871147155762, 0.003142988309264183, 0.007819663733243942, 0.012496339157223701, 0.01717301458120346, 0.02184969000518322, 0.02652636542916298, 0.03120303899049759, 0.0358797162771225, 0.040556393563747406, 0.045233067125082016, 0.049909740686416626, 0.054586417973041534, 0.05926309525966644, 0.06393976509571075, 0.06861644238233566, 0.07329311966896057, 0.07796979695558548, 0.08264647424221039, 0.0873231440782547, 0.09199982136487961, 0.09667649865150452, 0.10135316848754883, 0.10602984577417374, 0.11070652306079865, 0.11538320034742355, 0.12005987763404846, 0.12473654747009277, 0.12941321730613708, 0.1340899020433426, 0.1387665718793869, 0.1434432566165924, 0.14811992645263672]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 6.0, 10.0, 11.0, 17.0, 21.0, 22.0, 36.0, 30.0, 47.0, 54.0, 55.0, 57.0, 69.0, 78.0, 61.0, 58.0, 75.0, 63.0, 51.0, 46.0, 31.0, 27.0, 26.0, 19.0, 17.0, 7.0, 6.0, 1.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0245361328125, -0.02393496036529541, -0.02333378791809082, -0.02273261547088623, -0.02213144302368164, -0.02153027057647705, -0.02092909812927246, -0.02032792568206787, -0.01972675323486328, -0.01912558078765869, -0.0185244083404541, -0.01792323589324951, -0.017322063446044922, -0.016720890998840332, -0.016119718551635742, -0.015518546104431152, -0.014917373657226562, -0.014316201210021973, -0.013715028762817383, -0.013113856315612793, -0.012512683868408203, -0.011911511421203613, -0.011310338973999023, -0.010709166526794434, -0.010107994079589844, -0.009506821632385254, -0.008905649185180664, -0.008304476737976074, -0.007703304290771484, -0.0071021318435668945, -0.006500959396362305, -0.005899786949157715, -0.005298614501953125, -0.004697442054748535, -0.004096269607543945, -0.0034950971603393555, -0.0028939247131347656, -0.0022927522659301758, -0.001691579818725586, -0.001090407371520996, -0.0004892349243164062, 0.0001119375228881836, 0.0007131099700927734, 0.0013142824172973633, 0.0019154548645019531, 0.002516627311706543, 0.003117799758911133, 0.0037189722061157227, 0.0043201446533203125, 0.004921317100524902, 0.005522489547729492, 0.006123661994934082, 0.006724834442138672, 0.007326006889343262, 0.007927179336547852, 0.008528351783752441, 0.009129524230957031, 0.009730696678161621, 0.010331869125366211, 0.0109330415725708, 0.01153421401977539, 0.01213538646697998, 0.01273655891418457, 0.01333773136138916, 0.01393890380859375]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 6.0, 5.0, 10.0, 7.0, 3.0, 5.0, 15.0, 10.0, 28.0, 36.0, 61.0, 89.0, 175.0, 288.0, 591.0, 1209.0, 2557.0, 5563.0, 13029.0, 33668.0, 98657.0, 496985.0, 280565.0, 70683.0, 25516.0, 10077.0, 4577.0, 2088.0, 910.0, 492.0, 267.0, 128.0, 98.0, 51.0, 39.0, 16.0, 15.0, 13.0, 10.0, 5.0, 6.0, 3.0, 2.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013554096221923828, -0.00013067573308944702, -0.00012581050395965576, -0.0001209452748298645, -0.00011608004570007324, -0.00011121481657028198, -0.00010634958744049072, -0.00010148435831069946, -9.66191291809082e-05, -9.175390005111694e-05, -8.688867092132568e-05, -8.202344179153442e-05, -7.715821266174316e-05, -7.22929835319519e-05, -6.742775440216064e-05, -6.256252527236938e-05, -5.7697296142578125e-05, -5.2832067012786865e-05, -4.7966837882995605e-05, -4.3101608753204346e-05, -3.8236379623413086e-05, -3.3371150493621826e-05, -2.8505921363830566e-05, -2.3640692234039307e-05, -1.8775463104248047e-05, -1.3910233974456787e-05, -9.045004844665527e-06, -4.179775714874268e-06, 6.854534149169922e-07, 5.550682544708252e-06, 1.0415911674499512e-05, 1.528114080429077e-05, 2.014636993408203e-05, 2.501159906387329e-05, 2.987682819366455e-05, 3.474205732345581e-05, 3.960728645324707e-05, 4.447251558303833e-05, 4.933774471282959e-05, 5.420297384262085e-05, 5.906820297241211e-05, 6.393343210220337e-05, 6.879866123199463e-05, 7.366389036178589e-05, 7.852911949157715e-05, 8.339434862136841e-05, 8.825957775115967e-05, 9.312480688095093e-05, 9.799003601074219e-05, 0.00010285526514053345, 0.00010772049427032471, 0.00011258572340011597, 0.00011745095252990723, 0.00012231618165969849, 0.00012718141078948975, 0.000132046639919281, 0.00013691186904907227, 0.00014177709817886353, 0.00014664232730865479, 0.00015150755643844604, 0.0001563727855682373, 0.00016123801469802856, 0.00016610324382781982, 0.00017096847295761108, 0.00017583370208740234]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 3.0, 1.0, 1.0, 0.0, 4.0, 1.0, 5.0, 10.0, 5.0, 11.0, 12.0, 6.0, 9.0, 10.0, 25.0, 24.0, 20.0, 22.0, 33.0, 27.0, 32.0, 37.0, 32.0, 34.0, 47.0, 32.0, 44.0, 1059.0, 39.0, 36.0, 39.0, 36.0, 40.0, 33.0, 37.0, 32.0, 25.0, 24.0, 23.0, 15.0, 13.0, 11.0, 16.0, 11.0, 8.0, 11.0, 9.0, 8.0, 3.0, 9.0, 6.0, 2.0, 4.0, 1.0, 1.0, 0.0, 2.0, 3.0, 0.0, 0.0, 1.0], "bins": [-0.00888824462890625, -0.008599042892456055, -0.00830984115600586, -0.008020639419555664, -0.007731437683105469, -0.0074422359466552734, -0.007153034210205078, -0.006863832473754883, -0.0065746307373046875, -0.006285429000854492, -0.005996227264404297, -0.0057070255279541016, -0.005417823791503906, -0.005128622055053711, -0.004839420318603516, -0.00455021858215332, -0.004261016845703125, -0.00397181510925293, -0.0036826133728027344, -0.003393411636352539, -0.0031042098999023438, -0.0028150081634521484, -0.002525806427001953, -0.002236604690551758, -0.0019474029541015625, -0.0016582012176513672, -0.0013689994812011719, -0.0010797977447509766, -0.0007905960083007812, -0.0005013942718505859, -0.00021219253540039062, 7.700920104980469e-05, 0.0003662109375, 0.0006554126739501953, 0.0009446144104003906, 0.001233816146850586, 0.0015230178833007812, 0.0018122196197509766, 0.002101421356201172, 0.002390623092651367, 0.0026798248291015625, 0.002969026565551758, 0.003258228302001953, 0.0035474300384521484, 0.0038366317749023438, 0.004125833511352539, 0.004415035247802734, 0.00470423698425293, 0.004993438720703125, 0.00528264045715332, 0.005571842193603516, 0.005861043930053711, 0.006150245666503906, 0.0064394474029541016, 0.006728649139404297, 0.007017850875854492, 0.0073070526123046875, 0.007596254348754883, 0.007885456085205078, 0.008174657821655273, 0.008463859558105469, 0.008753061294555664, 0.00904226303100586, 0.009331464767456055, 0.00962066650390625]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 5.0, 9.0, 5.0, 8.0, 9.0, 7.0, 10.0, 12.0, 9.0, 13.0, 12.0, 17.0, 23.0, 27.0, 15.0, 37.0, 41.0, 55.0, 86.0, 246.0, 563.0, 1735.0, 4581.0, 2013329.0, 70533.0, 3786.0, 905.0, 472.0, 198.0, 86.0, 46.0, 36.0, 34.0, 27.0, 15.0, 24.0, 27.0, 13.0, 11.0, 11.0, 12.0, 6.0, 4.0, 13.0, 11.0, 2.0, 5.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 1.0], "bins": [-9.298324584960938e-06, -9.015202522277832e-06, -8.732080459594727e-06, -8.448958396911621e-06, -8.165836334228516e-06, -7.88271427154541e-06, -7.599592208862305e-06, -7.316470146179199e-06, -7.033348083496094e-06, -6.750226020812988e-06, -6.467103958129883e-06, -6.183981895446777e-06, -5.900859832763672e-06, -5.617737770080566e-06, -5.334615707397461e-06, -5.0514936447143555e-06, -4.76837158203125e-06, -4.4852495193481445e-06, -4.202127456665039e-06, -3.919005393981934e-06, -3.635883331298828e-06, -3.3527612686157227e-06, -3.069639205932617e-06, -2.7865171432495117e-06, -2.5033950805664062e-06, -2.2202730178833008e-06, -1.9371509552001953e-06, -1.6540288925170898e-06, -1.3709068298339844e-06, -1.087784767150879e-06, -8.046627044677734e-07, -5.21540641784668e-07, -2.384185791015625e-07, 4.470348358154297e-08, 3.2782554626464844e-07, 6.109476089477539e-07, 8.940696716308594e-07, 1.1771917343139648e-06, 1.4603137969970703e-06, 1.7434358596801758e-06, 2.0265579223632812e-06, 2.3096799850463867e-06, 2.592802047729492e-06, 2.8759241104125977e-06, 3.159046173095703e-06, 3.4421682357788086e-06, 3.725290298461914e-06, 4.0084123611450195e-06, 4.291534423828125e-06, 4.5746564865112305e-06, 4.857778549194336e-06, 5.140900611877441e-06, 5.424022674560547e-06, 5.707144737243652e-06, 5.990266799926758e-06, 6.273388862609863e-06, 6.556510925292969e-06, 6.839632987976074e-06, 7.12275505065918e-06, 7.405877113342285e-06, 7.68899917602539e-06, 7.972121238708496e-06, 8.255243301391602e-06, 8.538365364074707e-06, 8.821487426757812e-06]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 6.0, 10.0, 11.0, 17.0, 21.0, 22.0, 36.0, 30.0, 47.0, 54.0, 55.0, 57.0, 69.0, 78.0, 61.0, 58.0, 75.0, 63.0, 51.0, 46.0, 31.0, 27.0, 26.0, 19.0, 17.0, 7.0, 6.0, 1.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0245361328125, -0.02393496036529541, -0.02333378791809082, -0.02273261547088623, -0.02213144302368164, -0.02153027057647705, -0.02092909812927246, -0.02032792568206787, -0.01972675323486328, -0.01912558078765869, -0.0185244083404541, -0.01792323589324951, -0.017322063446044922, -0.016720890998840332, -0.016119718551635742, -0.015518546104431152, -0.014917373657226562, -0.014316201210021973, -0.013715028762817383, -0.013113856315612793, -0.012512683868408203, -0.011911511421203613, -0.011310338973999023, -0.010709166526794434, -0.010107994079589844, -0.009506821632385254, -0.008905649185180664, -0.008304476737976074, -0.007703304290771484, -0.0071021318435668945, -0.006500959396362305, -0.005899786949157715, -0.005298614501953125, -0.004697442054748535, -0.004096269607543945, -0.0034950971603393555, -0.0028939247131347656, -0.0022927522659301758, -0.001691579818725586, -0.001090407371520996, -0.0004892349243164062, 0.0001119375228881836, 0.0007131099700927734, 0.0013142824172973633, 0.0019154548645019531, 0.002516627311706543, 0.003117799758911133, 0.0037189722061157227, 0.0043201446533203125, 0.004921317100524902, 0.005522489547729492, 0.006123661994934082, 0.006724834442138672, 0.007326006889343262, 0.007927179336547852, 0.008528351783752441, 0.009129524230957031, 0.009730696678161621, 0.010331869125366211, 0.0109330415725708, 0.01153421401977539, 0.01213538646697998, 0.01273655891418457, 0.01333773136138916, 0.01393890380859375]}, "gradients/decoder.transformer.h.20.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 5.0, 3.0, 4.0, 10.0, 22.0, 41.0, 98.0, 204.0, 714.0, 3077.0, 16487.0, 103643.0, 739775.0, 155919.0, 22804.0, 4280.0, 972.0, 283.0, 97.0, 48.0, 28.0, 13.0, 4.0, 5.0, 2.0, 4.0, 2.0, 4.0, 1.0, 0.0, 5.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0433349609375, -0.04176473617553711, -0.04019451141357422, -0.03862428665161133, -0.03705406188964844, -0.03548383712768555, -0.033913612365722656, -0.032343387603759766, -0.030773162841796875, -0.029202938079833984, -0.027632713317871094, -0.026062488555908203, -0.024492263793945312, -0.022922039031982422, -0.02135181427001953, -0.01978158950805664, -0.01821136474609375, -0.01664113998413086, -0.015070915222167969, -0.013500690460205078, -0.011930465698242188, -0.010360240936279297, -0.008790016174316406, -0.007219791412353516, -0.005649566650390625, -0.004079341888427734, -0.0025091171264648438, -0.0009388923645019531, 0.0006313323974609375, 0.002201557159423828, 0.0037717819213867188, 0.005342006683349609, 0.0069122314453125, 0.00848245620727539, 0.010052680969238281, 0.011622905731201172, 0.013193130493164062, 0.014763355255126953, 0.016333580017089844, 0.017903804779052734, 0.019474029541015625, 0.021044254302978516, 0.022614479064941406, 0.024184703826904297, 0.025754928588867188, 0.027325153350830078, 0.02889537811279297, 0.03046560287475586, 0.03203582763671875, 0.03360605239868164, 0.03517627716064453, 0.03674650192260742, 0.03831672668457031, 0.0398869514465332, 0.041457176208496094, 0.043027400970458984, 0.044597625732421875, 0.046167850494384766, 0.047738075256347656, 0.04930830001831055, 0.05087852478027344, 0.05244874954223633, 0.05401897430419922, 0.05558919906616211, 0.057159423828125]}, "gradients/decoder.transformer.h.20.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 3.0, 1.0, 4.0, 7.0, 1.0, 8.0, 11.0, 11.0, 19.0, 15.0, 16.0, 16.0, 25.0, 29.0, 37.0, 45.0, 48.0, 61.0, 85.0, 94.0, 187.0, 1548.0, 247.0, 106.0, 82.0, 53.0, 50.0, 42.0, 39.0, 22.0, 25.0, 19.0, 20.0, 21.0, 16.0, 10.0, 10.0, 13.0, 6.0, 1.0, 1.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.04718017578125, -0.0455927848815918, -0.044005393981933594, -0.04241800308227539, -0.04083061218261719, -0.039243221282958984, -0.03765583038330078, -0.03606843948364258, -0.034481048583984375, -0.03289365768432617, -0.03130626678466797, -0.029718875885009766, -0.028131484985351562, -0.02654409408569336, -0.024956703186035156, -0.023369312286376953, -0.02178192138671875, -0.020194530487060547, -0.018607139587402344, -0.01701974868774414, -0.015432357788085938, -0.013844966888427734, -0.012257575988769531, -0.010670185089111328, -0.009082794189453125, -0.007495403289794922, -0.005908012390136719, -0.004320621490478516, -0.0027332305908203125, -0.0011458396911621094, 0.00044155120849609375, 0.002028942108154297, 0.0036163330078125, 0.005203723907470703, 0.006791114807128906, 0.00837850570678711, 0.009965896606445312, 0.011553287506103516, 0.013140678405761719, 0.014728069305419922, 0.016315460205078125, 0.017902851104736328, 0.01949024200439453, 0.021077632904052734, 0.022665023803710938, 0.02425241470336914, 0.025839805603027344, 0.027427196502685547, 0.02901458740234375, 0.030601978302001953, 0.032189369201660156, 0.03377676010131836, 0.03536415100097656, 0.036951541900634766, 0.03853893280029297, 0.04012632369995117, 0.041713714599609375, 0.04330110549926758, 0.04488849639892578, 0.046475887298583984, 0.04806327819824219, 0.04965066909790039, 0.051238059997558594, 0.0528254508972168, 0.054412841796875]}, "gradients/decoder.transformer.h.20.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 6.0, 7.0, 5.0, 12.0, 14.0, 19.0, 21.0, 25.0, 24.0, 40.0, 42.0, 102.0, 161.0, 343.0, 892.0, 4050.0, 35458.0, 1994238.0, 1075306.0, 29747.0, 3558.0, 813.0, 327.0, 171.0, 101.0, 58.0, 40.0, 22.0, 27.0, 13.0, 14.0, 17.0, 10.0, 5.0, 8.0, 5.0, 4.0, 5.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08648681640625, -0.08394050598144531, -0.08139419555664062, -0.07884788513183594, -0.07630157470703125, -0.07375526428222656, -0.07120895385742188, -0.06866264343261719, -0.0661163330078125, -0.06357002258300781, -0.061023712158203125, -0.05847740173339844, -0.05593109130859375, -0.05338478088378906, -0.050838470458984375, -0.04829216003417969, -0.045745849609375, -0.04319953918457031, -0.040653228759765625, -0.03810691833496094, -0.03556060791015625, -0.03301429748535156, -0.030467987060546875, -0.027921676635742188, -0.0253753662109375, -0.022829055786132812, -0.020282745361328125, -0.017736434936523438, -0.01519012451171875, -0.012643814086914062, -0.010097503662109375, -0.0075511932373046875, -0.0050048828125, -0.0024585723876953125, 8.7738037109375e-05, 0.0026340484619140625, 0.00518035888671875, 0.0077266693115234375, 0.010272979736328125, 0.012819290161132812, 0.0153656005859375, 0.017911911010742188, 0.020458221435546875, 0.023004531860351562, 0.02555084228515625, 0.028097152709960938, 0.030643463134765625, 0.03318977355957031, 0.035736083984375, 0.03828239440917969, 0.040828704833984375, 0.04337501525878906, 0.04592132568359375, 0.04846763610839844, 0.051013946533203125, 0.05356025695800781, 0.0561065673828125, 0.05865287780761719, 0.061199188232421875, 0.06374549865722656, 0.06629180908203125, 0.06883811950683594, 0.07138442993164062, 0.07393074035644531, 0.07647705078125]}, "gradients/decoder.transformer.h.20.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 89.0, 586.0, 327.0, 16.0], "bins": [-1.333203911781311, -1.3116127252578735, -1.2900216579437256, -1.268430471420288, -1.2468392848968506, -1.2252482175827026, -1.2036570310592651, -1.1820659637451172, -1.1604747772216797, -1.1388835906982422, -1.1172925233840942, -1.0957013368606567, -1.0741102695465088, -1.0525190830230713, -1.0309278964996338, -1.0093368291854858, -0.9877456426620483, -0.9661545157432556, -0.9445633888244629, -0.9229722023010254, -0.9013810753822327, -0.8797899484634399, -0.8581987619400024, -0.8366076350212097, -0.815016508102417, -0.7934253811836243, -0.7718342542648315, -0.750243067741394, -0.7286519408226013, -0.7070608139038086, -0.6854696273803711, -0.6638785004615784, -0.6422873139381409, -0.6206961870193481, -0.5991050004959106, -0.5775138735771179, -0.5559227466583252, -0.5343316197395325, -0.5127404928207397, -0.49114930629730225, -0.4695582091808319, -0.4479670524597168, -0.4263759255409241, -0.40478479862213135, -0.38319364190101624, -0.3616024851799011, -0.3400113582611084, -0.3184202313423157, -0.29682907462120056, -0.27523791790008545, -0.2536467909812927, -0.2320556491613388, -0.2104645073413849, -0.18887336552143097, -0.16728222370147705, -0.14569108188152313, -0.12409993261098862, -0.1025087907910347, -0.08091764897108078, -0.05932650715112686, -0.03773536533117294, -0.016144223511219025, 0.005446918308734894, 0.027038060128688812, 0.04862920194864273]}, "gradients/decoder.transformer.h.20.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 4.0, 0.0, 3.0, 1.0, 1.0, 2.0, 3.0, 4.0, 8.0, 10.0, 8.0, 10.0, 12.0, 17.0, 14.0, 14.0, 24.0, 19.0, 25.0, 23.0, 27.0, 26.0, 34.0, 45.0, 42.0, 41.0, 29.0, 35.0, 42.0, 40.0, 43.0, 44.0, 38.0, 40.0, 35.0, 32.0, 29.0, 26.0, 20.0, 24.0, 18.0, 19.0, 16.0, 17.0, 9.0, 7.0, 9.0, 9.0, 5.0, 6.0, 1.0, 0.0, 2.0, 3.0, 0.0, 0.0, 4.0, 0.0, 0.0, 1.0], "bins": [-0.14996862411499023, -0.14527598023414612, -0.140583336353302, -0.13589070737361908, -0.13119806349277496, -0.12650541961193085, -0.12181278318166733, -0.11712014675140381, -0.11242750287055969, -0.10773485898971558, -0.10304222255945206, -0.09834958612918854, -0.09365694224834442, -0.0889642983675003, -0.08427166193723679, -0.07957902550697327, -0.07488638162612915, -0.07019373774528503, -0.06550110131502151, -0.0608084611594677, -0.05611582100391388, -0.05142318084836006, -0.046730540692806244, -0.042037900537252426, -0.03734526038169861, -0.03265262022614479, -0.027959980070590973, -0.023267339915037155, -0.018574699759483337, -0.01388205960392952, -0.009189419448375702, -0.004496779292821884, 0.0001958608627319336, 0.004888501018285751, 0.009581141173839569, 0.014273781329393387, 0.018966421484947205, 0.023659061640501022, 0.02835170179605484, 0.03304434195160866, 0.037736982107162476, 0.04242962226271629, 0.04712226241827011, 0.05181490257382393, 0.05650754272937775, 0.061200182884931564, 0.06589282304048538, 0.0705854594707489, 0.07527810335159302, 0.07997074723243713, 0.08466338366270065, 0.08935602009296417, 0.09404866397380829, 0.0987413078546524, 0.10343394428491592, 0.10812658071517944, 0.11281922459602356, 0.11751186847686768, 0.1222045049071312, 0.12689714133739471, 0.13158978521823883, 0.13628242909908295, 0.14097505807876587, 0.14566770195960999, 0.1503603458404541]}, "gradients/decoder.transformer.h.19.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 6.0, 7.0, 5.0, 21.0, 16.0, 19.0, 27.0, 33.0, 37.0, 46.0, 51.0, 56.0, 61.0, 72.0, 67.0, 57.0, 67.0, 67.0, 66.0, 41.0, 46.0, 30.0, 28.0, 24.0, 26.0, 10.0, 8.0, 5.0, 3.0, 4.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.023834228515625, -0.02324700355529785, -0.022659778594970703, -0.022072553634643555, -0.021485328674316406, -0.020898103713989258, -0.02031087875366211, -0.01972365379333496, -0.019136428833007812, -0.018549203872680664, -0.017961978912353516, -0.017374753952026367, -0.01678752899169922, -0.01620030403137207, -0.015613079071044922, -0.015025854110717773, -0.014438629150390625, -0.013851404190063477, -0.013264179229736328, -0.01267695426940918, -0.012089729309082031, -0.011502504348754883, -0.010915279388427734, -0.010328054428100586, -0.009740829467773438, -0.009153604507446289, -0.00856637954711914, -0.007979154586791992, -0.007391929626464844, -0.006804704666137695, -0.006217479705810547, -0.0056302547454833984, -0.00504302978515625, -0.0044558048248291016, -0.003868579864501953, -0.0032813549041748047, -0.0026941299438476562, -0.002106904983520508, -0.0015196800231933594, -0.0009324550628662109, -0.0003452301025390625, 0.00024199485778808594, 0.0008292198181152344, 0.0014164447784423828, 0.0020036697387695312, 0.0025908946990966797, 0.003178119659423828, 0.0037653446197509766, 0.004352569580078125, 0.0049397945404052734, 0.005527019500732422, 0.00611424446105957, 0.006701469421386719, 0.007288694381713867, 0.007875919342041016, 0.008463144302368164, 0.009050369262695312, 0.009637594223022461, 0.01022481918334961, 0.010812044143676758, 0.011399269104003906, 0.011986494064331055, 0.012573719024658203, 0.013160943984985352, 0.0137481689453125]}, "gradients/decoder.transformer.h.19.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 1.0, 3.0, 6.0, 6.0, 6.0, 14.0, 19.0, 21.0, 28.0, 39.0, 61.0, 91.0, 135.0, 210.0, 399.0, 776.0, 2035.0, 6456.0, 26900.0, 172975.0, 2271144.0, 1552922.0, 130415.0, 21216.0, 5126.0, 1740.0, 737.0, 351.0, 184.0, 105.0, 52.0, 37.0, 26.0, 16.0, 10.0, 11.0, 5.0, 3.0, 8.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.06707763671875, -0.06530904769897461, -0.06354045867919922, -0.06177186965942383, -0.06000328063964844, -0.05823469161987305, -0.056466102600097656, -0.054697513580322266, -0.052928924560546875, -0.051160335540771484, -0.049391746520996094, -0.0476231575012207, -0.04585456848144531, -0.04408597946166992, -0.04231739044189453, -0.04054880142211914, -0.03878021240234375, -0.03701162338256836, -0.03524303436279297, -0.03347444534301758, -0.03170585632324219, -0.029937267303466797, -0.028168678283691406, -0.026400089263916016, -0.024631500244140625, -0.022862911224365234, -0.021094322204589844, -0.019325733184814453, -0.017557144165039062, -0.015788555145263672, -0.014019966125488281, -0.01225137710571289, -0.0104827880859375, -0.00871419906616211, -0.006945610046386719, -0.005177021026611328, -0.0034084320068359375, -0.0016398429870605469, 0.00012874603271484375, 0.0018973350524902344, 0.003665924072265625, 0.005434513092041016, 0.007203102111816406, 0.008971691131591797, 0.010740280151367188, 0.012508869171142578, 0.014277458190917969, 0.01604604721069336, 0.01781463623046875, 0.01958322525024414, 0.02135181427001953, 0.023120403289794922, 0.024888992309570312, 0.026657581329345703, 0.028426170349121094, 0.030194759368896484, 0.031963348388671875, 0.033731937408447266, 0.035500526428222656, 0.03726911544799805, 0.03903770446777344, 0.04080629348754883, 0.04257488250732422, 0.04434347152709961, 0.046112060546875]}, "gradients/decoder.transformer.h.19.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 3.0, 6.0, 6.0, 17.0, 23.0, 47.0, 103.0, 209.0, 352.0, 639.0, 965.0, 733.0, 446.0, 256.0, 125.0, 74.0, 32.0, 19.0, 10.0, 4.0, 2.0, 4.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.082275390625, -0.0797567367553711, -0.07723808288574219, -0.07471942901611328, -0.07220077514648438, -0.06968212127685547, -0.06716346740722656, -0.06464481353759766, -0.06212615966796875, -0.059607505798339844, -0.05708885192871094, -0.05457019805908203, -0.052051544189453125, -0.04953289031982422, -0.04701423645019531, -0.044495582580566406, -0.0419769287109375, -0.039458274841308594, -0.03693962097167969, -0.03442096710205078, -0.031902313232421875, -0.02938365936279297, -0.026865005493164062, -0.024346351623535156, -0.02182769775390625, -0.019309043884277344, -0.016790390014648438, -0.014271736145019531, -0.011753082275390625, -0.009234428405761719, -0.0067157745361328125, -0.004197120666503906, -0.001678466796875, 0.0008401870727539062, 0.0033588409423828125, 0.005877494812011719, 0.008396148681640625, 0.010914802551269531, 0.013433456420898438, 0.015952110290527344, 0.01847076416015625, 0.020989418029785156, 0.023508071899414062, 0.02602672576904297, 0.028545379638671875, 0.03106403350830078, 0.03358268737792969, 0.036101341247558594, 0.0386199951171875, 0.041138648986816406, 0.04365730285644531, 0.04617595672607422, 0.048694610595703125, 0.05121326446533203, 0.05373191833496094, 0.056250572204589844, 0.05876922607421875, 0.061287879943847656, 0.06380653381347656, 0.06632518768310547, 0.06884384155273438, 0.07136249542236328, 0.07388114929199219, 0.0763998031616211, 0.07891845703125]}, "gradients/decoder.transformer.h.19.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 7.0, 19.0, 9.0, 21.0, 38.0, 59.0, 76.0, 112.0, 206.0, 350.0, 653.0, 1445.0, 5781.0, 76315.0, 3026876.0, 1047298.0, 29069.0, 3492.0, 1137.0, 582.0, 296.0, 142.0, 100.0, 61.0, 45.0, 35.0, 23.0, 15.0, 15.0, 4.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1513671875, -0.14661407470703125, -0.1418609619140625, -0.13710784912109375, -0.132354736328125, -0.12760162353515625, -0.1228485107421875, -0.11809539794921875, -0.11334228515625, -0.10858917236328125, -0.1038360595703125, -0.09908294677734375, -0.094329833984375, -0.08957672119140625, -0.0848236083984375, -0.08007049560546875, -0.0753173828125, -0.07056427001953125, -0.0658111572265625, -0.06105804443359375, -0.056304931640625, -0.05155181884765625, -0.0467987060546875, -0.04204559326171875, -0.03729248046875, -0.03253936767578125, -0.0277862548828125, -0.02303314208984375, -0.018280029296875, -0.01352691650390625, -0.0087738037109375, -0.00402069091796875, 0.000732421875, 0.00548553466796875, 0.0102386474609375, 0.01499176025390625, 0.019744873046875, 0.02449798583984375, 0.0292510986328125, 0.03400421142578125, 0.03875732421875, 0.04351043701171875, 0.0482635498046875, 0.05301666259765625, 0.057769775390625, 0.06252288818359375, 0.0672760009765625, 0.07202911376953125, 0.0767822265625, 0.08153533935546875, 0.0862884521484375, 0.09104156494140625, 0.095794677734375, 0.10054779052734375, 0.1053009033203125, 0.11005401611328125, 0.11480712890625, 0.11956024169921875, 0.1243133544921875, 0.12906646728515625, 0.133819580078125, 0.13857269287109375, 0.1433258056640625, 0.14807891845703125, 0.15283203125]}, "gradients/decoder.transformer.h.19.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 6.0, 15.0, 25.0, 66.0, 92.0, 138.0, 154.0, 175.0, 147.0, 80.0, 61.0, 21.0, 19.0, 13.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.5445413589477539, -0.5316283106803894, -0.5187153220176697, -0.5058022737503052, -0.49288925528526306, -0.47997623682022095, -0.46706321835517883, -0.4541501998901367, -0.4412371814250946, -0.4283241629600525, -0.4154111444950104, -0.40249812602996826, -0.38958507776260376, -0.37667205929756165, -0.36375904083251953, -0.3508460223674774, -0.3379330039024353, -0.3250199854373932, -0.3121069669723511, -0.2991939187049866, -0.28628090023994446, -0.27336788177490234, -0.26045486330986023, -0.24754184484481812, -0.2346287965774536, -0.2217157781124115, -0.2088027447462082, -0.19588972628116608, -0.18297670781612396, -0.17006367444992065, -0.15715065598487854, -0.14423763751983643, -0.1313246190547943, -0.1184115931391716, -0.10549857467412949, -0.09258554875850677, -0.07967253029346466, -0.06675950437784195, -0.05384647846221924, -0.040933459997177124, -0.028020434081554413, -0.015107410959899426, -0.002194387838244438, 0.010718636214733124, 0.023631658405065536, 0.03654468059539795, 0.04945770651102066, 0.062370724976062775, 0.07528375089168549, 0.0881967768073082, 0.10110979527235031, 0.11402282118797302, 0.12693583965301514, 0.13984885811805725, 0.15276189148426056, 0.16567490994930267, 0.17858794331550598, 0.1915009617805481, 0.2044139951467514, 0.21732701361179352, 0.23024003207683563, 0.24315306544303894, 0.25606608390808105, 0.26897910237312317, 0.2818921208381653]}, "gradients/decoder.transformer.h.19.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 4.0, 0.0, 7.0, 8.0, 1.0, 11.0, 9.0, 6.0, 13.0, 7.0, 11.0, 14.0, 22.0, 19.0, 12.0, 24.0, 30.0, 31.0, 32.0, 40.0, 35.0, 40.0, 32.0, 37.0, 47.0, 31.0, 44.0, 41.0, 31.0, 41.0, 29.0, 44.0, 38.0, 23.0, 23.0, 17.0, 19.0, 19.0, 20.0, 19.0, 13.0, 16.0, 4.0, 7.0, 6.0, 6.0, 10.0, 8.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.13790035247802734, -0.13323962688446045, -0.12857888638973236, -0.12391816079616547, -0.11925742775201797, -0.11459669470787048, -0.10993596911430359, -0.1052752360701561, -0.1006145030260086, -0.09595376998186111, -0.09129303693771362, -0.08663231134414673, -0.08197157829999924, -0.07731084525585175, -0.07265011966228485, -0.06798938661813736, -0.06332865357398987, -0.05866792052984238, -0.054007191210985184, -0.04934646189212799, -0.0446857288479805, -0.04002499580383301, -0.035364266484975815, -0.030703537166118622, -0.02604280412197113, -0.021382072940468788, -0.016721341758966446, -0.012060610577464104, -0.0073998793959617615, -0.0027391482144594193, 0.001921582967042923, 0.006582312285900116, 0.011243045330047607, 0.01590377651154995, 0.020564507693052292, 0.025225238874554634, 0.029885970056056976, 0.03454670310020447, 0.03920743241906166, 0.043868161737918854, 0.048528894782066345, 0.05318962782621384, 0.05785035714507103, 0.06251108646392822, 0.06717181950807571, 0.0718325525522232, 0.0764932781457901, 0.08115401118993759, 0.08581474423408508, 0.09047547727823257, 0.09513621032238007, 0.09979693591594696, 0.10445766896009445, 0.10911840200424194, 0.11377912759780884, 0.11843986064195633, 0.12310059368610382, 0.12776131927967072, 0.1324220597743988, 0.1370827853679657, 0.1417435109615326, 0.14640425145626068, 0.15106497704982758, 0.15572571754455566, 0.16038644313812256]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 5.0, 17.0, 11.0, 24.0, 21.0, 32.0, 47.0, 44.0, 43.0, 61.0, 62.0, 66.0, 66.0, 61.0, 73.0, 65.0, 78.0, 41.0, 43.0, 32.0, 33.0, 23.0, 27.0, 11.0, 3.0, 4.0, 7.0, 2.0, 5.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0254974365234375, -0.02485823631286621, -0.024219036102294922, -0.023579835891723633, -0.022940635681152344, -0.022301435470581055, -0.021662235260009766, -0.021023035049438477, -0.020383834838867188, -0.0197446346282959, -0.01910543441772461, -0.01846623420715332, -0.01782703399658203, -0.017187833786010742, -0.016548633575439453, -0.015909433364868164, -0.015270233154296875, -0.014631032943725586, -0.013991832733154297, -0.013352632522583008, -0.012713432312011719, -0.01207423210144043, -0.01143503189086914, -0.010795831680297852, -0.010156631469726562, -0.009517431259155273, -0.008878231048583984, -0.008239030838012695, -0.007599830627441406, -0.006960630416870117, -0.006321430206298828, -0.005682229995727539, -0.00504302978515625, -0.004403829574584961, -0.003764629364013672, -0.003125429153442383, -0.0024862289428710938, -0.0018470287322998047, -0.0012078285217285156, -0.0005686283111572266, 7.05718994140625e-05, 0.0007097721099853516, 0.0013489723205566406, 0.0019881725311279297, 0.0026273727416992188, 0.003266572952270508, 0.003905773162841797, 0.004544973373413086, 0.005184173583984375, 0.005823373794555664, 0.006462574005126953, 0.007101774215698242, 0.007740974426269531, 0.00838017463684082, 0.00901937484741211, 0.009658575057983398, 0.010297775268554688, 0.010936975479125977, 0.011576175689697266, 0.012215375900268555, 0.012854576110839844, 0.013493776321411133, 0.014132976531982422, 0.014772176742553711, 0.015411376953125]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 5.0, 12.0, 6.0, 7.0, 10.0, 24.0, 26.0, 47.0, 67.0, 111.0, 167.0, 289.0, 559.0, 1159.0, 2293.0, 4982.0, 11692.0, 30063.0, 89740.0, 436696.0, 344649.0, 79298.0, 26963.0, 10633.0, 4661.0, 2043.0, 1046.0, 563.0, 299.0, 167.0, 94.0, 49.0, 42.0, 28.0, 19.0, 14.0, 11.0, 11.0, 2.0, 3.0, 3.0, 0.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.0001811981201171875, -0.00017552636563777924, -0.00016985461115837097, -0.0001641828566789627, -0.00015851110219955444, -0.00015283934772014618, -0.00014716759324073792, -0.00014149583876132965, -0.0001358240842819214, -0.00013015232980251312, -0.00012448057532310486, -0.0001188088208436966, -0.00011313706636428833, -0.00010746531188488007, -0.0001017935574054718, -9.612180292606354e-05, -9.045004844665527e-05, -8.477829396724701e-05, -7.910653948783875e-05, -7.343478500843048e-05, -6.776303052902222e-05, -6.209127604961395e-05, -5.641952157020569e-05, -5.0747767090797424e-05, -4.507601261138916e-05, -3.9404258131980896e-05, -3.373250365257263e-05, -2.8060749173164368e-05, -2.2388994693756104e-05, -1.671724021434784e-05, -1.1045485734939575e-05, -5.373731255531311e-06, 2.980232238769531e-07, 5.969777703285217e-06, 1.1641532182693481e-05, 1.7313286662101746e-05, 2.298504114151001e-05, 2.8656795620918274e-05, 3.432855010032654e-05, 4.00003045797348e-05, 4.5672059059143066e-05, 5.134381353855133e-05, 5.7015568017959595e-05, 6.268732249736786e-05, 6.835907697677612e-05, 7.403083145618439e-05, 7.970258593559265e-05, 8.537434041500092e-05, 9.104609489440918e-05, 9.671784937381744e-05, 0.00010238960385322571, 0.00010806135833263397, 0.00011373311281204224, 0.0001194048672914505, 0.00012507662177085876, 0.00013074837625026703, 0.0001364201307296753, 0.00014209188520908356, 0.00014776363968849182, 0.00015343539416790009, 0.00015910714864730835, 0.00016477890312671661, 0.00017045065760612488, 0.00017612241208553314, 0.0001817941665649414]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 1.0, 5.0, 6.0, 3.0, 5.0, 13.0, 9.0, 11.0, 7.0, 13.0, 18.0, 24.0, 18.0, 30.0, 17.0, 29.0, 32.0, 22.0, 38.0, 36.0, 30.0, 54.0, 45.0, 31.0, 1065.0, 42.0, 50.0, 44.0, 40.0, 21.0, 35.0, 22.0, 25.0, 16.0, 29.0, 25.0, 14.0, 18.0, 15.0, 15.0, 16.0, 16.0, 11.0, 7.0, 5.0, 5.0, 3.0, 0.0, 1.0, 2.0, 2.0], "bins": [-0.01293182373046875, -0.012584805488586426, -0.012237787246704102, -0.011890769004821777, -0.011543750762939453, -0.011196732521057129, -0.010849714279174805, -0.01050269603729248, -0.010155677795410156, -0.009808659553527832, -0.009461641311645508, -0.009114623069763184, -0.00876760482788086, -0.008420586585998535, -0.008073568344116211, -0.007726550102233887, -0.0073795318603515625, -0.007032513618469238, -0.006685495376586914, -0.00633847713470459, -0.005991458892822266, -0.005644440650939941, -0.005297422409057617, -0.004950404167175293, -0.004603385925292969, -0.0042563676834106445, -0.00390934944152832, -0.003562331199645996, -0.003215312957763672, -0.0028682947158813477, -0.0025212764739990234, -0.0021742582321166992, -0.001827239990234375, -0.0014802217483520508, -0.0011332035064697266, -0.0007861852645874023, -0.0004391670227050781, -9.21487808227539e-05, 0.0002548694610595703, 0.0006018877029418945, 0.0009489059448242188, 0.001295924186706543, 0.0016429424285888672, 0.0019899606704711914, 0.0023369789123535156, 0.00268399715423584, 0.003031015396118164, 0.0033780336380004883, 0.0037250518798828125, 0.004072070121765137, 0.004419088363647461, 0.004766106605529785, 0.005113124847412109, 0.005460143089294434, 0.005807161331176758, 0.006154179573059082, 0.006501197814941406, 0.0068482160568237305, 0.007195234298706055, 0.007542252540588379, 0.007889270782470703, 0.008236289024353027, 0.008583307266235352, 0.008930325508117676, 0.00927734375]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 1.0, 3.0, 2.0, 7.0, 8.0, 7.0, 11.0, 15.0, 16.0, 20.0, 17.0, 16.0, 14.0, 20.0, 30.0, 17.0, 25.0, 25.0, 45.0, 78.0, 200.0, 532.0, 2009.0, 7663.0, 2070884.0, 12405.0, 1764.0, 668.0, 222.0, 108.0, 42.0, 26.0, 30.0, 27.0, 22.0, 25.0, 22.0, 16.0, 17.0, 16.0, 10.0, 9.0, 11.0, 12.0, 7.0, 3.0, 4.0, 5.0, 3.0, 3.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.238719940185547e-06, -8.903443813323975e-06, -8.568167686462402e-06, -8.23289155960083e-06, -7.897615432739258e-06, -7.5623393058776855e-06, -7.227063179016113e-06, -6.891787052154541e-06, -6.556510925292969e-06, -6.2212347984313965e-06, -5.885958671569824e-06, -5.550682544708252e-06, -5.21540641784668e-06, -4.880130290985107e-06, -4.544854164123535e-06, -4.209578037261963e-06, -3.874301910400391e-06, -3.5390257835388184e-06, -3.203749656677246e-06, -2.868473529815674e-06, -2.5331974029541016e-06, -2.1979212760925293e-06, -1.862645149230957e-06, -1.5273690223693848e-06, -1.1920928955078125e-06, -8.568167686462402e-07, -5.21540641784668e-07, -1.862645149230957e-07, 1.4901161193847656e-07, 4.842877388000488e-07, 8.195638656616211e-07, 1.1548399925231934e-06, 1.4901161193847656e-06, 1.8253922462463379e-06, 2.16066837310791e-06, 2.4959444999694824e-06, 2.8312206268310547e-06, 3.166496753692627e-06, 3.5017728805541992e-06, 3.8370490074157715e-06, 4.172325134277344e-06, 4.507601261138916e-06, 4.842877388000488e-06, 5.1781535148620605e-06, 5.513429641723633e-06, 5.848705768585205e-06, 6.183981895446777e-06, 6.51925802230835e-06, 6.854534149169922e-06, 7.189810276031494e-06, 7.525086402893066e-06, 7.860362529754639e-06, 8.195638656616211e-06, 8.530914783477783e-06, 8.866190910339355e-06, 9.201467037200928e-06, 9.5367431640625e-06, 9.872019290924072e-06, 1.0207295417785645e-05, 1.0542571544647217e-05, 1.0877847671508789e-05, 1.1213123798370361e-05, 1.1548399925231934e-05, 1.1883676052093506e-05, 1.2218952178955078e-05]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 5.0, 17.0, 11.0, 24.0, 21.0, 32.0, 47.0, 44.0, 43.0, 61.0, 62.0, 66.0, 66.0, 61.0, 73.0, 65.0, 78.0, 41.0, 43.0, 32.0, 33.0, 23.0, 27.0, 11.0, 3.0, 4.0, 7.0, 2.0, 5.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0254974365234375, -0.02485823631286621, -0.024219036102294922, -0.023579835891723633, -0.022940635681152344, -0.022301435470581055, -0.021662235260009766, -0.021023035049438477, -0.020383834838867188, -0.0197446346282959, -0.01910543441772461, -0.01846623420715332, -0.01782703399658203, -0.017187833786010742, -0.016548633575439453, -0.015909433364868164, -0.015270233154296875, -0.014631032943725586, -0.013991832733154297, -0.013352632522583008, -0.012713432312011719, -0.01207423210144043, -0.01143503189086914, -0.010795831680297852, -0.010156631469726562, -0.009517431259155273, -0.008878231048583984, -0.008239030838012695, -0.007599830627441406, -0.006960630416870117, -0.006321430206298828, -0.005682229995727539, -0.00504302978515625, -0.004403829574584961, -0.003764629364013672, -0.003125429153442383, -0.0024862289428710938, -0.0018470287322998047, -0.0012078285217285156, -0.0005686283111572266, 7.05718994140625e-05, 0.0007097721099853516, 0.0013489723205566406, 0.0019881725311279297, 0.0026273727416992188, 0.003266572952270508, 0.003905773162841797, 0.004544973373413086, 0.005184173583984375, 0.005823373794555664, 0.006462574005126953, 0.007101774215698242, 0.007740974426269531, 0.00838017463684082, 0.00901937484741211, 0.009658575057983398, 0.010297775268554688, 0.010936975479125977, 0.011576175689697266, 0.012215375900268555, 0.012854576110839844, 0.013493776321411133, 0.014132976531982422, 0.014772176742553711, 0.015411376953125]}, "gradients/decoder.transformer.h.19.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 4.0, 6.0, 6.0, 7.0, 6.0, 17.0, 21.0, 38.0, 93.0, 186.0, 330.0, 697.0, 1515.0, 3951.0, 9842.0, 29399.0, 100606.0, 399294.0, 368022.0, 91827.0, 26990.0, 9370.0, 3530.0, 1440.0, 673.0, 300.0, 147.0, 68.0, 58.0, 36.0, 17.0, 13.0, 16.0, 4.0, 5.0, 8.0, 4.0, 6.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.039093017578125, -0.03790712356567383, -0.036721229553222656, -0.035535335540771484, -0.03434944152832031, -0.03316354751586914, -0.03197765350341797, -0.030791759490966797, -0.029605865478515625, -0.028419971466064453, -0.02723407745361328, -0.02604818344116211, -0.024862289428710938, -0.023676395416259766, -0.022490501403808594, -0.021304607391357422, -0.02011871337890625, -0.018932819366455078, -0.017746925354003906, -0.016561031341552734, -0.015375137329101562, -0.01418924331665039, -0.013003349304199219, -0.011817455291748047, -0.010631561279296875, -0.009445667266845703, -0.008259773254394531, -0.007073879241943359, -0.0058879852294921875, -0.004702091217041016, -0.0035161972045898438, -0.002330303192138672, -0.0011444091796875, 4.1484832763671875e-05, 0.0012273788452148438, 0.0024132728576660156, 0.0035991668701171875, 0.004785060882568359, 0.005970954895019531, 0.007156848907470703, 0.008342742919921875, 0.009528636932373047, 0.010714530944824219, 0.01190042495727539, 0.013086318969726562, 0.014272212982177734, 0.015458106994628906, 0.016644001007080078, 0.01782989501953125, 0.019015789031982422, 0.020201683044433594, 0.021387577056884766, 0.022573471069335938, 0.02375936508178711, 0.02494525909423828, 0.026131153106689453, 0.027317047119140625, 0.028502941131591797, 0.02968883514404297, 0.03087472915649414, 0.03206062316894531, 0.033246517181396484, 0.034432411193847656, 0.03561830520629883, 0.03680419921875]}, "gradients/decoder.transformer.h.19.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 4.0, 5.0, 3.0, 3.0, 6.0, 3.0, 5.0, 10.0, 9.0, 12.0, 8.0, 14.0, 15.0, 24.0, 27.0, 28.0, 33.0, 44.0, 46.0, 61.0, 73.0, 110.0, 181.0, 1312.0, 296.0, 168.0, 110.0, 70.0, 80.0, 47.0, 34.0, 28.0, 41.0, 24.0, 24.0, 33.0, 17.0, 12.0, 13.0, 8.0, 3.0, 5.0, 2.0, 3.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.044891357421875, -0.043283939361572266, -0.04167652130126953, -0.0400691032409668, -0.03846168518066406, -0.03685426712036133, -0.035246849060058594, -0.03363943099975586, -0.032032012939453125, -0.03042459487915039, -0.028817176818847656, -0.027209758758544922, -0.025602340698242188, -0.023994922637939453, -0.02238750457763672, -0.020780086517333984, -0.01917266845703125, -0.017565250396728516, -0.01595783233642578, -0.014350414276123047, -0.012742996215820312, -0.011135578155517578, -0.009528160095214844, -0.00792074203491211, -0.006313323974609375, -0.004705905914306641, -0.0030984878540039062, -0.0014910697937011719, 0.0001163482666015625, 0.0017237663269042969, 0.0033311843872070312, 0.004938602447509766, 0.0065460205078125, 0.008153438568115234, 0.009760856628417969, 0.011368274688720703, 0.012975692749023438, 0.014583110809326172, 0.016190528869628906, 0.01779794692993164, 0.019405364990234375, 0.02101278305053711, 0.022620201110839844, 0.024227619171142578, 0.025835037231445312, 0.027442455291748047, 0.02904987335205078, 0.030657291412353516, 0.03226470947265625, 0.033872127532958984, 0.03547954559326172, 0.03708696365356445, 0.03869438171386719, 0.04030179977416992, 0.041909217834472656, 0.04351663589477539, 0.045124053955078125, 0.04673147201538086, 0.048338890075683594, 0.04994630813598633, 0.05155372619628906, 0.0531611442565918, 0.05476856231689453, 0.056375980377197266, 0.0579833984375]}, "gradients/decoder.transformer.h.19.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 5.0, 0.0, 6.0, 2.0, 8.0, 7.0, 11.0, 18.0, 38.0, 32.0, 36.0, 53.0, 73.0, 130.0, 204.0, 412.0, 911.0, 2501.0, 9652.0, 51150.0, 512342.0, 2340513.0, 191874.0, 27027.0, 5623.0, 1648.0, 605.0, 302.0, 176.0, 95.0, 58.0, 58.0, 29.0, 25.0, 20.0, 15.0, 6.0, 7.0, 8.0, 5.0, 5.0, 5.0, 5.0, 8.0, 4.0, 0.0, 1.0, 0.0, 2.0, 2.0], "bins": [-0.08056640625, -0.07828521728515625, -0.0760040283203125, -0.07372283935546875, -0.071441650390625, -0.06916046142578125, -0.0668792724609375, -0.06459808349609375, -0.06231689453125, -0.06003570556640625, -0.0577545166015625, -0.05547332763671875, -0.053192138671875, -0.05091094970703125, -0.0486297607421875, -0.04634857177734375, -0.0440673828125, -0.04178619384765625, -0.0395050048828125, -0.03722381591796875, -0.034942626953125, -0.03266143798828125, -0.0303802490234375, -0.02809906005859375, -0.02581787109375, -0.02353668212890625, -0.0212554931640625, -0.01897430419921875, -0.016693115234375, -0.01441192626953125, -0.0121307373046875, -0.00984954833984375, -0.007568359375, -0.00528717041015625, -0.0030059814453125, -0.00072479248046875, 0.001556396484375, 0.00383758544921875, 0.0061187744140625, 0.00839996337890625, 0.01068115234375, 0.01296234130859375, 0.0152435302734375, 0.01752471923828125, 0.019805908203125, 0.02208709716796875, 0.0243682861328125, 0.02664947509765625, 0.0289306640625, 0.03121185302734375, 0.0334930419921875, 0.03577423095703125, 0.038055419921875, 0.04033660888671875, 0.0426177978515625, 0.04489898681640625, 0.04718017578125, 0.04946136474609375, 0.0517425537109375, 0.05402374267578125, 0.056304931640625, 0.05858612060546875, 0.0608673095703125, 0.06314849853515625, 0.0654296875]}, "gradients/decoder.transformer.h.19.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0, 107.0, 800.0, 106.0, 2.0, 1.0, 1.0], "bins": [-2.8419156074523926, -2.7941160202026367, -2.746316432952881, -2.698516607284546, -2.65071702003479, -2.602917432785034, -2.5551178455352783, -2.5073182582855225, -2.4595184326171875, -2.4117188453674316, -2.363919258117676, -2.316119432449341, -2.268319845199585, -2.220520257949829, -2.1727206707000732, -2.1249210834503174, -2.0771214962005615, -2.0293219089508057, -1.9815222024917603, -1.9337226152420044, -1.885922908782959, -1.8381233215332031, -1.7903237342834473, -1.7425241470336914, -1.694724440574646, -1.6469248533248901, -1.5991251468658447, -1.5513255596160889, -1.503525972366333, -1.4557262659072876, -1.4079266786575317, -1.3601269721984863, -1.31232750415802, -1.2645279169082642, -1.2167282104492188, -1.168928623199463, -1.121129035949707, -1.0733293294906616, -1.0255297422409058, -0.9777300953865051, -0.9299304485321045, -0.8821308016777039, -0.8343311548233032, -0.7865315675735474, -0.7387319207191467, -0.6909322738647461, -0.6431326866149902, -0.5953330397605896, -0.547533392906189, -0.49973374605178833, -0.4519341289997101, -0.40413451194763184, -0.3563348650932312, -0.30853521823883057, -0.2607356011867523, -0.21293598413467407, -0.16513633728027344, -0.117336705327034, -0.06953707337379456, -0.021737441420555115, 0.026062190532684326, 0.07386182248592377, 0.12166145443916321, 0.16946107149124146, 0.2172607183456421]}, "gradients/decoder.transformer.h.19.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 3.0, 3.0, 4.0, 7.0, 4.0, 7.0, 7.0, 9.0, 16.0, 13.0, 22.0, 18.0, 16.0, 23.0, 27.0, 23.0, 21.0, 41.0, 32.0, 41.0, 39.0, 28.0, 50.0, 31.0, 23.0, 28.0, 41.0, 40.0, 40.0, 38.0, 36.0, 36.0, 37.0, 32.0, 30.0, 15.0, 17.0, 16.0, 14.0, 15.0, 15.0, 10.0, 11.0, 6.0, 6.0, 6.0, 7.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.17478632926940918, -0.1695505678653717, -0.16431480646133423, -0.15907904505729675, -0.15384328365325928, -0.1486075222492218, -0.14337176084518433, -0.13813599944114685, -0.13290023803710938, -0.1276644766330719, -0.12242871522903442, -0.11719295382499695, -0.11195719242095947, -0.106721431016922, -0.10148566216230392, -0.09624990075826645, -0.09101413190364838, -0.0857783704996109, -0.08054260909557343, -0.07530684769153595, -0.07007108628749847, -0.064835324883461, -0.059599556028842926, -0.05436379462480545, -0.049128033220767975, -0.0438922718167305, -0.038656510412693024, -0.03342074528336525, -0.028184983879327774, -0.0229492224752903, -0.017713457345962524, -0.012477695941925049, -0.007241934537887573, -0.002006172202527523, 0.003229590132832527, 0.008465353399515152, 0.013701114803552628, 0.018936876207590103, 0.024172641336917877, 0.029408402740955353, 0.03464416414499283, 0.039879925549030304, 0.04511568695306778, 0.050351452082395554, 0.05558721348643303, 0.060822974890470505, 0.06605874001979828, 0.07129450142383575, 0.07653026282787323, 0.0817660242319107, 0.08700178563594818, 0.09223754703998566, 0.09747330844402313, 0.10270906984806061, 0.10794483870267868, 0.11318060010671616, 0.11841636151075363, 0.12365212291479111, 0.12888789176940918, 0.13412365317344666, 0.13935941457748413, 0.1445951759815216, 0.14983093738555908, 0.15506669878959656, 0.16030246019363403]}, "gradients/decoder.transformer.h.18.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 8.0, 10.0, 11.0, 22.0, 22.0, 29.0, 37.0, 43.0, 46.0, 41.0, 63.0, 56.0, 70.0, 59.0, 67.0, 69.0, 64.0, 58.0, 48.0, 42.0, 38.0, 21.0, 15.0, 23.0, 21.0, 6.0, 4.0, 5.0, 5.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.025299072265625, -0.02467513084411621, -0.024051189422607422, -0.023427248001098633, -0.022803306579589844, -0.022179365158081055, -0.021555423736572266, -0.020931482315063477, -0.020307540893554688, -0.0196835994720459, -0.01905965805053711, -0.01843571662902832, -0.01781177520751953, -0.017187833786010742, -0.016563892364501953, -0.015939950942993164, -0.015316009521484375, -0.014692068099975586, -0.014068126678466797, -0.013444185256958008, -0.012820243835449219, -0.01219630241394043, -0.01157236099243164, -0.010948419570922852, -0.010324478149414062, -0.009700536727905273, -0.009076595306396484, -0.008452653884887695, -0.007828712463378906, -0.007204771041870117, -0.006580829620361328, -0.005956888198852539, -0.00533294677734375, -0.004709005355834961, -0.004085063934326172, -0.003461122512817383, -0.0028371810913085938, -0.0022132396697998047, -0.0015892982482910156, -0.0009653568267822266, -0.0003414154052734375, 0.00028252601623535156, 0.0009064674377441406, 0.0015304088592529297, 0.0021543502807617188, 0.002778291702270508, 0.003402233123779297, 0.004026174545288086, 0.004650115966796875, 0.005274057388305664, 0.005897998809814453, 0.006521940231323242, 0.007145881652832031, 0.00776982307434082, 0.00839376449584961, 0.009017705917358398, 0.009641647338867188, 0.010265588760375977, 0.010889530181884766, 0.011513471603393555, 0.012137413024902344, 0.012761354446411133, 0.013385295867919922, 0.014009237289428711, 0.0146331787109375]}, "gradients/decoder.transformer.h.18.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 12.0, 13.0, 14.0, 27.0, 23.0, 53.0, 66.0, 92.0, 151.0, 272.0, 458.0, 1291.0, 4007.0, 17338.0, 103225.0, 1148074.0, 2655120.0, 223075.0, 31355.0, 6388.0, 1802.0, 656.0, 328.0, 166.0, 103.0, 70.0, 36.0, 25.0, 14.0, 11.0, 10.0, 2.0, 3.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0682373046875, -0.06640195846557617, -0.06456661224365234, -0.06273126602172852, -0.06089591979980469, -0.05906057357788086, -0.05722522735595703, -0.0553898811340332, -0.053554534912109375, -0.05171918869018555, -0.04988384246826172, -0.04804849624633789, -0.04621315002441406, -0.044377803802490234, -0.042542457580566406, -0.04070711135864258, -0.03887176513671875, -0.03703641891479492, -0.035201072692871094, -0.033365726470947266, -0.03153038024902344, -0.02969503402709961, -0.02785968780517578, -0.026024341583251953, -0.024188995361328125, -0.022353649139404297, -0.02051830291748047, -0.01868295669555664, -0.016847610473632812, -0.015012264251708984, -0.013176918029785156, -0.011341571807861328, -0.0095062255859375, -0.007670879364013672, -0.005835533142089844, -0.004000186920166016, -0.0021648406982421875, -0.0003294944763183594, 0.0015058517456054688, 0.003341197967529297, 0.005176544189453125, 0.007011890411376953, 0.008847236633300781, 0.01068258285522461, 0.012517929077148438, 0.014353275299072266, 0.016188621520996094, 0.018023967742919922, 0.01985931396484375, 0.021694660186767578, 0.023530006408691406, 0.025365352630615234, 0.027200698852539062, 0.02903604507446289, 0.03087139129638672, 0.03270673751831055, 0.034542083740234375, 0.0363774299621582, 0.03821277618408203, 0.04004812240600586, 0.04188346862792969, 0.043718814849853516, 0.045554161071777344, 0.04738950729370117, 0.049224853515625]}, "gradients/decoder.transformer.h.18.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 5.0, 5.0, 7.0, 3.0, 7.0, 13.0, 14.0, 20.0, 34.0, 37.0, 60.0, 88.0, 117.0, 165.0, 230.0, 309.0, 452.0, 520.0, 566.0, 434.0, 314.0, 195.0, 142.0, 95.0, 72.0, 52.0, 37.0, 19.0, 16.0, 12.0, 12.0, 13.0, 2.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.05316162109375, -0.0516819953918457, -0.050202369689941406, -0.04872274398803711, -0.04724311828613281, -0.045763492584228516, -0.04428386688232422, -0.04280424118041992, -0.041324615478515625, -0.03984498977661133, -0.03836536407470703, -0.036885738372802734, -0.03540611267089844, -0.03392648696899414, -0.032446861267089844, -0.030967235565185547, -0.02948760986328125, -0.028007984161376953, -0.026528358459472656, -0.02504873275756836, -0.023569107055664062, -0.022089481353759766, -0.02060985565185547, -0.019130229949951172, -0.017650604248046875, -0.016170978546142578, -0.014691352844238281, -0.013211727142333984, -0.011732101440429688, -0.01025247573852539, -0.008772850036621094, -0.007293224334716797, -0.0058135986328125, -0.004333972930908203, -0.0028543472290039062, -0.0013747215270996094, 0.0001049041748046875, 0.0015845298767089844, 0.0030641555786132812, 0.004543781280517578, 0.006023406982421875, 0.007503032684326172, 0.008982658386230469, 0.010462284088134766, 0.011941909790039062, 0.01342153549194336, 0.014901161193847656, 0.016380786895751953, 0.01786041259765625, 0.019340038299560547, 0.020819664001464844, 0.02229928970336914, 0.023778915405273438, 0.025258541107177734, 0.02673816680908203, 0.028217792510986328, 0.029697418212890625, 0.031177043914794922, 0.03265666961669922, 0.034136295318603516, 0.03561592102050781, 0.03709554672241211, 0.038575172424316406, 0.0400547981262207, 0.041534423828125]}, "gradients/decoder.transformer.h.18.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 5.0, 8.0, 3.0, 16.0, 24.0, 26.0, 58.0, 109.0, 180.0, 363.0, 755.0, 1787.0, 4991.0, 20287.0, 133592.0, 1409357.0, 2359809.0, 221938.0, 30243.0, 6810.0, 2102.0, 910.0, 427.0, 206.0, 108.0, 69.0, 25.0, 28.0, 17.0, 12.0, 7.0, 4.0, 0.0, 3.0, 0.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.08642578125, -0.0835561752319336, -0.08068656921386719, -0.07781696319580078, -0.07494735717773438, -0.07207775115966797, -0.06920814514160156, -0.06633853912353516, -0.06346893310546875, -0.060599327087402344, -0.05772972106933594, -0.05486011505126953, -0.051990509033203125, -0.04912090301513672, -0.04625129699707031, -0.043381690979003906, -0.0405120849609375, -0.037642478942871094, -0.03477287292480469, -0.03190326690673828, -0.029033660888671875, -0.02616405487060547, -0.023294448852539062, -0.020424842834472656, -0.01755523681640625, -0.014685630798339844, -0.011816024780273438, -0.008946418762207031, -0.006076812744140625, -0.0032072067260742188, -0.0003376007080078125, 0.0025320053100585938, 0.005401611328125, 0.008271217346191406, 0.011140823364257812, 0.014010429382324219, 0.016880035400390625, 0.01974964141845703, 0.022619247436523438, 0.025488853454589844, 0.02835845947265625, 0.031228065490722656, 0.03409767150878906, 0.03696727752685547, 0.039836883544921875, 0.04270648956298828, 0.04557609558105469, 0.048445701599121094, 0.0513153076171875, 0.054184913635253906, 0.05705451965332031, 0.05992412567138672, 0.06279373168945312, 0.06566333770751953, 0.06853294372558594, 0.07140254974365234, 0.07427215576171875, 0.07714176177978516, 0.08001136779785156, 0.08288097381591797, 0.08575057983398438, 0.08862018585205078, 0.09148979187011719, 0.0943593978881836, 0.09722900390625]}, "gradients/decoder.transformer.h.18.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 8.0, 16.0, 32.0, 83.0, 117.0, 171.0, 211.0, 179.0, 108.0, 49.0, 28.0, 11.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0], "bins": [-0.7725579738616943, -0.7572478652000427, -0.7419376969337463, -0.7266275882720947, -0.7113174796104431, -0.6960073709487915, -0.6806972026824951, -0.6653870940208435, -0.6500769853591919, -0.6347668766975403, -0.6194567084312439, -0.6041465997695923, -0.5888364911079407, -0.5735263824462891, -0.5582162141799927, -0.5429061055183411, -0.5275959372520447, -0.5122858285903931, -0.49697569012641907, -0.48166555166244507, -0.46635544300079346, -0.45104530453681946, -0.43573516607284546, -0.42042505741119385, -0.40511494874954224, -0.38980481028556824, -0.3744947016239166, -0.3591845631599426, -0.343874454498291, -0.328564316034317, -0.313254177570343, -0.2979440689086914, -0.2826339602470398, -0.2673238217830658, -0.2520137131214142, -0.23670357465744019, -0.22139345109462738, -0.20608332753181458, -0.19077320396900177, -0.17546308040618896, -0.16015294194221497, -0.14484281837940216, -0.12953269481658936, -0.11422256380319595, -0.09891243278980255, -0.08360230922698975, -0.06829218566417694, -0.05298205465078354, -0.03767192363739014, -0.022361796349287033, -0.007051670923829079, 0.008258454501628876, 0.02356858178973198, 0.03887870907783508, 0.05418883264064789, 0.06949896365404129, 0.0848090872168541, 0.1001192107796669, 0.1154293417930603, 0.1307394653558731, 0.1460495889186859, 0.1613597273826599, 0.17666983604431152, 0.19197997450828552, 0.20729009807109833]}, "gradients/decoder.transformer.h.18.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 4.0, 0.0, 6.0, 4.0, 6.0, 6.0, 9.0, 6.0, 22.0, 17.0, 14.0, 13.0, 20.0, 32.0, 23.0, 30.0, 29.0, 41.0, 30.0, 33.0, 42.0, 52.0, 36.0, 32.0, 42.0, 37.0, 39.0, 46.0, 41.0, 36.0, 39.0, 19.0, 32.0, 27.0, 21.0, 22.0, 23.0, 5.0, 13.0, 8.0, 10.0, 10.0, 9.0, 9.0, 6.0, 5.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.16351234912872314, -0.15865901112556458, -0.153805673122406, -0.14895235002040863, -0.14409901201725006, -0.1392456740140915, -0.13439235091209412, -0.12953901290893555, -0.12468567490577698, -0.11983233690261841, -0.11497900635004044, -0.11012567579746246, -0.1052723377943039, -0.10041899979114532, -0.09556566923856735, -0.09071233868598938, -0.08585900068283081, -0.08100566267967224, -0.07615233212709427, -0.0712990015745163, -0.06644566357135773, -0.061592329293489456, -0.056738995015621185, -0.051885660737752914, -0.047032326459884644, -0.04217899218201637, -0.0373256579041481, -0.03247232362627983, -0.02761898934841156, -0.02276565507054329, -0.01791232079267502, -0.013058986514806747, -0.008205652236938477, -0.0033523179590702057, 0.0015010163187980652, 0.006354350596666336, 0.011207684874534607, 0.016061019152402878, 0.02091435343027115, 0.02576768770813942, 0.03062102198600769, 0.03547435626387596, 0.04032769054174423, 0.0451810248196125, 0.050034359097480774, 0.054887693375349045, 0.059741027653217316, 0.06459435820579529, 0.06944769620895386, 0.07430103421211243, 0.0791543647646904, 0.08400769531726837, 0.08886103332042694, 0.09371437132358551, 0.09856770187616348, 0.10342103242874146, 0.10827437043190002, 0.1131277084350586, 0.11798103898763657, 0.12283436954021454, 0.1276877075433731, 0.13254104554653168, 0.13739436864852905, 0.14224770665168762, 0.1471010446548462]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 2.0, 3.0, 2.0, 8.0, 11.0, 13.0, 10.0, 28.0, 33.0, 34.0, 42.0, 40.0, 56.0, 53.0, 66.0, 57.0, 63.0, 76.0, 57.0, 54.0, 56.0, 65.0, 42.0, 38.0, 18.0, 18.0, 23.0, 14.0, 12.0, 8.0, 5.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0252227783203125, -0.024585485458374023, -0.023948192596435547, -0.02331089973449707, -0.022673606872558594, -0.022036314010620117, -0.02139902114868164, -0.020761728286743164, -0.020124435424804688, -0.01948714256286621, -0.018849849700927734, -0.018212556838989258, -0.01757526397705078, -0.016937971115112305, -0.016300678253173828, -0.01566338539123535, -0.015026092529296875, -0.014388799667358398, -0.013751506805419922, -0.013114213943481445, -0.012476921081542969, -0.011839628219604492, -0.011202335357666016, -0.010565042495727539, -0.009927749633789062, -0.009290456771850586, -0.00865316390991211, -0.008015871047973633, -0.007378578186035156, -0.00674128532409668, -0.006103992462158203, -0.0054666996002197266, -0.00482940673828125, -0.0041921138763427734, -0.003554821014404297, -0.0029175281524658203, -0.0022802352905273438, -0.0016429424285888672, -0.0010056495666503906, -0.00036835670471191406, 0.0002689361572265625, 0.0009062290191650391, 0.0015435218811035156, 0.002180814743041992, 0.0028181076049804688, 0.0034554004669189453, 0.004092693328857422, 0.0047299861907958984, 0.005367279052734375, 0.0060045719146728516, 0.006641864776611328, 0.007279157638549805, 0.007916450500488281, 0.008553743362426758, 0.009191036224365234, 0.009828329086303711, 0.010465621948242188, 0.011102914810180664, 0.01174020767211914, 0.012377500534057617, 0.013014793395996094, 0.01365208625793457, 0.014289379119873047, 0.014926671981811523, 0.01556396484375]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 0.0, 2.0, 5.0, 5.0, 9.0, 7.0, 16.0, 17.0, 26.0, 39.0, 69.0, 86.0, 158.0, 318.0, 592.0, 1030.0, 2108.0, 4522.0, 9802.0, 22659.0, 61929.0, 212351.0, 536100.0, 125299.0, 41444.0, 16061.0, 7150.0, 3203.0, 1673.0, 820.0, 435.0, 246.0, 137.0, 89.0, 46.0, 28.0, 28.0, 15.0, 7.0, 13.0, 3.0, 3.0, 6.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.00022470951080322266, -0.00021815858781337738, -0.0002116076648235321, -0.00020505674183368683, -0.00019850581884384155, -0.00019195489585399628, -0.000185403972864151, -0.00017885304987430573, -0.00017230212688446045, -0.00016575120389461517, -0.0001592002809047699, -0.00015264935791492462, -0.00014609843492507935, -0.00013954751193523407, -0.0001329965889453888, -0.00012644566595554352, -0.00011989474296569824, -0.00011334381997585297, -0.00010679289698600769, -0.00010024197399616241, -9.369105100631714e-05, -8.714012801647186e-05, -8.058920502662659e-05, -7.403828203678131e-05, -6.748735904693604e-05, -6.093643605709076e-05, -5.4385513067245483e-05, -4.783459007740021e-05, -4.128366708755493e-05, -3.4732744097709656e-05, -2.818182110786438e-05, -2.1630898118019104e-05, -1.5079975128173828e-05, -8.529052138328552e-06, -1.9781291484832764e-06, 4.5727938413619995e-06, 1.1123716831207275e-05, 1.767463982105255e-05, 2.4225562810897827e-05, 3.07764858007431e-05, 3.732740879058838e-05, 4.3878331780433655e-05, 5.042925477027893e-05, 5.6980177760124207e-05, 6.353110074996948e-05, 7.008202373981476e-05, 7.663294672966003e-05, 8.318386971950531e-05, 8.973479270935059e-05, 9.628571569919586e-05, 0.00010283663868904114, 0.00010938756167888641, 0.00011593848466873169, 0.00012248940765857697, 0.00012904033064842224, 0.00013559125363826752, 0.0001421421766281128, 0.00014869309961795807, 0.00015524402260780334, 0.00016179494559764862, 0.0001683458685874939, 0.00017489679157733917, 0.00018144771456718445, 0.00018799863755702972, 0.000194549560546875]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 2.0, 4.0, 3.0, 5.0, 3.0, 4.0, 5.0, 8.0, 10.0, 6.0, 8.0, 14.0, 13.0, 13.0, 20.0, 20.0, 20.0, 17.0, 19.0, 30.0, 24.0, 32.0, 37.0, 27.0, 23.0, 31.0, 45.0, 58.0, 1056.0, 37.0, 39.0, 30.0, 27.0, 29.0, 32.0, 28.0, 21.0, 21.0, 25.0, 23.0, 22.0, 20.0, 21.0, 16.0, 16.0, 11.0, 11.0, 10.0, 12.0, 7.0, 4.0, 5.0, 4.0, 1.0, 3.0, 2.0, 4.0, 2.0, 0.0, 2.0, 2.0], "bins": [-0.00936126708984375, -0.009067296981811523, -0.008773326873779297, -0.00847935676574707, -0.008185386657714844, -0.007891416549682617, -0.007597446441650391, -0.007303476333618164, -0.0070095062255859375, -0.006715536117553711, -0.006421566009521484, -0.006127595901489258, -0.005833625793457031, -0.005539655685424805, -0.005245685577392578, -0.0049517154693603516, -0.004657745361328125, -0.0043637752532958984, -0.004069805145263672, -0.0037758350372314453, -0.0034818649291992188, -0.003187894821166992, -0.0028939247131347656, -0.002599954605102539, -0.0023059844970703125, -0.002012014389038086, -0.0017180442810058594, -0.0014240741729736328, -0.0011301040649414062, -0.0008361339569091797, -0.0005421638488769531, -0.00024819374084472656, 4.57763671875e-05, 0.00033974647521972656, 0.0006337165832519531, 0.0009276866912841797, 0.0012216567993164062, 0.0015156269073486328, 0.0018095970153808594, 0.002103567123413086, 0.0023975372314453125, 0.002691507339477539, 0.0029854774475097656, 0.003279447555541992, 0.0035734176635742188, 0.0038673877716064453, 0.004161357879638672, 0.0044553279876708984, 0.004749298095703125, 0.0050432682037353516, 0.005337238311767578, 0.005631208419799805, 0.005925178527832031, 0.006219148635864258, 0.006513118743896484, 0.006807088851928711, 0.0071010589599609375, 0.007395029067993164, 0.007688999176025391, 0.007982969284057617, 0.008276939392089844, 0.00857090950012207, 0.008864879608154297, 0.009158849716186523, 0.00945281982421875]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 2.0, 0.0, 3.0, 8.0, 5.0, 6.0, 5.0, 10.0, 16.0, 13.0, 12.0, 17.0, 16.0, 24.0, 25.0, 24.0, 24.0, 27.0, 27.0, 39.0, 91.0, 208.0, 524.0, 1486.0, 3655.0, 72293.0, 2010445.0, 5510.0, 1492.0, 486.0, 214.0, 102.0, 53.0, 43.0, 23.0, 23.0, 20.0, 14.0, 17.0, 25.0, 9.0, 17.0, 14.0, 13.0, 7.0, 11.0, 8.0, 8.0, 4.0, 4.0, 3.0, 3.0, 3.0, 4.0, 2.0, 2.0, 1.0], "bins": [-9.715557098388672e-06, -9.42125916481018e-06, -9.12696123123169e-06, -8.832663297653198e-06, -8.538365364074707e-06, -8.244067430496216e-06, -7.949769496917725e-06, -7.655471563339233e-06, -7.361173629760742e-06, -7.066875696182251e-06, -6.77257776260376e-06, -6.4782798290252686e-06, -6.183981895446777e-06, -5.889683961868286e-06, -5.595386028289795e-06, -5.301088094711304e-06, -5.0067901611328125e-06, -4.712492227554321e-06, -4.41819429397583e-06, -4.123896360397339e-06, -3.829598426818848e-06, -3.5353004932403564e-06, -3.2410025596618652e-06, -2.946704626083374e-06, -2.652406692504883e-06, -2.3581087589263916e-06, -2.0638108253479004e-06, -1.7695128917694092e-06, -1.475214958190918e-06, -1.1809170246124268e-06, -8.866190910339355e-07, -5.923211574554443e-07, -2.980232238769531e-07, -3.725290298461914e-09, 2.905726432800293e-07, 5.848705768585205e-07, 8.791685104370117e-07, 1.173466444015503e-06, 1.4677643775939941e-06, 1.7620623111724854e-06, 2.0563602447509766e-06, 2.3506581783294678e-06, 2.644956111907959e-06, 2.93925404548645e-06, 3.2335519790649414e-06, 3.5278499126434326e-06, 3.822147846221924e-06, 4.116445779800415e-06, 4.410743713378906e-06, 4.7050416469573975e-06, 4.999339580535889e-06, 5.29363751411438e-06, 5.587935447692871e-06, 5.882233381271362e-06, 6.1765313148498535e-06, 6.470829248428345e-06, 6.765127182006836e-06, 7.059425115585327e-06, 7.353723049163818e-06, 7.64802098274231e-06, 7.9423189163208e-06, 8.236616849899292e-06, 8.530914783477783e-06, 8.825212717056274e-06, 9.119510650634766e-06]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 2.0, 3.0, 2.0, 8.0, 11.0, 13.0, 10.0, 28.0, 33.0, 34.0, 42.0, 40.0, 56.0, 53.0, 66.0, 57.0, 63.0, 76.0, 57.0, 54.0, 56.0, 65.0, 42.0, 38.0, 18.0, 18.0, 23.0, 14.0, 12.0, 8.0, 5.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0252227783203125, -0.024585485458374023, -0.023948192596435547, -0.02331089973449707, -0.022673606872558594, -0.022036314010620117, -0.02139902114868164, -0.020761728286743164, -0.020124435424804688, -0.01948714256286621, -0.018849849700927734, -0.018212556838989258, -0.01757526397705078, -0.016937971115112305, -0.016300678253173828, -0.01566338539123535, -0.015026092529296875, -0.014388799667358398, -0.013751506805419922, -0.013114213943481445, -0.012476921081542969, -0.011839628219604492, -0.011202335357666016, -0.010565042495727539, -0.009927749633789062, -0.009290456771850586, -0.00865316390991211, -0.008015871047973633, -0.007378578186035156, -0.00674128532409668, -0.006103992462158203, -0.0054666996002197266, -0.00482940673828125, -0.0041921138763427734, -0.003554821014404297, -0.0029175281524658203, -0.0022802352905273438, -0.0016429424285888672, -0.0010056495666503906, -0.00036835670471191406, 0.0002689361572265625, 0.0009062290191650391, 0.0015435218811035156, 0.002180814743041992, 0.0028181076049804688, 0.0034554004669189453, 0.004092693328857422, 0.0047299861907958984, 0.005367279052734375, 0.0060045719146728516, 0.006641864776611328, 0.007279157638549805, 0.007916450500488281, 0.008553743362426758, 0.009191036224365234, 0.009828329086303711, 0.010465621948242188, 0.011102914810180664, 0.01174020767211914, 0.012377500534057617, 0.013014793395996094, 0.01365208625793457, 0.014289379119873047, 0.014926671981811523, 0.01556396484375]}, "gradients/decoder.transformer.h.18.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 2.0, 6.0, 4.0, 2.0, 10.0, 13.0, 13.0, 30.0, 43.0, 85.0, 168.0, 377.0, 677.0, 1585.0, 3372.0, 7820.0, 19253.0, 54689.0, 299823.0, 540561.0, 77790.0, 24693.0, 9781.0, 4124.0, 1906.0, 874.0, 418.0, 207.0, 92.0, 61.0, 34.0, 21.0, 6.0, 6.0, 9.0, 7.0, 5.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0306243896484375, -0.029300451278686523, -0.027976512908935547, -0.02665257453918457, -0.025328636169433594, -0.024004697799682617, -0.02268075942993164, -0.021356821060180664, -0.020032882690429688, -0.01870894432067871, -0.017385005950927734, -0.016061067581176758, -0.014737129211425781, -0.013413190841674805, -0.012089252471923828, -0.010765314102172852, -0.009441375732421875, -0.008117437362670898, -0.006793498992919922, -0.005469560623168945, -0.004145622253417969, -0.002821683883666992, -0.0014977455139160156, -0.00017380714416503906, 0.0011501312255859375, 0.002474069595336914, 0.0037980079650878906, 0.005121946334838867, 0.006445884704589844, 0.00776982307434082, 0.009093761444091797, 0.010417699813842773, 0.01174163818359375, 0.013065576553344727, 0.014389514923095703, 0.01571345329284668, 0.017037391662597656, 0.018361330032348633, 0.01968526840209961, 0.021009206771850586, 0.022333145141601562, 0.02365708351135254, 0.024981021881103516, 0.026304960250854492, 0.02762889862060547, 0.028952836990356445, 0.030276775360107422, 0.0316007137298584, 0.032924652099609375, 0.03424859046936035, 0.03557252883911133, 0.036896467208862305, 0.03822040557861328, 0.03954434394836426, 0.040868282318115234, 0.04219222068786621, 0.04351615905761719, 0.044840097427368164, 0.04616403579711914, 0.04748797416687012, 0.048811912536621094, 0.05013585090637207, 0.05145978927612305, 0.05278372764587402, 0.054107666015625]}, "gradients/decoder.transformer.h.18.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 4.0, 3.0, 2.0, 6.0, 4.0, 7.0, 16.0, 14.0, 13.0, 17.0, 18.0, 19.0, 28.0, 26.0, 29.0, 27.0, 43.0, 40.0, 57.0, 56.0, 77.0, 134.0, 239.0, 1437.0, 196.0, 101.0, 70.0, 52.0, 54.0, 38.0, 38.0, 38.0, 27.0, 25.0, 27.0, 16.0, 17.0, 10.0, 7.0, 9.0, 4.0, 7.0, 3.0, 1.0, 1.0, 2.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.050323486328125, -0.04876852035522461, -0.04721355438232422, -0.04565858840942383, -0.04410362243652344, -0.04254865646362305, -0.040993690490722656, -0.039438724517822266, -0.037883758544921875, -0.036328792572021484, -0.034773826599121094, -0.0332188606262207, -0.03166389465332031, -0.030108928680419922, -0.02855396270751953, -0.02699899673461914, -0.02544403076171875, -0.02388906478881836, -0.02233409881591797, -0.020779132843017578, -0.019224166870117188, -0.017669200897216797, -0.016114234924316406, -0.014559268951416016, -0.013004302978515625, -0.011449337005615234, -0.009894371032714844, -0.008339405059814453, -0.0067844390869140625, -0.005229473114013672, -0.0036745071411132812, -0.0021195411682128906, -0.0005645751953125, 0.0009903907775878906, 0.0025453567504882812, 0.004100322723388672, 0.0056552886962890625, 0.007210254669189453, 0.008765220642089844, 0.010320186614990234, 0.011875152587890625, 0.013430118560791016, 0.014985084533691406, 0.016540050506591797, 0.018095016479492188, 0.019649982452392578, 0.02120494842529297, 0.02275991439819336, 0.02431488037109375, 0.02586984634399414, 0.02742481231689453, 0.028979778289794922, 0.030534744262695312, 0.0320897102355957, 0.033644676208496094, 0.035199642181396484, 0.036754608154296875, 0.038309574127197266, 0.039864540100097656, 0.04141950607299805, 0.04297447204589844, 0.04452943801879883, 0.04608440399169922, 0.04763936996459961, 0.0491943359375]}, "gradients/decoder.transformer.h.18.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 6.0, 0.0, 2.0, 3.0, 1.0, 4.0, 7.0, 4.0, 9.0, 7.0, 11.0, 17.0, 28.0, 29.0, 50.0, 33.0, 59.0, 72.0, 105.0, 176.0, 297.0, 710.0, 2152.0, 7524.0, 33377.0, 322193.0, 2616518.0, 134204.0, 20186.0, 4914.0, 1596.0, 553.0, 289.0, 153.0, 95.0, 76.0, 42.0, 43.0, 34.0, 24.0, 27.0, 16.0, 27.0, 6.0, 12.0, 9.0, 3.0, 3.0, 9.0, 2.0, 4.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0863037109375, -0.08371543884277344, -0.08112716674804688, -0.07853889465332031, -0.07595062255859375, -0.07336235046386719, -0.07077407836914062, -0.06818580627441406, -0.0655975341796875, -0.06300926208496094, -0.060420989990234375, -0.05783271789550781, -0.05524444580078125, -0.05265617370605469, -0.050067901611328125, -0.04747962951660156, -0.044891357421875, -0.04230308532714844, -0.039714813232421875, -0.03712654113769531, -0.03453826904296875, -0.03194999694824219, -0.029361724853515625, -0.026773452758789062, -0.0241851806640625, -0.021596908569335938, -0.019008636474609375, -0.016420364379882812, -0.01383209228515625, -0.011243820190429688, -0.008655548095703125, -0.0060672760009765625, -0.00347900390625, -0.0008907318115234375, 0.001697540283203125, 0.0042858123779296875, 0.00687408447265625, 0.009462356567382812, 0.012050628662109375, 0.014638900756835938, 0.0172271728515625, 0.019815444946289062, 0.022403717041015625, 0.024991989135742188, 0.02758026123046875, 0.030168533325195312, 0.032756805419921875, 0.03534507751464844, 0.037933349609375, 0.04052162170410156, 0.043109893798828125, 0.04569816589355469, 0.04828643798828125, 0.05087471008300781, 0.053462982177734375, 0.05605125427246094, 0.0586395263671875, 0.06122779846191406, 0.06381607055664062, 0.06640434265136719, 0.06899261474609375, 0.07158088684082031, 0.07416915893554688, 0.07675743103027344, 0.079345703125]}, "gradients/decoder.transformer.h.18.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 6.0, 17.0, 58.0, 152.0, 301.0, 298.0, 129.0, 46.0, 11.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.7979461550712585, -0.7831369042396545, -0.7683275938034058, -0.7535183429718018, -0.7387090921401978, -0.7238998413085938, -0.7090905904769897, -0.694281280040741, -0.679472029209137, -0.664662778377533, -0.6498534679412842, -0.6350442171096802, -0.6202349662780762, -0.6054257154464722, -0.5906164646148682, -0.5758071541786194, -0.5609979033470154, -0.5461886525154114, -0.5313793420791626, -0.5165700912475586, -0.5017608404159546, -0.4869515895843506, -0.4721423089504242, -0.4573330283164978, -0.4425237774848938, -0.4277145266532898, -0.4129052460193634, -0.398095965385437, -0.383286714553833, -0.368477463722229, -0.3536681830883026, -0.3388589024543762, -0.3240496516227722, -0.3092404007911682, -0.2944311201572418, -0.27962183952331543, -0.2648125886917114, -0.2500033378601074, -0.23519405722618103, -0.22038479149341583, -0.20557551085948944, -0.19076624512672424, -0.17595697939395905, -0.16114771366119385, -0.14633844792842865, -0.13152918219566345, -0.11671991646289825, -0.10191065073013306, -0.08710138499736786, -0.07229211926460266, -0.05748285353183746, -0.042673587799072266, -0.027864322066307068, -0.01305505633354187, 0.0017542093992233276, 0.016563475131988525, 0.03137274086475372, 0.04618200659751892, 0.06099127233028412, 0.07580053806304932, 0.09060980379581451, 0.10541906952857971, 0.12022833526134491, 0.1350376009941101, 0.1498468667268753]}, "gradients/decoder.transformer.h.18.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 0.0, 2.0, 3.0, 5.0, 8.0, 8.0, 12.0, 18.0, 14.0, 21.0, 26.0, 19.0, 24.0, 38.0, 28.0, 41.0, 42.0, 32.0, 43.0, 43.0, 53.0, 51.0, 44.0, 46.0, 40.0, 37.0, 39.0, 49.0, 38.0, 29.0, 20.0, 20.0, 16.0, 12.0, 21.0, 13.0, 17.0, 8.0, 10.0, 5.0, 5.0, 5.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.19690531492233276, -0.19144612550735474, -0.1859869360923767, -0.18052774667739868, -0.17506855726242065, -0.16960938274860382, -0.1641501933336258, -0.15869100391864777, -0.15323181450366974, -0.1477726250886917, -0.14231343567371368, -0.13685424625873566, -0.13139507174491882, -0.1259358823299408, -0.12047669291496277, -0.11501750349998474, -0.10955831408500671, -0.10409912467002869, -0.09863993525505066, -0.09318075329065323, -0.0877215638756752, -0.08226237446069717, -0.07680319249629974, -0.07134400308132172, -0.06588481366634369, -0.06042562425136566, -0.05496643856167793, -0.049507252871990204, -0.044048063457012177, -0.03858887404203415, -0.03312968835234642, -0.02767050266265869, -0.022211313247680664, -0.016752125695347786, -0.011292938143014908, -0.00583375059068203, -0.0003745630383491516, 0.0050846245139837265, 0.010543812066316605, 0.016002997756004333, 0.02146218717098236, 0.02692137472331524, 0.03238056227564812, 0.037839747965335846, 0.04329893738031387, 0.0487581267952919, 0.05421731248497963, 0.05967649817466736, 0.06513568758964539, 0.07059487700462341, 0.07605406641960144, 0.08151324838399887, 0.0869724377989769, 0.09243162721395493, 0.09789080917835236, 0.10334999859333038, 0.10880918800830841, 0.11426837742328644, 0.11972756683826447, 0.1251867562532425, 0.13064593076705933, 0.13610512018203735, 0.14156430959701538, 0.1470234990119934, 0.15248268842697144]}, "gradients/decoder.transformer.h.17.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 5.0, 4.0, 9.0, 13.0, 9.0, 23.0, 28.0, 31.0, 33.0, 56.0, 43.0, 61.0, 55.0, 58.0, 67.0, 60.0, 76.0, 58.0, 52.0, 67.0, 44.0, 32.0, 29.0, 23.0, 25.0, 16.0, 8.0, 10.0, 7.0, 4.0, 2.0, 5.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0265960693359375, -0.025931596755981445, -0.02526712417602539, -0.024602651596069336, -0.02393817901611328, -0.023273706436157227, -0.022609233856201172, -0.021944761276245117, -0.021280288696289062, -0.020615816116333008, -0.019951343536376953, -0.0192868709564209, -0.018622398376464844, -0.01795792579650879, -0.017293453216552734, -0.01662898063659668, -0.015964508056640625, -0.01530003547668457, -0.014635562896728516, -0.013971090316772461, -0.013306617736816406, -0.012642145156860352, -0.011977672576904297, -0.011313199996948242, -0.010648727416992188, -0.009984254837036133, -0.009319782257080078, -0.008655309677124023, -0.007990837097167969, -0.007326364517211914, -0.006661891937255859, -0.005997419357299805, -0.00533294677734375, -0.004668474197387695, -0.004004001617431641, -0.003339529037475586, -0.0026750564575195312, -0.0020105838775634766, -0.0013461112976074219, -0.0006816387176513672, -1.71661376953125e-05, 0.0006473064422607422, 0.0013117790222167969, 0.0019762516021728516, 0.0026407241821289062, 0.003305196762084961, 0.003969669342041016, 0.00463414192199707, 0.005298614501953125, 0.00596308708190918, 0.006627559661865234, 0.007292032241821289, 0.007956504821777344, 0.008620977401733398, 0.009285449981689453, 0.009949922561645508, 0.010614395141601562, 0.011278867721557617, 0.011943340301513672, 0.012607812881469727, 0.013272285461425781, 0.013936758041381836, 0.01460123062133789, 0.015265703201293945, 0.01593017578125]}, "gradients/decoder.transformer.h.17.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 4.0, 6.0, 5.0, 14.0, 15.0, 20.0, 34.0, 46.0, 66.0, 90.0, 144.0, 254.0, 644.0, 1857.0, 6751.0, 33501.0, 222157.0, 2337096.0, 1421706.0, 140321.0, 22413.0, 4833.0, 1350.0, 474.0, 218.0, 112.0, 56.0, 35.0, 29.0, 16.0, 10.0, 4.0, 4.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.06591796875, -0.0641779899597168, -0.062438011169433594, -0.06069803237915039, -0.05895805358886719, -0.057218074798583984, -0.05547809600830078, -0.05373811721801758, -0.051998138427734375, -0.05025815963745117, -0.04851818084716797, -0.046778202056884766, -0.04503822326660156, -0.04329824447631836, -0.041558265686035156, -0.03981828689575195, -0.03807830810546875, -0.03633832931518555, -0.034598350524902344, -0.03285837173461914, -0.031118392944335938, -0.029378414154052734, -0.02763843536376953, -0.025898456573486328, -0.024158477783203125, -0.022418498992919922, -0.02067852020263672, -0.018938541412353516, -0.017198562622070312, -0.01545858383178711, -0.013718605041503906, -0.011978626251220703, -0.0102386474609375, -0.008498668670654297, -0.006758689880371094, -0.005018711090087891, -0.0032787322998046875, -0.0015387535095214844, 0.00020122528076171875, 0.0019412040710449219, 0.003681182861328125, 0.005421161651611328, 0.007161140441894531, 0.008901119232177734, 0.010641098022460938, 0.01238107681274414, 0.014121055603027344, 0.015861034393310547, 0.01760101318359375, 0.019340991973876953, 0.021080970764160156, 0.02282094955444336, 0.024560928344726562, 0.026300907135009766, 0.02804088592529297, 0.029780864715576172, 0.031520843505859375, 0.03326082229614258, 0.03500080108642578, 0.036740779876708984, 0.03848075866699219, 0.04022073745727539, 0.041960716247558594, 0.0437006950378418, 0.045440673828125]}, "gradients/decoder.transformer.h.17.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 4.0, 9.0, 5.0, 4.0, 7.0, 8.0, 11.0, 15.0, 31.0, 25.0, 40.0, 67.0, 104.0, 127.0, 171.0, 250.0, 343.0, 429.0, 474.0, 499.0, 373.0, 272.0, 222.0, 159.0, 131.0, 84.0, 61.0, 49.0, 25.0, 25.0, 16.0, 15.0, 5.0, 9.0, 2.0, 6.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.049407958984375, -0.04802513122558594, -0.046642303466796875, -0.04525947570800781, -0.04387664794921875, -0.04249382019042969, -0.041110992431640625, -0.03972816467285156, -0.0383453369140625, -0.03696250915527344, -0.035579681396484375, -0.03419685363769531, -0.03281402587890625, -0.03143119812011719, -0.030048370361328125, -0.028665542602539062, -0.02728271484375, -0.025899887084960938, -0.024517059326171875, -0.023134231567382812, -0.02175140380859375, -0.020368576049804688, -0.018985748291015625, -0.017602920532226562, -0.0162200927734375, -0.014837265014648438, -0.013454437255859375, -0.012071609497070312, -0.01068878173828125, -0.009305953979492188, -0.007923126220703125, -0.0065402984619140625, -0.005157470703125, -0.0037746429443359375, -0.002391815185546875, -0.0010089874267578125, 0.00037384033203125, 0.0017566680908203125, 0.003139495849609375, 0.0045223236083984375, 0.0059051513671875, 0.0072879791259765625, 0.008670806884765625, 0.010053634643554688, 0.01143646240234375, 0.012819290161132812, 0.014202117919921875, 0.015584945678710938, 0.0169677734375, 0.018350601196289062, 0.019733428955078125, 0.021116256713867188, 0.02249908447265625, 0.023881912231445312, 0.025264739990234375, 0.026647567749023438, 0.0280303955078125, 0.029413223266601562, 0.030796051025390625, 0.03217887878417969, 0.03356170654296875, 0.03494453430175781, 0.036327362060546875, 0.03771018981933594, 0.039093017578125]}, "gradients/decoder.transformer.h.17.mlp.c_fc.weight": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 5.0, 9.0, 12.0, 11.0, 14.0, 28.0, 35.0, 43.0, 70.0, 103.0, 167.0, 258.0, 402.0, 612.0, 1124.0, 2297.0, 5230.0, 14823.0, 53549.0, 226987.0, 1149842.0, 2125754.0, 470280.0, 101770.0, 25988.0, 8223.0, 3155.0, 1419.0, 758.0, 449.0, 275.0, 186.0, 128.0, 77.0, 53.0, 35.0, 34.0, 30.0, 8.0, 9.0, 9.0, 12.0, 8.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0560302734375, -0.05411338806152344, -0.052196502685546875, -0.05027961730957031, -0.04836273193359375, -0.04644584655761719, -0.044528961181640625, -0.04261207580566406, -0.0406951904296875, -0.03877830505371094, -0.036861419677734375, -0.03494453430175781, -0.03302764892578125, -0.031110763549804688, -0.029193878173828125, -0.027276992797851562, -0.025360107421875, -0.023443222045898438, -0.021526336669921875, -0.019609451293945312, -0.01769256591796875, -0.015775680541992188, -0.013858795166015625, -0.011941909790039062, -0.0100250244140625, -0.008108139038085938, -0.006191253662109375, -0.0042743682861328125, -0.00235748291015625, -0.0004405975341796875, 0.001476287841796875, 0.0033931732177734375, 0.00531005859375, 0.0072269439697265625, 0.009143829345703125, 0.011060714721679688, 0.01297760009765625, 0.014894485473632812, 0.016811370849609375, 0.018728256225585938, 0.0206451416015625, 0.022562026977539062, 0.024478912353515625, 0.026395797729492188, 0.02831268310546875, 0.030229568481445312, 0.032146453857421875, 0.03406333923339844, 0.035980224609375, 0.03789710998535156, 0.039813995361328125, 0.04173088073730469, 0.04364776611328125, 0.04556465148925781, 0.047481536865234375, 0.04939842224121094, 0.0513153076171875, 0.05323219299316406, 0.055149078369140625, 0.05706596374511719, 0.05898284912109375, 0.06089973449707031, 0.06281661987304688, 0.06473350524902344, 0.066650390625]}, "gradients/decoder.transformer.h.17.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 9.0, 15.0, 21.0, 26.0, 50.0, 73.0, 81.0, 101.0, 99.0, 129.0, 112.0, 97.0, 71.0, 53.0, 19.0, 19.0, 13.0, 9.0, 3.0, 8.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.31388482451438904, -0.3046722412109375, -0.29545965790748596, -0.28624704480171204, -0.2770344614982605, -0.26782187819480896, -0.2586092948913574, -0.24939671158790588, -0.24018411338329315, -0.2309715300798416, -0.22175893187522888, -0.21254634857177734, -0.2033337652683258, -0.19412116706371307, -0.18490858376026154, -0.1756959855556488, -0.16648340225219727, -0.15727081894874573, -0.148058220744133, -0.13884563744068146, -0.12963303923606873, -0.12042045593261719, -0.11120787262916565, -0.10199528187513351, -0.09278269112110138, -0.08357010036706924, -0.07435750961303711, -0.06514492630958557, -0.055932335555553436, -0.0467197448015213, -0.037507157772779465, -0.028294570744037628, -0.01908200979232788, -0.009869420900940895, -0.0006568320095539093, 0.008555756881833076, 0.017768345773220062, 0.026980936527252197, 0.036193523555994034, 0.04540611058473587, 0.054618701338768005, 0.06383129209280014, 0.07304388284683228, 0.08225646615028381, 0.09146905690431595, 0.10068164765834808, 0.10989423096179962, 0.11910682171583176, 0.1283194124698639, 0.13753199577331543, 0.14674459397792816, 0.1559571772813797, 0.16516977548599243, 0.17438235878944397, 0.1835949420928955, 0.19280752539634705, 0.20202012360095978, 0.21123270690441132, 0.22044530510902405, 0.22965788841247559, 0.23887047171592712, 0.24808306992053986, 0.2572956681251526, 0.2665082514286041, 0.27572083473205566]}, "gradients/decoder.transformer.h.17.ln_2.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 1.0, 4.0, 4.0, 4.0, 13.0, 9.0, 10.0, 9.0, 11.0, 10.0, 15.0, 18.0, 27.0, 30.0, 31.0, 31.0, 32.0, 33.0, 37.0, 36.0, 38.0, 53.0, 36.0, 38.0, 51.0, 48.0, 46.0, 32.0, 26.0, 36.0, 32.0, 26.0, 17.0, 39.0, 23.0, 20.0, 9.0, 17.0, 12.0, 8.0, 10.0, 6.0, 5.0, 3.0, 4.0, 3.0, 2.0, 1.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1409231424331665, -0.13629010319709778, -0.13165707886219025, -0.12702403962612152, -0.12239101529121399, -0.11775797605514526, -0.11312494426965714, -0.108491912484169, -0.10385888069868088, -0.09922584891319275, -0.09459281712770462, -0.08995978534221649, -0.08532674610614777, -0.08069372177124023, -0.07606068253517151, -0.07142765074968338, -0.06679461896419525, -0.06216158717870712, -0.057528555393218994, -0.05289551988244057, -0.04826248809695244, -0.04362945631146431, -0.03899642080068588, -0.034363389015197754, -0.029730357229709625, -0.025097325444221497, -0.02046429179608822, -0.01583125814795494, -0.011198226362466812, -0.0065651945769786835, -0.0019321609288454056, 0.0027008727192878723, 0.007333904504776001, 0.011966937221586704, 0.016599969938397408, 0.021233003586530685, 0.025866035372018814, 0.030499067157506943, 0.03513210266828537, 0.0397651344537735, 0.04439816623926163, 0.049031198024749756, 0.053664229810237885, 0.05829726532101631, 0.06293030083179474, 0.06756332516670227, 0.072196364402771, 0.07682939618825912, 0.08146242797374725, 0.08609545975923538, 0.09072849154472351, 0.09536152333021164, 0.09999455511569977, 0.1046275943517685, 0.10926062613725662, 0.11389365792274475, 0.11852668970823288, 0.12315972149372101, 0.12779276072978973, 0.13242578506469727, 0.137058824300766, 0.14169184863567352, 0.14632488787174225, 0.15095791220664978, 0.1555909514427185]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 4.0, 2.0, 1.0, 7.0, 4.0, 8.0, 15.0, 17.0, 31.0, 33.0, 34.0, 35.0, 55.0, 54.0, 61.0, 56.0, 62.0, 64.0, 61.0, 82.0, 57.0, 51.0, 37.0, 37.0, 26.0, 30.0, 25.0, 21.0, 13.0, 12.0, 9.0, 2.0, 1.0, 6.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.027587890625, -0.02691960334777832, -0.02625131607055664, -0.02558302879333496, -0.02491474151611328, -0.0242464542388916, -0.023578166961669922, -0.022909879684448242, -0.022241592407226562, -0.021573305130004883, -0.020905017852783203, -0.020236730575561523, -0.019568443298339844, -0.018900156021118164, -0.018231868743896484, -0.017563581466674805, -0.016895294189453125, -0.016227006912231445, -0.015558719635009766, -0.014890432357788086, -0.014222145080566406, -0.013553857803344727, -0.012885570526123047, -0.012217283248901367, -0.011548995971679688, -0.010880708694458008, -0.010212421417236328, -0.009544134140014648, -0.008875846862792969, -0.008207559585571289, -0.007539272308349609, -0.00687098503112793, -0.00620269775390625, -0.00553441047668457, -0.004866123199462891, -0.004197835922241211, -0.0035295486450195312, -0.0028612613677978516, -0.002192974090576172, -0.0015246868133544922, -0.0008563995361328125, -0.0001881122589111328, 0.0004801750183105469, 0.0011484622955322266, 0.0018167495727539062, 0.002485036849975586, 0.0031533241271972656, 0.0038216114044189453, 0.004489898681640625, 0.005158185958862305, 0.005826473236083984, 0.006494760513305664, 0.007163047790527344, 0.007831335067749023, 0.008499622344970703, 0.009167909622192383, 0.009836196899414062, 0.010504484176635742, 0.011172771453857422, 0.011841058731079102, 0.012509346008300781, 0.013177633285522461, 0.01384592056274414, 0.01451420783996582, 0.0151824951171875]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 2.0, 4.0, 3.0, 1.0, 3.0, 8.0, 13.0, 8.0, 25.0, 29.0, 45.0, 67.0, 114.0, 200.0, 315.0, 608.0, 1115.0, 2290.0, 4596.0, 9784.0, 22767.0, 60993.0, 203307.0, 541191.0, 126646.0, 42732.0, 16922.0, 7376.0, 3486.0, 1749.0, 932.0, 518.0, 267.0, 176.0, 91.0, 56.0, 33.0, 27.0, 18.0, 10.0, 11.0, 6.0, 5.0, 2.0, 4.0, 1.0, 2.0, 2.0, 4.0, 0.0, 0.0, 1.0], "bins": [-0.00020420551300048828, -0.0001984238624572754, -0.0001926422119140625, -0.0001868605613708496, -0.00018107891082763672, -0.00017529726028442383, -0.00016951560974121094, -0.00016373395919799805, -0.00015795230865478516, -0.00015217065811157227, -0.00014638900756835938, -0.00014060735702514648, -0.0001348257064819336, -0.0001290440559387207, -0.0001232624053955078, -0.00011748075485229492, -0.00011169910430908203, -0.00010591745376586914, -0.00010013580322265625, -9.435415267944336e-05, -8.857250213623047e-05, -8.279085159301758e-05, -7.700920104980469e-05, -7.12275505065918e-05, -6.54458999633789e-05, -5.9664249420166016e-05, -5.3882598876953125e-05, -4.8100948333740234e-05, -4.2319297790527344e-05, -3.653764724731445e-05, -3.075599670410156e-05, -2.4974346160888672e-05, -1.919269561767578e-05, -1.341104507446289e-05, -7.62939453125e-06, -1.8477439880371094e-06, 3.933906555175781e-06, 9.715557098388672e-06, 1.5497207641601562e-05, 2.1278858184814453e-05, 2.7060508728027344e-05, 3.2842159271240234e-05, 3.8623809814453125e-05, 4.4405460357666016e-05, 5.0187110900878906e-05, 5.59687614440918e-05, 6.175041198730469e-05, 6.753206253051758e-05, 7.331371307373047e-05, 7.909536361694336e-05, 8.487701416015625e-05, 9.065866470336914e-05, 9.644031524658203e-05, 0.00010222196578979492, 0.00010800361633300781, 0.0001137852668762207, 0.0001195669174194336, 0.00012534856796264648, 0.00013113021850585938, 0.00013691186904907227, 0.00014269351959228516, 0.00014847517013549805, 0.00015425682067871094, 0.00016003847122192383, 0.00016582012176513672]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 1.0, 2.0, 11.0, 2.0, 10.0, 11.0, 6.0, 18.0, 10.0, 14.0, 22.0, 24.0, 20.0, 29.0, 28.0, 34.0, 37.0, 39.0, 40.0, 40.0, 45.0, 38.0, 1055.0, 41.0, 45.0, 42.0, 37.0, 48.0, 37.0, 39.0, 23.0, 27.0, 20.0, 19.0, 21.0, 14.0, 16.0, 11.0, 13.0, 9.0, 9.0, 5.0, 5.0, 5.0, 2.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.011077880859375, -0.010689973831176758, -0.010302066802978516, -0.009914159774780273, -0.009526252746582031, -0.009138345718383789, -0.008750438690185547, -0.008362531661987305, -0.007974624633789062, -0.00758671760559082, -0.007198810577392578, -0.006810903549194336, -0.006422996520996094, -0.0060350894927978516, -0.005647182464599609, -0.005259275436401367, -0.004871368408203125, -0.004483461380004883, -0.004095554351806641, -0.0037076473236083984, -0.0033197402954101562, -0.002931833267211914, -0.002543926239013672, -0.0021560192108154297, -0.0017681121826171875, -0.0013802051544189453, -0.0009922981262207031, -0.0006043910980224609, -0.00021648406982421875, 0.00017142295837402344, 0.0005593299865722656, 0.0009472370147705078, 0.00133514404296875, 0.0017230510711669922, 0.0021109580993652344, 0.0024988651275634766, 0.0028867721557617188, 0.003274679183959961, 0.003662586212158203, 0.004050493240356445, 0.0044384002685546875, 0.00482630729675293, 0.005214214324951172, 0.005602121353149414, 0.005990028381347656, 0.0063779354095458984, 0.006765842437744141, 0.007153749465942383, 0.007541656494140625, 0.007929563522338867, 0.00831747055053711, 0.008705377578735352, 0.009093284606933594, 0.009481191635131836, 0.009869098663330078, 0.01025700569152832, 0.010644912719726562, 0.011032819747924805, 0.011420726776123047, 0.011808633804321289, 0.012196540832519531, 0.012584447860717773, 0.012972354888916016, 0.013360261917114258, 0.0137481689453125]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 3.0, 4.0, 4.0, 5.0, 5.0, 8.0, 12.0, 18.0, 14.0, 10.0, 16.0, 15.0, 24.0, 20.0, 28.0, 40.0, 36.0, 46.0, 113.0, 280.0, 888.0, 2976.0, 80705.0, 2004746.0, 4946.0, 1309.0, 370.0, 132.0, 75.0, 40.0, 37.0, 34.0, 25.0, 19.0, 31.0, 12.0, 11.0, 14.0, 14.0, 12.0, 12.0, 5.0, 8.0, 5.0, 2.0, 4.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0], "bins": [-1.329183578491211e-05, -1.2913718819618225e-05, -1.253560185432434e-05, -1.2157484889030457e-05, -1.1779367923736572e-05, -1.1401250958442688e-05, -1.1023133993148804e-05, -1.064501702785492e-05, -1.0266900062561035e-05, -9.888783097267151e-06, -9.510666131973267e-06, -9.132549166679382e-06, -8.754432201385498e-06, -8.376315236091614e-06, -7.99819827079773e-06, -7.620081305503845e-06, -7.241964340209961e-06, -6.863847374916077e-06, -6.485730409622192e-06, -6.107613444328308e-06, -5.729496479034424e-06, -5.3513795137405396e-06, -4.973262548446655e-06, -4.595145583152771e-06, -4.217028617858887e-06, -3.8389116525650024e-06, -3.460794687271118e-06, -3.082677721977234e-06, -2.7045607566833496e-06, -2.3264437913894653e-06, -1.948326826095581e-06, -1.5702098608016968e-06, -1.1920928955078125e-06, -8.139759302139282e-07, -4.3585896492004395e-07, -5.774199962615967e-08, 3.203749656677246e-07, 6.984919309616089e-07, 1.0766088962554932e-06, 1.4547258615493774e-06, 1.8328428268432617e-06, 2.210959792137146e-06, 2.5890767574310303e-06, 2.9671937227249146e-06, 3.345310688018799e-06, 3.723427653312683e-06, 4.101544618606567e-06, 4.479661583900452e-06, 4.857778549194336e-06, 5.23589551448822e-06, 5.6140124797821045e-06, 5.992129445075989e-06, 6.370246410369873e-06, 6.748363375663757e-06, 7.126480340957642e-06, 7.504597306251526e-06, 7.88271427154541e-06, 8.260831236839294e-06, 8.638948202133179e-06, 9.017065167427063e-06, 9.395182132720947e-06, 9.773299098014832e-06, 1.0151416063308716e-05, 1.05295330286026e-05, 1.0907649993896484e-05]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 4.0, 2.0, 1.0, 7.0, 4.0, 8.0, 15.0, 17.0, 31.0, 33.0, 34.0, 35.0, 55.0, 54.0, 61.0, 56.0, 62.0, 64.0, 61.0, 82.0, 57.0, 51.0, 37.0, 37.0, 26.0, 30.0, 25.0, 21.0, 13.0, 12.0, 9.0, 2.0, 1.0, 6.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.027587890625, -0.02691960334777832, -0.02625131607055664, -0.02558302879333496, -0.02491474151611328, -0.0242464542388916, -0.023578166961669922, -0.022909879684448242, -0.022241592407226562, -0.021573305130004883, -0.020905017852783203, -0.020236730575561523, -0.019568443298339844, -0.018900156021118164, -0.018231868743896484, -0.017563581466674805, -0.016895294189453125, -0.016227006912231445, -0.015558719635009766, -0.014890432357788086, -0.014222145080566406, -0.013553857803344727, -0.012885570526123047, -0.012217283248901367, -0.011548995971679688, -0.010880708694458008, -0.010212421417236328, -0.009544134140014648, -0.008875846862792969, -0.008207559585571289, -0.007539272308349609, -0.00687098503112793, -0.00620269775390625, -0.00553441047668457, -0.004866123199462891, -0.004197835922241211, -0.0035295486450195312, -0.0028612613677978516, -0.002192974090576172, -0.0015246868133544922, -0.0008563995361328125, -0.0001881122589111328, 0.0004801750183105469, 0.0011484622955322266, 0.0018167495727539062, 0.002485036849975586, 0.0031533241271972656, 0.0038216114044189453, 0.004489898681640625, 0.005158185958862305, 0.005826473236083984, 0.006494760513305664, 0.007163047790527344, 0.007831335067749023, 0.008499622344970703, 0.009167909622192383, 0.009836196899414062, 0.010504484176635742, 0.011172771453857422, 0.011841058731079102, 0.012509346008300781, 0.013177633285522461, 0.01384592056274414, 0.01451420783996582, 0.0151824951171875]}, "gradients/decoder.transformer.h.17.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 3.0, 1.0, 3.0, 4.0, 5.0, 4.0, 14.0, 19.0, 23.0, 33.0, 56.0, 72.0, 142.0, 200.0, 364.0, 665.0, 1147.0, 2081.0, 3936.0, 7682.0, 15009.0, 31876.0, 74558.0, 239016.0, 460627.0, 120667.0, 46648.0, 21456.0, 10533.0, 5401.0, 2830.0, 1536.0, 813.0, 429.0, 250.0, 150.0, 105.0, 67.0, 42.0, 28.0, 19.0, 11.0, 11.0, 7.0, 2.0, 4.0, 3.0, 1.0, 4.0, 3.0, 2.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 1.0, 2.0, 1.0], "bins": [-0.0265045166015625, -0.02556586265563965, -0.024627208709716797, -0.023688554763793945, -0.022749900817871094, -0.021811246871948242, -0.02087259292602539, -0.01993393898010254, -0.018995285034179688, -0.018056631088256836, -0.017117977142333984, -0.016179323196411133, -0.015240669250488281, -0.01430201530456543, -0.013363361358642578, -0.012424707412719727, -0.011486053466796875, -0.010547399520874023, -0.009608745574951172, -0.00867009162902832, -0.007731437683105469, -0.006792783737182617, -0.005854129791259766, -0.004915475845336914, -0.0039768218994140625, -0.003038167953491211, -0.0020995140075683594, -0.0011608600616455078, -0.00022220611572265625, 0.0007164478302001953, 0.0016551017761230469, 0.0025937557220458984, 0.00353240966796875, 0.0044710636138916016, 0.005409717559814453, 0.006348371505737305, 0.007287025451660156, 0.008225679397583008, 0.00916433334350586, 0.010102987289428711, 0.011041641235351562, 0.011980295181274414, 0.012918949127197266, 0.013857603073120117, 0.014796257019042969, 0.01573491096496582, 0.016673564910888672, 0.017612218856811523, 0.018550872802734375, 0.019489526748657227, 0.020428180694580078, 0.02136683464050293, 0.02230548858642578, 0.023244142532348633, 0.024182796478271484, 0.025121450424194336, 0.026060104370117188, 0.02699875831604004, 0.02793741226196289, 0.028876066207885742, 0.029814720153808594, 0.030753374099731445, 0.0316920280456543, 0.03263068199157715, 0.0335693359375]}, "gradients/decoder.transformer.h.17.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 4.0, 4.0, 1.0, 9.0, 8.0, 8.0, 9.0, 14.0, 7.0, 14.0, 17.0, 16.0, 31.0, 28.0, 26.0, 38.0, 41.0, 37.0, 70.0, 76.0, 74.0, 167.0, 1444.0, 316.0, 129.0, 86.0, 52.0, 48.0, 41.0, 28.0, 32.0, 30.0, 24.0, 23.0, 15.0, 13.0, 20.0, 11.0, 17.0, 9.0, 5.0, 2.0, 6.0, 3.0, 3.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0609130859375, -0.05930328369140625, -0.0576934814453125, -0.05608367919921875, -0.054473876953125, -0.05286407470703125, -0.0512542724609375, -0.04964447021484375, -0.04803466796875, -0.04642486572265625, -0.0448150634765625, -0.04320526123046875, -0.041595458984375, -0.03998565673828125, -0.0383758544921875, -0.03676605224609375, -0.03515625, -0.03354644775390625, -0.0319366455078125, -0.03032684326171875, -0.028717041015625, -0.02710723876953125, -0.0254974365234375, -0.02388763427734375, -0.02227783203125, -0.02066802978515625, -0.0190582275390625, -0.01744842529296875, -0.015838623046875, -0.01422882080078125, -0.0126190185546875, -0.01100921630859375, -0.0093994140625, -0.00778961181640625, -0.0061798095703125, -0.00457000732421875, -0.002960205078125, -0.00135040283203125, 0.0002593994140625, 0.00186920166015625, 0.00347900390625, 0.00508880615234375, 0.0066986083984375, 0.00830841064453125, 0.009918212890625, 0.01152801513671875, 0.0131378173828125, 0.01474761962890625, 0.016357421875, 0.01796722412109375, 0.0195770263671875, 0.02118682861328125, 0.022796630859375, 0.02440643310546875, 0.0260162353515625, 0.02762603759765625, 0.02923583984375, 0.03084564208984375, 0.0324554443359375, 0.03406524658203125, 0.035675048828125, 0.03728485107421875, 0.0388946533203125, 0.04050445556640625, 0.0421142578125]}, "gradients/decoder.transformer.h.17.attn.c_attn.weight": {"_type": "histogram", "values": [4.0, 3.0, 3.0, 5.0, 6.0, 10.0, 6.0, 14.0, 19.0, 16.0, 21.0, 28.0, 25.0, 32.0, 52.0, 79.0, 96.0, 175.0, 284.0, 607.0, 1759.0, 7439.0, 53874.0, 1799369.0, 1224899.0, 46543.0, 7096.0, 1763.0, 605.0, 273.0, 165.0, 114.0, 73.0, 41.0, 49.0, 33.0, 22.0, 26.0, 18.0, 15.0, 14.0, 7.0, 6.0, 6.0, 4.0, 6.0, 4.0, 2.0, 4.0, 3.0, 2.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.06365966796875, -0.061003684997558594, -0.05834770202636719, -0.05569171905517578, -0.053035736083984375, -0.05037975311279297, -0.04772377014160156, -0.045067787170410156, -0.04241180419921875, -0.039755821228027344, -0.03709983825683594, -0.03444385528564453, -0.031787872314453125, -0.02913188934326172, -0.026475906372070312, -0.023819923400878906, -0.0211639404296875, -0.018507957458496094, -0.015851974487304688, -0.013195991516113281, -0.010540008544921875, -0.007884025573730469, -0.0052280426025390625, -0.0025720596313476562, 8.392333984375e-05, 0.0027399063110351562, 0.0053958892822265625, 0.008051872253417969, 0.010707855224609375, 0.013363838195800781, 0.016019821166992188, 0.018675804138183594, 0.021331787109375, 0.023987770080566406, 0.026643753051757812, 0.02929973602294922, 0.031955718994140625, 0.03461170196533203, 0.03726768493652344, 0.039923667907714844, 0.04257965087890625, 0.045235633850097656, 0.04789161682128906, 0.05054759979248047, 0.053203582763671875, 0.05585956573486328, 0.05851554870605469, 0.061171531677246094, 0.0638275146484375, 0.0664834976196289, 0.06913948059082031, 0.07179546356201172, 0.07445144653320312, 0.07710742950439453, 0.07976341247558594, 0.08241939544677734, 0.08507537841796875, 0.08773136138916016, 0.09038734436035156, 0.09304332733154297, 0.09569931030273438, 0.09835529327392578, 0.10101127624511719, 0.1036672592163086, 0.1063232421875]}, "gradients/decoder.transformer.h.17.ln_1.weight": {"_type": "histogram", "values": [6.0, 110.0, 475.0, 374.0, 49.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06187142804265022, -0.03996463865041733, -0.018057849258184433, 0.0038489364087581635, 0.025755729526281357, 0.04766252264380455, 0.06956930458545685, 0.09147609770298004, 0.11338289082050323, 0.13528968393802643, 0.15719646215438843, 0.17910325527191162, 0.20101004838943481, 0.222916841506958, 0.24482361972332, 0.2667304277420044, 0.2886371910572052, 0.3105439841747284, 0.3324507772922516, 0.3543575406074524, 0.3762643337249756, 0.3981711268424988, 0.420077919960022, 0.44198471307754517, 0.46389150619506836, 0.48579829931259155, 0.5077050924301147, 0.5296118855476379, 0.5515186786651611, 0.5734254717826843, 0.5953322649002075, 0.6172389984130859, 0.6391458511352539, 0.6610526442527771, 0.6829594373703003, 0.7048662304878235, 0.7267730236053467, 0.7486798167228699, 0.7705866098403931, 0.7924933433532715, 0.8144001960754395, 0.8363069891929626, 0.8582137823104858, 0.880120575428009, 0.9020273685455322, 0.9239341616630554, 0.9458409547805786, 0.967747688293457, 0.9896544814109802, 1.0115612745285034, 1.0334680080413818, 1.0553748607635498, 1.0772815942764282, 1.0991884469985962, 1.1210951805114746, 1.1430020332336426, 1.164908766746521, 1.1868155002593994, 1.2087223529815674, 1.2306290864944458, 1.2525359392166138, 1.2744426727294922, 1.2963495254516602, 1.3182562589645386, 1.3401631116867065]}, "gradients/decoder.transformer.h.17.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 3.0, 3.0, 4.0, 1.0, 0.0, 4.0, 2.0, 2.0, 9.0, 5.0, 6.0, 4.0, 13.0, 12.0, 14.0, 22.0, 15.0, 20.0, 21.0, 27.0, 28.0, 21.0, 38.0, 30.0, 35.0, 36.0, 25.0, 32.0, 44.0, 44.0, 43.0, 39.0, 30.0, 34.0, 32.0, 34.0, 27.0, 35.0, 17.0, 33.0, 21.0, 19.0, 16.0, 17.0, 14.0, 17.0, 7.0, 16.0, 4.0, 6.0, 8.0, 7.0, 3.0, 5.0, 3.0, 4.0, 4.0, 2.0, 1.0, 0.0, 3.0], "bins": [-0.1284657120704651, -0.1245851144194603, -0.1207045167684555, -0.11682391911745071, -0.11294332146644592, -0.10906271636486053, -0.10518211871385574, -0.10130152106285095, -0.09742092341184616, -0.09354032576084137, -0.08965972810983658, -0.08577913045883179, -0.0818985253572464, -0.0780179351568222, -0.07413733005523682, -0.07025673240423203, -0.06637613475322723, -0.06249553710222244, -0.05861493945121765, -0.05473433807492256, -0.05085374042391777, -0.04697314277291298, -0.04309254139661789, -0.0392119437456131, -0.03533134609460831, -0.031450748443603516, -0.027570148929953575, -0.023689549416303635, -0.019808951765298843, -0.015928354114294052, -0.012047754600644112, -0.008167155086994171, -0.00428655743598938, -0.000405958853662014, 0.003474639728665352, 0.007355238310992718, 0.011235836893320084, 0.015116434544324875, 0.018997034057974815, 0.022877633571624756, 0.026758231222629547, 0.03063882887363434, 0.03451942652463913, 0.03840002790093422, 0.04228062555193901, 0.0461612232029438, 0.05004182457923889, 0.05392242223024368, 0.057803019881248474, 0.061683617532253265, 0.06556421518325806, 0.06944481283426285, 0.07332541048526764, 0.07720601558685303, 0.08108661323785782, 0.08496721088886261, 0.0888478085398674, 0.09272840619087219, 0.09660900384187698, 0.10048960149288177, 0.10437020659446716, 0.10825079679489136, 0.11213140189647675, 0.11601199954748154, 0.11989259719848633]}, "gradients/decoder.transformer.h.16.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 4.0, 3.0, 1.0, 5.0, 4.0, 8.0, 9.0, 19.0, 28.0, 32.0, 34.0, 44.0, 43.0, 54.0, 67.0, 62.0, 62.0, 62.0, 56.0, 77.0, 70.0, 46.0, 39.0, 37.0, 32.0, 32.0, 22.0, 22.0, 12.0, 10.0, 9.0, 4.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0287017822265625, -0.028008222579956055, -0.02731466293334961, -0.026621103286743164, -0.02592754364013672, -0.025233983993530273, -0.024540424346923828, -0.023846864700317383, -0.023153305053710938, -0.022459745407104492, -0.021766185760498047, -0.0210726261138916, -0.020379066467285156, -0.01968550682067871, -0.018991947174072266, -0.01829838752746582, -0.017604827880859375, -0.01691126823425293, -0.016217708587646484, -0.015524148941040039, -0.014830589294433594, -0.014137029647827148, -0.013443470001220703, -0.012749910354614258, -0.012056350708007812, -0.011362791061401367, -0.010669231414794922, -0.009975671768188477, -0.009282112121582031, -0.008588552474975586, -0.00789499282836914, -0.007201433181762695, -0.00650787353515625, -0.005814313888549805, -0.005120754241943359, -0.004427194595336914, -0.0037336349487304688, -0.0030400753021240234, -0.002346515655517578, -0.0016529560089111328, -0.0009593963623046875, -0.0002658367156982422, 0.0004277229309082031, 0.0011212825775146484, 0.0018148422241210938, 0.002508401870727539, 0.0032019615173339844, 0.0038955211639404297, 0.004589080810546875, 0.00528264045715332, 0.005976200103759766, 0.006669759750366211, 0.007363319396972656, 0.008056879043579102, 0.008750438690185547, 0.009443998336791992, 0.010137557983398438, 0.010831117630004883, 0.011524677276611328, 0.012218236923217773, 0.012911796569824219, 0.013605356216430664, 0.01429891586303711, 0.014992475509643555, 0.01568603515625]}, "gradients/decoder.transformer.h.16.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 6.0, 4.0, 9.0, 17.0, 13.0, 19.0, 22.0, 42.0, 56.0, 118.0, 181.0, 394.0, 1272.0, 4669.0, 27023.0, 267877.0, 3086009.0, 737035.0, 58264.0, 8326.0, 1841.0, 585.0, 199.0, 123.0, 64.0, 36.0, 29.0, 26.0, 12.0, 7.0, 3.0, 7.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.08758544921875, -0.08537817001342773, -0.08317089080810547, -0.0809636116027832, -0.07875633239746094, -0.07654905319213867, -0.0743417739868164, -0.07213449478149414, -0.06992721557617188, -0.06771993637084961, -0.06551265716552734, -0.06330537796020508, -0.06109809875488281, -0.05889081954956055, -0.05668354034423828, -0.054476261138916016, -0.05226898193359375, -0.050061702728271484, -0.04785442352294922, -0.04564714431762695, -0.04343986511230469, -0.04123258590698242, -0.039025306701660156, -0.03681802749633789, -0.034610748291015625, -0.03240346908569336, -0.030196189880371094, -0.027988910675048828, -0.025781631469726562, -0.023574352264404297, -0.02136707305908203, -0.019159793853759766, -0.0169525146484375, -0.014745235443115234, -0.012537956237792969, -0.010330677032470703, -0.008123397827148438, -0.005916118621826172, -0.0037088394165039062, -0.0015015602111816406, 0.000705718994140625, 0.0029129981994628906, 0.005120277404785156, 0.007327556610107422, 0.009534835815429688, 0.011742115020751953, 0.013949394226074219, 0.016156673431396484, 0.01836395263671875, 0.020571231842041016, 0.02277851104736328, 0.024985790252685547, 0.027193069458007812, 0.029400348663330078, 0.031607627868652344, 0.03381490707397461, 0.036022186279296875, 0.03822946548461914, 0.040436744689941406, 0.04264402389526367, 0.04485130310058594, 0.0470585823059082, 0.04926586151123047, 0.051473140716552734, 0.053680419921875]}, "gradients/decoder.transformer.h.16.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 7.0, 2.0, 11.0, 12.0, 14.0, 14.0, 31.0, 28.0, 47.0, 61.0, 117.0, 157.0, 215.0, 277.0, 360.0, 466.0, 509.0, 437.0, 331.0, 262.0, 188.0, 155.0, 88.0, 76.0, 56.0, 40.0, 26.0, 25.0, 18.0, 14.0, 6.0, 8.0, 7.0, 3.0, 3.0, 3.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0478515625, -0.046462059020996094, -0.04507255554199219, -0.04368305206298828, -0.042293548583984375, -0.04090404510498047, -0.03951454162597656, -0.038125038146972656, -0.03673553466796875, -0.035346031188964844, -0.03395652770996094, -0.03256702423095703, -0.031177520751953125, -0.02978801727294922, -0.028398513793945312, -0.027009010314941406, -0.0256195068359375, -0.024230003356933594, -0.022840499877929688, -0.02145099639892578, -0.020061492919921875, -0.01867198944091797, -0.017282485961914062, -0.015892982482910156, -0.01450347900390625, -0.013113975524902344, -0.011724472045898438, -0.010334968566894531, -0.008945465087890625, -0.007555961608886719, -0.0061664581298828125, -0.004776954650878906, -0.003387451171875, -0.0019979476928710938, -0.0006084442138671875, 0.0007810592651367188, 0.002170562744140625, 0.0035600662231445312, 0.0049495697021484375, 0.006339073181152344, 0.00772857666015625, 0.009118080139160156, 0.010507583618164062, 0.011897087097167969, 0.013286590576171875, 0.014676094055175781, 0.016065597534179688, 0.017455101013183594, 0.0188446044921875, 0.020234107971191406, 0.021623611450195312, 0.02301311492919922, 0.024402618408203125, 0.02579212188720703, 0.027181625366210938, 0.028571128845214844, 0.02996063232421875, 0.031350135803222656, 0.03273963928222656, 0.03412914276123047, 0.035518646240234375, 0.03690814971923828, 0.03829765319824219, 0.039687156677246094, 0.04107666015625]}, "gradients/decoder.transformer.h.16.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 3.0, 3.0, 9.0, 6.0, 9.0, 15.0, 21.0, 24.0, 38.0, 52.0, 88.0, 148.0, 228.0, 518.0, 1241.0, 4102.0, 25719.0, 331257.0, 3217544.0, 566575.0, 38606.0, 5358.0, 1459.0, 604.0, 272.0, 150.0, 85.0, 48.0, 38.0, 10.0, 19.0, 10.0, 9.0, 9.0, 3.0, 3.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10595703125, -0.10225105285644531, -0.09854507446289062, -0.09483909606933594, -0.09113311767578125, -0.08742713928222656, -0.08372116088867188, -0.08001518249511719, -0.0763092041015625, -0.07260322570800781, -0.06889724731445312, -0.06519126892089844, -0.06148529052734375, -0.05777931213378906, -0.054073333740234375, -0.05036735534667969, -0.046661376953125, -0.04295539855957031, -0.039249420166015625, -0.03554344177246094, -0.03183746337890625, -0.028131484985351562, -0.024425506591796875, -0.020719528198242188, -0.0170135498046875, -0.013307571411132812, -0.009601593017578125, -0.0058956146240234375, -0.00218963623046875, 0.0015163421630859375, 0.005222320556640625, 0.008928298950195312, 0.01263427734375, 0.016340255737304688, 0.020046234130859375, 0.023752212524414062, 0.02745819091796875, 0.031164169311523438, 0.034870147705078125, 0.03857612609863281, 0.0422821044921875, 0.04598808288574219, 0.049694061279296875, 0.05340003967285156, 0.05710601806640625, 0.06081199645996094, 0.06451797485351562, 0.06822395324707031, 0.071929931640625, 0.07563591003417969, 0.07934188842773438, 0.08304786682128906, 0.08675384521484375, 0.09045982360839844, 0.09416580200195312, 0.09787178039550781, 0.1015777587890625, 0.10528373718261719, 0.10898971557617188, 0.11269569396972656, 0.11640167236328125, 0.12010765075683594, 0.12381362915039062, 0.1275196075439453, 0.1312255859375]}, "gradients/decoder.transformer.h.16.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 5.0, 9.0, 18.0, 38.0, 55.0, 74.0, 110.0, 138.0, 118.0, 100.0, 105.0, 91.0, 66.0, 45.0, 16.0, 13.0, 7.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.4255572259426117, -0.414556622505188, -0.4035559892654419, -0.3925553858280182, -0.3815547823905945, -0.3705541789531708, -0.3595535457134247, -0.348552942276001, -0.33755233883857727, -0.32655173540115356, -0.31555110216140747, -0.30455049872398376, -0.29354989528656006, -0.28254929184913635, -0.27154865860939026, -0.26054805517196655, -0.24954743683338165, -0.23854681849479675, -0.22754621505737305, -0.21654559671878815, -0.20554499328136444, -0.19454437494277954, -0.18354377150535583, -0.17254315316677094, -0.16154253482818604, -0.15054191648960114, -0.13954131305217743, -0.12854069471359253, -0.11754009127616882, -0.10653947293758392, -0.09553886204957962, -0.08453825116157532, -0.07353764772415161, -0.06253703683614731, -0.051536425948143005, -0.040535811334848404, -0.0295352004468441, -0.018534589558839798, -0.0075339749455451965, 0.0034666359424591064, 0.01446724683046341, 0.025467857718467712, 0.036468468606472015, 0.04746908321976662, 0.05846969410777092, 0.06947030127048492, 0.08047091960906982, 0.09147153049707413, 0.10247214138507843, 0.11347275227308273, 0.12447336316108704, 0.13547398149967194, 0.14647458493709564, 0.15747520327568054, 0.16847580671310425, 0.17947642505168915, 0.19047704339027405, 0.20147766172885895, 0.21247826516628265, 0.22347888350486755, 0.23447948694229126, 0.24548010528087616, 0.25648072361946106, 0.26748132705688477, 0.27848193049430847]}, "gradients/decoder.transformer.h.16.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 4.0, 2.0, 4.0, 2.0, 4.0, 10.0, 11.0, 7.0, 15.0, 10.0, 14.0, 15.0, 19.0, 20.0, 25.0, 34.0, 35.0, 38.0, 32.0, 40.0, 44.0, 53.0, 35.0, 34.0, 44.0, 34.0, 30.0, 42.0, 42.0, 47.0, 32.0, 32.0, 28.0, 21.0, 27.0, 25.0, 17.0, 12.0, 11.0, 11.0, 9.0, 14.0, 6.0, 5.0, 3.0, 2.0, 3.0, 2.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.14906668663024902, -0.14428642392158508, -0.13950614631175995, -0.134725883603096, -0.12994560599327087, -0.12516534328460693, -0.120385080575943, -0.11560481041669846, -0.11082454025745392, -0.10604427009820938, -0.10126399993896484, -0.0964837372303009, -0.09170346707105637, -0.08692319691181183, -0.08214293420314789, -0.07736266404390335, -0.07258239388465881, -0.06780212372541428, -0.06302185356616974, -0.0582415908575058, -0.05346132069826126, -0.048681050539016724, -0.043900784105062485, -0.039120517671108246, -0.03434024751186371, -0.02955997921526432, -0.024779710918664932, -0.019999442622065544, -0.015219174325466156, -0.010438906028866768, -0.00565863773226738, -0.0008783712983131409, 0.0039018988609313965, 0.008682167157530785, 0.013462435454130173, 0.01824270375072956, 0.02302297204732895, 0.027803240343928337, 0.032583508640527725, 0.037363775074481964, 0.0421440452337265, 0.04692431539297104, 0.05170458182692528, 0.05648484826087952, 0.061265118420124054, 0.06604538857936859, 0.07082565128803253, 0.07560592144727707, 0.0803861916065216, 0.08516646176576614, 0.08994673192501068, 0.09472699463367462, 0.09950726479291916, 0.1042875349521637, 0.10906779766082764, 0.11384806782007217, 0.11862833797931671, 0.12340860813856125, 0.1281888782978058, 0.13296914100646973, 0.13774940371513367, 0.1425296813249588, 0.14730994403362274, 0.15209022164344788, 0.15687048435211182]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 5.0, 2.0, 4.0, 1.0, 4.0, 8.0, 9.0, 14.0, 12.0, 24.0, 37.0, 38.0, 44.0, 58.0, 45.0, 65.0, 66.0, 57.0, 71.0, 57.0, 56.0, 61.0, 46.0, 36.0, 40.0, 39.0, 27.0, 20.0, 22.0, 20.0, 9.0, 5.0, 6.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0284423828125, -0.02775263786315918, -0.02706289291381836, -0.02637314796447754, -0.02568340301513672, -0.0249936580657959, -0.024303913116455078, -0.023614168167114258, -0.022924423217773438, -0.022234678268432617, -0.021544933319091797, -0.020855188369750977, -0.020165443420410156, -0.019475698471069336, -0.018785953521728516, -0.018096208572387695, -0.017406463623046875, -0.016716718673706055, -0.016026973724365234, -0.015337228775024414, -0.014647483825683594, -0.013957738876342773, -0.013267993927001953, -0.012578248977661133, -0.011888504028320312, -0.011198759078979492, -0.010509014129638672, -0.009819269180297852, -0.009129524230957031, -0.008439779281616211, -0.007750034332275391, -0.00706028938293457, -0.00637054443359375, -0.00568079948425293, -0.004991054534912109, -0.004301309585571289, -0.0036115646362304688, -0.0029218196868896484, -0.002232074737548828, -0.0015423297882080078, -0.0008525848388671875, -0.0001628398895263672, 0.0005269050598144531, 0.0012166500091552734, 0.0019063949584960938, 0.002596139907836914, 0.0032858848571777344, 0.003975629806518555, 0.004665374755859375, 0.005355119705200195, 0.006044864654541016, 0.006734609603881836, 0.007424354553222656, 0.008114099502563477, 0.008803844451904297, 0.009493589401245117, 0.010183334350585938, 0.010873079299926758, 0.011562824249267578, 0.012252569198608398, 0.012942314147949219, 0.013632059097290039, 0.01432180404663086, 0.01501154899597168, 0.0157012939453125]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 11.0, 9.0, 20.0, 13.0, 25.0, 36.0, 48.0, 75.0, 140.0, 259.0, 480.0, 932.0, 1821.0, 3745.0, 8322.0, 19793.0, 48778.0, 130787.0, 489736.0, 218375.0, 73751.0, 28861.0, 12070.0, 5414.0, 2440.0, 1171.0, 635.0, 314.0, 177.0, 110.0, 64.0, 54.0, 24.0, 16.0, 11.0, 11.0, 12.0, 7.0, 2.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.000209808349609375, -0.00020319223403930664, -0.00019657611846923828, -0.00018996000289916992, -0.00018334388732910156, -0.0001767277717590332, -0.00017011165618896484, -0.00016349554061889648, -0.00015687942504882812, -0.00015026330947875977, -0.0001436471939086914, -0.00013703107833862305, -0.0001304149627685547, -0.00012379884719848633, -0.00011718273162841797, -0.00011056661605834961, -0.00010395050048828125, -9.733438491821289e-05, -9.071826934814453e-05, -8.410215377807617e-05, -7.748603820800781e-05, -7.086992263793945e-05, -6.42538070678711e-05, -5.7637691497802734e-05, -5.1021575927734375e-05, -4.4405460357666016e-05, -3.7789344787597656e-05, -3.11732292175293e-05, -2.4557113647460938e-05, -1.7940998077392578e-05, -1.1324882507324219e-05, -4.708766937255859e-06, 1.9073486328125e-06, 8.52346420288086e-06, 1.5139579772949219e-05, 2.1755695343017578e-05, 2.8371810913085938e-05, 3.49879264831543e-05, 4.1604042053222656e-05, 4.8220157623291016e-05, 5.4836273193359375e-05, 6.145238876342773e-05, 6.80685043334961e-05, 7.468461990356445e-05, 8.130073547363281e-05, 8.791685104370117e-05, 9.453296661376953e-05, 0.00010114908218383789, 0.00010776519775390625, 0.00011438131332397461, 0.00012099742889404297, 0.00012761354446411133, 0.0001342296600341797, 0.00014084577560424805, 0.0001474618911743164, 0.00015407800674438477, 0.00016069412231445312, 0.00016731023788452148, 0.00017392635345458984, 0.0001805424690246582, 0.00018715858459472656, 0.00019377470016479492, 0.00020039081573486328, 0.00020700693130493164, 0.000213623046875]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 7.0, 13.0, 14.0, 13.0, 17.0, 21.0, 17.0, 22.0, 12.0, 43.0, 25.0, 25.0, 45.0, 37.0, 29.0, 50.0, 31.0, 55.0, 1070.0, 46.0, 46.0, 45.0, 37.0, 36.0, 41.0, 27.0, 29.0, 36.0, 20.0, 18.0, 18.0, 16.0, 10.0, 15.0, 6.0, 10.0, 5.0, 8.0, 7.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.015777587890625, -0.015330076217651367, -0.014882564544677734, -0.014435052871704102, -0.013987541198730469, -0.013540029525756836, -0.013092517852783203, -0.01264500617980957, -0.012197494506835938, -0.011749982833862305, -0.011302471160888672, -0.010854959487915039, -0.010407447814941406, -0.009959936141967773, -0.00951242446899414, -0.009064912796020508, -0.008617401123046875, -0.008169889450073242, -0.007722377777099609, -0.0072748661041259766, -0.006827354431152344, -0.006379842758178711, -0.005932331085205078, -0.005484819412231445, -0.0050373077392578125, -0.00458979606628418, -0.004142284393310547, -0.003694772720336914, -0.0032472610473632812, -0.0027997493743896484, -0.0023522377014160156, -0.0019047260284423828, -0.00145721435546875, -0.0010097026824951172, -0.0005621910095214844, -0.00011467933654785156, 0.00033283233642578125, 0.0007803440093994141, 0.0012278556823730469, 0.0016753673553466797, 0.0021228790283203125, 0.0025703907012939453, 0.003017902374267578, 0.003465414047241211, 0.003912925720214844, 0.0043604373931884766, 0.004807949066162109, 0.005255460739135742, 0.005702972412109375, 0.006150484085083008, 0.006597995758056641, 0.0070455074310302734, 0.007493019104003906, 0.007940530776977539, 0.008388042449951172, 0.008835554122924805, 0.009283065795898438, 0.00973057746887207, 0.010178089141845703, 0.010625600814819336, 0.011073112487792969, 0.011520624160766602, 0.011968135833740234, 0.012415647506713867, 0.0128631591796875]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 8.0, 7.0, 9.0, 11.0, 6.0, 15.0, 8.0, 14.0, 21.0, 22.0, 23.0, 30.0, 26.0, 30.0, 45.0, 49.0, 174.0, 474.0, 1441.0, 7403.0, 2074288.0, 10140.0, 1824.0, 498.0, 210.0, 83.0, 27.0, 31.0, 31.0, 33.0, 26.0, 18.0, 15.0, 19.0, 20.0, 12.0, 14.0, 11.0, 9.0, 4.0, 3.0, 3.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2755393981933594e-05, -1.2324191629886627e-05, -1.189298927783966e-05, -1.1461786925792694e-05, -1.1030584573745728e-05, -1.0599382221698761e-05, -1.0168179869651794e-05, -9.736977517604828e-06, -9.305775165557861e-06, -8.874572813510895e-06, -8.443370461463928e-06, -8.012168109416962e-06, -7.580965757369995e-06, -7.1497634053230286e-06, -6.718561053276062e-06, -6.2873587012290955e-06, -5.856156349182129e-06, -5.424953997135162e-06, -4.993751645088196e-06, -4.562549293041229e-06, -4.131346940994263e-06, -3.700144588947296e-06, -3.2689422369003296e-06, -2.837739884853363e-06, -2.4065375328063965e-06, -1.97533518075943e-06, -1.5441328287124634e-06, -1.1129304766654968e-06, -6.817281246185303e-07, -2.505257725715637e-07, 1.8067657947540283e-07, 6.118789315223694e-07, 1.043081283569336e-06, 1.4742836356163025e-06, 1.905485987663269e-06, 2.3366883397102356e-06, 2.767890691757202e-06, 3.1990930438041687e-06, 3.6302953958511353e-06, 4.061497747898102e-06, 4.492700099945068e-06, 4.923902451992035e-06, 5.3551048040390015e-06, 5.786307156085968e-06, 6.2175095081329346e-06, 6.648711860179901e-06, 7.079914212226868e-06, 7.511116564273834e-06, 7.9423189163208e-06, 8.373521268367767e-06, 8.804723620414734e-06, 9.2359259724617e-06, 9.667128324508667e-06, 1.0098330676555634e-05, 1.05295330286026e-05, 1.0960735380649567e-05, 1.1391937732696533e-05, 1.18231400847435e-05, 1.2254342436790466e-05, 1.2685544788837433e-05, 1.31167471408844e-05, 1.3547949492931366e-05, 1.3979151844978333e-05, 1.4410354197025299e-05, 1.4841556549072266e-05]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 5.0, 2.0, 4.0, 1.0, 4.0, 8.0, 9.0, 14.0, 12.0, 24.0, 37.0, 38.0, 44.0, 58.0, 45.0, 65.0, 66.0, 57.0, 71.0, 57.0, 56.0, 61.0, 46.0, 36.0, 40.0, 39.0, 27.0, 20.0, 22.0, 20.0, 9.0, 5.0, 6.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0284423828125, -0.02775263786315918, -0.02706289291381836, -0.02637314796447754, -0.02568340301513672, -0.0249936580657959, -0.024303913116455078, -0.023614168167114258, -0.022924423217773438, -0.022234678268432617, -0.021544933319091797, -0.020855188369750977, -0.020165443420410156, -0.019475698471069336, -0.018785953521728516, -0.018096208572387695, -0.017406463623046875, -0.016716718673706055, -0.016026973724365234, -0.015337228775024414, -0.014647483825683594, -0.013957738876342773, -0.013267993927001953, -0.012578248977661133, -0.011888504028320312, -0.011198759078979492, -0.010509014129638672, -0.009819269180297852, -0.009129524230957031, -0.008439779281616211, -0.007750034332275391, -0.00706028938293457, -0.00637054443359375, -0.00568079948425293, -0.004991054534912109, -0.004301309585571289, -0.0036115646362304688, -0.0029218196868896484, -0.002232074737548828, -0.0015423297882080078, -0.0008525848388671875, -0.0001628398895263672, 0.0005269050598144531, 0.0012166500091552734, 0.0019063949584960938, 0.002596139907836914, 0.0032858848571777344, 0.003975629806518555, 0.004665374755859375, 0.005355119705200195, 0.006044864654541016, 0.006734609603881836, 0.007424354553222656, 0.008114099502563477, 0.008803844451904297, 0.009493589401245117, 0.010183334350585938, 0.010873079299926758, 0.011562824249267578, 0.012252569198608398, 0.012942314147949219, 0.013632059097290039, 0.01432180404663086, 0.01501154899597168, 0.0157012939453125]}, "gradients/decoder.transformer.h.16.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 5.0, 5.0, 2.0, 4.0, 8.0, 15.0, 22.0, 43.0, 67.0, 129.0, 214.0, 468.0, 836.0, 1693.0, 3316.0, 6707.0, 14029.0, 30298.0, 69766.0, 189509.0, 491622.0, 138386.0, 54680.0, 24212.0, 11366.0, 5426.0, 2819.0, 1372.0, 760.0, 343.0, 207.0, 99.0, 48.0, 33.0, 21.0, 19.0, 0.0, 2.0, 4.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.039520263671875, -0.03843331336975098, -0.03734636306762695, -0.03625941276550293, -0.035172462463378906, -0.03408551216125488, -0.03299856185913086, -0.031911611557006836, -0.030824661254882812, -0.02973771095275879, -0.028650760650634766, -0.027563810348510742, -0.02647686004638672, -0.025389909744262695, -0.024302959442138672, -0.02321600914001465, -0.022129058837890625, -0.0210421085357666, -0.019955158233642578, -0.018868207931518555, -0.01778125762939453, -0.016694307327270508, -0.015607357025146484, -0.014520406723022461, -0.013433456420898438, -0.012346506118774414, -0.01125955581665039, -0.010172605514526367, -0.009085655212402344, -0.00799870491027832, -0.006911754608154297, -0.0058248043060302734, -0.00473785400390625, -0.0036509037017822266, -0.002563953399658203, -0.0014770030975341797, -0.00039005279541015625, 0.0006968975067138672, 0.0017838478088378906, 0.002870798110961914, 0.0039577484130859375, 0.005044698715209961, 0.006131649017333984, 0.007218599319458008, 0.008305549621582031, 0.009392499923706055, 0.010479450225830078, 0.011566400527954102, 0.012653350830078125, 0.013740301132202148, 0.014827251434326172, 0.015914201736450195, 0.01700115203857422, 0.018088102340698242, 0.019175052642822266, 0.02026200294494629, 0.021348953247070312, 0.022435903549194336, 0.02352285385131836, 0.024609804153442383, 0.025696754455566406, 0.02678370475769043, 0.027870655059814453, 0.028957605361938477, 0.0300445556640625]}, "gradients/decoder.transformer.h.16.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 3.0, 7.0, 10.0, 15.0, 5.0, 12.0, 18.0, 14.0, 18.0, 20.0, 25.0, 32.0, 29.0, 46.0, 42.0, 41.0, 55.0, 77.0, 130.0, 216.0, 1460.0, 208.0, 118.0, 54.0, 64.0, 65.0, 36.0, 33.0, 35.0, 21.0, 18.0, 21.0, 18.0, 18.0, 15.0, 6.0, 11.0, 6.0, 9.0, 8.0, 5.0, 2.0, 2.0, 3.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.05377197265625, -0.05211591720581055, -0.050459861755371094, -0.04880380630493164, -0.04714775085449219, -0.045491695404052734, -0.04383563995361328, -0.04217958450317383, -0.040523529052734375, -0.03886747360229492, -0.03721141815185547, -0.035555362701416016, -0.03389930725097656, -0.03224325180053711, -0.030587196350097656, -0.028931140899658203, -0.02727508544921875, -0.025619029998779297, -0.023962974548339844, -0.02230691909790039, -0.020650863647460938, -0.018994808197021484, -0.01733875274658203, -0.015682697296142578, -0.014026641845703125, -0.012370586395263672, -0.010714530944824219, -0.009058475494384766, -0.0074024200439453125, -0.005746364593505859, -0.004090309143066406, -0.002434253692626953, -0.0007781982421875, 0.0008778572082519531, 0.0025339126586914062, 0.004189968109130859, 0.0058460235595703125, 0.007502079010009766, 0.009158134460449219, 0.010814189910888672, 0.012470245361328125, 0.014126300811767578, 0.01578235626220703, 0.017438411712646484, 0.019094467163085938, 0.02075052261352539, 0.022406578063964844, 0.024062633514404297, 0.02571868896484375, 0.027374744415283203, 0.029030799865722656, 0.03068685531616211, 0.03234291076660156, 0.033998966217041016, 0.03565502166748047, 0.03731107711791992, 0.038967132568359375, 0.04062318801879883, 0.04227924346923828, 0.043935298919677734, 0.04559135437011719, 0.04724740982055664, 0.048903465270996094, 0.05055952072143555, 0.052215576171875]}, "gradients/decoder.transformer.h.16.attn.c_attn.weight": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 3.0, 4.0, 7.0, 12.0, 11.0, 13.0, 20.0, 17.0, 35.0, 35.0, 44.0, 48.0, 63.0, 89.0, 146.0, 193.0, 304.0, 718.0, 3323.0, 20779.0, 238721.0, 2667881.0, 190624.0, 17886.0, 2955.0, 732.0, 319.0, 203.0, 107.0, 109.0, 65.0, 52.0, 35.0, 30.0, 26.0, 24.0, 16.0, 8.0, 16.0, 9.0, 6.0, 6.0, 4.0, 4.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.08465576171875, -0.08178234100341797, -0.07890892028808594, -0.0760354995727539, -0.07316207885742188, -0.07028865814208984, -0.06741523742675781, -0.06454181671142578, -0.06166839599609375, -0.05879497528076172, -0.05592155456542969, -0.053048133850097656, -0.050174713134765625, -0.047301292419433594, -0.04442787170410156, -0.04155445098876953, -0.0386810302734375, -0.03580760955810547, -0.03293418884277344, -0.030060768127441406, -0.027187347412109375, -0.024313926696777344, -0.021440505981445312, -0.01856708526611328, -0.01569366455078125, -0.012820243835449219, -0.009946823120117188, -0.007073402404785156, -0.004199981689453125, -0.0013265609741210938, 0.0015468597412109375, 0.004420280456542969, 0.007293701171875, 0.010167121887207031, 0.013040542602539062, 0.015913963317871094, 0.018787384033203125, 0.021660804748535156, 0.024534225463867188, 0.02740764617919922, 0.03028106689453125, 0.03315448760986328, 0.03602790832519531, 0.038901329040527344, 0.041774749755859375, 0.044648170471191406, 0.04752159118652344, 0.05039501190185547, 0.0532684326171875, 0.05614185333251953, 0.05901527404785156, 0.061888694763183594, 0.06476211547851562, 0.06763553619384766, 0.07050895690917969, 0.07338237762451172, 0.07625579833984375, 0.07912921905517578, 0.08200263977050781, 0.08487606048583984, 0.08774948120117188, 0.0906229019165039, 0.09349632263183594, 0.09636974334716797, 0.0992431640625]}, "gradients/decoder.transformer.h.16.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 47.0, 192.0, 353.0, 290.0, 98.0, 30.0, 3.0, 3.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.912066638469696, -0.8954319953918457, -0.8787974119186401, -0.8621627688407898, -0.8455281853675842, -0.8288935422897339, -0.8122589588165283, -0.795624315738678, -0.7789896726608276, -0.7623550295829773, -0.7457204461097717, -0.7290858030319214, -0.7124512195587158, -0.6958165764808655, -0.6791819930076599, -0.6625473499298096, -0.645912766456604, -0.6292781233787537, -0.6126435399055481, -0.5960088968276978, -0.5793743133544922, -0.5627396702766418, -0.5461050868034363, -0.5294704437255859, -0.5128358602523804, -0.4962012469768524, -0.47956663370132446, -0.4629320204257965, -0.44629740715026855, -0.4296627640724182, -0.41302815079689026, -0.3963935375213623, -0.37975889444351196, -0.363124281167984, -0.34648966789245605, -0.3298550546169281, -0.31322044134140015, -0.2965857982635498, -0.27995118498802185, -0.2633165717124939, -0.24668197333812714, -0.23004736006259918, -0.21341273188591003, -0.19677811861038208, -0.18014350533485413, -0.16350889205932617, -0.14687427878379822, -0.13023965060710907, -0.11360503733158112, -0.09697042405605316, -0.08033580332994461, -0.06370118260383606, -0.047066569328308105, -0.03043195605278015, -0.0137973353266716, 0.0028372853994369507, 0.019471898674964905, 0.03610651567578316, 0.05274113267660141, 0.06937575340270996, 0.08601036667823792, 0.10264497995376587, 0.11927960067987442, 0.13591422140598297, 0.15254883468151093]}, "gradients/decoder.transformer.h.16.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 6.0, 6.0, 9.0, 12.0, 11.0, 16.0, 15.0, 20.0, 15.0, 24.0, 28.0, 38.0, 24.0, 28.0, 29.0, 30.0, 39.0, 38.0, 48.0, 39.0, 42.0, 45.0, 32.0, 38.0, 45.0, 37.0, 28.0, 21.0, 36.0, 34.0, 30.0, 26.0, 20.0, 16.0, 18.0, 10.0, 8.0, 11.0, 5.0, 5.0, 2.0, 12.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.15420877933502197, -0.14897520840168, -0.1437416523694992, -0.13850808143615723, -0.13327452540397644, -0.12804095447063446, -0.12280738353729248, -0.1175738200545311, -0.11234025657176971, -0.10710669308900833, -0.10187312960624695, -0.09663955867290497, -0.09140599519014359, -0.0861724317073822, -0.08093886077404022, -0.07570529729127884, -0.07047173380851746, -0.06523817032575607, -0.06000460311770439, -0.05477103590965271, -0.04953747242689133, -0.044303908944129944, -0.03907034173607826, -0.03383677452802658, -0.028603211045265198, -0.023369645699858665, -0.018136080354452133, -0.012902515009045601, -0.007668949663639069, -0.0024353843182325363, 0.002798181027173996, 0.008031748235225677, 0.01326531171798706, 0.018498877063393593, 0.023732442408800125, 0.028966007754206657, 0.03419957309961319, 0.03943313658237457, 0.044666703790426254, 0.049900270998477936, 0.05513383448123932, 0.0603673979640007, 0.06560096144676208, 0.07083453238010406, 0.07606809586286545, 0.08130165934562683, 0.08653523027896881, 0.0917687937617302, 0.09700235724449158, 0.10223592072725296, 0.10746948421001434, 0.11270305514335632, 0.1179366186261177, 0.12317018210887909, 0.12840375304222107, 0.13363730907440186, 0.13887088000774384, 0.14410445094108582, 0.1493380069732666, 0.15457157790660858, 0.15980514883995056, 0.16503870487213135, 0.17027227580547333, 0.1755058467388153, 0.1807394027709961]}, "gradients/decoder.transformer.h.15.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 5.0, 3.0, 2.0, 1.0, 10.0, 7.0, 13.0, 13.0, 24.0, 25.0, 31.0, 44.0, 42.0, 65.0, 46.0, 62.0, 63.0, 65.0, 59.0, 59.0, 62.0, 56.0, 44.0, 37.0, 37.0, 29.0, 26.0, 21.0, 23.0, 18.0, 6.0, 4.0, 4.0, 5.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0291900634765625, -0.02849256992340088, -0.027795076370239258, -0.027097582817077637, -0.026400089263916016, -0.025702595710754395, -0.025005102157592773, -0.024307608604431152, -0.02361011505126953, -0.02291262149810791, -0.02221512794494629, -0.021517634391784668, -0.020820140838623047, -0.020122647285461426, -0.019425153732299805, -0.018727660179138184, -0.018030166625976562, -0.01733267307281494, -0.01663517951965332, -0.0159376859664917, -0.015240192413330078, -0.014542698860168457, -0.013845205307006836, -0.013147711753845215, -0.012450218200683594, -0.011752724647521973, -0.011055231094360352, -0.01035773754119873, -0.00966024398803711, -0.008962750434875488, -0.008265256881713867, -0.007567763328552246, -0.006870269775390625, -0.006172776222229004, -0.005475282669067383, -0.004777789115905762, -0.004080295562744141, -0.0033828020095825195, -0.0026853084564208984, -0.0019878149032592773, -0.0012903213500976562, -0.0005928277969360352, 0.00010466575622558594, 0.000802159309387207, 0.0014996528625488281, 0.0021971464157104492, 0.0028946399688720703, 0.0035921335220336914, 0.0042896270751953125, 0.004987120628356934, 0.005684614181518555, 0.006382107734680176, 0.007079601287841797, 0.007777094841003418, 0.008474588394165039, 0.00917208194732666, 0.009869575500488281, 0.010567069053649902, 0.011264562606811523, 0.011962056159973145, 0.012659549713134766, 0.013357043266296387, 0.014054536819458008, 0.014752030372619629, 0.01544952392578125]}, "gradients/decoder.transformer.h.15.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 3.0, 2.0, 2.0, 1.0, 2.0, 8.0, 6.0, 5.0, 17.0, 15.0, 15.0, 27.0, 37.0, 41.0, 69.0, 89.0, 154.0, 253.0, 561.0, 1235.0, 3043.0, 9001.0, 30641.0, 121404.0, 636823.0, 2464058.0, 739637.0, 137795.0, 33769.0, 9722.0, 3282.0, 1303.0, 530.0, 276.0, 164.0, 99.0, 68.0, 31.0, 32.0, 20.0, 10.0, 10.0, 7.0, 7.0, 10.0, 2.0, 3.0, 4.0, 3.0], "bins": [-0.053314208984375, -0.05199909210205078, -0.05068397521972656, -0.049368858337402344, -0.048053741455078125, -0.046738624572753906, -0.04542350769042969, -0.04410839080810547, -0.04279327392578125, -0.04147815704345703, -0.04016304016113281, -0.038847923278808594, -0.037532806396484375, -0.036217689514160156, -0.03490257263183594, -0.03358745574951172, -0.0322723388671875, -0.03095722198486328, -0.029642105102539062, -0.028326988220214844, -0.027011871337890625, -0.025696754455566406, -0.024381637573242188, -0.02306652069091797, -0.02175140380859375, -0.02043628692626953, -0.019121170043945312, -0.017806053161621094, -0.016490936279296875, -0.015175819396972656, -0.013860702514648438, -0.012545585632324219, -0.01123046875, -0.009915351867675781, -0.008600234985351562, -0.007285118103027344, -0.005970001220703125, -0.004654884338378906, -0.0033397674560546875, -0.0020246505737304688, -0.00070953369140625, 0.0006055831909179688, 0.0019207000732421875, 0.0032358169555664062, 0.004550933837890625, 0.005866050720214844, 0.0071811676025390625, 0.008496284484863281, 0.0098114013671875, 0.011126518249511719, 0.012441635131835938, 0.013756752014160156, 0.015071868896484375, 0.016386985778808594, 0.017702102661132812, 0.01901721954345703, 0.02033233642578125, 0.02164745330810547, 0.022962570190429688, 0.024277687072753906, 0.025592803955078125, 0.026907920837402344, 0.028223037719726562, 0.02953815460205078, 0.030853271484375]}, "gradients/decoder.transformer.h.15.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 5.0, 6.0, 4.0, 4.0, 4.0, 5.0, 6.0, 10.0, 20.0, 21.0, 22.0, 46.0, 39.0, 57.0, 78.0, 133.0, 148.0, 193.0, 268.0, 347.0, 402.0, 450.0, 387.0, 330.0, 277.0, 234.0, 154.0, 114.0, 92.0, 47.0, 35.0, 38.0, 30.0, 23.0, 17.0, 8.0, 5.0, 8.0, 7.0, 3.0, 3.0, 1.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.036956787109375, -0.03574323654174805, -0.034529685974121094, -0.03331613540649414, -0.03210258483886719, -0.030889034271240234, -0.02967548370361328, -0.028461933135986328, -0.027248382568359375, -0.026034832000732422, -0.02482128143310547, -0.023607730865478516, -0.022394180297851562, -0.02118062973022461, -0.019967079162597656, -0.018753528594970703, -0.01753997802734375, -0.016326427459716797, -0.015112876892089844, -0.01389932632446289, -0.012685775756835938, -0.011472225189208984, -0.010258674621582031, -0.009045124053955078, -0.007831573486328125, -0.006618022918701172, -0.005404472351074219, -0.004190921783447266, -0.0029773712158203125, -0.0017638206481933594, -0.0005502700805664062, 0.0006632804870605469, 0.0018768310546875, 0.003090381622314453, 0.004303932189941406, 0.005517482757568359, 0.0067310333251953125, 0.007944583892822266, 0.009158134460449219, 0.010371685028076172, 0.011585235595703125, 0.012798786163330078, 0.014012336730957031, 0.015225887298583984, 0.016439437866210938, 0.01765298843383789, 0.018866539001464844, 0.020080089569091797, 0.02129364013671875, 0.022507190704345703, 0.023720741271972656, 0.02493429183959961, 0.026147842407226562, 0.027361392974853516, 0.02857494354248047, 0.029788494110107422, 0.031002044677734375, 0.03221559524536133, 0.03342914581298828, 0.034642696380615234, 0.03585624694824219, 0.03706979751586914, 0.038283348083496094, 0.03949689865112305, 0.04071044921875]}, "gradients/decoder.transformer.h.15.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 3.0, 3.0, 8.0, 12.0, 14.0, 16.0, 17.0, 28.0, 40.0, 62.0, 107.0, 151.0, 223.0, 530.0, 1214.0, 3388.0, 11008.0, 49915.0, 316821.0, 2262771.0, 1331923.0, 174307.0, 30231.0, 7313.0, 2299.0, 932.0, 388.0, 182.0, 118.0, 76.0, 47.0, 47.0, 29.0, 12.0, 14.0, 11.0, 3.0, 9.0, 4.0, 4.0, 3.0, 3.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08331298828125, -0.08092212677001953, -0.07853126525878906, -0.0761404037475586, -0.07374954223632812, -0.07135868072509766, -0.06896781921386719, -0.06657695770263672, -0.06418609619140625, -0.06179523468017578, -0.05940437316894531, -0.057013511657714844, -0.054622650146484375, -0.052231788635253906, -0.04984092712402344, -0.04745006561279297, -0.0450592041015625, -0.04266834259033203, -0.04027748107910156, -0.037886619567871094, -0.035495758056640625, -0.033104896545410156, -0.030714035034179688, -0.02832317352294922, -0.02593231201171875, -0.02354145050048828, -0.021150588989257812, -0.018759727478027344, -0.016368865966796875, -0.013978004455566406, -0.011587142944335938, -0.009196281433105469, -0.006805419921875, -0.004414558410644531, -0.0020236968994140625, 0.00036716461181640625, 0.002758026123046875, 0.005148887634277344, 0.0075397491455078125, 0.009930610656738281, 0.01232147216796875, 0.014712333679199219, 0.017103195190429688, 0.019494056701660156, 0.021884918212890625, 0.024275779724121094, 0.026666641235351562, 0.02905750274658203, 0.0314483642578125, 0.03383922576904297, 0.03623008728027344, 0.038620948791503906, 0.041011810302734375, 0.043402671813964844, 0.04579353332519531, 0.04818439483642578, 0.05057525634765625, 0.05296611785888672, 0.05535697937011719, 0.057747840881347656, 0.060138702392578125, 0.0625295639038086, 0.06492042541503906, 0.06731128692626953, 0.0697021484375]}, "gradients/decoder.transformer.h.15.ln_2.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 6.0, 2.0, 6.0, 10.0, 8.0, 11.0, 17.0, 21.0, 29.0, 37.0, 48.0, 67.0, 60.0, 76.0, 81.0, 71.0, 62.0, 72.0, 67.0, 60.0, 49.0, 25.0, 33.0, 26.0, 21.0, 13.0, 13.0, 6.0, 3.0, 4.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.16309213638305664, -0.1571989357471466, -0.15130573511123657, -0.14541253447532654, -0.1395193338394165, -0.13362614810466766, -0.12773294746875763, -0.1218397468328476, -0.11594654619693756, -0.11005334556102753, -0.10416014492511749, -0.09826695173978806, -0.09237375110387802, -0.08648055046796799, -0.08058735728263855, -0.07469415664672852, -0.06880095601081848, -0.06290775537490845, -0.05701455846428871, -0.051121361553668976, -0.04522816091775894, -0.03933496028184891, -0.03344176337122917, -0.027548566460609436, -0.021655365824699402, -0.015762167051434517, -0.009868968278169632, -0.003975769504904747, 0.001917429268360138, 0.007810628041625023, 0.013703826814889908, 0.019597023725509644, 0.025490209460258484, 0.03138341009616852, 0.037276607006788254, 0.04316980391740799, 0.049063004553318024, 0.05495620518922806, 0.060849402099847794, 0.06674259901046753, 0.07263579964637756, 0.0785290002822876, 0.08442220091819763, 0.09031539410352707, 0.0962085947394371, 0.10210179537534714, 0.10799498856067657, 0.11388818919658661, 0.11978138983249664, 0.12567459046840668, 0.1315677911043167, 0.13746099174022675, 0.14335417747497559, 0.14924737811088562, 0.15514057874679565, 0.1610337793827057, 0.16692698001861572, 0.17282018065452576, 0.1787133812904358, 0.18460658192634583, 0.19049978256225586, 0.1963929682970047, 0.20228616893291473, 0.20817936956882477, 0.2140725702047348]}, "gradients/decoder.transformer.h.15.ln_2.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 0.0, 2.0, 3.0, 3.0, 0.0, 5.0, 8.0, 8.0, 7.0, 12.0, 7.0, 17.0, 15.0, 19.0, 23.0, 20.0, 32.0, 37.0, 21.0, 29.0, 46.0, 47.0, 51.0, 40.0, 48.0, 30.0, 48.0, 36.0, 40.0, 37.0, 30.0, 30.0, 28.0, 28.0, 29.0, 30.0, 29.0, 12.0, 22.0, 16.0, 9.0, 17.0, 6.0, 3.0, 8.0, 5.0, 3.0, 2.0, 4.0, 2.0, 2.0, 3.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12918472290039062, -0.12472403049468994, -0.12026333808898926, -0.11580264568328857, -0.11134195327758789, -0.10688126087188721, -0.10242056101560593, -0.09795986860990524, -0.09349917620420456, -0.08903848379850388, -0.08457779139280319, -0.08011709898710251, -0.07565639913082123, -0.07119570672512054, -0.06673501431941986, -0.06227432191371918, -0.057813629508018494, -0.05335293710231781, -0.048892244696617126, -0.044431548565626144, -0.03997085615992546, -0.03551016375422478, -0.031049469485878944, -0.02658877521753311, -0.022128082811832428, -0.017667390406131744, -0.013206696137785912, -0.008746002800762653, -0.004285309463739395, 0.00017538294196128845, 0.004636077210307121, 0.009096771478652954, 0.013557463884353638, 0.01801815629005432, 0.022478850558400154, 0.026939544826745987, 0.03140023723244667, 0.035860929638147354, 0.040321625769138336, 0.04478231817483902, 0.0492430105805397, 0.05370370298624039, 0.05816439539194107, 0.06262508779764175, 0.06708578765392303, 0.07154648005962372, 0.0760071724653244, 0.08046786487102509, 0.08492855727672577, 0.08938924968242645, 0.09384994208812714, 0.09831063449382782, 0.1027713268995285, 0.10723201930522919, 0.11169271916151047, 0.11615341156721115, 0.12061410397291183, 0.12507480382919312, 0.1295354962348938, 0.13399618864059448, 0.13845688104629517, 0.14291757345199585, 0.14737826585769653, 0.15183895826339722, 0.1562996506690979]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 2.0, 2.0, 3.0, 8.0, 8.0, 8.0, 12.0, 26.0, 27.0, 34.0, 35.0, 38.0, 47.0, 51.0, 61.0, 62.0, 60.0, 57.0, 60.0, 55.0, 54.0, 48.0, 47.0, 37.0, 33.0, 22.0, 33.0, 16.0, 18.0, 18.0, 11.0, 9.0, 6.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.02947998046875, -0.02878415584564209, -0.02808833122253418, -0.02739250659942627, -0.02669668197631836, -0.02600085735321045, -0.02530503273010254, -0.02460920810699463, -0.02391338348388672, -0.02321755886077881, -0.0225217342376709, -0.02182590961456299, -0.021130084991455078, -0.020434260368347168, -0.019738435745239258, -0.019042611122131348, -0.018346786499023438, -0.017650961875915527, -0.016955137252807617, -0.016259312629699707, -0.015563488006591797, -0.014867663383483887, -0.014171838760375977, -0.013476014137268066, -0.012780189514160156, -0.012084364891052246, -0.011388540267944336, -0.010692715644836426, -0.009996891021728516, -0.009301066398620605, -0.008605241775512695, -0.007909417152404785, -0.007213592529296875, -0.006517767906188965, -0.005821943283081055, -0.0051261186599731445, -0.004430294036865234, -0.0037344694137573242, -0.003038644790649414, -0.002342820167541504, -0.0016469955444335938, -0.0009511709213256836, -0.00025534629821777344, 0.0004404783248901367, 0.0011363029479980469, 0.001832127571105957, 0.002527952194213867, 0.0032237768173217773, 0.0039196014404296875, 0.004615426063537598, 0.005311250686645508, 0.006007075309753418, 0.006702899932861328, 0.007398724555969238, 0.008094549179077148, 0.008790373802185059, 0.009486198425292969, 0.010182023048400879, 0.010877847671508789, 0.0115736722946167, 0.01226949691772461, 0.01296532154083252, 0.01366114616394043, 0.01435697078704834, 0.01505279541015625]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 4.0, 3.0, 4.0, 4.0, 8.0, 13.0, 6.0, 6.0, 22.0, 31.0, 29.0, 52.0, 68.0, 123.0, 227.0, 381.0, 833.0, 1590.0, 3356.0, 7178.0, 14952.0, 31865.0, 68203.0, 161777.0, 422306.0, 188237.0, 78449.0, 35917.0, 17297.0, 7942.0, 3772.0, 1897.0, 908.0, 471.0, 237.0, 138.0, 80.0, 50.0, 25.0, 28.0, 22.0, 16.0, 8.0, 10.0, 9.0, 2.0, 5.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00028061866760253906, -0.000272262841463089, -0.0002639070153236389, -0.00025555118918418884, -0.00024719536304473877, -0.0002388395369052887, -0.00023048371076583862, -0.00022212788462638855, -0.00021377205848693848, -0.0002054162323474884, -0.00019706040620803833, -0.00018870458006858826, -0.00018034875392913818, -0.0001719929277896881, -0.00016363710165023804, -0.00015528127551078796, -0.0001469254493713379, -0.00013856962323188782, -0.00013021379709243774, -0.00012185797095298767, -0.0001135021448135376, -0.00010514631867408752, -9.679049253463745e-05, -8.843466639518738e-05, -8.00788402557373e-05, -7.172301411628723e-05, -6.336718797683716e-05, -5.5011361837387085e-05, -4.665553569793701e-05, -3.829970955848694e-05, -2.9943883419036865e-05, -2.1588057279586792e-05, -1.3232231140136719e-05, -4.8764050006866455e-06, 3.4794211387634277e-06, 1.1835247278213501e-05, 2.0191073417663574e-05, 2.8546899557113647e-05, 3.690272569656372e-05, 4.5258551836013794e-05, 5.361437797546387e-05, 6.197020411491394e-05, 7.032603025436401e-05, 7.868185639381409e-05, 8.703768253326416e-05, 9.539350867271423e-05, 0.0001037493348121643, 0.00011210516095161438, 0.00012046098709106445, 0.00012881681323051453, 0.0001371726393699646, 0.00014552846550941467, 0.00015388429164886475, 0.00016224011778831482, 0.0001705959439277649, 0.00017895177006721497, 0.00018730759620666504, 0.0001956634223461151, 0.00020401924848556519, 0.00021237507462501526, 0.00022073090076446533, 0.0002290867269039154, 0.00023744255304336548, 0.00024579837918281555, 0.0002541542053222656]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 4.0, 0.0, 3.0, 9.0, 5.0, 7.0, 9.0, 13.0, 14.0, 15.0, 16.0, 23.0, 23.0, 25.0, 35.0, 32.0, 54.0, 43.0, 26.0, 57.0, 41.0, 28.0, 1060.0, 42.0, 45.0, 45.0, 31.0, 30.0, 31.0, 36.0, 27.0, 26.0, 33.0, 25.0, 20.0, 18.0, 18.0, 11.0, 12.0, 10.0, 7.0, 7.0, 5.0, 3.0, 3.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.01126861572265625, -0.010863065719604492, -0.010457515716552734, -0.010051965713500977, -0.009646415710449219, -0.009240865707397461, -0.008835315704345703, -0.008429765701293945, -0.008024215698242188, -0.00761866569519043, -0.007213115692138672, -0.006807565689086914, -0.006402015686035156, -0.0059964656829833984, -0.005590915679931641, -0.005185365676879883, -0.004779815673828125, -0.004374265670776367, -0.003968715667724609, -0.0035631656646728516, -0.0031576156616210938, -0.002752065658569336, -0.002346515655517578, -0.0019409656524658203, -0.0015354156494140625, -0.0011298656463623047, -0.0007243156433105469, -0.00031876564025878906, 8.678436279296875e-05, 0.0004923343658447266, 0.0008978843688964844, 0.0013034343719482422, 0.001708984375, 0.002114534378051758, 0.0025200843811035156, 0.0029256343841552734, 0.0033311843872070312, 0.003736734390258789, 0.004142284393310547, 0.004547834396362305, 0.0049533843994140625, 0.00535893440246582, 0.005764484405517578, 0.006170034408569336, 0.006575584411621094, 0.0069811344146728516, 0.007386684417724609, 0.007792234420776367, 0.008197784423828125, 0.008603334426879883, 0.00900888442993164, 0.009414434432983398, 0.009819984436035156, 0.010225534439086914, 0.010631084442138672, 0.01103663444519043, 0.011442184448242188, 0.011847734451293945, 0.012253284454345703, 0.012658834457397461, 0.013064384460449219, 0.013469934463500977, 0.013875484466552734, 0.014281034469604492, 0.01468658447265625]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 2.0, 3.0, 7.0, 8.0, 6.0, 11.0, 14.0, 15.0, 12.0, 11.0, 30.0, 29.0, 27.0, 32.0, 35.0, 47.0, 68.0, 124.0, 471.0, 1253.0, 4155.0, 1997677.0, 87871.0, 3273.0, 1088.0, 368.0, 118.0, 104.0, 45.0, 34.0, 35.0, 25.0, 24.0, 18.0, 18.0, 12.0, 15.0, 10.0, 7.0, 9.0, 9.0, 5.0, 1.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0], "bins": [-1.424551010131836e-05, -1.3848766684532166e-05, -1.3452023267745972e-05, -1.3055279850959778e-05, -1.2658536434173584e-05, -1.226179301738739e-05, -1.1865049600601196e-05, -1.1468306183815002e-05, -1.1071562767028809e-05, -1.0674819350242615e-05, -1.0278075933456421e-05, -9.881332516670227e-06, -9.484589099884033e-06, -9.08784568309784e-06, -8.691102266311646e-06, -8.294358849525452e-06, -7.897615432739258e-06, -7.500872015953064e-06, -7.10412859916687e-06, -6.707385182380676e-06, -6.310641765594482e-06, -5.9138983488082886e-06, -5.517154932022095e-06, -5.120411515235901e-06, -4.723668098449707e-06, -4.326924681663513e-06, -3.930181264877319e-06, -3.5334378480911255e-06, -3.1366944313049316e-06, -2.739951014518738e-06, -2.343207597732544e-06, -1.94646418094635e-06, -1.5497207641601562e-06, -1.1529773473739624e-06, -7.562339305877686e-07, -3.594905138015747e-07, 3.725290298461914e-08, 4.33996319770813e-07, 8.307397365570068e-07, 1.2274831533432007e-06, 1.6242265701293945e-06, 2.0209699869155884e-06, 2.4177134037017822e-06, 2.814456820487976e-06, 3.21120023727417e-06, 3.6079436540603638e-06, 4.004687070846558e-06, 4.4014304876327515e-06, 4.798173904418945e-06, 5.194917321205139e-06, 5.591660737991333e-06, 5.988404154777527e-06, 6.385147571563721e-06, 6.7818909883499146e-06, 7.178634405136108e-06, 7.575377821922302e-06, 7.972121238708496e-06, 8.36886465549469e-06, 8.765608072280884e-06, 9.162351489067078e-06, 9.559094905853271e-06, 9.955838322639465e-06, 1.035258173942566e-05, 1.0749325156211853e-05, 1.1146068572998047e-05]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 2.0, 2.0, 3.0, 8.0, 8.0, 8.0, 12.0, 26.0, 27.0, 34.0, 35.0, 38.0, 47.0, 51.0, 61.0, 62.0, 60.0, 57.0, 60.0, 55.0, 54.0, 48.0, 47.0, 37.0, 33.0, 22.0, 33.0, 16.0, 18.0, 18.0, 11.0, 9.0, 6.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.02947998046875, -0.02878415584564209, -0.02808833122253418, -0.02739250659942627, -0.02669668197631836, -0.02600085735321045, -0.02530503273010254, -0.02460920810699463, -0.02391338348388672, -0.02321755886077881, -0.0225217342376709, -0.02182590961456299, -0.021130084991455078, -0.020434260368347168, -0.019738435745239258, -0.019042611122131348, -0.018346786499023438, -0.017650961875915527, -0.016955137252807617, -0.016259312629699707, -0.015563488006591797, -0.014867663383483887, -0.014171838760375977, -0.013476014137268066, -0.012780189514160156, -0.012084364891052246, -0.011388540267944336, -0.010692715644836426, -0.009996891021728516, -0.009301066398620605, -0.008605241775512695, -0.007909417152404785, -0.007213592529296875, -0.006517767906188965, -0.005821943283081055, -0.0051261186599731445, -0.004430294036865234, -0.0037344694137573242, -0.003038644790649414, -0.002342820167541504, -0.0016469955444335938, -0.0009511709213256836, -0.00025534629821777344, 0.0004404783248901367, 0.0011363029479980469, 0.001832127571105957, 0.002527952194213867, 0.0032237768173217773, 0.0039196014404296875, 0.004615426063537598, 0.005311250686645508, 0.006007075309753418, 0.006702899932861328, 0.007398724555969238, 0.008094549179077148, 0.008790373802185059, 0.009486198425292969, 0.010182023048400879, 0.010877847671508789, 0.0115736722946167, 0.01226949691772461, 0.01296532154083252, 0.01366114616394043, 0.01435697078704834, 0.01505279541015625]}, "gradients/decoder.transformer.h.15.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 1.0, 5.0, 3.0, 4.0, 9.0, 18.0, 20.0, 38.0, 52.0, 97.0, 189.0, 342.0, 753.0, 1498.0, 3073.0, 6693.0, 15179.0, 35579.0, 88427.0, 227472.0, 401040.0, 159150.0, 62239.0, 25726.0, 11058.0, 5159.0, 2435.0, 1127.0, 562.0, 262.0, 153.0, 84.0, 49.0, 29.0, 14.0, 10.0, 4.0, 5.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.037261962890625, -0.035945892333984375, -0.03462982177734375, -0.033313751220703125, -0.0319976806640625, -0.030681610107421875, -0.02936553955078125, -0.028049468994140625, -0.0267333984375, -0.025417327880859375, -0.02410125732421875, -0.022785186767578125, -0.0214691162109375, -0.020153045654296875, -0.01883697509765625, -0.017520904541015625, -0.016204833984375, -0.014888763427734375, -0.01357269287109375, -0.012256622314453125, -0.0109405517578125, -0.009624481201171875, -0.00830841064453125, -0.006992340087890625, -0.00567626953125, -0.004360198974609375, -0.00304412841796875, -0.001728057861328125, -0.0004119873046875, 0.000904083251953125, 0.00222015380859375, 0.003536224365234375, 0.004852294921875, 0.006168365478515625, 0.00748443603515625, 0.008800506591796875, 0.0101165771484375, 0.011432647705078125, 0.01274871826171875, 0.014064788818359375, 0.015380859375, 0.016696929931640625, 0.01801300048828125, 0.019329071044921875, 0.0206451416015625, 0.021961212158203125, 0.02327728271484375, 0.024593353271484375, 0.025909423828125, 0.027225494384765625, 0.02854156494140625, 0.029857635498046875, 0.0311737060546875, 0.032489776611328125, 0.03380584716796875, 0.035121917724609375, 0.03643798828125, 0.037754058837890625, 0.03907012939453125, 0.040386199951171875, 0.0417022705078125, 0.043018341064453125, 0.04433441162109375, 0.045650482177734375, 0.046966552734375]}, "gradients/decoder.transformer.h.15.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 5.0, 4.0, 6.0, 9.0, 9.0, 12.0, 11.0, 25.0, 9.0, 16.0, 22.0, 20.0, 33.0, 39.0, 38.0, 38.0, 53.0, 62.0, 126.0, 169.0, 229.0, 1375.0, 188.0, 109.0, 97.0, 55.0, 60.0, 30.0, 38.0, 29.0, 28.0, 23.0, 14.0, 15.0, 13.0, 9.0, 9.0, 5.0, 11.0, 7.0, 9.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0635986328125, -0.06162548065185547, -0.05965232849121094, -0.057679176330566406, -0.055706024169921875, -0.053732872009277344, -0.05175971984863281, -0.04978656768798828, -0.04781341552734375, -0.04584026336669922, -0.04386711120605469, -0.041893959045410156, -0.039920806884765625, -0.037947654724121094, -0.03597450256347656, -0.03400135040283203, -0.0320281982421875, -0.03005504608154297, -0.028081893920898438, -0.026108741760253906, -0.024135589599609375, -0.022162437438964844, -0.020189285278320312, -0.01821613311767578, -0.01624298095703125, -0.014269828796386719, -0.012296676635742188, -0.010323524475097656, -0.008350372314453125, -0.006377220153808594, -0.0044040679931640625, -0.0024309158325195312, -0.000457763671875, 0.0015153884887695312, 0.0034885406494140625, 0.005461692810058594, 0.007434844970703125, 0.009407997131347656, 0.011381149291992188, 0.013354301452636719, 0.01532745361328125, 0.01730060577392578, 0.019273757934570312, 0.021246910095214844, 0.023220062255859375, 0.025193214416503906, 0.027166366577148438, 0.02913951873779297, 0.0311126708984375, 0.03308582305908203, 0.03505897521972656, 0.037032127380371094, 0.039005279541015625, 0.040978431701660156, 0.04295158386230469, 0.04492473602294922, 0.04689788818359375, 0.04887104034423828, 0.05084419250488281, 0.052817344665527344, 0.054790496826171875, 0.056763648986816406, 0.05873680114746094, 0.06070995330810547, 0.06268310546875]}, "gradients/decoder.transformer.h.15.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 9.0, 2.0, 3.0, 12.0, 16.0, 14.0, 22.0, 23.0, 26.0, 46.0, 70.0, 71.0, 104.0, 132.0, 208.0, 374.0, 1047.0, 5310.0, 43447.0, 757586.0, 2212107.0, 110954.0, 10859.0, 1856.0, 517.0, 237.0, 175.0, 121.0, 100.0, 63.0, 36.0, 47.0, 30.0, 23.0, 19.0, 9.0, 9.0, 14.0, 9.0, 4.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.112060546875, -0.10868358612060547, -0.10530662536621094, -0.1019296646118164, -0.09855270385742188, -0.09517574310302734, -0.09179878234863281, -0.08842182159423828, -0.08504486083984375, -0.08166790008544922, -0.07829093933105469, -0.07491397857666016, -0.07153701782226562, -0.0681600570678711, -0.06478309631347656, -0.06140613555908203, -0.0580291748046875, -0.05465221405029297, -0.05127525329589844, -0.047898292541503906, -0.044521331787109375, -0.041144371032714844, -0.03776741027832031, -0.03439044952392578, -0.03101348876953125, -0.02763652801513672, -0.024259567260742188, -0.020882606506347656, -0.017505645751953125, -0.014128684997558594, -0.010751724243164062, -0.007374763488769531, -0.003997802734375, -0.0006208419799804688, 0.0027561187744140625, 0.006133079528808594, 0.009510040283203125, 0.012887001037597656, 0.016263961791992188, 0.01964092254638672, 0.02301788330078125, 0.02639484405517578, 0.029771804809570312, 0.033148765563964844, 0.036525726318359375, 0.039902687072753906, 0.04327964782714844, 0.04665660858154297, 0.0500335693359375, 0.05341053009033203, 0.05678749084472656, 0.060164451599121094, 0.06354141235351562, 0.06691837310791016, 0.07029533386230469, 0.07367229461669922, 0.07704925537109375, 0.08042621612548828, 0.08380317687988281, 0.08718013763427734, 0.09055709838867188, 0.0939340591430664, 0.09731101989746094, 0.10068798065185547, 0.10406494140625]}, "gradients/decoder.transformer.h.15.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 11.0, 329.0, 619.0, 60.0, 1.0, 2.0], "bins": [-2.9568400382995605, -2.9076969623565674, -2.858553886413574, -2.809410810470581, -2.760267734527588, -2.7111246585845947, -2.6619815826416016, -2.6128385066986084, -2.5636954307556152, -2.514552354812622, -2.465409278869629, -2.4162662029266357, -2.3671231269836426, -2.3179800510406494, -2.2688369750976562, -2.219693899154663, -2.17055082321167, -2.1214077472686768, -2.0722646713256836, -2.0231215953826904, -1.9739785194396973, -1.924835443496704, -1.875692367553711, -1.8265492916107178, -1.777406096458435, -1.728263020515442, -1.6791199445724487, -1.6299768686294556, -1.5808337926864624, -1.5316907167434692, -1.482547640800476, -1.433404564857483, -1.3842613697052002, -1.335118293762207, -1.2859752178192139, -1.2368321418762207, -1.1876890659332275, -1.1385459899902344, -1.0894029140472412, -1.040259838104248, -0.9911167621612549, -0.9419736862182617, -0.8928306102752686, -0.8436875343322754, -0.7945444583892822, -0.7454013824462891, -0.6962583065032959, -0.6471152305603027, -0.5979721546173096, -0.5488290786743164, -0.49968600273132324, -0.4505429267883301, -0.4013998508453369, -0.35225677490234375, -0.3031136691570282, -0.25397059321403503, -0.20482748746871948, -0.15568441152572632, -0.10654132813215256, -0.057398244738578796, -0.008255168795585632, 0.04088790714740753, 0.09003099799156189, 0.13917407393455505, 0.18831714987754822]}, "gradients/decoder.transformer.h.15.ln_1.bias": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 2.0, 3.0, 4.0, 6.0, 6.0, 5.0, 9.0, 6.0, 8.0, 10.0, 14.0, 14.0, 12.0, 15.0, 23.0, 26.0, 17.0, 30.0, 34.0, 41.0, 34.0, 36.0, 39.0, 31.0, 33.0, 39.0, 40.0, 24.0, 36.0, 48.0, 40.0, 36.0, 30.0, 25.0, 22.0, 25.0, 33.0, 15.0, 23.0, 10.0, 11.0, 18.0, 10.0, 12.0, 11.0, 6.0, 7.0, 7.0, 12.0, 4.0, 5.0, 3.0, 3.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.14397567510604858, -0.13902650773525238, -0.13407734036445618, -0.12912818789482117, -0.12417902052402496, -0.11922985315322876, -0.11428068578243256, -0.10933151841163635, -0.10438235849142075, -0.09943319112062454, -0.09448403120040894, -0.08953486382961273, -0.08458569645881653, -0.07963653653860092, -0.07468736916780472, -0.06973820924758911, -0.06478904187679291, -0.059839878231287, -0.0548907145857811, -0.049941547214984894, -0.04499238356947899, -0.040043219923973083, -0.03509405255317688, -0.030144888907670975, -0.02519572526216507, -0.020246561616659164, -0.01529739610850811, -0.01034823153167963, -0.0053990669548511505, -0.00044990330934524536, 0.004499262198805809, 0.009448427706956863, 0.014397591352462769, 0.019346754997968674, 0.024295920506119728, 0.029245086014270782, 0.03419424965977669, 0.03914341330528259, 0.044092580676078796, 0.0490417443215847, 0.05399090796709061, 0.05894007161259651, 0.06388923525810242, 0.06883840262889862, 0.07378756999969482, 0.07873672991991043, 0.08368589729070663, 0.08863505721092224, 0.09358422458171844, 0.09853339195251465, 0.10348255187273026, 0.10843171924352646, 0.11338087916374207, 0.11833004653453827, 0.12327921390533447, 0.12822838127613068, 0.13317754864692688, 0.13812671601772308, 0.1430758833885193, 0.1480250358581543, 0.1529742032289505, 0.1579233705997467, 0.1628725379705429, 0.1678217053413391, 0.17277085781097412]}, "gradients/decoder.transformer.h.14.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 4.0, 2.0, 5.0, 2.0, 5.0, 8.0, 14.0, 13.0, 20.0, 20.0, 23.0, 30.0, 37.0, 39.0, 47.0, 57.0, 52.0, 65.0, 59.0, 55.0, 60.0, 43.0, 48.0, 48.0, 47.0, 37.0, 30.0, 28.0, 25.0, 18.0, 13.0, 28.0, 8.0, 10.0, 5.0, 5.0, 4.0, 1.0, 3.0], "bins": [-0.0303497314453125, -0.029663681983947754, -0.028977632522583008, -0.02829158306121826, -0.027605533599853516, -0.02691948413848877, -0.026233434677124023, -0.025547385215759277, -0.02486133575439453, -0.024175286293029785, -0.02348923683166504, -0.022803187370300293, -0.022117137908935547, -0.0214310884475708, -0.020745038986206055, -0.02005898952484131, -0.019372940063476562, -0.018686890602111816, -0.01800084114074707, -0.017314791679382324, -0.016628742218017578, -0.015942692756652832, -0.015256643295288086, -0.01457059383392334, -0.013884544372558594, -0.013198494911193848, -0.012512445449829102, -0.011826395988464355, -0.01114034652709961, -0.010454297065734863, -0.009768247604370117, -0.009082198143005371, -0.008396148681640625, -0.007710099220275879, -0.007024049758911133, -0.006338000297546387, -0.005651950836181641, -0.0049659013748168945, -0.0042798519134521484, -0.0035938024520874023, -0.0029077529907226562, -0.00222170352935791, -0.001535654067993164, -0.000849604606628418, -0.00016355514526367188, 0.0005224943161010742, 0.0012085437774658203, 0.0018945932388305664, 0.0025806427001953125, 0.0032666921615600586, 0.003952741622924805, 0.004638791084289551, 0.005324840545654297, 0.006010890007019043, 0.006696939468383789, 0.007382988929748535, 0.008069038391113281, 0.008755087852478027, 0.009441137313842773, 0.01012718677520752, 0.010813236236572266, 0.011499285697937012, 0.012185335159301758, 0.012871384620666504, 0.01355743408203125]}, "gradients/decoder.transformer.h.14.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 1.0, 8.0, 7.0, 10.0, 14.0, 6.0, 16.0, 17.0, 19.0, 34.0, 32.0, 61.0, 99.0, 183.0, 405.0, 906.0, 2582.0, 8131.0, 31638.0, 156066.0, 1137865.0, 2407312.0, 363442.0, 64112.0, 14560.0, 4258.0, 1402.0, 506.0, 237.0, 109.0, 62.0, 56.0, 36.0, 23.0, 14.0, 17.0, 11.0, 13.0, 9.0, 6.0, 5.0, 3.0], "bins": [-0.0672607421875, -0.0657048225402832, -0.0641489028930664, -0.06259298324584961, -0.06103706359863281, -0.059481143951416016, -0.05792522430419922, -0.05636930465698242, -0.054813385009765625, -0.05325746536254883, -0.05170154571533203, -0.050145626068115234, -0.04858970642089844, -0.04703378677368164, -0.045477867126464844, -0.04392194747924805, -0.04236602783203125, -0.04081010818481445, -0.039254188537597656, -0.03769826889038086, -0.03614234924316406, -0.034586429595947266, -0.03303050994873047, -0.03147459030151367, -0.029918670654296875, -0.028362751007080078, -0.02680683135986328, -0.025250911712646484, -0.023694992065429688, -0.02213907241821289, -0.020583152770996094, -0.019027233123779297, -0.0174713134765625, -0.015915393829345703, -0.014359474182128906, -0.01280355453491211, -0.011247634887695312, -0.009691715240478516, -0.008135795593261719, -0.006579875946044922, -0.005023956298828125, -0.003468036651611328, -0.0019121170043945312, -0.0003561973571777344, 0.0011997222900390625, 0.0027556419372558594, 0.004311561584472656, 0.005867481231689453, 0.00742340087890625, 0.008979320526123047, 0.010535240173339844, 0.01209115982055664, 0.013647079467773438, 0.015202999114990234, 0.01675891876220703, 0.018314838409423828, 0.019870758056640625, 0.021426677703857422, 0.02298259735107422, 0.024538516998291016, 0.026094436645507812, 0.02765035629272461, 0.029206275939941406, 0.030762195587158203, 0.032318115234375]}, "gradients/decoder.transformer.h.14.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 6.0, 13.0, 22.0, 10.0, 25.0, 36.0, 33.0, 45.0, 67.0, 80.0, 110.0, 173.0, 181.0, 247.0, 303.0, 349.0, 413.0, 414.0, 350.0, 283.0, 218.0, 156.0, 146.0, 104.0, 72.0, 54.0, 33.0, 46.0, 21.0, 14.0, 10.0, 13.0, 5.0, 7.0, 4.0, 3.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.043853759765625, -0.0426945686340332, -0.041535377502441406, -0.04037618637084961, -0.03921699523925781, -0.038057804107666016, -0.03689861297607422, -0.03573942184448242, -0.034580230712890625, -0.03342103958129883, -0.03226184844970703, -0.031102657318115234, -0.029943466186523438, -0.02878427505493164, -0.027625083923339844, -0.026465892791748047, -0.02530670166015625, -0.024147510528564453, -0.022988319396972656, -0.02182912826538086, -0.020669937133789062, -0.019510746002197266, -0.01835155487060547, -0.017192363739013672, -0.016033172607421875, -0.014873981475830078, -0.013714790344238281, -0.012555599212646484, -0.011396408081054688, -0.01023721694946289, -0.009078025817871094, -0.007918834686279297, -0.0067596435546875, -0.005600452423095703, -0.004441261291503906, -0.0032820701599121094, -0.0021228790283203125, -0.0009636878967285156, 0.00019550323486328125, 0.0013546943664550781, 0.002513885498046875, 0.003673076629638672, 0.004832267761230469, 0.005991458892822266, 0.0071506500244140625, 0.00830984115600586, 0.009469032287597656, 0.010628223419189453, 0.01178741455078125, 0.012946605682373047, 0.014105796813964844, 0.01526498794555664, 0.016424179077148438, 0.017583370208740234, 0.01874256134033203, 0.019901752471923828, 0.021060943603515625, 0.022220134735107422, 0.02337932586669922, 0.024538516998291016, 0.025697708129882812, 0.02685689926147461, 0.028016090393066406, 0.029175281524658203, 0.03033447265625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 6.0, 2.0, 8.0, 11.0, 8.0, 19.0, 26.0, 21.0, 37.0, 47.0, 82.0, 115.0, 160.0, 248.0, 456.0, 1015.0, 2556.0, 9006.0, 43454.0, 277926.0, 2068578.0, 1546278.0, 200318.0, 32481.0, 7252.0, 2108.0, 896.0, 409.0, 244.0, 164.0, 95.0, 77.0, 42.0, 40.0, 30.0, 16.0, 13.0, 13.0, 8.0, 4.0, 5.0, 4.0, 4.0, 4.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06573486328125, -0.06338024139404297, -0.06102561950683594, -0.058670997619628906, -0.056316375732421875, -0.053961753845214844, -0.05160713195800781, -0.04925251007080078, -0.04689788818359375, -0.04454326629638672, -0.04218864440917969, -0.039834022521972656, -0.037479400634765625, -0.035124778747558594, -0.03277015686035156, -0.03041553497314453, -0.0280609130859375, -0.02570629119873047, -0.023351669311523438, -0.020997047424316406, -0.018642425537109375, -0.016287803649902344, -0.013933181762695312, -0.011578559875488281, -0.00922393798828125, -0.006869316101074219, -0.0045146942138671875, -0.0021600723266601562, 0.000194549560546875, 0.0025491714477539062, 0.0049037933349609375, 0.007258415222167969, 0.009613037109375, 0.011967658996582031, 0.014322280883789062, 0.016676902770996094, 0.019031524658203125, 0.021386146545410156, 0.023740768432617188, 0.02609539031982422, 0.02845001220703125, 0.03080463409423828, 0.03315925598144531, 0.035513877868652344, 0.037868499755859375, 0.040223121643066406, 0.04257774353027344, 0.04493236541748047, 0.0472869873046875, 0.04964160919189453, 0.05199623107910156, 0.054350852966308594, 0.056705474853515625, 0.059060096740722656, 0.06141471862792969, 0.06376934051513672, 0.06612396240234375, 0.06847858428955078, 0.07083320617675781, 0.07318782806396484, 0.07554244995117188, 0.0778970718383789, 0.08025169372558594, 0.08260631561279297, 0.0849609375]}, "gradients/decoder.transformer.h.14.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 11.0, 37.0, 58.0, 110.0, 146.0, 176.0, 180.0, 130.0, 93.0, 42.0, 18.0, 7.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19597314298152924, -0.18191714584827423, -0.16786114871501923, -0.15380515158176422, -0.13974915444850922, -0.1256931573152542, -0.1116371601819992, -0.0975811630487442, -0.0835251659154892, -0.06946916878223419, -0.05541317164897919, -0.04135717451572418, -0.027301177382469177, -0.013245180249214172, 0.0008108168840408325, 0.014866814017295837, 0.028922811150550842, 0.04297880828380585, 0.05703480541706085, 0.07109080255031586, 0.08514679968357086, 0.09920279681682587, 0.11325879395008087, 0.12731479108333588, 0.14137078821659088, 0.1554267853498459, 0.1694827824831009, 0.1835387796163559, 0.1975947767496109, 0.2116507738828659, 0.2257067710161209, 0.23976276814937592, 0.2538187503814697, 0.26787474751472473, 0.28193074464797974, 0.29598674178123474, 0.31004273891448975, 0.32409873604774475, 0.33815473318099976, 0.35221073031425476, 0.36626672744750977, 0.38032272458076477, 0.3943787217140198, 0.4084347188472748, 0.4224907159805298, 0.4365467131137848, 0.4506027102470398, 0.4646587073802948, 0.4787147045135498, 0.4927707016468048, 0.5068266987800598, 0.5208827257156372, 0.5349386930465698, 0.5489946603775024, 0.5630506873130798, 0.5771067142486572, 0.5911626815795898, 0.6052186489105225, 0.6192746758460999, 0.6333307027816772, 0.6473866701126099, 0.6614426374435425, 0.6754986643791199, 0.6895546913146973, 0.7036106586456299]}, "gradients/decoder.transformer.h.14.ln_2.bias": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 1.0, 3.0, 1.0, 4.0, 1.0, 4.0, 9.0, 9.0, 8.0, 12.0, 9.0, 8.0, 15.0, 11.0, 11.0, 23.0, 17.0, 29.0, 29.0, 22.0, 30.0, 25.0, 36.0, 23.0, 35.0, 35.0, 40.0, 38.0, 40.0, 33.0, 39.0, 44.0, 26.0, 30.0, 34.0, 33.0, 33.0, 30.0, 27.0, 29.0, 17.0, 12.0, 22.0, 8.0, 18.0, 8.0, 9.0, 11.0, 4.0, 6.0, 5.0, 3.0, 3.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.12365448474884033, -0.11966881901025772, -0.11568315327167511, -0.1116974949836731, -0.10771182924509048, -0.10372616350650787, -0.09974050521850586, -0.09575483947992325, -0.09176917374134064, -0.08778350800275803, -0.08379784226417542, -0.0798121839761734, -0.07582651823759079, -0.07184085249900818, -0.06785519421100616, -0.06386952847242355, -0.05988386273384094, -0.05589819699525833, -0.05191253498196602, -0.047926872968673706, -0.043941207230091095, -0.039955541491508484, -0.03596987947821617, -0.03198421746492386, -0.027998551726341248, -0.024012887850403786, -0.020027223974466324, -0.016041560098528862, -0.0120558962225914, -0.008070232346653938, -0.0040845684707164764, -9.890459477901459e-05, 0.0038867592811584473, 0.007872423157095909, 0.011858087033033371, 0.015843750908970833, 0.019829414784908295, 0.023815078660845757, 0.02780074253678322, 0.03178640455007553, 0.03577207028865814, 0.03975773602724075, 0.043743398040533066, 0.04772906005382538, 0.05171472579240799, 0.0557003915309906, 0.05968605354428291, 0.06367171555757523, 0.06765738129615784, 0.07164304703474045, 0.07562871277332306, 0.07961437106132507, 0.08360003679990768, 0.0875857025384903, 0.09157136082649231, 0.09555702656507492, 0.09954269230365753, 0.10352835804224014, 0.10751402378082275, 0.11149968206882477, 0.11548534780740738, 0.11947101354598999, 0.123456671833992, 0.1274423450231552, 0.13142800331115723]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 6.0, 4.0, 6.0, 9.0, 12.0, 12.0, 19.0, 25.0, 31.0, 24.0, 32.0, 48.0, 47.0, 57.0, 58.0, 60.0, 63.0, 63.0, 46.0, 60.0, 58.0, 42.0, 49.0, 39.0, 23.0, 14.0, 24.0, 22.0, 12.0, 19.0, 12.0, 7.0, 3.0, 4.0, 3.0, 0.0, 2.0], "bins": [-0.031890869140625, -0.031164050102233887, -0.030437231063842773, -0.02971041202545166, -0.028983592987060547, -0.028256773948669434, -0.02752995491027832, -0.026803135871887207, -0.026076316833496094, -0.02534949779510498, -0.024622678756713867, -0.023895859718322754, -0.02316904067993164, -0.022442221641540527, -0.021715402603149414, -0.0209885835647583, -0.020261764526367188, -0.019534945487976074, -0.01880812644958496, -0.018081307411193848, -0.017354488372802734, -0.01662766933441162, -0.015900850296020508, -0.015174031257629395, -0.014447212219238281, -0.013720393180847168, -0.012993574142456055, -0.012266755104064941, -0.011539936065673828, -0.010813117027282715, -0.010086297988891602, -0.009359478950500488, -0.008632659912109375, -0.007905840873718262, -0.0071790218353271484, -0.006452202796936035, -0.005725383758544922, -0.004998564720153809, -0.004271745681762695, -0.003544926643371582, -0.0028181076049804688, -0.0020912885665893555, -0.0013644695281982422, -0.0006376504898071289, 8.916854858398438e-05, 0.0008159875869750977, 0.001542806625366211, 0.0022696256637573242, 0.0029964447021484375, 0.0037232637405395508, 0.004450082778930664, 0.005176901817321777, 0.005903720855712891, 0.006630539894104004, 0.007357358932495117, 0.00808417797088623, 0.008810997009277344, 0.009537816047668457, 0.01026463508605957, 0.010991454124450684, 0.011718273162841797, 0.01244509220123291, 0.013171911239624023, 0.013898730278015137, 0.01462554931640625]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 3.0, 3.0, 4.0, 1.0, 8.0, 3.0, 12.0, 7.0, 17.0, 18.0, 11.0, 25.0, 31.0, 60.0, 98.0, 175.0, 314.0, 654.0, 1174.0, 2456.0, 4783.0, 9075.0, 17547.0, 35179.0, 77673.0, 188272.0, 438356.0, 148311.0, 63840.0, 29525.0, 14913.0, 7581.0, 4025.0, 2061.0, 1071.0, 580.0, 268.0, 158.0, 85.0, 47.0, 28.0, 27.0, 16.0, 8.0, 19.0, 9.0, 8.0, 7.0, 7.0, 3.0, 5.0, 1.0, 1.0, 0.0, 1.0, 4.0], "bins": [-0.00023448467254638672, -0.00022766366600990295, -0.0002208426594734192, -0.00021402165293693542, -0.00020720064640045166, -0.0002003796398639679, -0.00019355863332748413, -0.00018673762679100037, -0.0001799166202545166, -0.00017309561371803284, -0.00016627460718154907, -0.0001594536006450653, -0.00015263259410858154, -0.00014581158757209778, -0.00013899058103561401, -0.00013216957449913025, -0.00012534856796264648, -0.00011852756142616272, -0.00011170655488967896, -0.00010488554835319519, -9.806454181671143e-05, -9.124353528022766e-05, -8.44225287437439e-05, -7.760152220726013e-05, -7.078051567077637e-05, -6.39595091342926e-05, -5.713850259780884e-05, -5.031749606132507e-05, -4.349648952484131e-05, -3.6675482988357544e-05, -2.985447645187378e-05, -2.3033469915390015e-05, -1.621246337890625e-05, -9.391456842422485e-06, -2.5704503059387207e-06, 4.250556230545044e-06, 1.1071562767028809e-05, 1.7892569303512573e-05, 2.4713575839996338e-05, 3.15345823764801e-05, 3.835558891296387e-05, 4.517659544944763e-05, 5.1997601985931396e-05, 5.881860852241516e-05, 6.563961505889893e-05, 7.246062159538269e-05, 7.928162813186646e-05, 8.610263466835022e-05, 9.292364120483398e-05, 9.974464774131775e-05, 0.00010656565427780151, 0.00011338666081428528, 0.00012020766735076904, 0.0001270286738872528, 0.00013384968042373657, 0.00014067068696022034, 0.0001474916934967041, 0.00015431270003318787, 0.00016113370656967163, 0.0001679547131061554, 0.00017477571964263916, 0.00018159672617912292, 0.0001884177327156067, 0.00019523873925209045, 0.00020205974578857422]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 2.0, 3.0, 4.0, 3.0, 6.0, 10.0, 9.0, 8.0, 11.0, 17.0, 10.0, 25.0, 13.0, 21.0, 22.0, 32.0, 31.0, 37.0, 32.0, 32.0, 43.0, 27.0, 38.0, 36.0, 1079.0, 46.0, 40.0, 35.0, 38.0, 41.0, 39.0, 28.0, 36.0, 24.0, 21.0, 20.0, 24.0, 22.0, 11.0, 12.0, 12.0, 7.0, 9.0, 7.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01407623291015625, -0.013631463050842285, -0.01318669319152832, -0.012741923332214355, -0.01229715347290039, -0.011852383613586426, -0.011407613754272461, -0.010962843894958496, -0.010518074035644531, -0.010073304176330566, -0.009628534317016602, -0.009183764457702637, -0.008738994598388672, -0.008294224739074707, -0.007849454879760742, -0.007404685020446777, -0.0069599151611328125, -0.006515145301818848, -0.006070375442504883, -0.005625605583190918, -0.005180835723876953, -0.004736065864562988, -0.0042912960052490234, -0.0038465261459350586, -0.0034017562866210938, -0.002956986427307129, -0.002512216567993164, -0.0020674467086791992, -0.0016226768493652344, -0.0011779069900512695, -0.0007331371307373047, -0.00028836727142333984, 0.000156402587890625, 0.0006011724472045898, 0.0010459423065185547, 0.0014907121658325195, 0.0019354820251464844, 0.0023802518844604492, 0.002825021743774414, 0.003269791603088379, 0.0037145614624023438, 0.004159331321716309, 0.0046041011810302734, 0.005048871040344238, 0.005493640899658203, 0.005938410758972168, 0.006383180618286133, 0.006827950477600098, 0.0072727203369140625, 0.007717490196228027, 0.008162260055541992, 0.008607029914855957, 0.009051799774169922, 0.009496569633483887, 0.009941339492797852, 0.010386109352111816, 0.010830879211425781, 0.011275649070739746, 0.011720418930053711, 0.012165188789367676, 0.01260995864868164, 0.013054728507995605, 0.01349949836730957, 0.013944268226623535, 0.0143890380859375]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 4.0, 7.0, 4.0, 9.0, 11.0, 9.0, 10.0, 15.0, 26.0, 17.0, 24.0, 19.0, 28.0, 34.0, 36.0, 69.0, 144.0, 331.0, 817.0, 2739.0, 17475.0, 2066195.0, 6394.0, 1546.0, 545.0, 220.0, 92.0, 55.0, 36.0, 23.0, 21.0, 31.0, 26.0, 17.0, 14.0, 12.0, 12.0, 20.0, 12.0, 3.0, 10.0, 10.0, 5.0, 1.0, 5.0, 2.0, 0.0, 3.0, 3.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.3649463653564453e-05, -1.3226643204689026e-05, -1.2803822755813599e-05, -1.2381002306938171e-05, -1.1958181858062744e-05, -1.1535361409187317e-05, -1.111254096031189e-05, -1.0689720511436462e-05, -1.0266900062561035e-05, -9.844079613685608e-06, -9.42125916481018e-06, -8.998438715934753e-06, -8.575618267059326e-06, -8.152797818183899e-06, -7.729977369308472e-06, -7.3071569204330444e-06, -6.884336471557617e-06, -6.46151602268219e-06, -6.038695573806763e-06, -5.6158751249313354e-06, -5.193054676055908e-06, -4.770234227180481e-06, -4.347413778305054e-06, -3.9245933294296265e-06, -3.5017728805541992e-06, -3.078952431678772e-06, -2.6561319828033447e-06, -2.2333115339279175e-06, -1.8104910850524902e-06, -1.387670636177063e-06, -9.648501873016357e-07, -5.420297384262085e-07, -1.1920928955078125e-07, 3.03611159324646e-07, 7.264316082000732e-07, 1.1492520570755005e-06, 1.5720725059509277e-06, 1.994892954826355e-06, 2.4177134037017822e-06, 2.8405338525772095e-06, 3.2633543014526367e-06, 3.686174750328064e-06, 4.108995199203491e-06, 4.5318156480789185e-06, 4.954636096954346e-06, 5.377456545829773e-06, 5.8002769947052e-06, 6.2230974435806274e-06, 6.645917892456055e-06, 7.068738341331482e-06, 7.491558790206909e-06, 7.914379239082336e-06, 8.337199687957764e-06, 8.760020136833191e-06, 9.182840585708618e-06, 9.605661034584045e-06, 1.0028481483459473e-05, 1.04513019323349e-05, 1.0874122381210327e-05, 1.1296942830085754e-05, 1.1719763278961182e-05, 1.2142583727836609e-05, 1.2565404176712036e-05, 1.2988224625587463e-05, 1.341104507446289e-05]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 6.0, 4.0, 6.0, 9.0, 12.0, 12.0, 19.0, 25.0, 31.0, 24.0, 32.0, 48.0, 47.0, 57.0, 58.0, 60.0, 63.0, 63.0, 46.0, 60.0, 58.0, 42.0, 49.0, 39.0, 23.0, 14.0, 24.0, 22.0, 12.0, 19.0, 12.0, 7.0, 3.0, 4.0, 3.0, 0.0, 2.0], "bins": [-0.031890869140625, -0.031164050102233887, -0.030437231063842773, -0.02971041202545166, -0.028983592987060547, -0.028256773948669434, -0.02752995491027832, -0.026803135871887207, -0.026076316833496094, -0.02534949779510498, -0.024622678756713867, -0.023895859718322754, -0.02316904067993164, -0.022442221641540527, -0.021715402603149414, -0.0209885835647583, -0.020261764526367188, -0.019534945487976074, -0.01880812644958496, -0.018081307411193848, -0.017354488372802734, -0.01662766933441162, -0.015900850296020508, -0.015174031257629395, -0.014447212219238281, -0.013720393180847168, -0.012993574142456055, -0.012266755104064941, -0.011539936065673828, -0.010813117027282715, -0.010086297988891602, -0.009359478950500488, -0.008632659912109375, -0.007905840873718262, -0.0071790218353271484, -0.006452202796936035, -0.005725383758544922, -0.004998564720153809, -0.004271745681762695, -0.003544926643371582, -0.0028181076049804688, -0.0020912885665893555, -0.0013644695281982422, -0.0006376504898071289, 8.916854858398438e-05, 0.0008159875869750977, 0.001542806625366211, 0.0022696256637573242, 0.0029964447021484375, 0.0037232637405395508, 0.004450082778930664, 0.005176901817321777, 0.005903720855712891, 0.006630539894104004, 0.007357358932495117, 0.00808417797088623, 0.008810997009277344, 0.009537816047668457, 0.01026463508605957, 0.010991454124450684, 0.011718273162841797, 0.01244509220123291, 0.013171911239624023, 0.013898730278015137, 0.01462554931640625]}, "gradients/decoder.transformer.h.14.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 7.0, 8.0, 10.0, 15.0, 19.0, 19.0, 53.0, 70.0, 104.0, 188.0, 286.0, 492.0, 776.0, 1253.0, 2078.0, 3454.0, 5952.0, 10345.0, 18780.0, 36109.0, 71969.0, 162706.0, 372238.0, 191194.0, 81815.0, 40263.0, 20658.0, 11527.0, 6577.0, 3661.0, 2374.0, 1383.0, 790.0, 531.0, 306.0, 199.0, 125.0, 75.0, 53.0, 34.0, 22.0, 16.0, 9.0, 5.0, 5.0, 4.0, 0.0, 0.0, 0.0, 4.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.033203125, -0.03218412399291992, -0.031165122985839844, -0.030146121978759766, -0.029127120971679688, -0.02810811996459961, -0.02708911895751953, -0.026070117950439453, -0.025051116943359375, -0.024032115936279297, -0.02301311492919922, -0.02199411392211914, -0.020975112915039062, -0.019956111907958984, -0.018937110900878906, -0.017918109893798828, -0.01689910888671875, -0.015880107879638672, -0.014861106872558594, -0.013842105865478516, -0.012823104858398438, -0.01180410385131836, -0.010785102844238281, -0.009766101837158203, -0.008747100830078125, -0.007728099822998047, -0.006709098815917969, -0.005690097808837891, -0.0046710968017578125, -0.0036520957946777344, -0.0026330947875976562, -0.0016140937805175781, -0.0005950927734375, 0.0004239082336425781, 0.0014429092407226562, 0.0024619102478027344, 0.0034809112548828125, 0.004499912261962891, 0.005518913269042969, 0.006537914276123047, 0.007556915283203125, 0.008575916290283203, 0.009594917297363281, 0.01061391830444336, 0.011632919311523438, 0.012651920318603516, 0.013670921325683594, 0.014689922332763672, 0.01570892333984375, 0.016727924346923828, 0.017746925354003906, 0.018765926361083984, 0.019784927368164062, 0.02080392837524414, 0.02182292938232422, 0.022841930389404297, 0.023860931396484375, 0.024879932403564453, 0.02589893341064453, 0.02691793441772461, 0.027936935424804688, 0.028955936431884766, 0.029974937438964844, 0.030993938446044922, 0.032012939453125]}, "gradients/decoder.transformer.h.14.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 6.0, 3.0, 3.0, 7.0, 9.0, 9.0, 8.0, 16.0, 13.0, 18.0, 35.0, 31.0, 42.0, 43.0, 42.0, 59.0, 68.0, 78.0, 160.0, 255.0, 1400.0, 225.0, 102.0, 72.0, 60.0, 41.0, 32.0, 28.0, 29.0, 23.0, 34.0, 16.0, 23.0, 8.0, 10.0, 9.0, 6.0, 13.0, 4.0, 8.0, 3.0, 3.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.055145263671875, -0.0530552864074707, -0.050965309143066406, -0.04887533187866211, -0.04678535461425781, -0.044695377349853516, -0.04260540008544922, -0.04051542282104492, -0.038425445556640625, -0.03633546829223633, -0.03424549102783203, -0.032155513763427734, -0.030065536499023438, -0.02797555923461914, -0.025885581970214844, -0.023795604705810547, -0.02170562744140625, -0.019615650177001953, -0.017525672912597656, -0.01543569564819336, -0.013345718383789062, -0.011255741119384766, -0.009165763854980469, -0.007075786590576172, -0.004985809326171875, -0.002895832061767578, -0.0008058547973632812, 0.0012841224670410156, 0.0033740997314453125, 0.005464076995849609, 0.007554054260253906, 0.009644031524658203, 0.0117340087890625, 0.013823986053466797, 0.015913963317871094, 0.01800394058227539, 0.020093917846679688, 0.022183895111083984, 0.02427387237548828, 0.026363849639892578, 0.028453826904296875, 0.030543804168701172, 0.03263378143310547, 0.034723758697509766, 0.03681373596191406, 0.03890371322631836, 0.040993690490722656, 0.04308366775512695, 0.04517364501953125, 0.04726362228393555, 0.049353599548339844, 0.05144357681274414, 0.05353355407714844, 0.055623531341552734, 0.05771350860595703, 0.05980348587036133, 0.061893463134765625, 0.06398344039916992, 0.06607341766357422, 0.06816339492797852, 0.07025337219238281, 0.07234334945678711, 0.0744333267211914, 0.0765233039855957, 0.07861328125]}, "gradients/decoder.transformer.h.14.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 5.0, 7.0, 9.0, 7.0, 10.0, 12.0, 13.0, 16.0, 29.0, 42.0, 50.0, 56.0, 82.0, 98.0, 186.0, 282.0, 649.0, 2235.0, 14820.0, 224189.0, 2747226.0, 141448.0, 10875.0, 1865.0, 617.0, 284.0, 146.0, 114.0, 85.0, 63.0, 52.0, 37.0, 23.0, 17.0, 17.0, 11.0, 10.0, 5.0, 6.0, 5.0, 2.0, 5.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0], "bins": [-0.1578369140625, -0.1535043716430664, -0.1491718292236328, -0.14483928680419922, -0.14050674438476562, -0.13617420196533203, -0.13184165954589844, -0.12750911712646484, -0.12317657470703125, -0.11884403228759766, -0.11451148986816406, -0.11017894744873047, -0.10584640502929688, -0.10151386260986328, -0.09718132019042969, -0.0928487777709961, -0.0885162353515625, -0.0841836929321289, -0.07985115051269531, -0.07551860809326172, -0.07118606567382812, -0.06685352325439453, -0.06252098083496094, -0.058188438415527344, -0.05385589599609375, -0.049523353576660156, -0.04519081115722656, -0.04085826873779297, -0.036525726318359375, -0.03219318389892578, -0.027860641479492188, -0.023528099060058594, -0.019195556640625, -0.014863014221191406, -0.010530471801757812, -0.006197929382324219, -0.001865386962890625, 0.0024671554565429688, 0.0067996978759765625, 0.011132240295410156, 0.01546478271484375, 0.019797325134277344, 0.024129867553710938, 0.02846240997314453, 0.032794952392578125, 0.03712749481201172, 0.04146003723144531, 0.045792579650878906, 0.0501251220703125, 0.054457664489746094, 0.05879020690917969, 0.06312274932861328, 0.06745529174804688, 0.07178783416748047, 0.07612037658691406, 0.08045291900634766, 0.08478546142578125, 0.08911800384521484, 0.09345054626464844, 0.09778308868408203, 0.10211563110351562, 0.10644817352294922, 0.11078071594238281, 0.1151132583618164, 0.11944580078125]}, "gradients/decoder.transformer.h.14.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 5.0, 4.0, 12.0, 23.0, 27.0, 46.0, 76.0, 90.0, 105.0, 105.0, 118.0, 99.0, 92.0, 60.0, 54.0, 32.0, 25.0, 17.0, 6.0, 10.0, 6.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.2653483748435974, -0.2592114210128784, -0.25307443737983704, -0.24693746864795685, -0.24080049991607666, -0.23466354608535767, -0.22852657735347748, -0.2223896086215973, -0.2162526398897171, -0.21011567115783691, -0.20397870242595673, -0.19784173369407654, -0.19170477986335754, -0.18556781113147736, -0.17943084239959717, -0.17329387366771698, -0.1671569049358368, -0.1610199362039566, -0.15488296747207642, -0.14874599874019623, -0.14260903000831604, -0.13647207617759705, -0.13033510744571686, -0.12419813871383667, -0.11806116998195648, -0.1119242012500763, -0.1057872325181961, -0.09965027123689651, -0.09351330250501633, -0.08737633377313614, -0.08123937249183655, -0.07510240375995636, -0.06896543502807617, -0.06282846629619598, -0.056691501289606094, -0.050554536283016205, -0.04441756755113602, -0.03828059881925583, -0.03214363381266594, -0.02600666880607605, -0.019869700074195862, -0.013732733204960823, -0.007595766335725784, -0.0014587994664907455, 0.004678167402744293, 0.010815134271979332, 0.01695210114121437, 0.02308906614780426, 0.029226034879684448, 0.035363003611564636, 0.041499968618154526, 0.047636933624744415, 0.0537739023566246, 0.05991087108850479, 0.06604783236980438, 0.07218480110168457, 0.07832176983356476, 0.08445873856544495, 0.09059570729732513, 0.09673266857862473, 0.10286963731050491, 0.1090066060423851, 0.11514356732368469, 0.12128053605556488, 0.12741750478744507]}, "gradients/decoder.transformer.h.14.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 3.0, 6.0, 5.0, 5.0, 6.0, 10.0, 5.0, 8.0, 16.0, 17.0, 14.0, 13.0, 28.0, 21.0, 28.0, 39.0, 31.0, 30.0, 31.0, 31.0, 33.0, 32.0, 43.0, 45.0, 51.0, 34.0, 35.0, 41.0, 42.0, 41.0, 33.0, 25.0, 25.0, 27.0, 23.0, 25.0, 20.0, 19.0, 11.0, 15.0, 4.0, 9.0, 8.0, 8.0, 7.0, 3.0, 3.0, 0.0, 4.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.18045657873153687, -0.17457686364650726, -0.16869714856147766, -0.16281744837760925, -0.15693773329257965, -0.15105801820755005, -0.14517831802368164, -0.13929860293865204, -0.13341888785362244, -0.12753917276859283, -0.12165946513414383, -0.11577975749969482, -0.10990004241466522, -0.10402032732963562, -0.09814061969518661, -0.09226091206073761, -0.08638119697570801, -0.0805014818906784, -0.0746217742562294, -0.0687420666217804, -0.0628623515367508, -0.05698264017701149, -0.051102928817272186, -0.04522321745753288, -0.03934350609779358, -0.033463794738054276, -0.027584083378314972, -0.02170437201857567, -0.015824660658836365, -0.009944949299097061, -0.004065237939357758, 0.001814473420381546, 0.00769418478012085, 0.013573896139860153, 0.019453607499599457, 0.02533331885933876, 0.031213030219078064, 0.03709274157881737, 0.04297245293855667, 0.048852164298295975, 0.05473187565803528, 0.06061158701777458, 0.06649129837751389, 0.07237100601196289, 0.07825072109699249, 0.0841304361820221, 0.0900101438164711, 0.0958898514509201, 0.10176956653594971, 0.10764928162097931, 0.11352898925542831, 0.11940869688987732, 0.12528841197490692, 0.13116812705993652, 0.13704782724380493, 0.14292754232883453, 0.14880725741386414, 0.15468697249889374, 0.16056668758392334, 0.16644638776779175, 0.17232610285282135, 0.17820581793785095, 0.18408551812171936, 0.18996523320674896, 0.19584494829177856]}, "gradients/decoder.transformer.h.13.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 4.0, 5.0, 3.0, 9.0, 8.0, 9.0, 16.0, 15.0, 26.0, 30.0, 25.0, 36.0, 36.0, 57.0, 53.0, 62.0, 58.0, 61.0, 52.0, 61.0, 45.0, 56.0, 46.0, 46.0, 38.0, 29.0, 22.0, 20.0, 19.0, 14.0, 17.0, 16.0, 8.0, 4.0, 3.0, 5.0, 1.0, 0.0, 2.0], "bins": [-0.032379150390625, -0.031625986099243164, -0.030872821807861328, -0.030119657516479492, -0.029366493225097656, -0.02861332893371582, -0.027860164642333984, -0.02710700035095215, -0.026353836059570312, -0.025600671768188477, -0.02484750747680664, -0.024094343185424805, -0.02334117889404297, -0.022588014602661133, -0.021834850311279297, -0.02108168601989746, -0.020328521728515625, -0.01957535743713379, -0.018822193145751953, -0.018069028854370117, -0.01731586456298828, -0.016562700271606445, -0.01580953598022461, -0.015056371688842773, -0.014303207397460938, -0.013550043106079102, -0.012796878814697266, -0.01204371452331543, -0.011290550231933594, -0.010537385940551758, -0.009784221649169922, -0.009031057357788086, -0.00827789306640625, -0.007524728775024414, -0.006771564483642578, -0.006018400192260742, -0.005265235900878906, -0.00451207160949707, -0.0037589073181152344, -0.0030057430267333984, -0.0022525787353515625, -0.0014994144439697266, -0.0007462501525878906, 6.9141387939453125e-06, 0.0007600784301757812, 0.0015132427215576172, 0.002266407012939453, 0.003019571304321289, 0.003772735595703125, 0.004525899887084961, 0.005279064178466797, 0.006032228469848633, 0.006785392761230469, 0.007538557052612305, 0.00829172134399414, 0.009044885635375977, 0.009798049926757812, 0.010551214218139648, 0.011304378509521484, 0.01205754280090332, 0.012810707092285156, 0.013563871383666992, 0.014317035675048828, 0.015070199966430664, 0.0158233642578125]}, "gradients/decoder.transformer.h.13.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 3.0, 5.0, 6.0, 4.0, 15.0, 20.0, 17.0, 25.0, 24.0, 42.0, 69.0, 93.0, 146.0, 263.0, 539.0, 1195.0, 3204.0, 10269.0, 38353.0, 185307.0, 1361153.0, 2186449.0, 324301.0, 60434.0, 14822.0, 4438.0, 1621.0, 664.0, 277.0, 183.0, 107.0, 71.0, 50.0, 41.0, 27.0, 15.0, 14.0, 9.0, 8.0, 4.0, 2.0, 2.0, 2.0], "bins": [-0.0665283203125, -0.06494998931884766, -0.06337165832519531, -0.06179332733154297, -0.060214996337890625, -0.05863666534423828, -0.05705833435058594, -0.055480003356933594, -0.05390167236328125, -0.052323341369628906, -0.05074501037597656, -0.04916667938232422, -0.047588348388671875, -0.04601001739501953, -0.04443168640136719, -0.042853355407714844, -0.0412750244140625, -0.039696693420410156, -0.03811836242675781, -0.03654003143310547, -0.034961700439453125, -0.03338336944580078, -0.03180503845214844, -0.030226707458496094, -0.02864837646484375, -0.027070045471191406, -0.025491714477539062, -0.02391338348388672, -0.022335052490234375, -0.02075672149658203, -0.019178390502929688, -0.017600059509277344, -0.016021728515625, -0.014443397521972656, -0.012865066528320312, -0.011286735534667969, -0.009708404541015625, -0.008130073547363281, -0.0065517425537109375, -0.004973411560058594, -0.00339508056640625, -0.0018167495727539062, -0.0002384185791015625, 0.0013399124145507812, 0.002918243408203125, 0.004496574401855469, 0.0060749053955078125, 0.007653236389160156, 0.0092315673828125, 0.010809898376464844, 0.012388229370117188, 0.013966560363769531, 0.015544891357421875, 0.01712322235107422, 0.018701553344726562, 0.020279884338378906, 0.02185821533203125, 0.023436546325683594, 0.025014877319335938, 0.02659320831298828, 0.028171539306640625, 0.02974987030029297, 0.03132820129394531, 0.032906532287597656, 0.03448486328125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 5.0, 3.0, 5.0, 9.0, 13.0, 18.0, 15.0, 23.0, 40.0, 52.0, 77.0, 114.0, 144.0, 203.0, 309.0, 418.0, 515.0, 502.0, 443.0, 324.0, 206.0, 183.0, 130.0, 98.0, 72.0, 60.0, 31.0, 18.0, 17.0, 12.0, 8.0, 3.0, 4.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.058013916015625, -0.056534767150878906, -0.05505561828613281, -0.05357646942138672, -0.052097320556640625, -0.05061817169189453, -0.04913902282714844, -0.047659873962402344, -0.04618072509765625, -0.044701576232910156, -0.04322242736816406, -0.04174327850341797, -0.040264129638671875, -0.03878498077392578, -0.03730583190917969, -0.035826683044433594, -0.0343475341796875, -0.032868385314941406, -0.03138923645019531, -0.02991008758544922, -0.028430938720703125, -0.02695178985595703, -0.025472640991210938, -0.023993492126464844, -0.02251434326171875, -0.021035194396972656, -0.019556045532226562, -0.01807689666748047, -0.016597747802734375, -0.015118598937988281, -0.013639450073242188, -0.012160301208496094, -0.01068115234375, -0.009202003479003906, -0.0077228546142578125, -0.006243705749511719, -0.004764556884765625, -0.0032854080200195312, -0.0018062591552734375, -0.00032711029052734375, 0.00115203857421875, 0.0026311874389648438, 0.0041103363037109375, 0.005589485168457031, 0.007068634033203125, 0.008547782897949219, 0.010026931762695312, 0.011506080627441406, 0.0129852294921875, 0.014464378356933594, 0.015943527221679688, 0.01742267608642578, 0.018901824951171875, 0.02038097381591797, 0.021860122680664062, 0.023339271545410156, 0.02481842041015625, 0.026297569274902344, 0.027776718139648438, 0.02925586700439453, 0.030735015869140625, 0.03221416473388672, 0.03369331359863281, 0.035172462463378906, 0.036651611328125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 5.0, 1.0, 1.0, 2.0, 4.0, 9.0, 13.0, 12.0, 29.0, 32.0, 59.0, 84.0, 103.0, 173.0, 315.0, 698.0, 2812.0, 24422.0, 743945.0, 3288750.0, 122929.0, 7537.0, 1302.0, 447.0, 198.0, 130.0, 85.0, 61.0, 38.0, 32.0, 20.0, 10.0, 12.0, 7.0, 3.0, 7.0, 4.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1199951171875, -0.11542510986328125, -0.1108551025390625, -0.10628509521484375, -0.101715087890625, -0.09714508056640625, -0.0925750732421875, -0.08800506591796875, -0.08343505859375, -0.07886505126953125, -0.0742950439453125, -0.06972503662109375, -0.065155029296875, -0.06058502197265625, -0.0560150146484375, -0.05144500732421875, -0.046875, -0.04230499267578125, -0.0377349853515625, -0.03316497802734375, -0.028594970703125, -0.02402496337890625, -0.0194549560546875, -0.01488494873046875, -0.01031494140625, -0.00574493408203125, -0.0011749267578125, 0.00339508056640625, 0.007965087890625, 0.01253509521484375, 0.0171051025390625, 0.02167510986328125, 0.0262451171875, 0.03081512451171875, 0.0353851318359375, 0.03995513916015625, 0.044525146484375, 0.04909515380859375, 0.0536651611328125, 0.05823516845703125, 0.06280517578125, 0.06737518310546875, 0.0719451904296875, 0.07651519775390625, 0.081085205078125, 0.08565521240234375, 0.0902252197265625, 0.09479522705078125, 0.099365234375, 0.10393524169921875, 0.1085052490234375, 0.11307525634765625, 0.117645263671875, 0.12221527099609375, 0.1267852783203125, 0.13135528564453125, 0.13592529296875, 0.14049530029296875, 0.1450653076171875, 0.14963531494140625, 0.154205322265625, 0.15877532958984375, 0.1633453369140625, 0.16791534423828125, 0.1724853515625]}, "gradients/decoder.transformer.h.13.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 8.0, 10.0, 53.0, 133.0, 213.0, 248.0, 202.0, 97.0, 31.0, 15.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.38104331493377686, -0.3613688349723816, -0.34169435501098633, -0.32201987504959106, -0.3023453950881958, -0.28267091512680054, -0.2629964351654053, -0.2433219701051712, -0.22364749014377594, -0.20397301018238068, -0.1842985302209854, -0.16462406516075134, -0.14494958519935608, -0.12527510523796082, -0.10560062527656555, -0.08592614531517029, -0.06625166535377502, -0.04657718539237976, -0.026902709156274796, -0.00722823292016983, 0.012446247041225433, 0.0321207270026207, 0.051795199513435364, 0.07146967947483063, 0.09114415943622589, 0.11081863939762115, 0.13049311935901642, 0.1501675844192505, 0.16984206438064575, 0.18951654434204102, 0.20919102430343628, 0.22886550426483154, 0.2485399842262268, 0.26821446418762207, 0.28788894414901733, 0.3075634241104126, 0.32723790407180786, 0.3469123840332031, 0.3665868639945984, 0.38626134395599365, 0.4059358239173889, 0.4256103038787842, 0.44528478384017944, 0.4649592638015747, 0.48463374376296997, 0.5043082237243652, 0.5239827036857605, 0.5436571836471558, 0.5633316040039062, 0.5830060839653015, 0.6026805639266968, 0.622355043888092, 0.6420295238494873, 0.6617040038108826, 0.6813784837722778, 0.7010529637336731, 0.7207274436950684, 0.7404019236564636, 0.7600764036178589, 0.7797508835792542, 0.7994253635406494, 0.8190998435020447, 0.8387743234634399, 0.8584488034248352, 0.8781232833862305]}, "gradients/decoder.transformer.h.13.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 5.0, 2.0, 1.0, 1.0, 4.0, 6.0, 5.0, 14.0, 5.0, 11.0, 6.0, 14.0, 23.0, 16.0, 10.0, 21.0, 26.0, 25.0, 30.0, 28.0, 33.0, 42.0, 36.0, 38.0, 58.0, 41.0, 40.0, 42.0, 40.0, 48.0, 31.0, 37.0, 45.0, 39.0, 18.0, 32.0, 25.0, 17.0, 10.0, 19.0, 17.0, 12.0, 7.0, 8.0, 5.0, 4.0, 3.0, 4.0, 5.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.15875476598739624, -0.15386807918548584, -0.14898139238357544, -0.14409469068050385, -0.13920800387859344, -0.13432131707668304, -0.12943463027477264, -0.12454794347286224, -0.11966124922037125, -0.11477456241846085, -0.10988786816596985, -0.10500118136405945, -0.10011449456214905, -0.09522780030965805, -0.09034111350774765, -0.08545441925525665, -0.08056773245334625, -0.07568104565143585, -0.07079435139894485, -0.06590766459703445, -0.061020974069833755, -0.05613428354263306, -0.051247596740722656, -0.04636090621352196, -0.04147421568632126, -0.03658752515912056, -0.03170083463191986, -0.02681414783000946, -0.02192745730280876, -0.017040766775608063, -0.012154078111052513, -0.0072673894464969635, -0.0023806989192962646, 0.0025059906765818596, 0.007392680272459984, 0.012279369868338108, 0.017166059464216232, 0.02205274999141693, 0.02693943865597248, 0.03182612732052803, 0.03671281784772873, 0.04159950837492943, 0.04648619890213013, 0.05137288570404053, 0.056259576231241226, 0.061146266758441925, 0.06603295356035233, 0.07091964781284332, 0.07580633461475372, 0.08069302141666412, 0.08557971566915512, 0.09046640247106552, 0.09535309672355652, 0.10023978352546692, 0.10512647032737732, 0.11001315712928772, 0.11489985138177872, 0.11978653818368912, 0.12467323243618011, 0.12955991923809052, 0.13444660604000092, 0.1393333077430725, 0.1442199945449829, 0.1491066813468933, 0.1539933681488037]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 5.0, 3.0, 5.0, 8.0, 5.0, 14.0, 23.0, 23.0, 28.0, 33.0, 39.0, 42.0, 57.0, 49.0, 51.0, 60.0, 65.0, 60.0, 69.0, 49.0, 59.0, 53.0, 44.0, 29.0, 27.0, 24.0, 27.0, 12.0, 19.0, 8.0, 11.0, 6.0, 5.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.03466796875, -0.033858537673950195, -0.03304910659790039, -0.032239675521850586, -0.03143024444580078, -0.030620813369750977, -0.029811382293701172, -0.029001951217651367, -0.028192520141601562, -0.027383089065551758, -0.026573657989501953, -0.02576422691345215, -0.024954795837402344, -0.02414536476135254, -0.023335933685302734, -0.02252650260925293, -0.021717071533203125, -0.02090764045715332, -0.020098209381103516, -0.01928877830505371, -0.018479347229003906, -0.0176699161529541, -0.016860485076904297, -0.016051054000854492, -0.015241622924804688, -0.014432191848754883, -0.013622760772705078, -0.012813329696655273, -0.012003898620605469, -0.011194467544555664, -0.01038503646850586, -0.009575605392456055, -0.00876617431640625, -0.007956743240356445, -0.007147312164306641, -0.006337881088256836, -0.005528450012207031, -0.0047190189361572266, -0.003909587860107422, -0.003100156784057617, -0.0022907257080078125, -0.0014812946319580078, -0.0006718635559082031, 0.00013756752014160156, 0.0009469985961914062, 0.001756429672241211, 0.0025658607482910156, 0.0033752918243408203, 0.004184722900390625, 0.00499415397644043, 0.005803585052490234, 0.006613016128540039, 0.007422447204589844, 0.008231878280639648, 0.009041309356689453, 0.009850740432739258, 0.010660171508789062, 0.011469602584838867, 0.012279033660888672, 0.013088464736938477, 0.013897895812988281, 0.014707326889038086, 0.01551675796508789, 0.016326189041137695, 0.0171356201171875]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 1.0, 5.0, 9.0, 6.0, 12.0, 18.0, 24.0, 23.0, 36.0, 68.0, 85.0, 183.0, 343.0, 679.0, 1320.0, 2849.0, 6083.0, 13690.0, 30851.0, 70337.0, 182248.0, 475167.0, 153529.0, 61435.0, 26972.0, 12168.0, 5432.0, 2523.0, 1153.0, 562.0, 305.0, 157.0, 86.0, 65.0, 46.0, 15.0, 21.0, 12.0, 13.0, 5.0, 7.0, 4.0, 2.0, 2.0, 1.0, 6.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002582073211669922, -0.0002499893307685852, -0.00024177134037017822, -0.00023355334997177124, -0.00022533535957336426, -0.00021711736917495728, -0.0002088993787765503, -0.0002006813883781433, -0.00019246339797973633, -0.00018424540758132935, -0.00017602741718292236, -0.00016780942678451538, -0.0001595914363861084, -0.00015137344598770142, -0.00014315545558929443, -0.00013493746519088745, -0.00012671947479248047, -0.00011850148439407349, -0.0001102834939956665, -0.00010206550359725952, -9.384751319885254e-05, -8.562952280044556e-05, -7.741153240203857e-05, -6.919354200363159e-05, -6.097555160522461e-05, -5.275756120681763e-05, -4.4539570808410645e-05, -3.632158041000366e-05, -2.810359001159668e-05, -1.9885599613189697e-05, -1.1667609214782715e-05, -3.4496188163757324e-06, 4.76837158203125e-06, 1.2986361980438232e-05, 2.1204352378845215e-05, 2.9422342777252197e-05, 3.764033317565918e-05, 4.585832357406616e-05, 5.4076313972473145e-05, 6.229430437088013e-05, 7.051229476928711e-05, 7.873028516769409e-05, 8.694827556610107e-05, 9.516626596450806e-05, 0.00010338425636291504, 0.00011160224676132202, 0.000119820237159729, 0.00012803822755813599, 0.00013625621795654297, 0.00014447420835494995, 0.00015269219875335693, 0.00016091018915176392, 0.0001691281795501709, 0.00017734616994857788, 0.00018556416034698486, 0.00019378215074539185, 0.00020200014114379883, 0.0002102181315422058, 0.0002184361219406128, 0.00022665411233901978, 0.00023487210273742676, 0.00024309009313583374, 0.0002513080835342407, 0.0002595260739326477, 0.0002677440643310547]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 5.0, 1.0, 5.0, 0.0, 10.0, 4.0, 5.0, 11.0, 5.0, 12.0, 19.0, 20.0, 19.0, 19.0, 17.0, 15.0, 26.0, 26.0, 28.0, 38.0, 30.0, 32.0, 27.0, 33.0, 22.0, 43.0, 1062.0, 39.0, 38.0, 40.0, 44.0, 47.0, 32.0, 29.0, 33.0, 26.0, 27.0, 22.0, 24.0, 17.0, 15.0, 7.0, 16.0, 7.0, 10.0, 9.0, 7.0, 4.0, 4.0, 5.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.01739501953125, -0.016874313354492188, -0.016353607177734375, -0.015832901000976562, -0.01531219482421875, -0.014791488647460938, -0.014270782470703125, -0.013750076293945312, -0.0132293701171875, -0.012708663940429688, -0.012187957763671875, -0.011667251586914062, -0.01114654541015625, -0.010625839233398438, -0.010105133056640625, -0.009584426879882812, -0.009063720703125, -0.008543014526367188, -0.008022308349609375, -0.0075016021728515625, -0.00698089599609375, -0.0064601898193359375, -0.005939483642578125, -0.0054187774658203125, -0.0048980712890625, -0.0043773651123046875, -0.003856658935546875, -0.0033359527587890625, -0.00281524658203125, -0.0022945404052734375, -0.001773834228515625, -0.0012531280517578125, -0.000732421875, -0.0002117156982421875, 0.000308990478515625, 0.0008296966552734375, 0.00135040283203125, 0.0018711090087890625, 0.002391815185546875, 0.0029125213623046875, 0.0034332275390625, 0.0039539337158203125, 0.004474639892578125, 0.0049953460693359375, 0.00551605224609375, 0.0060367584228515625, 0.006557464599609375, 0.0070781707763671875, 0.007598876953125, 0.008119583129882812, 0.008640289306640625, 0.009160995483398438, 0.00968170166015625, 0.010202407836914062, 0.010723114013671875, 0.011243820190429688, 0.0117645263671875, 0.012285232543945312, 0.012805938720703125, 0.013326644897460938, 0.01384735107421875, 0.014368057250976562, 0.014888763427734375, 0.015409469604492188, 0.01593017578125]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 0.0, 1.0, 5.0, 5.0, 9.0, 5.0, 9.0, 13.0, 13.0, 11.0, 18.0, 16.0, 19.0, 23.0, 25.0, 26.0, 36.0, 36.0, 57.0, 110.0, 318.0, 754.0, 2864.0, 14573.0, 2066566.0, 8283.0, 2021.0, 693.0, 203.0, 109.0, 41.0, 34.0, 33.0, 26.0, 25.0, 12.0, 18.0, 23.0, 20.0, 21.0, 12.0, 5.0, 11.0, 7.0, 7.0, 7.0, 3.0, 5.0, 4.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.537799835205078e-05, -1.4872290194034576e-05, -1.4366582036018372e-05, -1.3860873878002167e-05, -1.3355165719985962e-05, -1.2849457561969757e-05, -1.2343749403953552e-05, -1.1838041245937347e-05, -1.1332333087921143e-05, -1.0826624929904938e-05, -1.0320916771888733e-05, -9.815208613872528e-06, -9.309500455856323e-06, -8.803792297840118e-06, -8.298084139823914e-06, -7.792375981807709e-06, -7.286667823791504e-06, -6.780959665775299e-06, -6.275251507759094e-06, -5.769543349742889e-06, -5.2638351917266846e-06, -4.75812703371048e-06, -4.252418875694275e-06, -3.74671071767807e-06, -3.2410025596618652e-06, -2.7352944016456604e-06, -2.2295862436294556e-06, -1.7238780856132507e-06, -1.218169927597046e-06, -7.124617695808411e-07, -2.0675361156463623e-07, 2.989545464515686e-07, 8.046627044677734e-07, 1.3103708624839783e-06, 1.816079020500183e-06, 2.321787178516388e-06, 2.8274953365325928e-06, 3.3332034945487976e-06, 3.8389116525650024e-06, 4.344619810581207e-06, 4.850327968597412e-06, 5.356036126613617e-06, 5.861744284629822e-06, 6.367452442646027e-06, 6.8731606006622314e-06, 7.378868758678436e-06, 7.884576916694641e-06, 8.390285074710846e-06, 8.89599323272705e-06, 9.401701390743256e-06, 9.90740954875946e-06, 1.0413117706775665e-05, 1.091882586479187e-05, 1.1424534022808075e-05, 1.193024218082428e-05, 1.2435950338840485e-05, 1.294165849685669e-05, 1.3447366654872894e-05, 1.3953074812889099e-05, 1.4458782970905304e-05, 1.4964491128921509e-05, 1.5470199286937714e-05, 1.597590744495392e-05, 1.6481615602970123e-05, 1.6987323760986328e-05]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 5.0, 3.0, 5.0, 8.0, 5.0, 14.0, 23.0, 23.0, 28.0, 33.0, 39.0, 42.0, 57.0, 49.0, 51.0, 60.0, 65.0, 60.0, 69.0, 49.0, 59.0, 53.0, 44.0, 29.0, 27.0, 24.0, 27.0, 12.0, 19.0, 8.0, 11.0, 6.0, 5.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.03466796875, -0.033858537673950195, -0.03304910659790039, -0.032239675521850586, -0.03143024444580078, -0.030620813369750977, -0.029811382293701172, -0.029001951217651367, -0.028192520141601562, -0.027383089065551758, -0.026573657989501953, -0.02576422691345215, -0.024954795837402344, -0.02414536476135254, -0.023335933685302734, -0.02252650260925293, -0.021717071533203125, -0.02090764045715332, -0.020098209381103516, -0.01928877830505371, -0.018479347229003906, -0.0176699161529541, -0.016860485076904297, -0.016051054000854492, -0.015241622924804688, -0.014432191848754883, -0.013622760772705078, -0.012813329696655273, -0.012003898620605469, -0.011194467544555664, -0.01038503646850586, -0.009575605392456055, -0.00876617431640625, -0.007956743240356445, -0.007147312164306641, -0.006337881088256836, -0.005528450012207031, -0.0047190189361572266, -0.003909587860107422, -0.003100156784057617, -0.0022907257080078125, -0.0014812946319580078, -0.0006718635559082031, 0.00013756752014160156, 0.0009469985961914062, 0.001756429672241211, 0.0025658607482910156, 0.0033752918243408203, 0.004184722900390625, 0.00499415397644043, 0.005803585052490234, 0.006613016128540039, 0.007422447204589844, 0.008231878280639648, 0.009041309356689453, 0.009850740432739258, 0.010660171508789062, 0.011469602584838867, 0.012279033660888672, 0.013088464736938477, 0.013897895812988281, 0.014707326889038086, 0.01551675796508789, 0.016326189041137695, 0.0171356201171875]}, "gradients/decoder.transformer.h.13.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 4.0, 2.0, 1.0, 8.0, 12.0, 11.0, 13.0, 31.0, 34.0, 73.0, 104.0, 130.0, 209.0, 285.0, 453.0, 733.0, 1142.0, 1942.0, 3347.0, 5817.0, 10067.0, 18644.0, 36073.0, 74144.0, 171221.0, 327415.0, 213122.0, 90420.0, 42921.0, 22020.0, 11938.0, 6580.0, 3770.0, 2212.0, 1290.0, 832.0, 535.0, 355.0, 229.0, 157.0, 100.0, 60.0, 37.0, 24.0, 22.0, 9.0, 10.0, 5.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.025054931640625, -0.024179697036743164, -0.023304462432861328, -0.022429227828979492, -0.021553993225097656, -0.02067875862121582, -0.019803524017333984, -0.01892828941345215, -0.018053054809570312, -0.017177820205688477, -0.01630258560180664, -0.015427350997924805, -0.014552116394042969, -0.013676881790161133, -0.012801647186279297, -0.011926412582397461, -0.011051177978515625, -0.010175943374633789, -0.009300708770751953, -0.008425474166870117, -0.007550239562988281, -0.006675004959106445, -0.005799770355224609, -0.0049245357513427734, -0.0040493011474609375, -0.0031740665435791016, -0.0022988319396972656, -0.0014235973358154297, -0.0005483627319335938, 0.0003268718719482422, 0.0012021064758300781, 0.002077341079711914, 0.00295257568359375, 0.003827810287475586, 0.004703044891357422, 0.005578279495239258, 0.006453514099121094, 0.00732874870300293, 0.008203983306884766, 0.009079217910766602, 0.009954452514648438, 0.010829687118530273, 0.01170492172241211, 0.012580156326293945, 0.013455390930175781, 0.014330625534057617, 0.015205860137939453, 0.01608109474182129, 0.016956329345703125, 0.01783156394958496, 0.018706798553466797, 0.019582033157348633, 0.02045726776123047, 0.021332502365112305, 0.02220773696899414, 0.023082971572875977, 0.023958206176757812, 0.02483344078063965, 0.025708675384521484, 0.02658390998840332, 0.027459144592285156, 0.028334379196166992, 0.029209613800048828, 0.030084848403930664, 0.0309600830078125]}, "gradients/decoder.transformer.h.13.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 9.0, 5.0, 3.0, 9.0, 16.0, 12.0, 26.0, 24.0, 24.0, 33.0, 35.0, 37.0, 37.0, 51.0, 81.0, 92.0, 172.0, 844.0, 885.0, 161.0, 104.0, 89.0, 70.0, 44.0, 37.0, 24.0, 29.0, 27.0, 14.0, 9.0, 19.0, 11.0, 7.0, 6.0, 2.0, 4.0, 1.0, 2.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0867919921875, -0.084381103515625, -0.08197021484375, -0.079559326171875, -0.0771484375, -0.074737548828125, -0.07232666015625, -0.069915771484375, -0.0675048828125, -0.065093994140625, -0.06268310546875, -0.060272216796875, -0.057861328125, -0.055450439453125, -0.05303955078125, -0.050628662109375, -0.0482177734375, -0.045806884765625, -0.04339599609375, -0.040985107421875, -0.03857421875, -0.036163330078125, -0.03375244140625, -0.031341552734375, -0.0289306640625, -0.026519775390625, -0.02410888671875, -0.021697998046875, -0.019287109375, -0.016876220703125, -0.01446533203125, -0.012054443359375, -0.0096435546875, -0.007232666015625, -0.00482177734375, -0.002410888671875, 0.0, 0.002410888671875, 0.00482177734375, 0.007232666015625, 0.0096435546875, 0.012054443359375, 0.01446533203125, 0.016876220703125, 0.019287109375, 0.021697998046875, 0.02410888671875, 0.026519775390625, 0.0289306640625, 0.031341552734375, 0.03375244140625, 0.036163330078125, 0.03857421875, 0.040985107421875, 0.04339599609375, 0.045806884765625, 0.0482177734375, 0.050628662109375, 0.05303955078125, 0.055450439453125, 0.057861328125, 0.060272216796875, 0.06268310546875, 0.065093994140625, 0.0675048828125]}, "gradients/decoder.transformer.h.13.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 6.0, 7.0, 8.0, 8.0, 6.0, 23.0, 27.0, 31.0, 45.0, 67.0, 64.0, 91.0, 112.0, 159.0, 211.0, 368.0, 860.0, 3396.0, 29058.0, 932089.0, 2120231.0, 51290.0, 5052.0, 1110.0, 407.0, 243.0, 195.0, 126.0, 104.0, 67.0, 62.0, 43.0, 39.0, 20.0, 24.0, 14.0, 8.0, 15.0, 5.0, 8.0, 6.0, 1.0, 4.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.10205078125, -0.098419189453125, -0.09478759765625, -0.091156005859375, -0.0875244140625, -0.083892822265625, -0.08026123046875, -0.076629638671875, -0.072998046875, -0.069366455078125, -0.06573486328125, -0.062103271484375, -0.0584716796875, -0.054840087890625, -0.05120849609375, -0.047576904296875, -0.0439453125, -0.040313720703125, -0.03668212890625, -0.033050537109375, -0.0294189453125, -0.025787353515625, -0.02215576171875, -0.018524169921875, -0.014892578125, -0.011260986328125, -0.00762939453125, -0.003997802734375, -0.0003662109375, 0.003265380859375, 0.00689697265625, 0.010528564453125, 0.01416015625, 0.017791748046875, 0.02142333984375, 0.025054931640625, 0.0286865234375, 0.032318115234375, 0.03594970703125, 0.039581298828125, 0.043212890625, 0.046844482421875, 0.05047607421875, 0.054107666015625, 0.0577392578125, 0.061370849609375, 0.06500244140625, 0.068634033203125, 0.072265625, 0.075897216796875, 0.07952880859375, 0.083160400390625, 0.0867919921875, 0.090423583984375, 0.09405517578125, 0.097686767578125, 0.101318359375, 0.104949951171875, 0.10858154296875, 0.112213134765625, 0.1158447265625, 0.119476318359375, 0.12310791015625, 0.126739501953125, 0.13037109375]}, "gradients/decoder.transformer.h.13.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 5.0, 14.0, 14.0, 21.0, 45.0, 50.0, 69.0, 97.0, 112.0, 126.0, 102.0, 108.0, 73.0, 60.0, 45.0, 29.0, 22.0, 11.0, 5.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15808404982089996, -0.15236850082874298, -0.1466529667377472, -0.1409374177455902, -0.13522186875343323, -0.12950633466243744, -0.12379078567028046, -0.11807524412870407, -0.11235970258712769, -0.1066441610455513, -0.10092861950397491, -0.09521307051181793, -0.08949752897024155, -0.08378198742866516, -0.07806643843650818, -0.0723508968949318, -0.06663535535335541, -0.06091981381177902, -0.05520426854491234, -0.049488723278045654, -0.04377318173646927, -0.03805764019489288, -0.0323420949280262, -0.026626549661159515, -0.02091100811958313, -0.015195464715361595, -0.00947992131114006, -0.0037643779069185257, 0.001951165497303009, 0.007666708901524544, 0.013382252305746078, 0.019097797572612762, 0.024813339114189148, 0.030528882518410683, 0.03624442592263222, 0.0419599711894989, 0.04767551273107529, 0.05339105427265167, 0.059106599539518356, 0.06482214480638504, 0.07053768634796143, 0.07625322788953781, 0.0819687694311142, 0.08768431842327118, 0.09339985996484756, 0.09911540150642395, 0.10483095049858093, 0.11054649204015732, 0.1162620335817337, 0.12197757512331009, 0.12769311666488647, 0.13340866565704346, 0.13912421464920044, 0.14483974874019623, 0.1505552977323532, 0.156270831823349, 0.16198638081550598, 0.16770192980766296, 0.17341746389865875, 0.17913301289081573, 0.18484854698181152, 0.1905640959739685, 0.1962796449661255, 0.20199519395828247, 0.20771072804927826]}, "gradients/decoder.transformer.h.13.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 4.0, 4.0, 5.0, 12.0, 9.0, 16.0, 7.0, 12.0, 15.0, 18.0, 16.0, 21.0, 20.0, 19.0, 24.0, 28.0, 28.0, 41.0, 35.0, 34.0, 38.0, 34.0, 34.0, 44.0, 50.0, 36.0, 42.0, 33.0, 30.0, 26.0, 26.0, 28.0, 22.0, 23.0, 30.0, 15.0, 18.0, 16.0, 12.0, 16.0, 10.0, 12.0, 11.0, 6.0, 9.0, 3.0, 2.0, 3.0, 3.0, 1.0, 3.0, 2.0, 1.0, 3.0], "bins": [-0.18040454387664795, -0.1749291867017746, -0.16945382952690125, -0.1639784723520279, -0.15850311517715454, -0.15302777290344238, -0.14755241572856903, -0.14207705855369568, -0.13660170137882233, -0.13112634420394897, -0.12565098702907562, -0.12017563730478287, -0.11470028012990952, -0.10922492295503616, -0.10374957323074341, -0.09827421605587006, -0.0927988588809967, -0.08732350170612335, -0.08184814453125, -0.07637279480695724, -0.07089743763208389, -0.06542208045721054, -0.05994672700762749, -0.054471373558044434, -0.04899601638317108, -0.04352065920829773, -0.038045305758714676, -0.03256995230913162, -0.02709459513425827, -0.021619239822030067, -0.016143884509801865, -0.010668531060218811, -0.005193173885345459, 0.00028218142688274384, 0.005757536739110947, 0.01123289205133915, 0.016708247363567352, 0.022183602675795555, 0.027658957988023758, 0.03313431143760681, 0.038609668612480164, 0.044085025787353516, 0.04956037923693657, 0.05503573268651962, 0.060511089861392975, 0.06598644703626633, 0.07146179676055908, 0.07693715393543243, 0.08241251111030579, 0.08788786828517914, 0.09336322546005249, 0.09883857518434525, 0.1043139323592186, 0.10978928953409195, 0.1152646392583847, 0.12073999643325806, 0.1262153536081314, 0.13169071078300476, 0.1371660679578781, 0.14264142513275146, 0.14811676740646362, 0.15359212458133698, 0.15906748175621033, 0.16454283893108368, 0.17001819610595703]}, "gradients/decoder.transformer.h.12.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 2.0, 4.0, 3.0, 4.0, 9.0, 10.0, 19.0, 14.0, 26.0, 34.0, 31.0, 32.0, 38.0, 61.0, 50.0, 55.0, 64.0, 58.0, 61.0, 70.0, 53.0, 54.0, 48.0, 47.0, 33.0, 28.0, 29.0, 16.0, 15.0, 14.0, 12.0, 8.0, 6.0, 3.0, 5.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.035186767578125, -0.0343630313873291, -0.0335392951965332, -0.032715559005737305, -0.031891822814941406, -0.031068086624145508, -0.03024435043334961, -0.02942061424255371, -0.028596878051757812, -0.027773141860961914, -0.026949405670166016, -0.026125669479370117, -0.02530193328857422, -0.02447819709777832, -0.023654460906982422, -0.022830724716186523, -0.022006988525390625, -0.021183252334594727, -0.020359516143798828, -0.01953577995300293, -0.01871204376220703, -0.017888307571411133, -0.017064571380615234, -0.016240835189819336, -0.015417098999023438, -0.014593362808227539, -0.01376962661743164, -0.012945890426635742, -0.012122154235839844, -0.011298418045043945, -0.010474681854248047, -0.009650945663452148, -0.00882720947265625, -0.008003473281860352, -0.007179737091064453, -0.006356000900268555, -0.005532264709472656, -0.004708528518676758, -0.0038847923278808594, -0.003061056137084961, -0.0022373199462890625, -0.001413583755493164, -0.0005898475646972656, 0.0002338886260986328, 0.0010576248168945312, 0.0018813610076904297, 0.002705097198486328, 0.0035288333892822266, 0.004352569580078125, 0.0051763057708740234, 0.006000041961669922, 0.00682377815246582, 0.007647514343261719, 0.008471250534057617, 0.009294986724853516, 0.010118722915649414, 0.010942459106445312, 0.011766195297241211, 0.01258993148803711, 0.013413667678833008, 0.014237403869628906, 0.015061140060424805, 0.015884876251220703, 0.0167086124420166, 0.0175323486328125]}, "gradients/decoder.transformer.h.12.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 8.0, 4.0, 6.0, 9.0, 12.0, 20.0, 24.0, 51.0, 95.0, 128.0, 238.0, 445.0, 808.0, 1747.0, 4119.0, 10910.0, 33095.0, 124072.0, 687496.0, 2474457.0, 680850.0, 124552.0, 32825.0, 10733.0, 4138.0, 1718.0, 756.0, 411.0, 236.0, 114.0, 79.0, 45.0, 26.0, 30.0, 16.0, 10.0, 4.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.05755615234375, -0.05609893798828125, -0.0546417236328125, -0.05318450927734375, -0.051727294921875, -0.05027008056640625, -0.0488128662109375, -0.04735565185546875, -0.0458984375, -0.04444122314453125, -0.0429840087890625, -0.04152679443359375, -0.040069580078125, -0.03861236572265625, -0.0371551513671875, -0.03569793701171875, -0.03424072265625, -0.03278350830078125, -0.0313262939453125, -0.02986907958984375, -0.028411865234375, -0.02695465087890625, -0.0254974365234375, -0.02404022216796875, -0.0225830078125, -0.02112579345703125, -0.0196685791015625, -0.01821136474609375, -0.016754150390625, -0.01529693603515625, -0.0138397216796875, -0.01238250732421875, -0.01092529296875, -0.00946807861328125, -0.0080108642578125, -0.00655364990234375, -0.005096435546875, -0.00363922119140625, -0.0021820068359375, -0.00072479248046875, 0.000732421875, 0.00218963623046875, 0.0036468505859375, 0.00510406494140625, 0.006561279296875, 0.00801849365234375, 0.0094757080078125, 0.01093292236328125, 0.01239013671875, 0.01384735107421875, 0.0153045654296875, 0.01676177978515625, 0.018218994140625, 0.01967620849609375, 0.0211334228515625, 0.02259063720703125, 0.0240478515625, 0.02550506591796875, 0.0269622802734375, 0.02841949462890625, 0.029876708984375, 0.03133392333984375, 0.0327911376953125, 0.03424835205078125, 0.03570556640625]}, "gradients/decoder.transformer.h.12.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 2.0, 0.0, 3.0, 7.0, 6.0, 8.0, 13.0, 12.0, 15.0, 28.0, 40.0, 62.0, 92.0, 124.0, 154.0, 240.0, 316.0, 460.0, 520.0, 492.0, 388.0, 307.0, 225.0, 156.0, 111.0, 92.0, 60.0, 46.0, 26.0, 24.0, 23.0, 8.0, 8.0, 4.0, 1.0, 3.0, 4.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.052093505859375, -0.050638675689697266, -0.04918384552001953, -0.0477290153503418, -0.04627418518066406, -0.04481935501098633, -0.043364524841308594, -0.04190969467163086, -0.040454864501953125, -0.03900003433227539, -0.037545204162597656, -0.03609037399291992, -0.03463554382324219, -0.03318071365356445, -0.03172588348388672, -0.030271053314208984, -0.02881622314453125, -0.027361392974853516, -0.02590656280517578, -0.024451732635498047, -0.022996902465820312, -0.021542072296142578, -0.020087242126464844, -0.01863241195678711, -0.017177581787109375, -0.01572275161743164, -0.014267921447753906, -0.012813091278076172, -0.011358261108398438, -0.009903430938720703, -0.008448600769042969, -0.006993770599365234, -0.0055389404296875, -0.004084110260009766, -0.0026292800903320312, -0.0011744499206542969, 0.0002803802490234375, 0.0017352104187011719, 0.0031900405883789062, 0.004644870758056641, 0.006099700927734375, 0.007554531097412109, 0.009009361267089844, 0.010464191436767578, 0.011919021606445312, 0.013373851776123047, 0.014828681945800781, 0.016283512115478516, 0.01773834228515625, 0.019193172454833984, 0.02064800262451172, 0.022102832794189453, 0.023557662963867188, 0.025012493133544922, 0.026467323303222656, 0.02792215347290039, 0.029376983642578125, 0.03083181381225586, 0.032286643981933594, 0.03374147415161133, 0.03519630432128906, 0.0366511344909668, 0.03810596466064453, 0.039560794830322266, 0.041015625]}, "gradients/decoder.transformer.h.12.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 3.0, 4.0, 0.0, 4.0, 2.0, 10.0, 10.0, 25.0, 28.0, 38.0, 62.0, 79.0, 132.0, 238.0, 376.0, 879.0, 4430.0, 59554.0, 2702038.0, 1388917.0, 32874.0, 3056.0, 728.0, 293.0, 192.0, 112.0, 81.0, 34.0, 25.0, 19.0, 14.0, 11.0, 9.0, 3.0, 7.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1456298828125, -0.1407604217529297, -0.13589096069335938, -0.13102149963378906, -0.12615203857421875, -0.12128257751464844, -0.11641311645507812, -0.11154365539550781, -0.1066741943359375, -0.10180473327636719, -0.09693527221679688, -0.09206581115722656, -0.08719635009765625, -0.08232688903808594, -0.07745742797851562, -0.07258796691894531, -0.067718505859375, -0.06284904479980469, -0.057979583740234375, -0.05311012268066406, -0.04824066162109375, -0.04337120056152344, -0.038501739501953125, -0.03363227844238281, -0.0287628173828125, -0.023893356323242188, -0.019023895263671875, -0.014154434204101562, -0.00928497314453125, -0.0044155120849609375, 0.000453948974609375, 0.0053234100341796875, 0.01019287109375, 0.015062332153320312, 0.019931793212890625, 0.024801254272460938, 0.02967071533203125, 0.03454017639160156, 0.039409637451171875, 0.04427909851074219, 0.0491485595703125, 0.05401802062988281, 0.058887481689453125, 0.06375694274902344, 0.06862640380859375, 0.07349586486816406, 0.07836532592773438, 0.08323478698730469, 0.088104248046875, 0.09297370910644531, 0.09784317016601562, 0.10271263122558594, 0.10758209228515625, 0.11245155334472656, 0.11732101440429688, 0.12219047546386719, 0.1270599365234375, 0.1319293975830078, 0.13679885864257812, 0.14166831970214844, 0.14653778076171875, 0.15140724182128906, 0.15627670288085938, 0.1611461639404297, 0.166015625]}, "gradients/decoder.transformer.h.12.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 2.0, 16.0, 11.0, 15.0, 32.0, 53.0, 79.0, 109.0, 124.0, 120.0, 144.0, 104.0, 72.0, 53.0, 35.0, 21.0, 13.0, 5.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.35386714339256287, -0.3440604507923126, -0.33425372838974, -0.32444703578948975, -0.3146403431892395, -0.30483365058898926, -0.295026957988739, -0.2852202355861664, -0.27541354298591614, -0.2656068503856659, -0.25580012798309326, -0.24599343538284302, -0.23618674278259277, -0.22638005018234253, -0.2165733426809311, -0.20676663517951965, -0.1969599425792694, -0.18715324997901917, -0.17734654247760773, -0.1675398349761963, -0.15773314237594604, -0.1479264497756958, -0.13811974227428436, -0.12831303477287292, -0.11850634217262268, -0.10869964212179184, -0.098892942070961, -0.08908624202013016, -0.07927954196929932, -0.06947284191846848, -0.059666141867637634, -0.04985944181680679, -0.04005277156829834, -0.0302460715174675, -0.020439371466636658, -0.010632671415805817, -0.0008259713649749756, 0.008980728685855865, 0.018787428736686707, 0.028594128787517548, 0.03840082883834839, 0.04820752888917923, 0.05801422894001007, 0.06782092899084091, 0.07762762904167175, 0.0874343290925026, 0.09724102914333344, 0.10704772919416428, 0.11685442924499512, 0.12666112184524536, 0.1364678293466568, 0.14627453684806824, 0.15608122944831848, 0.16588792204856873, 0.17569462954998016, 0.1855013370513916, 0.19530802965164185, 0.2051147222518921, 0.21492142975330353, 0.22472813725471497, 0.2345348298549652, 0.24434152245521545, 0.2541482448577881, 0.26395493745803833, 0.2737616300582886]}, "gradients/decoder.transformer.h.12.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 8.0, 9.0, 8.0, 14.0, 12.0, 7.0, 22.0, 13.0, 19.0, 30.0, 37.0, 40.0, 37.0, 42.0, 48.0, 45.0, 41.0, 40.0, 45.0, 50.0, 40.0, 35.0, 45.0, 40.0, 25.0, 31.0, 29.0, 31.0, 24.0, 20.0, 17.0, 18.0, 11.0, 11.0, 14.0, 14.0, 6.0, 3.0, 4.0, 4.0, 7.0, 2.0, 4.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.1601429581642151, -0.15528665482997894, -0.1504303514957428, -0.14557403326034546, -0.14071772992610931, -0.13586142659187317, -0.13100512325763702, -0.12614881992340088, -0.12129250913858414, -0.11643620580434799, -0.11157989501953125, -0.1067235916852951, -0.10186728835105896, -0.09701097756624222, -0.09215467423200607, -0.08729836344718933, -0.08244206011295319, -0.07758575677871704, -0.0727294459939003, -0.06787314265966415, -0.06301683187484741, -0.05816052854061127, -0.05330422520637512, -0.04844791814684868, -0.043591611087322235, -0.03873530402779579, -0.03387899696826935, -0.029022693634033203, -0.02416638657450676, -0.019310079514980316, -0.014453774318099022, -0.009597469121217728, -0.004741162061691284, 0.00011514406651258469, 0.0049714501947164536, 0.009827756322920322, 0.014684062451124191, 0.019540369510650635, 0.02439667470753193, 0.029252979904413223, 0.03410928696393967, 0.03896559402346611, 0.043821901082992554, 0.0486782044172287, 0.05353451147675514, 0.058390818536281586, 0.06324712187051773, 0.06810343265533447, 0.07295973598957062, 0.07781603932380676, 0.0826723501086235, 0.08752865344285965, 0.09238496422767639, 0.09724126756191254, 0.10209757089614868, 0.10695387423038483, 0.11181018501520157, 0.11666648834943771, 0.12152279913425446, 0.1263791024684906, 0.13123540580272675, 0.1360917091369629, 0.14094802737236023, 0.14580433070659637, 0.15066063404083252]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 3.0, 2.0, 12.0, 15.0, 10.0, 22.0, 26.0, 22.0, 21.0, 37.0, 37.0, 45.0, 39.0, 65.0, 55.0, 68.0, 63.0, 55.0, 70.0, 42.0, 55.0, 39.0, 39.0, 29.0, 28.0, 25.0, 17.0, 17.0, 18.0, 15.0, 9.0, 3.0, 4.0, 2.0, 0.0, 3.0, 0.0, 2.0], "bins": [-0.0340576171875, -0.03325390815734863, -0.032450199127197266, -0.0316464900970459, -0.03084278106689453, -0.030039072036743164, -0.029235363006591797, -0.02843165397644043, -0.027627944946289062, -0.026824235916137695, -0.026020526885986328, -0.02521681785583496, -0.024413108825683594, -0.023609399795532227, -0.02280569076538086, -0.022001981735229492, -0.021198272705078125, -0.020394563674926758, -0.01959085464477539, -0.018787145614624023, -0.017983436584472656, -0.01717972755432129, -0.016376018524169922, -0.015572309494018555, -0.014768600463867188, -0.01396489143371582, -0.013161182403564453, -0.012357473373413086, -0.011553764343261719, -0.010750055313110352, -0.009946346282958984, -0.009142637252807617, -0.00833892822265625, -0.007535219192504883, -0.006731510162353516, -0.0059278011322021484, -0.005124092102050781, -0.004320383071899414, -0.003516674041748047, -0.0027129650115966797, -0.0019092559814453125, -0.0011055469512939453, -0.0003018379211425781, 0.0005018711090087891, 0.0013055801391601562, 0.0021092891693115234, 0.0029129981994628906, 0.003716707229614258, 0.004520416259765625, 0.005324125289916992, 0.006127834320068359, 0.0069315433502197266, 0.007735252380371094, 0.008538961410522461, 0.009342670440673828, 0.010146379470825195, 0.010950088500976562, 0.01175379753112793, 0.012557506561279297, 0.013361215591430664, 0.014164924621582031, 0.014968633651733398, 0.015772342681884766, 0.016576051712036133, 0.0173797607421875]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 4.0, 2.0, 2.0, 13.0, 6.0, 9.0, 9.0, 20.0, 19.0, 19.0, 42.0, 85.0, 136.0, 267.0, 543.0, 1067.0, 2400.0, 4894.0, 10349.0, 21192.0, 44322.0, 107385.0, 431414.0, 268300.0, 84899.0, 36635.0, 17892.0, 8667.0, 4106.0, 1921.0, 904.0, 433.0, 225.0, 127.0, 95.0, 30.0, 42.0, 23.0, 18.0, 10.0, 9.0, 10.0, 6.0, 4.0, 10.0, 1.0, 2.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.00025081634521484375, -0.00024382583796977997, -0.0002368353307247162, -0.0002298448234796524, -0.00022285431623458862, -0.00021586380898952484, -0.00020887330174446106, -0.00020188279449939728, -0.0001948922872543335, -0.00018790178000926971, -0.00018091127276420593, -0.00017392076551914215, -0.00016693025827407837, -0.0001599397510290146, -0.0001529492437839508, -0.00014595873653888702, -0.00013896822929382324, -0.00013197772204875946, -0.00012498721480369568, -0.0001179967075586319, -0.00011100620031356812, -0.00010401569306850433, -9.702518582344055e-05, -9.003467857837677e-05, -8.304417133331299e-05, -7.60536640882492e-05, -6.906315684318542e-05, -6.207264959812164e-05, -5.508214235305786e-05, -4.809163510799408e-05, -4.11011278629303e-05, -3.4110620617866516e-05, -2.7120113372802734e-05, -2.0129606127738953e-05, -1.3139098882675171e-05, -6.148591637611389e-06, 8.419156074523926e-07, 7.832422852516174e-06, 1.4822930097579956e-05, 2.1813437342643738e-05, 2.880394458770752e-05, 3.57944518327713e-05, 4.278495907783508e-05, 4.9775466322898865e-05, 5.6765973567962646e-05, 6.375648081302643e-05, 7.074698805809021e-05, 7.773749530315399e-05, 8.472800254821777e-05, 9.171850979328156e-05, 9.870901703834534e-05, 0.00010569952428340912, 0.0001126900315284729, 0.00011968053877353668, 0.00012667104601860046, 0.00013366155326366425, 0.00014065206050872803, 0.0001476425677537918, 0.0001546330749988556, 0.00016162358224391937, 0.00016861408948898315, 0.00017560459673404694, 0.00018259510397911072, 0.0001895856112241745, 0.00019657611846923828]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 0.0, 1.0, 4.0, 7.0, 7.0, 4.0, 4.0, 9.0, 8.0, 13.0, 9.0, 15.0, 14.0, 21.0, 24.0, 30.0, 22.0, 20.0, 36.0, 36.0, 34.0, 41.0, 44.0, 42.0, 43.0, 1062.0, 38.0, 36.0, 44.0, 37.0, 46.0, 29.0, 34.0, 30.0, 20.0, 25.0, 20.0, 23.0, 22.0, 9.0, 16.0, 15.0, 8.0, 3.0, 10.0, 7.0, 2.0, 7.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.01971435546875, -0.01911020278930664, -0.01850605010986328, -0.017901897430419922, -0.017297744750976562, -0.016693592071533203, -0.016089439392089844, -0.015485286712646484, -0.014881134033203125, -0.014276981353759766, -0.013672828674316406, -0.013068675994873047, -0.012464523315429688, -0.011860370635986328, -0.011256217956542969, -0.01065206527709961, -0.01004791259765625, -0.00944375991821289, -0.008839607238769531, -0.008235454559326172, -0.0076313018798828125, -0.007027149200439453, -0.006422996520996094, -0.005818843841552734, -0.005214691162109375, -0.004610538482666016, -0.004006385803222656, -0.003402233123779297, -0.0027980804443359375, -0.002193927764892578, -0.0015897750854492188, -0.0009856224060058594, -0.0003814697265625, 0.00022268295288085938, 0.0008268356323242188, 0.0014309883117675781, 0.0020351409912109375, 0.002639293670654297, 0.0032434463500976562, 0.0038475990295410156, 0.004451751708984375, 0.005055904388427734, 0.005660057067871094, 0.006264209747314453, 0.0068683624267578125, 0.007472515106201172, 0.008076667785644531, 0.00868082046508789, 0.00928497314453125, 0.00988912582397461, 0.010493278503417969, 0.011097431182861328, 0.011701583862304688, 0.012305736541748047, 0.012909889221191406, 0.013514041900634766, 0.014118194580078125, 0.014722347259521484, 0.015326499938964844, 0.015930652618408203, 0.016534805297851562, 0.017138957977294922, 0.01774311065673828, 0.01834726333618164, 0.018951416015625]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 4.0, 2.0, 2.0, 5.0, 6.0, 9.0, 5.0, 12.0, 10.0, 14.0, 20.0, 18.0, 22.0, 26.0, 22.0, 24.0, 27.0, 48.0, 60.0, 147.0, 421.0, 1416.0, 6537.0, 2059011.0, 24942.0, 2913.0, 758.0, 270.0, 87.0, 43.0, 34.0, 31.0, 29.0, 24.0, 30.0, 13.0, 16.0, 13.0, 9.0, 17.0, 7.0, 12.0, 4.0, 3.0, 7.0, 7.0, 1.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.919269561767578e-05, -1.8588267266750336e-05, -1.798383891582489e-05, -1.7379410564899445e-05, -1.6774982213974e-05, -1.6170553863048553e-05, -1.5566125512123108e-05, -1.4961697161197662e-05, -1.4357268810272217e-05, -1.3752840459346771e-05, -1.3148412108421326e-05, -1.254398375749588e-05, -1.1939555406570435e-05, -1.1335127055644989e-05, -1.0730698704719543e-05, -1.0126270353794098e-05, -9.521842002868652e-06, -8.917413651943207e-06, -8.312985301017761e-06, -7.708556950092316e-06, -7.10412859916687e-06, -6.4997002482414246e-06, -5.895271897315979e-06, -5.2908435463905334e-06, -4.686415195465088e-06, -4.081986844539642e-06, -3.4775584936141968e-06, -2.8731301426887512e-06, -2.2687017917633057e-06, -1.6642734408378601e-06, -1.0598450899124146e-06, -4.55416738986969e-07, 1.4901161193847656e-07, 7.534399628639221e-07, 1.3578683137893677e-06, 1.9622966647148132e-06, 2.566725015640259e-06, 3.1711533665657043e-06, 3.77558171749115e-06, 4.3800100684165955e-06, 4.984438419342041e-06, 5.5888667702674866e-06, 6.193295121192932e-06, 6.797723472118378e-06, 7.402151823043823e-06, 8.006580173969269e-06, 8.611008524894714e-06, 9.21543687582016e-06, 9.819865226745605e-06, 1.0424293577671051e-05, 1.1028721928596497e-05, 1.1633150279521942e-05, 1.2237578630447388e-05, 1.2842006981372833e-05, 1.3446435332298279e-05, 1.4050863683223724e-05, 1.465529203414917e-05, 1.5259720385074615e-05, 1.586414873600006e-05, 1.6468577086925507e-05, 1.7073005437850952e-05, 1.7677433788776398e-05, 1.8281862139701843e-05, 1.888629049062729e-05, 1.9490718841552734e-05]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 3.0, 2.0, 12.0, 15.0, 10.0, 22.0, 26.0, 22.0, 21.0, 37.0, 37.0, 45.0, 39.0, 65.0, 55.0, 68.0, 63.0, 55.0, 70.0, 42.0, 55.0, 39.0, 39.0, 29.0, 28.0, 25.0, 17.0, 17.0, 18.0, 15.0, 9.0, 3.0, 4.0, 2.0, 0.0, 3.0, 0.0, 2.0], "bins": [-0.0340576171875, -0.03325390815734863, -0.032450199127197266, -0.0316464900970459, -0.03084278106689453, -0.030039072036743164, -0.029235363006591797, -0.02843165397644043, -0.027627944946289062, -0.026824235916137695, -0.026020526885986328, -0.02521681785583496, -0.024413108825683594, -0.023609399795532227, -0.02280569076538086, -0.022001981735229492, -0.021198272705078125, -0.020394563674926758, -0.01959085464477539, -0.018787145614624023, -0.017983436584472656, -0.01717972755432129, -0.016376018524169922, -0.015572309494018555, -0.014768600463867188, -0.01396489143371582, -0.013161182403564453, -0.012357473373413086, -0.011553764343261719, -0.010750055313110352, -0.009946346282958984, -0.009142637252807617, -0.00833892822265625, -0.007535219192504883, -0.006731510162353516, -0.0059278011322021484, -0.005124092102050781, -0.004320383071899414, -0.003516674041748047, -0.0027129650115966797, -0.0019092559814453125, -0.0011055469512939453, -0.0003018379211425781, 0.0005018711090087891, 0.0013055801391601562, 0.0021092891693115234, 0.0029129981994628906, 0.003716707229614258, 0.004520416259765625, 0.005324125289916992, 0.006127834320068359, 0.0069315433502197266, 0.007735252380371094, 0.008538961410522461, 0.009342670440673828, 0.010146379470825195, 0.010950088500976562, 0.01175379753112793, 0.012557506561279297, 0.013361215591430664, 0.014164924621582031, 0.014968633651733398, 0.015772342681884766, 0.016576051712036133, 0.0173797607421875]}, "gradients/decoder.transformer.h.12.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 5.0, 7.0, 15.0, 19.0, 46.0, 38.0, 80.0, 108.0, 196.0, 336.0, 565.0, 961.0, 1557.0, 2702.0, 4494.0, 7805.0, 14152.0, 27843.0, 59680.0, 134954.0, 329677.0, 255412.0, 107887.0, 48545.0, 22896.0, 12093.0, 6839.0, 3847.0, 2362.0, 1352.0, 856.0, 513.0, 301.0, 147.0, 103.0, 64.0, 34.0, 29.0, 17.0, 10.0, 7.0, 2.0, 2.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0308990478515625, -0.029929399490356445, -0.02895975112915039, -0.027990102767944336, -0.02702045440673828, -0.026050806045532227, -0.025081157684326172, -0.024111509323120117, -0.023141860961914062, -0.022172212600708008, -0.021202564239501953, -0.0202329158782959, -0.019263267517089844, -0.01829361915588379, -0.017323970794677734, -0.01635432243347168, -0.015384674072265625, -0.01441502571105957, -0.013445377349853516, -0.012475728988647461, -0.011506080627441406, -0.010536432266235352, -0.009566783905029297, -0.008597135543823242, -0.0076274871826171875, -0.006657838821411133, -0.005688190460205078, -0.0047185420989990234, -0.0037488937377929688, -0.002779245376586914, -0.0018095970153808594, -0.0008399486541748047, 0.00012969970703125, 0.0010993480682373047, 0.0020689964294433594, 0.003038644790649414, 0.004008293151855469, 0.0049779415130615234, 0.005947589874267578, 0.006917238235473633, 0.007886886596679688, 0.008856534957885742, 0.009826183319091797, 0.010795831680297852, 0.011765480041503906, 0.012735128402709961, 0.013704776763916016, 0.01467442512512207, 0.015644073486328125, 0.01661372184753418, 0.017583370208740234, 0.01855301856994629, 0.019522666931152344, 0.0204923152923584, 0.021461963653564453, 0.022431612014770508, 0.023401260375976562, 0.024370908737182617, 0.025340557098388672, 0.026310205459594727, 0.02727985382080078, 0.028249502182006836, 0.02921915054321289, 0.030188798904418945, 0.031158447265625]}, "gradients/decoder.transformer.h.12.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 5.0, 11.0, 4.0, 12.0, 18.0, 24.0, 20.0, 22.0, 32.0, 27.0, 32.0, 48.0, 35.0, 60.0, 84.0, 130.0, 233.0, 1441.0, 208.0, 146.0, 98.0, 64.0, 52.0, 45.0, 36.0, 24.0, 33.0, 24.0, 13.0, 14.0, 8.0, 12.0, 16.0, 7.0, 3.0, 1.0, 4.0, 3.0, 2.0, 4.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07891845703125, -0.07648563385009766, -0.07405281066894531, -0.07161998748779297, -0.06918716430664062, -0.06675434112548828, -0.06432151794433594, -0.061888694763183594, -0.05945587158203125, -0.057023048400878906, -0.05459022521972656, -0.05215740203857422, -0.049724578857421875, -0.04729175567626953, -0.04485893249511719, -0.042426109313964844, -0.0399932861328125, -0.037560462951660156, -0.03512763977050781, -0.03269481658935547, -0.030261993408203125, -0.02782917022705078, -0.025396347045898438, -0.022963523864746094, -0.02053070068359375, -0.018097877502441406, -0.015665054321289062, -0.013232231140136719, -0.010799407958984375, -0.008366584777832031, -0.0059337615966796875, -0.0035009384155273438, -0.001068115234375, 0.0013647079467773438, 0.0037975311279296875, 0.006230354309082031, 0.008663177490234375, 0.011096000671386719, 0.013528823852539062, 0.015961647033691406, 0.01839447021484375, 0.020827293395996094, 0.023260116577148438, 0.02569293975830078, 0.028125762939453125, 0.03055858612060547, 0.03299140930175781, 0.035424232482910156, 0.0378570556640625, 0.040289878845214844, 0.04272270202636719, 0.04515552520751953, 0.047588348388671875, 0.05002117156982422, 0.05245399475097656, 0.054886817932128906, 0.05731964111328125, 0.059752464294433594, 0.06218528747558594, 0.06461811065673828, 0.06705093383789062, 0.06948375701904297, 0.07191658020019531, 0.07434940338134766, 0.0767822265625]}, "gradients/decoder.transformer.h.12.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 5.0, 3.0, 4.0, 6.0, 16.0, 12.0, 15.0, 16.0, 38.0, 44.0, 70.0, 103.0, 168.0, 226.0, 414.0, 1139.0, 6914.0, 106824.0, 2827194.0, 190039.0, 9806.0, 1427.0, 466.0, 254.0, 158.0, 115.0, 62.0, 48.0, 38.0, 28.0, 12.0, 12.0, 10.0, 4.0, 8.0, 1.0, 7.0, 2.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.14208984375, -0.1372852325439453, -0.13248062133789062, -0.12767601013183594, -0.12287139892578125, -0.11806678771972656, -0.11326217651367188, -0.10845756530761719, -0.1036529541015625, -0.09884834289550781, -0.09404373168945312, -0.08923912048339844, -0.08443450927734375, -0.07962989807128906, -0.07482528686523438, -0.07002067565917969, -0.065216064453125, -0.06041145324707031, -0.055606842041015625, -0.05080223083496094, -0.04599761962890625, -0.04119300842285156, -0.036388397216796875, -0.03158378601074219, -0.0267791748046875, -0.021974563598632812, -0.017169952392578125, -0.012365341186523438, -0.00756072998046875, -0.0027561187744140625, 0.002048492431640625, 0.0068531036376953125, 0.01165771484375, 0.016462326049804688, 0.021266937255859375, 0.026071548461914062, 0.03087615966796875, 0.03568077087402344, 0.040485382080078125, 0.04528999328613281, 0.0500946044921875, 0.05489921569824219, 0.059703826904296875, 0.06450843811035156, 0.06931304931640625, 0.07411766052246094, 0.07892227172851562, 0.08372688293457031, 0.088531494140625, 0.09333610534667969, 0.09814071655273438, 0.10294532775878906, 0.10774993896484375, 0.11255455017089844, 0.11735916137695312, 0.12216377258300781, 0.1269683837890625, 0.1317729949951172, 0.13657760620117188, 0.14138221740722656, 0.14618682861328125, 0.15099143981933594, 0.15579605102539062, 0.1606006622314453, 0.1654052734375]}, "gradients/decoder.transformer.h.12.ln_1.weight": {"_type": "histogram", "values": [3.0, 55.0, 669.0, 288.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12999048829078674, -0.08326554298400879, -0.03654059022665024, 0.010184362530708313, 0.05690930783748627, 0.10363425314426422, 0.15035921335220337, 0.19708415865898132, 0.24380910396575928, 0.29053404927253723, 0.3372589945793152, 0.3839839696884155, 0.4307088851928711, 0.47743386030197144, 0.5241588354110718, 0.5708837509155273, 0.6176086664199829, 0.6643336415290833, 0.7110585570335388, 0.7577835321426392, 0.8045084476470947, 0.8512334227561951, 0.8979583978652954, 0.944683313369751, 0.9914082884788513, 1.0381332635879517, 1.0848581790924072, 1.1315830945968628, 1.178308129310608, 1.2250330448150635, 1.271757960319519, 1.3184828758239746, 1.3652077913284302, 1.4119327068328857, 1.4586577415466309, 1.5053826570510864, 1.552107572555542, 1.5988324880599976, 1.6455575227737427, 1.6922824382781982, 1.7390073537826538, 1.7857322692871094, 1.8324573040008545, 1.87918221950531, 1.9259071350097656, 1.9726320505142212, 2.0193569660186768, 2.066082000732422, 2.112807035446167, 2.159532070159912, 2.206256866455078, 2.2529819011688232, 2.2997069358825684, 2.3464317321777344, 2.3931567668914795, 2.4398818016052246, 2.4866065979003906, 2.5333316326141357, 2.5800564289093018, 2.626781463623047, 2.673506498336792, 2.720231294631958, 2.766956329345703, 2.813681125640869, 2.8604061603546143]}, "gradients/decoder.transformer.h.12.ln_1.bias": {"_type": "histogram", "values": [4.0, 1.0, 3.0, 2.0, 2.0, 4.0, 0.0, 4.0, 3.0, 3.0, 8.0, 13.0, 7.0, 16.0, 15.0, 21.0, 15.0, 18.0, 13.0, 25.0, 31.0, 30.0, 32.0, 39.0, 34.0, 32.0, 32.0, 39.0, 35.0, 42.0, 41.0, 44.0, 33.0, 49.0, 34.0, 29.0, 32.0, 29.0, 26.0, 23.0, 20.0, 14.0, 26.0, 17.0, 14.0, 14.0, 7.0, 10.0, 4.0, 4.0, 6.0, 4.0, 4.0, 4.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.17798763513565063, -0.17212708294391632, -0.1662665456533432, -0.1604059934616089, -0.15454545617103577, -0.14868490397930145, -0.14282435178756714, -0.13696381449699402, -0.1311032772064209, -0.12524272501468658, -0.11938218772411346, -0.11352163553237915, -0.10766109824180603, -0.10180054605007172, -0.095940001308918, -0.09007945656776428, -0.08421890437602997, -0.07835835963487625, -0.07249781489372253, -0.06663726270198822, -0.0607767216861248, -0.054916176944971085, -0.04905562847852707, -0.04319508373737335, -0.037334538996219635, -0.03147399425506592, -0.02561344765126705, -0.019752901047468185, -0.013892356306314468, -0.008031811565160751, -0.002171263098716736, 0.003689281642436981, 0.009549826383590698, 0.01541037205606699, 0.02127091772854328, 0.027131464332342148, 0.032992009073495865, 0.03885255381464958, 0.0447131022810936, 0.050573647022247314, 0.05643419176340103, 0.06229473650455475, 0.06815528124570847, 0.07401582598686218, 0.0798763781785965, 0.08573691546916962, 0.09159746766090393, 0.09745801240205765, 0.10331855714321136, 0.10917910188436508, 0.1150396466255188, 0.12090019881725311, 0.12676073610782623, 0.13262128829956055, 0.13848182559013367, 0.14434237778186798, 0.1502029299736023, 0.1560634821653366, 0.16192401945590973, 0.16778457164764404, 0.17364510893821716, 0.17950566112995148, 0.1853662133216858, 0.1912267506122589, 0.19708728790283203]}, "gradients/decoder.transformer.h.11.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 6.0, 8.0, 12.0, 17.0, 18.0, 15.0, 18.0, 25.0, 32.0, 36.0, 37.0, 35.0, 56.0, 51.0, 60.0, 51.0, 71.0, 67.0, 46.0, 47.0, 61.0, 37.0, 30.0, 38.0, 25.0, 20.0, 18.0, 17.0, 20.0, 12.0, 9.0, 7.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0], "bins": [-0.03375244140625, -0.032952308654785156, -0.03215217590332031, -0.03135204315185547, -0.030551910400390625, -0.02975177764892578, -0.028951644897460938, -0.028151512145996094, -0.02735137939453125, -0.026551246643066406, -0.025751113891601562, -0.02495098114013672, -0.024150848388671875, -0.02335071563720703, -0.022550582885742188, -0.021750450134277344, -0.0209503173828125, -0.020150184631347656, -0.019350051879882812, -0.01854991912841797, -0.017749786376953125, -0.01694965362548828, -0.016149520874023438, -0.015349388122558594, -0.01454925537109375, -0.013749122619628906, -0.012948989868164062, -0.012148857116699219, -0.011348724365234375, -0.010548591613769531, -0.009748458862304688, -0.008948326110839844, -0.008148193359375, -0.007348060607910156, -0.0065479278564453125, -0.005747795104980469, -0.004947662353515625, -0.004147529602050781, -0.0033473968505859375, -0.0025472640991210938, -0.00174713134765625, -0.0009469985961914062, -0.0001468658447265625, 0.0006532669067382812, 0.001453399658203125, 0.0022535324096679688, 0.0030536651611328125, 0.0038537979125976562, 0.0046539306640625, 0.005454063415527344, 0.0062541961669921875, 0.007054328918457031, 0.007854461669921875, 0.008654594421386719, 0.009454727172851562, 0.010254859924316406, 0.01105499267578125, 0.011855125427246094, 0.012655258178710938, 0.013455390930175781, 0.014255523681640625, 0.015055656433105469, 0.015855789184570312, 0.016655921936035156, 0.0174560546875]}, "gradients/decoder.transformer.h.11.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 4.0, 2.0, 2.0, 4.0, 5.0, 5.0, 6.0, 11.0, 15.0, 30.0, 31.0, 33.0, 88.0, 94.0, 185.0, 306.0, 513.0, 953.0, 2039.0, 4192.0, 9323.0, 22266.0, 58582.0, 183809.0, 732701.0, 2023362.0, 839801.0, 206932.0, 65399.0, 24410.0, 10103.0, 4488.0, 2115.0, 1092.0, 599.0, 292.0, 194.0, 100.0, 64.0, 49.0, 29.0, 19.0, 16.0, 8.0, 8.0, 7.0, 2.0, 3.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.03912353515625, -0.03799104690551758, -0.036858558654785156, -0.035726070404052734, -0.03459358215332031, -0.03346109390258789, -0.03232860565185547, -0.031196117401123047, -0.030063629150390625, -0.028931140899658203, -0.02779865264892578, -0.02666616439819336, -0.025533676147460938, -0.024401187896728516, -0.023268699645996094, -0.022136211395263672, -0.02100372314453125, -0.019871234893798828, -0.018738746643066406, -0.017606258392333984, -0.016473770141601562, -0.01534128189086914, -0.014208793640136719, -0.013076305389404297, -0.011943817138671875, -0.010811328887939453, -0.009678840637207031, -0.00854635238647461, -0.0074138641357421875, -0.006281375885009766, -0.005148887634277344, -0.004016399383544922, -0.0028839111328125, -0.0017514228820800781, -0.0006189346313476562, 0.0005135536193847656, 0.0016460418701171875, 0.0027785301208496094, 0.003911018371582031, 0.005043506622314453, 0.006175994873046875, 0.007308483123779297, 0.008440971374511719, 0.00957345962524414, 0.010705947875976562, 0.011838436126708984, 0.012970924377441406, 0.014103412628173828, 0.01523590087890625, 0.016368389129638672, 0.017500877380371094, 0.018633365631103516, 0.019765853881835938, 0.02089834213256836, 0.02203083038330078, 0.023163318634033203, 0.024295806884765625, 0.025428295135498047, 0.02656078338623047, 0.02769327163696289, 0.028825759887695312, 0.029958248138427734, 0.031090736389160156, 0.03222322463989258, 0.033355712890625]}, "gradients/decoder.transformer.h.11.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 5.0, 2.0, 5.0, 3.0, 8.0, 11.0, 18.0, 23.0, 19.0, 28.0, 32.0, 57.0, 77.0, 105.0, 126.0, 173.0, 248.0, 314.0, 426.0, 478.0, 442.0, 323.0, 277.0, 207.0, 147.0, 138.0, 96.0, 63.0, 59.0, 40.0, 40.0, 24.0, 19.0, 10.0, 8.0, 4.0, 7.0, 6.0, 4.0, 1.0, 0.0, 0.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.044586181640625, -0.04333686828613281, -0.042087554931640625, -0.04083824157714844, -0.03958892822265625, -0.03833961486816406, -0.037090301513671875, -0.03584098815917969, -0.0345916748046875, -0.03334236145019531, -0.032093048095703125, -0.030843734741210938, -0.02959442138671875, -0.028345108032226562, -0.027095794677734375, -0.025846481323242188, -0.02459716796875, -0.023347854614257812, -0.022098541259765625, -0.020849227905273438, -0.01959991455078125, -0.018350601196289062, -0.017101287841796875, -0.015851974487304688, -0.0146026611328125, -0.013353347778320312, -0.012104034423828125, -0.010854721069335938, -0.00960540771484375, -0.008356094360351562, -0.007106781005859375, -0.0058574676513671875, -0.004608154296875, -0.0033588409423828125, -0.002109527587890625, -0.0008602142333984375, 0.00038909912109375, 0.0016384124755859375, 0.002887725830078125, 0.0041370391845703125, 0.0053863525390625, 0.0066356658935546875, 0.007884979248046875, 0.009134292602539062, 0.01038360595703125, 0.011632919311523438, 0.012882232666015625, 0.014131546020507812, 0.015380859375, 0.016630172729492188, 0.017879486083984375, 0.019128799438476562, 0.02037811279296875, 0.021627426147460938, 0.022876739501953125, 0.024126052856445312, 0.0253753662109375, 0.026624679565429688, 0.027873992919921875, 0.029123306274414062, 0.03037261962890625, 0.03162193298339844, 0.032871246337890625, 0.03412055969238281, 0.035369873046875]}, "gradients/decoder.transformer.h.11.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 1.0, 8.0, 3.0, 6.0, 7.0, 15.0, 22.0, 30.0, 39.0, 52.0, 59.0, 87.0, 134.0, 211.0, 300.0, 674.0, 3345.0, 63889.0, 3385320.0, 723198.0, 14215.0, 1501.0, 415.0, 259.0, 152.0, 89.0, 72.0, 47.0, 28.0, 25.0, 22.0, 12.0, 13.0, 11.0, 7.0, 4.0, 5.0, 0.0, 1.0, 3.0, 0.0, 3.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1663818359375, -0.1607952117919922, -0.15520858764648438, -0.14962196350097656, -0.14403533935546875, -0.13844871520996094, -0.13286209106445312, -0.1272754669189453, -0.1216888427734375, -0.11610221862792969, -0.11051559448242188, -0.10492897033691406, -0.09934234619140625, -0.09375572204589844, -0.08816909790039062, -0.08258247375488281, -0.076995849609375, -0.07140922546386719, -0.06582260131835938, -0.06023597717285156, -0.05464935302734375, -0.04906272888183594, -0.043476104736328125, -0.03788948059082031, -0.0323028564453125, -0.026716232299804688, -0.021129608154296875, -0.015542984008789062, -0.00995635986328125, -0.0043697357177734375, 0.001216888427734375, 0.0068035125732421875, 0.01239013671875, 0.017976760864257812, 0.023563385009765625, 0.029150009155273438, 0.03473663330078125, 0.04032325744628906, 0.045909881591796875, 0.05149650573730469, 0.0570831298828125, 0.06266975402832031, 0.06825637817382812, 0.07384300231933594, 0.07942962646484375, 0.08501625061035156, 0.09060287475585938, 0.09618949890136719, 0.101776123046875, 0.10736274719238281, 0.11294937133789062, 0.11853599548339844, 0.12412261962890625, 0.12970924377441406, 0.13529586791992188, 0.1408824920654297, 0.1464691162109375, 0.1520557403564453, 0.15764236450195312, 0.16322898864746094, 0.16881561279296875, 0.17440223693847656, 0.17998886108398438, 0.1855754852294922, 0.191162109375]}, "gradients/decoder.transformer.h.11.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 10.0, 17.0, 23.0, 41.0, 55.0, 75.0, 98.0, 102.0, 108.0, 111.0, 104.0, 81.0, 71.0, 46.0, 25.0, 15.0, 17.0, 6.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.25585487484931946, -0.24724194407463074, -0.23862899839878082, -0.2300160527229309, -0.2214031219482422, -0.21279019117355347, -0.20417724549770355, -0.19556429982185364, -0.18695136904716492, -0.1783384382724762, -0.16972549259662628, -0.16111254692077637, -0.15249961614608765, -0.14388668537139893, -0.135273739695549, -0.1266607940196991, -0.11804786324501038, -0.10943492501974106, -0.10082198679447174, -0.09220904856920242, -0.0835961103439331, -0.07498317211866379, -0.06637023389339447, -0.05775729566812515, -0.049144357442855835, -0.04053141921758652, -0.0319184809923172, -0.023305542767047882, -0.014692604541778564, -0.006079666316509247, 0.002533271908760071, 0.011146210134029388, 0.019759178161621094, 0.02837211638689041, 0.03698505461215973, 0.04559799283742905, 0.054210931062698364, 0.06282386928796768, 0.071436807513237, 0.08004974573850632, 0.08866268396377563, 0.09727562218904495, 0.10588856041431427, 0.11450149863958359, 0.1231144368648529, 0.13172736763954163, 0.14034031331539154, 0.14895325899124146, 0.15756618976593018, 0.1661791205406189, 0.1747920662164688, 0.18340501189231873, 0.19201794266700745, 0.20063087344169617, 0.20924381911754608, 0.217856764793396, 0.22646969556808472, 0.23508262634277344, 0.24369557201862335, 0.25230851769447327, 0.260921448469162, 0.2695343792438507, 0.2781473398208618, 0.28676027059555054, 0.29537320137023926]}, "gradients/decoder.transformer.h.11.ln_2.bias": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 4.0, 2.0, 2.0, 2.0, 4.0, 5.0, 2.0, 2.0, 6.0, 9.0, 9.0, 10.0, 16.0, 13.0, 17.0, 21.0, 18.0, 32.0, 22.0, 27.0, 25.0, 37.0, 28.0, 27.0, 36.0, 37.0, 39.0, 45.0, 47.0, 41.0, 39.0, 42.0, 40.0, 37.0, 35.0, 32.0, 28.0, 30.0, 18.0, 18.0, 16.0, 16.0, 14.0, 8.0, 5.0, 10.0, 7.0, 4.0, 4.0, 6.0, 5.0, 6.0, 4.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.13008034229278564, -0.1259250044822693, -0.12176968157291412, -0.11761435121297836, -0.1134590208530426, -0.10930368304252625, -0.10514835268259048, -0.10099302232265472, -0.09683769196271896, -0.0926823616027832, -0.08852703124284744, -0.08437170088291168, -0.08021636307239532, -0.07606104016304016, -0.0719057023525238, -0.06775037199258804, -0.06359504163265228, -0.05943971127271652, -0.05528438091278076, -0.0511290468275547, -0.04697371646761894, -0.04281838610768318, -0.03866305202245712, -0.03450772166252136, -0.030352391302585602, -0.02619706094264984, -0.02204172872006893, -0.017886396497488022, -0.013731066137552261, -0.0095757357776165, -0.005420403555035591, -0.0012650713324546814, 0.002890259027481079, 0.007045590318739414, 0.01120092160999775, 0.015356252901256084, 0.01951158419251442, 0.02366691455245018, 0.02782224677503109, 0.031977578997612, 0.03613290935754776, 0.04028823971748352, 0.04444357007741928, 0.04859890416264534, 0.0527542345225811, 0.05690956488251686, 0.06106489896774292, 0.06522022932767868, 0.06937555968761444, 0.0735308900475502, 0.07768622040748596, 0.08184155076742172, 0.08599688112735748, 0.09015221893787384, 0.0943075492978096, 0.09846287965774536, 0.10261821001768112, 0.10677354037761688, 0.11092887073755264, 0.1150842010974884, 0.11923953890800476, 0.12339486181735992, 0.12755019962787628, 0.13170552253723145, 0.1358608603477478]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 8.0, 5.0, 9.0, 12.0, 17.0, 9.0, 26.0, 27.0, 27.0, 31.0, 26.0, 34.0, 42.0, 56.0, 55.0, 60.0, 55.0, 71.0, 49.0, 45.0, 55.0, 37.0, 37.0, 42.0, 34.0, 21.0, 28.0, 20.0, 15.0, 20.0, 9.0, 7.0, 9.0, 3.0, 2.0, 0.0, 3.0, 0.0, 4.0], "bins": [-0.03265380859375, -0.03187394142150879, -0.031094074249267578, -0.030314207077026367, -0.029534339904785156, -0.028754472732543945, -0.027974605560302734, -0.027194738388061523, -0.026414871215820312, -0.0256350040435791, -0.02485513687133789, -0.02407526969909668, -0.02329540252685547, -0.022515535354614258, -0.021735668182373047, -0.020955801010131836, -0.020175933837890625, -0.019396066665649414, -0.018616199493408203, -0.017836332321166992, -0.01705646514892578, -0.01627659797668457, -0.01549673080444336, -0.014716863632202148, -0.013936996459960938, -0.013157129287719727, -0.012377262115478516, -0.011597394943237305, -0.010817527770996094, -0.010037660598754883, -0.009257793426513672, -0.008477926254272461, -0.00769805908203125, -0.006918191909790039, -0.006138324737548828, -0.005358457565307617, -0.004578590393066406, -0.0037987232208251953, -0.0030188560485839844, -0.0022389888763427734, -0.0014591217041015625, -0.0006792545318603516, 0.00010061264038085938, 0.0008804798126220703, 0.0016603469848632812, 0.002440214157104492, 0.003220081329345703, 0.003999948501586914, 0.004779815673828125, 0.005559682846069336, 0.006339550018310547, 0.007119417190551758, 0.007899284362792969, 0.00867915153503418, 0.00945901870727539, 0.010238885879516602, 0.011018753051757812, 0.011798620223999023, 0.012578487396240234, 0.013358354568481445, 0.014138221740722656, 0.014918088912963867, 0.015697956085205078, 0.01647782325744629, 0.0172576904296875]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 6.0, 5.0, 6.0, 12.0, 7.0, 12.0, 17.0, 13.0, 40.0, 43.0, 102.0, 139.0, 245.0, 432.0, 817.0, 1587.0, 2938.0, 5505.0, 10435.0, 20237.0, 39851.0, 87120.0, 244393.0, 416284.0, 114977.0, 50751.0, 25172.0, 12875.0, 6825.0, 3545.0, 1922.0, 1002.0, 527.0, 292.0, 168.0, 97.0, 55.0, 32.0, 28.0, 10.0, 10.0, 5.0, 5.0, 7.0, 5.0, 3.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001856088638305664, -0.0001796521246433258, -0.0001736953854560852, -0.0001677386462688446, -0.000161781907081604, -0.0001558251678943634, -0.0001498684287071228, -0.0001439116895198822, -0.0001379549503326416, -0.000131998211145401, -0.0001260414719581604, -0.0001200847327709198, -0.0001141279935836792, -0.0001081712543964386, -0.000102214515209198, -9.62577760219574e-05, -9.03010368347168e-05, -8.43442976474762e-05, -7.83875584602356e-05, -7.2430819272995e-05, -6.64740800857544e-05, -6.0517340898513794e-05, -5.456060171127319e-05, -4.860386252403259e-05, -4.264712333679199e-05, -3.669038414955139e-05, -3.073364496231079e-05, -2.477690577507019e-05, -1.882016658782959e-05, -1.286342740058899e-05, -6.906688213348389e-06, -9.499490261077881e-07, 5.0067901611328125e-06, 1.0963529348373413e-05, 1.6920268535614014e-05, 2.2877007722854614e-05, 2.8833746910095215e-05, 3.4790486097335815e-05, 4.0747225284576416e-05, 4.6703964471817017e-05, 5.266070365905762e-05, 5.861744284629822e-05, 6.457418203353882e-05, 7.053092122077942e-05, 7.648766040802002e-05, 8.244439959526062e-05, 8.840113878250122e-05, 9.435787796974182e-05, 0.00010031461715698242, 0.00010627135634422302, 0.00011222809553146362, 0.00011818483471870422, 0.00012414157390594482, 0.00013009831309318542, 0.00013605505228042603, 0.00014201179146766663, 0.00014796853065490723, 0.00015392526984214783, 0.00015988200902938843, 0.00016583874821662903, 0.00017179548740386963, 0.00017775222659111023, 0.00018370896577835083, 0.00018966570496559143, 0.00019562244415283203]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 0.0, 3.0, 2.0, 6.0, 3.0, 12.0, 5.0, 9.0, 16.0, 20.0, 22.0, 15.0, 22.0, 31.0, 31.0, 32.0, 42.0, 32.0, 40.0, 43.0, 40.0, 34.0, 30.0, 1072.0, 44.0, 45.0, 50.0, 34.0, 44.0, 29.0, 27.0, 22.0, 27.0, 26.0, 22.0, 14.0, 14.0, 12.0, 14.0, 5.0, 10.0, 6.0, 7.0, 3.0, 8.0, 3.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0208282470703125, -0.020177841186523438, -0.019527435302734375, -0.018877029418945312, -0.01822662353515625, -0.017576217651367188, -0.016925811767578125, -0.016275405883789062, -0.015625, -0.014974594116210938, -0.014324188232421875, -0.013673782348632812, -0.01302337646484375, -0.012372970581054688, -0.011722564697265625, -0.011072158813476562, -0.0104217529296875, -0.009771347045898438, -0.009120941162109375, -0.008470535278320312, -0.00782012939453125, -0.0071697235107421875, -0.006519317626953125, -0.0058689117431640625, -0.005218505859375, -0.0045680999755859375, -0.003917694091796875, -0.0032672882080078125, -0.00261688232421875, -0.0019664764404296875, -0.001316070556640625, -0.0006656646728515625, -1.52587890625e-05, 0.0006351470947265625, 0.001285552978515625, 0.0019359588623046875, 0.00258636474609375, 0.0032367706298828125, 0.003887176513671875, 0.0045375823974609375, 0.00518798828125, 0.0058383941650390625, 0.006488800048828125, 0.0071392059326171875, 0.00778961181640625, 0.008440017700195312, 0.009090423583984375, 0.009740829467773438, 0.0103912353515625, 0.011041641235351562, 0.011692047119140625, 0.012342453002929688, 0.01299285888671875, 0.013643264770507812, 0.014293670654296875, 0.014944076538085938, 0.015594482421875, 0.016244888305664062, 0.016895294189453125, 0.017545700073242188, 0.01819610595703125, 0.018846511840820312, 0.019496917724609375, 0.020147323608398438, 0.0207977294921875]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 2.0, 6.0, 9.0, 5.0, 6.0, 6.0, 11.0, 7.0, 16.0, 14.0, 16.0, 24.0, 27.0, 21.0, 27.0, 33.0, 35.0, 51.0, 108.0, 263.0, 1073.0, 3944.0, 1969978.0, 115765.0, 4125.0, 868.0, 253.0, 116.0, 55.0, 36.0, 38.0, 28.0, 26.0, 30.0, 15.0, 19.0, 15.0, 14.0, 16.0, 7.0, 11.0, 4.0, 5.0, 1.0, 3.0, 4.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9550323486328125e-05, -1.891888678073883e-05, -1.8287450075149536e-05, -1.7656013369560242e-05, -1.7024576663970947e-05, -1.6393139958381653e-05, -1.576170325279236e-05, -1.5130266547203064e-05, -1.449882984161377e-05, -1.3867393136024475e-05, -1.323595643043518e-05, -1.2604519724845886e-05, -1.1973083019256592e-05, -1.1341646313667297e-05, -1.0710209608078003e-05, -1.0078772902488708e-05, -9.447336196899414e-06, -8.81589949131012e-06, -8.184462785720825e-06, -7.553026080131531e-06, -6.921589374542236e-06, -6.290152668952942e-06, -5.6587159633636475e-06, -5.027279257774353e-06, -4.395842552185059e-06, -3.764405846595764e-06, -3.1329691410064697e-06, -2.5015324354171753e-06, -1.8700957298278809e-06, -1.2386590242385864e-06, -6.07222318649292e-07, 2.421438694000244e-08, 6.556510925292969e-07, 1.2870877981185913e-06, 1.9185245037078857e-06, 2.54996120929718e-06, 3.1813979148864746e-06, 3.812834620475769e-06, 4.4442713260650635e-06, 5.075708031654358e-06, 5.707144737243652e-06, 6.338581442832947e-06, 6.970018148422241e-06, 7.601454854011536e-06, 8.23289155960083e-06, 8.864328265190125e-06, 9.495764970779419e-06, 1.0127201676368713e-05, 1.0758638381958008e-05, 1.1390075087547302e-05, 1.2021511793136597e-05, 1.2652948498725891e-05, 1.3284385204315186e-05, 1.391582190990448e-05, 1.4547258615493774e-05, 1.5178695321083069e-05, 1.5810132026672363e-05, 1.6441568732261658e-05, 1.7073005437850952e-05, 1.7704442143440247e-05, 1.833587884902954e-05, 1.8967315554618835e-05, 1.959875226020813e-05, 2.0230188965797424e-05, 2.086162567138672e-05]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 8.0, 5.0, 9.0, 12.0, 17.0, 9.0, 26.0, 27.0, 27.0, 31.0, 26.0, 34.0, 42.0, 56.0, 55.0, 60.0, 55.0, 71.0, 49.0, 45.0, 55.0, 37.0, 37.0, 42.0, 34.0, 21.0, 28.0, 20.0, 15.0, 20.0, 9.0, 7.0, 9.0, 3.0, 2.0, 0.0, 3.0, 0.0, 4.0], "bins": [-0.03265380859375, -0.03187394142150879, -0.031094074249267578, -0.030314207077026367, -0.029534339904785156, -0.028754472732543945, -0.027974605560302734, -0.027194738388061523, -0.026414871215820312, -0.0256350040435791, -0.02485513687133789, -0.02407526969909668, -0.02329540252685547, -0.022515535354614258, -0.021735668182373047, -0.020955801010131836, -0.020175933837890625, -0.019396066665649414, -0.018616199493408203, -0.017836332321166992, -0.01705646514892578, -0.01627659797668457, -0.01549673080444336, -0.014716863632202148, -0.013936996459960938, -0.013157129287719727, -0.012377262115478516, -0.011597394943237305, -0.010817527770996094, -0.010037660598754883, -0.009257793426513672, -0.008477926254272461, -0.00769805908203125, -0.006918191909790039, -0.006138324737548828, -0.005358457565307617, -0.004578590393066406, -0.0037987232208251953, -0.0030188560485839844, -0.0022389888763427734, -0.0014591217041015625, -0.0006792545318603516, 0.00010061264038085938, 0.0008804798126220703, 0.0016603469848632812, 0.002440214157104492, 0.003220081329345703, 0.003999948501586914, 0.004779815673828125, 0.005559682846069336, 0.006339550018310547, 0.007119417190551758, 0.007899284362792969, 0.00867915153503418, 0.00945901870727539, 0.010238885879516602, 0.011018753051757812, 0.011798620223999023, 0.012578487396240234, 0.013358354568481445, 0.014138221740722656, 0.014918088912963867, 0.015697956085205078, 0.01647782325744629, 0.0172576904296875]}, "gradients/decoder.transformer.h.11.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 4.0, 4.0, 6.0, 7.0, 11.0, 12.0, 23.0, 34.0, 60.0, 97.0, 155.0, 192.0, 278.0, 451.0, 696.0, 1026.0, 1640.0, 2441.0, 3982.0, 6404.0, 10313.0, 16213.0, 26436.0, 43173.0, 73784.0, 140527.0, 373612.0, 151231.0, 76934.0, 45297.0, 27649.0, 17019.0, 10463.0, 6712.0, 4185.0, 2589.0, 1734.0, 1088.0, 728.0, 467.0, 305.0, 186.0, 128.0, 107.0, 55.0, 37.0, 23.0, 17.0, 16.0, 7.0, 4.0, 2.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0292816162109375, -0.028381824493408203, -0.027482032775878906, -0.02658224105834961, -0.025682449340820312, -0.024782657623291016, -0.02388286590576172, -0.022983074188232422, -0.022083282470703125, -0.021183490753173828, -0.02028369903564453, -0.019383907318115234, -0.018484115600585938, -0.01758432388305664, -0.016684532165527344, -0.015784740447998047, -0.01488494873046875, -0.013985157012939453, -0.013085365295410156, -0.01218557357788086, -0.011285781860351562, -0.010385990142822266, -0.009486198425292969, -0.008586406707763672, -0.007686614990234375, -0.006786823272705078, -0.005887031555175781, -0.004987239837646484, -0.0040874481201171875, -0.0031876564025878906, -0.0022878646850585938, -0.0013880729675292969, -0.00048828125, 0.0004115104675292969, 0.0013113021850585938, 0.0022110939025878906, 0.0031108856201171875, 0.004010677337646484, 0.004910469055175781, 0.005810260772705078, 0.006710052490234375, 0.007609844207763672, 0.008509635925292969, 0.009409427642822266, 0.010309219360351562, 0.01120901107788086, 0.012108802795410156, 0.013008594512939453, 0.01390838623046875, 0.014808177947998047, 0.015707969665527344, 0.01660776138305664, 0.017507553100585938, 0.018407344818115234, 0.01930713653564453, 0.020206928253173828, 0.021106719970703125, 0.022006511688232422, 0.02290630340576172, 0.023806095123291016, 0.024705886840820312, 0.02560567855834961, 0.026505470275878906, 0.027405261993408203, 0.0283050537109375]}, "gradients/decoder.transformer.h.11.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 4.0, 3.0, 2.0, 3.0, 5.0, 6.0, 5.0, 7.0, 12.0, 18.0, 12.0, 17.0, 19.0, 25.0, 33.0, 40.0, 36.0, 38.0, 59.0, 60.0, 93.0, 179.0, 1400.0, 282.0, 165.0, 112.0, 52.0, 54.0, 39.0, 31.0, 40.0, 32.0, 29.0, 23.0, 29.0, 15.0, 21.0, 11.0, 10.0, 13.0, 6.0, 5.0, 3.0, 2.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.07110595703125, -0.06894302368164062, -0.06678009033203125, -0.06461715698242188, -0.0624542236328125, -0.060291290283203125, -0.05812835693359375, -0.055965423583984375, -0.053802490234375, -0.051639556884765625, -0.04947662353515625, -0.047313690185546875, -0.0451507568359375, -0.042987823486328125, -0.04082489013671875, -0.038661956787109375, -0.0364990234375, -0.034336090087890625, -0.03217315673828125, -0.030010223388671875, -0.0278472900390625, -0.025684356689453125, -0.02352142333984375, -0.021358489990234375, -0.019195556640625, -0.017032623291015625, -0.01486968994140625, -0.012706756591796875, -0.0105438232421875, -0.008380889892578125, -0.00621795654296875, -0.004055023193359375, -0.00189208984375, 0.000270843505859375, 0.00243377685546875, 0.004596710205078125, 0.0067596435546875, 0.008922576904296875, 0.01108551025390625, 0.013248443603515625, 0.015411376953125, 0.017574310302734375, 0.01973724365234375, 0.021900177001953125, 0.0240631103515625, 0.026226043701171875, 0.02838897705078125, 0.030551910400390625, 0.03271484375, 0.034877777099609375, 0.03704071044921875, 0.039203643798828125, 0.0413665771484375, 0.043529510498046875, 0.04569244384765625, 0.047855377197265625, 0.050018310546875, 0.052181243896484375, 0.05434417724609375, 0.056507110595703125, 0.0586700439453125, 0.060832977294921875, 0.06299591064453125, 0.06515884399414062, 0.06732177734375]}, "gradients/decoder.transformer.h.11.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 3.0, 0.0, 3.0, 7.0, 11.0, 11.0, 16.0, 19.0, 27.0, 17.0, 44.0, 54.0, 51.0, 92.0, 118.0, 168.0, 209.0, 340.0, 1055.0, 5369.0, 51545.0, 1940615.0, 1100658.0, 38939.0, 4439.0, 857.0, 304.0, 205.0, 126.0, 106.0, 72.0, 54.0, 52.0, 30.0, 26.0, 14.0, 15.0, 13.0, 6.0, 6.0, 5.0, 0.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.121826171875, -0.117889404296875, -0.11395263671875, -0.110015869140625, -0.1060791015625, -0.102142333984375, -0.09820556640625, -0.094268798828125, -0.09033203125, -0.086395263671875, -0.08245849609375, -0.078521728515625, -0.0745849609375, -0.070648193359375, -0.06671142578125, -0.062774658203125, -0.058837890625, -0.054901123046875, -0.05096435546875, -0.047027587890625, -0.0430908203125, -0.039154052734375, -0.03521728515625, -0.031280517578125, -0.02734375, -0.023406982421875, -0.01947021484375, -0.015533447265625, -0.0115966796875, -0.007659912109375, -0.00372314453125, 0.000213623046875, 0.004150390625, 0.008087158203125, 0.01202392578125, 0.015960693359375, 0.0198974609375, 0.023834228515625, 0.02777099609375, 0.031707763671875, 0.03564453125, 0.039581298828125, 0.04351806640625, 0.047454833984375, 0.0513916015625, 0.055328369140625, 0.05926513671875, 0.063201904296875, 0.067138671875, 0.071075439453125, 0.07501220703125, 0.078948974609375, 0.0828857421875, 0.086822509765625, 0.09075927734375, 0.094696044921875, 0.0986328125, 0.102569580078125, 0.10650634765625, 0.110443115234375, 0.1143798828125, 0.118316650390625, 0.12225341796875, 0.126190185546875, 0.130126953125]}, "gradients/decoder.transformer.h.11.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 6.0, 10.0, 20.0, 49.0, 84.0, 112.0, 190.0, 178.0, 152.0, 107.0, 49.0, 33.0, 20.0, 6.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.4173605144023895, -0.40938878059387207, -0.4014170467853546, -0.39344531297683716, -0.3854735791683197, -0.37750184535980225, -0.3695301115512848, -0.36155837774276733, -0.3535866439342499, -0.3456149101257324, -0.33764317631721497, -0.3296714425086975, -0.32169970870018005, -0.3137279748916626, -0.30575624108314514, -0.2977845072746277, -0.28981274366378784, -0.2818410098552704, -0.27386927604675293, -0.2658975422382355, -0.257925808429718, -0.24995407462120056, -0.2419823408126831, -0.23401060700416565, -0.2260388731956482, -0.21806713938713074, -0.21009540557861328, -0.20212367177009583, -0.19415193796157837, -0.1861802041530609, -0.17820847034454346, -0.170236736536026, -0.16226501762866974, -0.15429328382015228, -0.14632155001163483, -0.13834981620311737, -0.13037808239459991, -0.12240634858608246, -0.1144346073269844, -0.10646287351846695, -0.0984911397099495, -0.09051940590143204, -0.08254767209291458, -0.07457593083381653, -0.06660419702529907, -0.058632466942071915, -0.05066072940826416, -0.042688995599746704, -0.03471726179122925, -0.026745527982711792, -0.018773792311549187, -0.010802056640386581, -0.0028303228318691254, 0.005141410976648331, 0.013113148510456085, 0.02108488231897354, 0.029056616127490997, 0.03702834993600845, 0.04500008374452591, 0.052971821278333664, 0.06094355508685112, 0.06891529262065887, 0.07688702642917633, 0.08485876023769379, 0.09283049404621124]}, "gradients/decoder.transformer.h.11.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 5.0, 3.0, 4.0, 4.0, 8.0, 15.0, 8.0, 12.0, 11.0, 15.0, 17.0, 12.0, 16.0, 18.0, 30.0, 31.0, 26.0, 36.0, 27.0, 21.0, 29.0, 37.0, 38.0, 44.0, 42.0, 20.0, 49.0, 35.0, 34.0, 32.0, 23.0, 36.0, 22.0, 36.0, 27.0, 21.0, 25.0, 22.0, 19.0, 24.0, 18.0, 13.0, 5.0, 11.0, 8.0, 8.0, 4.0, 6.0, 1.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.17262351512908936, -0.16740934550762177, -0.16219517588615417, -0.1569809913635254, -0.1517668217420578, -0.1465526521205902, -0.14133846759796143, -0.13612429797649384, -0.13091012835502625, -0.12569595873355865, -0.12048178166151047, -0.11526760458946228, -0.11005343496799469, -0.1048392653465271, -0.09962508827447891, -0.09441091120243073, -0.08919674158096313, -0.08398257195949554, -0.07876839488744736, -0.07355421781539917, -0.06834004819393158, -0.06312587857246399, -0.0579117015004158, -0.05269752815365791, -0.047483354806900024, -0.042269181460142136, -0.03705500811338425, -0.03184083476662636, -0.02662666141986847, -0.02141248807311058, -0.01619831472635269, -0.010984141379594803, -0.005769968032836914, -0.0005557946860790253, 0.0046583786606788635, 0.009872552007436752, 0.015086725354194641, 0.02030089870095253, 0.02551507204771042, 0.030729245394468307, 0.035943418741226196, 0.041157592087984085, 0.046371765434741974, 0.05158593878149986, 0.05680011212825775, 0.06201428547501564, 0.06722845882177353, 0.07244263589382172, 0.0776568055152893, 0.0828709751367569, 0.08808515220880508, 0.09329932928085327, 0.09851349890232086, 0.10372766852378845, 0.10894184559583664, 0.11415602266788483, 0.11937019228935242, 0.12458436191082001, 0.1297985315322876, 0.13501271605491638, 0.14022688567638397, 0.14544105529785156, 0.15065523982048035, 0.15586940944194794, 0.16108357906341553]}, "gradients/decoder.transformer.h.10.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 8.0, 7.0, 11.0, 9.0, 7.0, 21.0, 13.0, 11.0, 32.0, 32.0, 28.0, 25.0, 27.0, 45.0, 52.0, 58.0, 60.0, 63.0, 49.0, 52.0, 50.0, 47.0, 47.0, 47.0, 31.0, 31.0, 30.0, 26.0, 20.0, 14.0, 14.0, 14.0, 11.0, 7.0, 4.0, 3.0, 3.0, 1.0, 1.0, 1.0, 3.0], "bins": [-0.03253173828125, -0.031737565994262695, -0.03094339370727539, -0.030149221420288086, -0.02935504913330078, -0.028560876846313477, -0.027766704559326172, -0.026972532272338867, -0.026178359985351562, -0.025384187698364258, -0.024590015411376953, -0.02379584312438965, -0.023001670837402344, -0.02220749855041504, -0.021413326263427734, -0.02061915397644043, -0.019824981689453125, -0.01903080940246582, -0.018236637115478516, -0.01744246482849121, -0.016648292541503906, -0.0158541202545166, -0.015059947967529297, -0.014265775680541992, -0.013471603393554688, -0.012677431106567383, -0.011883258819580078, -0.011089086532592773, -0.010294914245605469, -0.009500741958618164, -0.00870656967163086, -0.007912397384643555, -0.00711822509765625, -0.006324052810668945, -0.005529880523681641, -0.004735708236694336, -0.003941535949707031, -0.0031473636627197266, -0.002353191375732422, -0.0015590190887451172, -0.0007648468017578125, 2.9325485229492188e-05, 0.0008234977722167969, 0.0016176700592041016, 0.0024118423461914062, 0.003206014633178711, 0.004000186920166016, 0.00479435920715332, 0.005588531494140625, 0.00638270378112793, 0.007176876068115234, 0.007971048355102539, 0.008765220642089844, 0.009559392929077148, 0.010353565216064453, 0.011147737503051758, 0.011941909790039062, 0.012736082077026367, 0.013530254364013672, 0.014324426651000977, 0.015118598937988281, 0.015912771224975586, 0.01670694351196289, 0.017501115798950195, 0.0182952880859375]}, "gradients/decoder.transformer.h.10.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 7.0, 11.0, 15.0, 13.0, 21.0, 36.0, 52.0, 86.0, 138.0, 186.0, 291.0, 492.0, 866.0, 1946.0, 4594.0, 13119.0, 43665.0, 189218.0, 1258291.0, 2210699.0, 365652.0, 73120.0, 20009.0, 6456.0, 2599.0, 1186.0, 549.0, 325.0, 187.0, 166.0, 106.0, 76.0, 45.0, 25.0, 18.0, 13.0, 5.0, 3.0, 0.0, 5.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0479736328125, -0.046384334564208984, -0.04479503631591797, -0.04320573806762695, -0.04161643981933594, -0.04002714157104492, -0.038437843322753906, -0.03684854507446289, -0.035259246826171875, -0.03366994857788086, -0.032080650329589844, -0.030491352081298828, -0.028902053833007812, -0.027312755584716797, -0.02572345733642578, -0.024134159088134766, -0.02254486083984375, -0.020955562591552734, -0.01936626434326172, -0.017776966094970703, -0.016187667846679688, -0.014598369598388672, -0.013009071350097656, -0.01141977310180664, -0.009830474853515625, -0.00824117660522461, -0.006651878356933594, -0.005062580108642578, -0.0034732818603515625, -0.0018839836120605469, -0.00029468536376953125, 0.0012946128845214844, 0.0028839111328125, 0.004473209381103516, 0.006062507629394531, 0.007651805877685547, 0.009241104125976562, 0.010830402374267578, 0.012419700622558594, 0.01400899887084961, 0.015598297119140625, 0.01718759536743164, 0.018776893615722656, 0.020366191864013672, 0.021955490112304688, 0.023544788360595703, 0.02513408660888672, 0.026723384857177734, 0.02831268310546875, 0.029901981353759766, 0.03149127960205078, 0.0330805778503418, 0.03466987609863281, 0.03625917434692383, 0.037848472595214844, 0.03943777084350586, 0.041027069091796875, 0.04261636734008789, 0.044205665588378906, 0.04579496383666992, 0.04738426208496094, 0.04897356033325195, 0.05056285858154297, 0.052152156829833984, 0.053741455078125]}, "gradients/decoder.transformer.h.10.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 5.0, 3.0, 9.0, 8.0, 7.0, 14.0, 16.0, 26.0, 34.0, 43.0, 43.0, 71.0, 94.0, 112.0, 143.0, 201.0, 263.0, 312.0, 381.0, 435.0, 412.0, 322.0, 253.0, 192.0, 146.0, 120.0, 113.0, 68.0, 47.0, 40.0, 33.0, 27.0, 18.0, 15.0, 11.0, 9.0, 8.0, 5.0, 2.0, 4.0, 0.0, 5.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.03826904296875, -0.03712797164916992, -0.035986900329589844, -0.034845829010009766, -0.03370475769042969, -0.03256368637084961, -0.03142261505126953, -0.030281543731689453, -0.029140472412109375, -0.027999401092529297, -0.02685832977294922, -0.02571725845336914, -0.024576187133789062, -0.023435115814208984, -0.022294044494628906, -0.021152973175048828, -0.02001190185546875, -0.018870830535888672, -0.017729759216308594, -0.016588687896728516, -0.015447616577148438, -0.01430654525756836, -0.013165473937988281, -0.012024402618408203, -0.010883331298828125, -0.009742259979248047, -0.008601188659667969, -0.007460117340087891, -0.0063190460205078125, -0.005177974700927734, -0.004036903381347656, -0.002895832061767578, -0.0017547607421875, -0.0006136894226074219, 0.0005273818969726562, 0.0016684532165527344, 0.0028095245361328125, 0.003950595855712891, 0.005091667175292969, 0.006232738494873047, 0.007373809814453125, 0.008514881134033203, 0.009655952453613281, 0.01079702377319336, 0.011938095092773438, 0.013079166412353516, 0.014220237731933594, 0.015361309051513672, 0.01650238037109375, 0.017643451690673828, 0.018784523010253906, 0.019925594329833984, 0.021066665649414062, 0.02220773696899414, 0.02334880828857422, 0.024489879608154297, 0.025630950927734375, 0.026772022247314453, 0.02791309356689453, 0.02905416488647461, 0.030195236206054688, 0.031336307525634766, 0.032477378845214844, 0.03361845016479492, 0.034759521484375]}, "gradients/decoder.transformer.h.10.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 5.0, 2.0, 5.0, 6.0, 2.0, 4.0, 7.0, 7.0, 19.0, 14.0, 12.0, 24.0, 41.0, 45.0, 74.0, 102.0, 126.0, 190.0, 317.0, 675.0, 3118.0, 48401.0, 2517458.0, 1586783.0, 32873.0, 2484.0, 597.0, 258.0, 188.0, 110.0, 93.0, 74.0, 40.0, 44.0, 22.0, 19.0, 11.0, 11.0, 8.0, 3.0, 7.0, 4.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.1663818359375, -0.16117286682128906, -0.15596389770507812, -0.1507549285888672, -0.14554595947265625, -0.1403369903564453, -0.13512802124023438, -0.12991905212402344, -0.1247100830078125, -0.11950111389160156, -0.11429214477539062, -0.10908317565917969, -0.10387420654296875, -0.09866523742675781, -0.09345626831054688, -0.08824729919433594, -0.083038330078125, -0.07782936096191406, -0.07262039184570312, -0.06741142272949219, -0.06220245361328125, -0.05699348449707031, -0.051784515380859375, -0.04657554626464844, -0.0413665771484375, -0.03615760803222656, -0.030948638916015625, -0.025739669799804688, -0.02053070068359375, -0.015321731567382812, -0.010112762451171875, -0.0049037933349609375, 0.00030517578125, 0.0055141448974609375, 0.010723114013671875, 0.015932083129882812, 0.02114105224609375, 0.026350021362304688, 0.031558990478515625, 0.03676795959472656, 0.0419769287109375, 0.04718589782714844, 0.052394866943359375, 0.05760383605957031, 0.06281280517578125, 0.06802177429199219, 0.07323074340820312, 0.07843971252441406, 0.083648681640625, 0.08885765075683594, 0.09406661987304688, 0.09927558898925781, 0.10448455810546875, 0.10969352722167969, 0.11490249633789062, 0.12011146545410156, 0.1253204345703125, 0.13052940368652344, 0.13573837280273438, 0.1409473419189453, 0.14615631103515625, 0.1513652801513672, 0.15657424926757812, 0.16178321838378906, 0.1669921875]}, "gradients/decoder.transformer.h.10.ln_2.weight": {"_type": "histogram", "values": [3.0, 5.0, 14.0, 19.0, 34.0, 46.0, 62.0, 83.0, 101.0, 141.0, 127.0, 134.0, 104.0, 63.0, 38.0, 24.0, 11.0, 5.0, 1.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09386221319437027, -0.08427156507968903, -0.07468092441558838, -0.06509027630090714, -0.05549963191151619, -0.045908987522125244, -0.036318339407444, -0.026727698743343353, -0.01713705062866211, -0.007546405307948589, 0.0020442400127649307, 0.011634886264801025, 0.02122553065419197, 0.030816175043582916, 0.04040682315826416, 0.04999746382236481, 0.05958811193704605, 0.0691787600517273, 0.07876940071582794, 0.08836004883050919, 0.09795069694519043, 0.10754133760929108, 0.11713198572397232, 0.12672263383865356, 0.1363132745027542, 0.14590391516685486, 0.1554945707321167, 0.16508521139621735, 0.174675852060318, 0.18426650762557983, 0.19385714828968048, 0.20344778895378113, 0.21303841471672058, 0.22262905538082123, 0.23221971094608307, 0.24181035161018372, 0.25140100717544556, 0.260991632938385, 0.27058228850364685, 0.2801729440689087, 0.28976356983184814, 0.29935422539711, 0.30894485116004944, 0.3185355067253113, 0.3281261622905731, 0.3377167880535126, 0.3473074436187744, 0.35689806938171387, 0.3664887547492981, 0.37607941031455994, 0.3856700360774994, 0.39526069164276123, 0.40485134720802307, 0.4144419729709625, 0.42403262853622437, 0.4336232542991638, 0.44321390986442566, 0.4528045654296875, 0.46239519119262695, 0.4719858467578888, 0.48157650232315063, 0.4911671280860901, 0.5007578134536743, 0.5103484392166138, 0.5199390649795532]}, "gradients/decoder.transformer.h.10.ln_2.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 3.0, 3.0, 2.0, 2.0, 5.0, 9.0, 5.0, 12.0, 16.0, 18.0, 10.0, 21.0, 9.0, 17.0, 20.0, 27.0, 30.0, 33.0, 48.0, 45.0, 44.0, 39.0, 51.0, 51.0, 41.0, 35.0, 35.0, 39.0, 38.0, 40.0, 34.0, 38.0, 23.0, 33.0, 21.0, 20.0, 16.0, 18.0, 12.0, 3.0, 20.0, 5.0, 9.0, 4.0, 4.0, 1.0, 1.0, 3.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.13237619400024414, -0.12796643376350403, -0.12355668842792511, -0.1191469356417656, -0.11473718285560608, -0.11032742261886597, -0.10591766983270645, -0.10150791704654694, -0.09709816426038742, -0.0926884114742279, -0.08827865868806839, -0.08386890590190887, -0.07945914566516876, -0.07504940032958984, -0.07063964009284973, -0.06622988730669022, -0.0618201345205307, -0.057410381734371185, -0.05300062894821167, -0.048590872436761856, -0.04418111965060234, -0.039771366864442825, -0.03536161035299301, -0.030951857566833496, -0.02654210478067398, -0.022132351994514465, -0.0177225973457098, -0.01331284362822771, -0.00890308991074562, -0.004493337124586105, -8.358247578144073e-05, 0.004326172173023224, 0.00873592495918274, 0.01314567867666483, 0.01755543239414692, 0.021965187042951584, 0.0263749398291111, 0.030784692615270615, 0.03519444912672043, 0.039604201912879944, 0.04401395469903946, 0.048423707485198975, 0.05283346027135849, 0.057243216782808304, 0.06165296956896782, 0.06606271862983704, 0.07047247886657715, 0.07488223165273666, 0.07929198443889618, 0.0837017372250557, 0.08811149001121521, 0.09252124279737473, 0.09693099558353424, 0.10134075582027435, 0.10575050860643387, 0.11016026139259338, 0.1145700141787529, 0.11897976696491241, 0.12338951975107193, 0.12779927253723145, 0.13220903277397156, 0.13661877810955048, 0.1410285383462906, 0.1454382836818695, 0.14984804391860962]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 7.0, 3.0, 4.0, 7.0, 10.0, 5.0, 21.0, 10.0, 16.0, 22.0, 28.0, 29.0, 29.0, 27.0, 40.0, 40.0, 37.0, 69.0, 53.0, 62.0, 52.0, 54.0, 48.0, 50.0, 50.0, 34.0, 37.0, 32.0, 28.0, 21.0, 15.0, 23.0, 13.0, 5.0, 12.0, 8.0, 2.0, 6.0, 3.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.032623291015625, -0.03182101249694824, -0.031018733978271484, -0.030216455459594727, -0.02941417694091797, -0.02861189842224121, -0.027809619903564453, -0.027007341384887695, -0.026205062866210938, -0.02540278434753418, -0.024600505828857422, -0.023798227310180664, -0.022995948791503906, -0.02219367027282715, -0.02139139175415039, -0.020589113235473633, -0.019786834716796875, -0.018984556198120117, -0.01818227767944336, -0.0173799991607666, -0.016577720642089844, -0.015775442123413086, -0.014973163604736328, -0.01417088508605957, -0.013368606567382812, -0.012566328048706055, -0.011764049530029297, -0.010961771011352539, -0.010159492492675781, -0.009357213973999023, -0.008554935455322266, -0.007752656936645508, -0.00695037841796875, -0.006148099899291992, -0.005345821380615234, -0.0045435428619384766, -0.0037412643432617188, -0.002938985824584961, -0.002136707305908203, -0.0013344287872314453, -0.0005321502685546875, 0.0002701282501220703, 0.0010724067687988281, 0.001874685287475586, 0.0026769638061523438, 0.0034792423248291016, 0.004281520843505859, 0.005083799362182617, 0.005886077880859375, 0.006688356399536133, 0.007490634918212891, 0.008292913436889648, 0.009095191955566406, 0.009897470474243164, 0.010699748992919922, 0.01150202751159668, 0.012304306030273438, 0.013106584548950195, 0.013908863067626953, 0.014711141586303711, 0.015513420104980469, 0.016315698623657227, 0.017117977142333984, 0.017920255661010742, 0.0187225341796875]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 5.0, 5.0, 3.0, 7.0, 4.0, 6.0, 7.0, 13.0, 21.0, 37.0, 51.0, 74.0, 123.0, 190.0, 347.0, 635.0, 1002.0, 1664.0, 2825.0, 4591.0, 8094.0, 13204.0, 23449.0, 41531.0, 79868.0, 199418.0, 407662.0, 127897.0, 59739.0, 31906.0, 18232.0, 10375.0, 6298.0, 3742.0, 2190.0, 1344.0, 741.0, 504.0, 289.0, 173.0, 95.0, 68.0, 32.0, 23.0, 17.0, 24.0, 14.0, 7.0, 2.0, 5.0, 4.0, 2.0, 2.0, 4.0, 0.0, 3.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.00017631053924560547, -0.0001704879105091095, -0.00016466528177261353, -0.00015884265303611755, -0.00015302002429962158, -0.0001471973955631256, -0.00014137476682662964, -0.00013555213809013367, -0.0001297295093536377, -0.00012390688061714172, -0.00011808425188064575, -0.00011226162314414978, -0.00010643899440765381, -0.00010061636567115784, -9.479373693466187e-05, -8.89711081981659e-05, -8.314847946166992e-05, -7.732585072517395e-05, -7.150322198867798e-05, -6.568059325218201e-05, -5.9857964515686035e-05, -5.4035335779190063e-05, -4.821270704269409e-05, -4.239007830619812e-05, -3.656744956970215e-05, -3.074482083320618e-05, -2.4922192096710205e-05, -1.9099563360214233e-05, -1.3276934623718262e-05, -7.45430588722229e-06, -1.6316771507263184e-06, 4.190951585769653e-06, 1.0013580322265625e-05, 1.5836209058761597e-05, 2.165883779525757e-05, 2.748146653175354e-05, 3.330409526824951e-05, 3.9126724004745483e-05, 4.4949352741241455e-05, 5.077198147773743e-05, 5.65946102142334e-05, 6.241723895072937e-05, 6.823986768722534e-05, 7.406249642372131e-05, 7.988512516021729e-05, 8.570775389671326e-05, 9.153038263320923e-05, 9.73530113697052e-05, 0.00010317564010620117, 0.00010899826884269714, 0.00011482089757919312, 0.00012064352631568909, 0.00012646615505218506, 0.00013228878378868103, 0.000138111412525177, 0.00014393404126167297, 0.00014975666999816895, 0.00015557929873466492, 0.0001614019274711609, 0.00016722455620765686, 0.00017304718494415283, 0.0001788698136806488, 0.00018469244241714478, 0.00019051507115364075, 0.00019633769989013672]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 2.0, 7.0, 7.0, 6.0, 15.0, 9.0, 17.0, 19.0, 20.0, 30.0, 27.0, 26.0, 38.0, 32.0, 40.0, 39.0, 43.0, 49.0, 39.0, 1061.0, 50.0, 46.0, 34.0, 43.0, 34.0, 35.0, 31.0, 33.0, 23.0, 29.0, 31.0, 25.0, 19.0, 15.0, 15.0, 5.0, 8.0, 5.0, 4.0, 4.0, 3.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0240325927734375, -0.023295879364013672, -0.022559165954589844, -0.021822452545166016, -0.021085739135742188, -0.02034902572631836, -0.01961231231689453, -0.018875598907470703, -0.018138885498046875, -0.017402172088623047, -0.01666545867919922, -0.01592874526977539, -0.015192031860351562, -0.014455318450927734, -0.013718605041503906, -0.012981891632080078, -0.01224517822265625, -0.011508464813232422, -0.010771751403808594, -0.010035037994384766, -0.009298324584960938, -0.00856161117553711, -0.007824897766113281, -0.007088184356689453, -0.006351470947265625, -0.005614757537841797, -0.004878044128417969, -0.004141330718994141, -0.0034046173095703125, -0.0026679039001464844, -0.0019311904907226562, -0.0011944770812988281, -0.000457763671875, 0.0002789497375488281, 0.0010156631469726562, 0.0017523765563964844, 0.0024890899658203125, 0.0032258033752441406, 0.003962516784667969, 0.004699230194091797, 0.005435943603515625, 0.006172657012939453, 0.006909370422363281, 0.007646083831787109, 0.008382797241210938, 0.009119510650634766, 0.009856224060058594, 0.010592937469482422, 0.01132965087890625, 0.012066364288330078, 0.012803077697753906, 0.013539791107177734, 0.014276504516601562, 0.01501321792602539, 0.01574993133544922, 0.016486644744873047, 0.017223358154296875, 0.017960071563720703, 0.01869678497314453, 0.01943349838256836, 0.020170211791992188, 0.020906925201416016, 0.021643638610839844, 0.022380352020263672, 0.0231170654296875]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 4.0, 5.0, 3.0, 4.0, 10.0, 10.0, 16.0, 17.0, 29.0, 27.0, 26.0, 35.0, 32.0, 29.0, 46.0, 69.0, 136.0, 443.0, 2147.0, 14409.0, 2069626.0, 7759.0, 1406.0, 402.0, 114.0, 52.0, 44.0, 32.0, 34.0, 25.0, 30.0, 17.0, 19.0, 17.0, 15.0, 10.0, 5.0, 11.0, 4.0, 2.0, 4.0, 3.0, 0.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.282857894897461e-05, -2.210121601819992e-05, -2.1373853087425232e-05, -2.0646490156650543e-05, -1.9919127225875854e-05, -1.9191764295101166e-05, -1.8464401364326477e-05, -1.773703843355179e-05, -1.70096755027771e-05, -1.628231257200241e-05, -1.5554949641227722e-05, -1.4827586710453033e-05, -1.4100223779678345e-05, -1.3372860848903656e-05, -1.2645497918128967e-05, -1.1918134987354279e-05, -1.119077205657959e-05, -1.0463409125804901e-05, -9.736046195030212e-06, -9.008683264255524e-06, -8.281320333480835e-06, -7.553957402706146e-06, -6.8265944719314575e-06, -6.099231541156769e-06, -5.37186861038208e-06, -4.644505679607391e-06, -3.917142748832703e-06, -3.189779818058014e-06, -2.462416887283325e-06, -1.7350539565086365e-06, -1.0076910257339478e-06, -2.8032809495925903e-07, 4.470348358154297e-07, 1.1743977665901184e-06, 1.9017606973648071e-06, 2.629123628139496e-06, 3.3564865589141846e-06, 4.083849489688873e-06, 4.811212420463562e-06, 5.538575351238251e-06, 6.2659382820129395e-06, 6.993301212787628e-06, 7.720664143562317e-06, 8.448027074337006e-06, 9.175390005111694e-06, 9.902752935886383e-06, 1.0630115866661072e-05, 1.135747879743576e-05, 1.208484172821045e-05, 1.2812204658985138e-05, 1.3539567589759827e-05, 1.4266930520534515e-05, 1.4994293451309204e-05, 1.5721656382083893e-05, 1.644901931285858e-05, 1.717638224363327e-05, 1.790374517440796e-05, 1.8631108105182648e-05, 1.9358471035957336e-05, 2.0085833966732025e-05, 2.0813196897506714e-05, 2.1540559828281403e-05, 2.226792275905609e-05, 2.299528568983078e-05, 2.372264862060547e-05]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 7.0, 3.0, 4.0, 7.0, 10.0, 5.0, 21.0, 10.0, 16.0, 22.0, 28.0, 29.0, 29.0, 27.0, 40.0, 40.0, 37.0, 69.0, 53.0, 62.0, 52.0, 54.0, 48.0, 50.0, 50.0, 34.0, 37.0, 32.0, 28.0, 21.0, 15.0, 23.0, 13.0, 5.0, 12.0, 8.0, 2.0, 6.0, 3.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.032623291015625, -0.03182101249694824, -0.031018733978271484, -0.030216455459594727, -0.02941417694091797, -0.02861189842224121, -0.027809619903564453, -0.027007341384887695, -0.026205062866210938, -0.02540278434753418, -0.024600505828857422, -0.023798227310180664, -0.022995948791503906, -0.02219367027282715, -0.02139139175415039, -0.020589113235473633, -0.019786834716796875, -0.018984556198120117, -0.01818227767944336, -0.0173799991607666, -0.016577720642089844, -0.015775442123413086, -0.014973163604736328, -0.01417088508605957, -0.013368606567382812, -0.012566328048706055, -0.011764049530029297, -0.010961771011352539, -0.010159492492675781, -0.009357213973999023, -0.008554935455322266, -0.007752656936645508, -0.00695037841796875, -0.006148099899291992, -0.005345821380615234, -0.0045435428619384766, -0.0037412643432617188, -0.002938985824584961, -0.002136707305908203, -0.0013344287872314453, -0.0005321502685546875, 0.0002701282501220703, 0.0010724067687988281, 0.001874685287475586, 0.0026769638061523438, 0.0034792423248291016, 0.004281520843505859, 0.005083799362182617, 0.005886077880859375, 0.006688356399536133, 0.007490634918212891, 0.008292913436889648, 0.009095191955566406, 0.009897470474243164, 0.010699748992919922, 0.01150202751159668, 0.012304306030273438, 0.013106584548950195, 0.013908863067626953, 0.014711141586303711, 0.015513420104980469, 0.016315698623657227, 0.017117977142333984, 0.017920255661010742, 0.0187225341796875]}, "gradients/decoder.transformer.h.10.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 7.0, 1.0, 6.0, 7.0, 13.0, 19.0, 38.0, 38.0, 67.0, 129.0, 195.0, 287.0, 407.0, 600.0, 919.0, 1417.0, 2176.0, 3153.0, 4904.0, 7538.0, 12216.0, 20362.0, 34967.0, 63936.0, 131654.0, 282296.0, 239962.0, 107892.0, 54334.0, 30622.0, 17762.0, 10857.0, 6854.0, 4421.0, 2830.0, 2006.0, 1277.0, 840.0, 518.0, 364.0, 242.0, 158.0, 102.0, 64.0, 45.0, 24.0, 22.0, 9.0, 4.0, 2.0, 3.0, 2.0, 2.0, 2.0], "bins": [-0.0260009765625, -0.02527618408203125, -0.0245513916015625, -0.02382659912109375, -0.023101806640625, -0.02237701416015625, -0.0216522216796875, -0.02092742919921875, -0.02020263671875, -0.01947784423828125, -0.0187530517578125, -0.01802825927734375, -0.017303466796875, -0.01657867431640625, -0.0158538818359375, -0.01512908935546875, -0.014404296875, -0.01367950439453125, -0.0129547119140625, -0.01222991943359375, -0.011505126953125, -0.01078033447265625, -0.0100555419921875, -0.00933074951171875, -0.00860595703125, -0.00788116455078125, -0.0071563720703125, -0.00643157958984375, -0.005706787109375, -0.00498199462890625, -0.0042572021484375, -0.00353240966796875, -0.0028076171875, -0.00208282470703125, -0.0013580322265625, -0.00063323974609375, 9.1552734375e-05, 0.00081634521484375, 0.0015411376953125, 0.00226593017578125, 0.00299072265625, 0.00371551513671875, 0.0044403076171875, 0.00516510009765625, 0.005889892578125, 0.00661468505859375, 0.0073394775390625, 0.00806427001953125, 0.0087890625, 0.00951385498046875, 0.0102386474609375, 0.01096343994140625, 0.011688232421875, 0.01241302490234375, 0.0131378173828125, 0.01386260986328125, 0.01458740234375, 0.01531219482421875, 0.0160369873046875, 0.01676177978515625, 0.017486572265625, 0.01821136474609375, 0.0189361572265625, 0.01966094970703125, 0.0203857421875]}, "gradients/decoder.transformer.h.10.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 0.0, 4.0, 4.0, 2.0, 7.0, 9.0, 8.0, 14.0, 18.0, 27.0, 19.0, 26.0, 27.0, 26.0, 44.0, 38.0, 30.0, 45.0, 52.0, 108.0, 188.0, 1422.0, 304.0, 157.0, 91.0, 60.0, 49.0, 37.0, 38.0, 37.0, 17.0, 26.0, 22.0, 18.0, 19.0, 12.0, 10.0, 9.0, 8.0, 7.0, 8.0, 4.0, 1.0, 2.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0775146484375, -0.07522296905517578, -0.07293128967285156, -0.07063961029052734, -0.06834793090820312, -0.0660562515258789, -0.06376457214355469, -0.06147289276123047, -0.05918121337890625, -0.05688953399658203, -0.05459785461425781, -0.052306175231933594, -0.050014495849609375, -0.047722816467285156, -0.04543113708496094, -0.04313945770263672, -0.0408477783203125, -0.03855609893798828, -0.03626441955566406, -0.033972740173339844, -0.031681060791015625, -0.029389381408691406, -0.027097702026367188, -0.02480602264404297, -0.02251434326171875, -0.02022266387939453, -0.017930984497070312, -0.015639305114746094, -0.013347625732421875, -0.011055946350097656, -0.008764266967773438, -0.006472587585449219, -0.004180908203125, -0.0018892288208007812, 0.0004024505615234375, 0.0026941299438476562, 0.004985809326171875, 0.007277488708496094, 0.009569168090820312, 0.011860847473144531, 0.01415252685546875, 0.01644420623779297, 0.018735885620117188, 0.021027565002441406, 0.023319244384765625, 0.025610923767089844, 0.027902603149414062, 0.03019428253173828, 0.0324859619140625, 0.03477764129638672, 0.03706932067871094, 0.039361000061035156, 0.041652679443359375, 0.043944358825683594, 0.04623603820800781, 0.04852771759033203, 0.05081939697265625, 0.05311107635498047, 0.05540275573730469, 0.057694435119628906, 0.059986114501953125, 0.062277793884277344, 0.06456947326660156, 0.06686115264892578, 0.06915283203125]}, "gradients/decoder.transformer.h.10.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 4.0, 3.0, 2.0, 3.0, 8.0, 9.0, 13.0, 15.0, 20.0, 20.0, 31.0, 47.0, 58.0, 83.0, 105.0, 132.0, 203.0, 309.0, 603.0, 1628.0, 8032.0, 67685.0, 2375354.0, 653906.0, 30362.0, 4548.0, 1099.0, 461.0, 291.0, 172.0, 129.0, 94.0, 60.0, 60.0, 39.0, 30.0, 24.0, 12.0, 16.0, 10.0, 8.0, 5.0, 6.0, 4.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 4.0], "bins": [-0.11968994140625, -0.11625385284423828, -0.11281776428222656, -0.10938167572021484, -0.10594558715820312, -0.1025094985961914, -0.09907341003417969, -0.09563732147216797, -0.09220123291015625, -0.08876514434814453, -0.08532905578613281, -0.0818929672241211, -0.07845687866210938, -0.07502079010009766, -0.07158470153808594, -0.06814861297607422, -0.0647125244140625, -0.06127643585205078, -0.05784034729003906, -0.054404258728027344, -0.050968170166015625, -0.047532081604003906, -0.04409599304199219, -0.04065990447998047, -0.03722381591796875, -0.03378772735595703, -0.030351638793945312, -0.026915550231933594, -0.023479461669921875, -0.020043373107910156, -0.016607284545898438, -0.013171195983886719, -0.009735107421875, -0.006299018859863281, -0.0028629302978515625, 0.0005731582641601562, 0.004009246826171875, 0.007445335388183594, 0.010881423950195312, 0.014317512512207031, 0.01775360107421875, 0.02118968963623047, 0.024625778198242188, 0.028061866760253906, 0.031497955322265625, 0.034934043884277344, 0.03837013244628906, 0.04180622100830078, 0.0452423095703125, 0.04867839813232422, 0.05211448669433594, 0.055550575256347656, 0.058986663818359375, 0.062422752380371094, 0.06585884094238281, 0.06929492950439453, 0.07273101806640625, 0.07616710662841797, 0.07960319519042969, 0.0830392837524414, 0.08647537231445312, 0.08991146087646484, 0.09334754943847656, 0.09678363800048828, 0.1002197265625]}, "gradients/decoder.transformer.h.10.ln_1.weight": {"_type": "histogram", "values": [5.0, 56.0, 524.0, 398.0, 37.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08975311368703842, -0.058691877871751785, -0.02763064205646515, 0.003430597484111786, 0.034491829574108124, 0.06555306166410446, 0.096614308655262, 0.12767553329467773, 0.15873676538467407, 0.1897979974746704, 0.22085922956466675, 0.2519204616546631, 0.2829816937446594, 0.31404292583465576, 0.3451041877269745, 0.3761654198169708, 0.40722665190696716, 0.4382878839969635, 0.46934911608695984, 0.5004103779792786, 0.5314716100692749, 0.5625328421592712, 0.5935940742492676, 0.6246553063392639, 0.6557165384292603, 0.6867777705192566, 0.7178390026092529, 0.7489002346992493, 0.7799614667892456, 0.8110226988792419, 0.8420839309692383, 0.8731452226638794, 0.904206395149231, 0.9352676272392273, 0.9663288593292236, 0.99739009141922, 1.0284513235092163, 1.0595126152038574, 1.090573787689209, 1.12163507938385, 1.1526962518692017, 1.1837575435638428, 1.2148187160491943, 1.2458800077438354, 1.276941180229187, 1.3080024719238281, 1.3390636444091797, 1.3701249361038208, 1.401186227798462, 1.432247519493103, 1.4633086919784546, 1.4943699836730957, 1.5254311561584473, 1.5564924478530884, 1.58755362033844, 1.618614912033081, 1.6496760845184326, 1.6807373762130737, 1.7117985486984253, 1.7428598403930664, 1.773921012878418, 1.804982304573059, 1.8360434770584106, 1.8671047687530518, 1.8981659412384033]}, "gradients/decoder.transformer.h.10.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 2.0, 2.0, 3.0, 6.0, 4.0, 7.0, 4.0, 8.0, 13.0, 17.0, 17.0, 17.0, 26.0, 35.0, 34.0, 33.0, 38.0, 35.0, 43.0, 35.0, 52.0, 56.0, 33.0, 37.0, 40.0, 55.0, 48.0, 46.0, 51.0, 17.0, 30.0, 28.0, 31.0, 19.0, 15.0, 13.0, 9.0, 11.0, 10.0, 12.0, 7.0, 7.0, 3.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2280474305152893, -0.22098898887634277, -0.21393053233623505, -0.20687207579612732, -0.1998136341571808, -0.19275519251823425, -0.18569673597812653, -0.1786382794380188, -0.17157983779907227, -0.16452139616012573, -0.157462939620018, -0.15040448307991028, -0.14334604144096375, -0.1362875998020172, -0.12922914326190948, -0.12217069417238235, -0.11511224508285522, -0.1080537959933281, -0.10099534690380096, -0.09393689781427383, -0.0868784487247467, -0.07981999963521957, -0.07276155054569244, -0.06570310145616531, -0.058644652366638184, -0.05158620327711105, -0.04452775418758392, -0.03746930509805679, -0.030410856008529663, -0.023352406919002533, -0.016293957829475403, -0.009235508739948273, -0.0021770596504211426, 0.0048813894391059875, 0.011939838528633118, 0.018998287618160248, 0.026056736707687378, 0.03311518579721451, 0.04017363488674164, 0.04723208397626877, 0.0542905330657959, 0.06134898215532303, 0.06840743124485016, 0.07546588033437729, 0.08252432942390442, 0.08958277851343155, 0.09664122760295868, 0.10369967669248581, 0.11075812578201294, 0.11781657487154007, 0.1248750239610672, 0.13193348050117493, 0.13899192214012146, 0.146050363779068, 0.15310882031917572, 0.16016727685928345, 0.16722571849822998, 0.1742841601371765, 0.18134261667728424, 0.18840107321739197, 0.1954595148563385, 0.20251795649528503, 0.20957641303539276, 0.2166348695755005, 0.22369331121444702]}, "gradients/decoder.transformer.h.9.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 6.0, 4.0, 5.0, 2.0, 10.0, 13.0, 11.0, 21.0, 19.0, 18.0, 20.0, 27.0, 30.0, 33.0, 44.0, 43.0, 45.0, 54.0, 55.0, 54.0, 60.0, 50.0, 47.0, 44.0, 48.0, 36.0, 35.0, 34.0, 31.0, 17.0, 25.0, 23.0, 8.0, 9.0, 13.0, 3.0, 3.0, 6.0, 4.0, 0.0, 4.0, 1.0, 0.0, 1.0], "bins": [-0.03289794921875, -0.032068729400634766, -0.03123950958251953, -0.030410289764404297, -0.029581069946289062, -0.028751850128173828, -0.027922630310058594, -0.02709341049194336, -0.026264190673828125, -0.02543497085571289, -0.024605751037597656, -0.023776531219482422, -0.022947311401367188, -0.022118091583251953, -0.02128887176513672, -0.020459651947021484, -0.01963043212890625, -0.018801212310791016, -0.01797199249267578, -0.017142772674560547, -0.016313552856445312, -0.015484333038330078, -0.014655113220214844, -0.01382589340209961, -0.012996673583984375, -0.01216745376586914, -0.011338233947753906, -0.010509014129638672, -0.009679794311523438, -0.008850574493408203, -0.008021354675292969, -0.007192134857177734, -0.0063629150390625, -0.005533695220947266, -0.004704475402832031, -0.003875255584716797, -0.0030460357666015625, -0.002216815948486328, -0.0013875961303710938, -0.0005583763122558594, 0.000270843505859375, 0.0011000633239746094, 0.0019292831420898438, 0.002758502960205078, 0.0035877227783203125, 0.004416942596435547, 0.005246162414550781, 0.006075382232666016, 0.00690460205078125, 0.007733821868896484, 0.008563041687011719, 0.009392261505126953, 0.010221481323242188, 0.011050701141357422, 0.011879920959472656, 0.01270914077758789, 0.013538360595703125, 0.01436758041381836, 0.015196800231933594, 0.016026020050048828, 0.016855239868164062, 0.017684459686279297, 0.01851367950439453, 0.019342899322509766, 0.020172119140625]}, "gradients/decoder.transformer.h.9.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 4.0, 1.0, 1.0, 2.0, 3.0, 6.0, 13.0, 10.0, 18.0, 22.0, 37.0, 43.0, 84.0, 149.0, 262.0, 476.0, 1023.0, 2383.0, 6312.0, 19033.0, 69891.0, 354029.0, 2279379.0, 1217260.0, 182081.0, 41504.0, 12478.0, 4348.0, 1797.0, 772.0, 321.0, 221.0, 110.0, 68.0, 50.0, 30.0, 27.0, 13.0, 14.0, 8.0, 6.0, 4.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.05804443359375, -0.05637693405151367, -0.054709434509277344, -0.053041934967041016, -0.05137443542480469, -0.04970693588256836, -0.04803943634033203, -0.0463719367980957, -0.044704437255859375, -0.04303693771362305, -0.04136943817138672, -0.03970193862915039, -0.03803443908691406, -0.036366939544677734, -0.034699440002441406, -0.03303194046020508, -0.03136444091796875, -0.029696941375732422, -0.028029441833496094, -0.026361942291259766, -0.024694442749023438, -0.02302694320678711, -0.02135944366455078, -0.019691944122314453, -0.018024444580078125, -0.016356945037841797, -0.014689445495605469, -0.01302194595336914, -0.011354446411132812, -0.009686946868896484, -0.008019447326660156, -0.006351947784423828, -0.0046844482421875, -0.003016948699951172, -0.0013494491577148438, 0.0003180503845214844, 0.0019855499267578125, 0.0036530494689941406, 0.005320549011230469, 0.006988048553466797, 0.008655548095703125, 0.010323047637939453, 0.011990547180175781, 0.01365804672241211, 0.015325546264648438, 0.016993045806884766, 0.018660545349121094, 0.020328044891357422, 0.02199554443359375, 0.023663043975830078, 0.025330543518066406, 0.026998043060302734, 0.028665542602539062, 0.03033304214477539, 0.03200054168701172, 0.03366804122924805, 0.035335540771484375, 0.0370030403137207, 0.03867053985595703, 0.04033803939819336, 0.04200553894042969, 0.043673038482666016, 0.045340538024902344, 0.04700803756713867, 0.048675537109375]}, "gradients/decoder.transformer.h.9.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 5.0, 5.0, 7.0, 8.0, 15.0, 26.0, 55.0, 63.0, 109.0, 160.0, 306.0, 418.0, 667.0, 737.0, 542.0, 344.0, 227.0, 133.0, 90.0, 67.0, 34.0, 24.0, 19.0, 10.0, 7.0, 5.0, 3.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.038238525390625, -0.03625154495239258, -0.034264564514160156, -0.032277584075927734, -0.030290603637695312, -0.02830362319946289, -0.02631664276123047, -0.024329662322998047, -0.022342681884765625, -0.020355701446533203, -0.01836872100830078, -0.01638174057006836, -0.014394760131835938, -0.012407779693603516, -0.010420799255371094, -0.008433818817138672, -0.00644683837890625, -0.004459857940673828, -0.0024728775024414062, -0.0004858970642089844, 0.0015010833740234375, 0.0034880638122558594, 0.005475044250488281, 0.007462024688720703, 0.009449005126953125, 0.011435985565185547, 0.013422966003417969, 0.01540994644165039, 0.017396926879882812, 0.019383907318115234, 0.021370887756347656, 0.023357868194580078, 0.0253448486328125, 0.027331829071044922, 0.029318809509277344, 0.031305789947509766, 0.03329277038574219, 0.03527975082397461, 0.03726673126220703, 0.03925371170043945, 0.041240692138671875, 0.0432276725769043, 0.04521465301513672, 0.04720163345336914, 0.04918861389160156, 0.051175594329833984, 0.053162574768066406, 0.05514955520629883, 0.05713653564453125, 0.05912351608276367, 0.061110496520996094, 0.06309747695922852, 0.06508445739746094, 0.06707143783569336, 0.06905841827392578, 0.0710453987121582, 0.07303237915039062, 0.07501935958862305, 0.07700634002685547, 0.07899332046508789, 0.08098030090332031, 0.08296728134155273, 0.08495426177978516, 0.08694124221801758, 0.08892822265625]}, "gradients/decoder.transformer.h.9.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 7.0, 8.0, 5.0, 20.0, 21.0, 31.0, 57.0, 80.0, 154.0, 285.0, 646.0, 7858.0, 3962594.0, 220139.0, 1491.0, 426.0, 202.0, 109.0, 75.0, 37.0, 18.0, 12.0, 9.0, 6.0, 5.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.5078125, -0.49646568298339844, -0.4851188659667969, -0.4737720489501953, -0.46242523193359375, -0.4510784149169922, -0.4397315979003906, -0.42838478088378906, -0.4170379638671875, -0.40569114685058594, -0.3943443298339844, -0.3829975128173828, -0.37165069580078125, -0.3603038787841797, -0.3489570617675781, -0.33761024475097656, -0.326263427734375, -0.31491661071777344, -0.3035697937011719, -0.2922229766845703, -0.28087615966796875, -0.2695293426513672, -0.2581825256347656, -0.24683570861816406, -0.2354888916015625, -0.22414207458496094, -0.21279525756835938, -0.2014484405517578, -0.19010162353515625, -0.1787548065185547, -0.16740798950195312, -0.15606117248535156, -0.14471435546875, -0.13336753845214844, -0.12202072143554688, -0.11067390441894531, -0.09932708740234375, -0.08798027038574219, -0.07663345336914062, -0.06528663635253906, -0.0539398193359375, -0.04259300231933594, -0.031246185302734375, -0.019899368286132812, -0.00855255126953125, 0.0027942657470703125, 0.014141082763671875, 0.025487899780273438, 0.036834716796875, 0.04818153381347656, 0.059528350830078125, 0.07087516784667969, 0.08222198486328125, 0.09356880187988281, 0.10491561889648438, 0.11626243591308594, 0.1276092529296875, 0.13895606994628906, 0.15030288696289062, 0.1616497039794922, 0.17299652099609375, 0.1843433380126953, 0.19569015502929688, 0.20703697204589844, 0.2183837890625]}, "gradients/decoder.transformer.h.9.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 10.0, 12.0, 14.0, 53.0, 79.0, 123.0, 135.0, 152.0, 147.0, 111.0, 90.0, 44.0, 20.0, 13.0, 10.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11544729024171829, -0.10433848947286606, -0.09322968125343323, -0.082120880484581, -0.07101207971572876, -0.05990327149629593, -0.048794470727443695, -0.037685662508010864, -0.02657686173915863, -0.015468058176338673, -0.004359254613518715, 0.006749548017978668, 0.0178583525121212, 0.028967157006263733, 0.04007595777511597, 0.0511847659945488, 0.06229356676340103, 0.07340236753225327, 0.0845111757516861, 0.09561997652053833, 0.10672877728939056, 0.1178375855088234, 0.12894639372825623, 0.14005519449710846, 0.1511639952659607, 0.16227279603481293, 0.17338159680366516, 0.1844904124736786, 0.19559921324253082, 0.20670801401138306, 0.2178168147802353, 0.22892561554908752, 0.24003443121910095, 0.2511432468891144, 0.2622520327568054, 0.27336084842681885, 0.2844696342945099, 0.2955784499645233, 0.30668723583221436, 0.3177960515022278, 0.3289048671722412, 0.34001368284225464, 0.3511224687099457, 0.3622312843799591, 0.37334007024765015, 0.3844488859176636, 0.395557701587677, 0.40666648745536804, 0.4177752733230591, 0.4288840889930725, 0.43999287486076355, 0.451101690530777, 0.462210476398468, 0.47331929206848145, 0.4844281077384949, 0.4955368936061859, 0.5066457390785217, 0.5177545547485352, 0.5288633704185486, 0.5399721264839172, 0.5510809421539307, 0.5621897578239441, 0.5732985734939575, 0.584407389163971, 0.5955161452293396]}, "gradients/decoder.transformer.h.9.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 3.0, 2.0, 3.0, 5.0, 1.0, 3.0, 10.0, 9.0, 12.0, 11.0, 19.0, 14.0, 21.0, 29.0, 29.0, 22.0, 23.0, 44.0, 38.0, 46.0, 38.0, 41.0, 41.0, 47.0, 43.0, 37.0, 43.0, 33.0, 43.0, 28.0, 39.0, 32.0, 33.0, 22.0, 16.0, 27.0, 18.0, 19.0, 13.0, 15.0, 12.0, 7.0, 3.0, 5.0, 4.0, 1.0, 3.0, 1.0, 4.0, 1.0, 1.0, 1.0, 2.0], "bins": [-0.1733599305152893, -0.16841231286525726, -0.16346469521522522, -0.15851707756519318, -0.15356945991516113, -0.1486218422651291, -0.14367422461509705, -0.138726606965065, -0.13377898931503296, -0.12883137166500092, -0.12388375401496887, -0.11893613636493683, -0.11398851871490479, -0.10904090106487274, -0.1040932834148407, -0.09914566576480865, -0.09419804811477661, -0.08925043046474457, -0.08430281281471252, -0.07935519516468048, -0.07440757751464844, -0.0694599598646164, -0.06451234221458435, -0.05956472456455231, -0.054617106914520264, -0.04966948926448822, -0.04472187161445618, -0.03977425396442413, -0.03482663631439209, -0.029879018664360046, -0.024931401014328003, -0.01998378336429596, -0.015036165714263916, -0.010088548064231873, -0.005140930414199829, -0.00019331276416778564, 0.004754304885864258, 0.009701922535896301, 0.014649540185928345, 0.019597157835960388, 0.02454477548599243, 0.029492393136024475, 0.03444001078605652, 0.03938762843608856, 0.044335246086120605, 0.04928286373615265, 0.05423048138618469, 0.059178099036216736, 0.06412571668624878, 0.06907333433628082, 0.07402095198631287, 0.07896856963634491, 0.08391618728637695, 0.088863804936409, 0.09381142258644104, 0.09875904023647308, 0.10370665788650513, 0.10865427553653717, 0.11360189318656921, 0.11854951083660126, 0.1234971284866333, 0.12844474613666534, 0.1333923637866974, 0.13833998143672943, 0.14328759908676147]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 8.0, 2.0, 10.0, 9.0, 9.0, 15.0, 22.0, 15.0, 16.0, 22.0, 33.0, 31.0, 42.0, 34.0, 49.0, 50.0, 46.0, 69.0, 40.0, 46.0, 49.0, 42.0, 54.0, 46.0, 37.0, 38.0, 35.0, 20.0, 26.0, 19.0, 22.0, 14.0, 7.0, 6.0, 6.0, 6.0, 4.0, 3.0, 4.0, 1.0, 0.0, 2.0], "bins": [-0.03314208984375, -0.032321929931640625, -0.03150177001953125, -0.030681610107421875, -0.0298614501953125, -0.029041290283203125, -0.02822113037109375, -0.027400970458984375, -0.026580810546875, -0.025760650634765625, -0.02494049072265625, -0.024120330810546875, -0.0233001708984375, -0.022480010986328125, -0.02165985107421875, -0.020839691162109375, -0.02001953125, -0.019199371337890625, -0.01837921142578125, -0.017559051513671875, -0.0167388916015625, -0.015918731689453125, -0.01509857177734375, -0.014278411865234375, -0.013458251953125, -0.012638092041015625, -0.01181793212890625, -0.010997772216796875, -0.0101776123046875, -0.009357452392578125, -0.00853729248046875, -0.007717132568359375, -0.00689697265625, -0.006076812744140625, -0.00525665283203125, -0.004436492919921875, -0.0036163330078125, -0.002796173095703125, -0.00197601318359375, -0.001155853271484375, -0.000335693359375, 0.000484466552734375, 0.00130462646484375, 0.002124786376953125, 0.0029449462890625, 0.003765106201171875, 0.00458526611328125, 0.005405426025390625, 0.0062255859375, 0.007045745849609375, 0.00786590576171875, 0.008686065673828125, 0.0095062255859375, 0.010326385498046875, 0.01114654541015625, 0.011966705322265625, 0.012786865234375, 0.013607025146484375, 0.01442718505859375, 0.015247344970703125, 0.0160675048828125, 0.016887664794921875, 0.01770782470703125, 0.018527984619140625, 0.01934814453125]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 7.0, 2.0, 7.0, 11.0, 12.0, 14.0, 30.0, 39.0, 65.0, 122.0, 219.0, 357.0, 632.0, 1164.0, 2171.0, 4123.0, 7658.0, 15203.0, 31305.0, 66957.0, 166253.0, 461434.0, 162747.0, 66190.0, 30541.0, 14985.0, 7551.0, 3961.0, 2091.0, 1158.0, 647.0, 390.0, 199.0, 126.0, 66.0, 43.0, 27.0, 13.0, 14.0, 12.0, 6.0, 5.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.00018835067749023438, -0.00018304400146007538, -0.00017773732542991638, -0.00017243064939975739, -0.0001671239733695984, -0.0001618172973394394, -0.0001565106213092804, -0.0001512039452791214, -0.0001458972692489624, -0.0001405905932188034, -0.0001352839171886444, -0.0001299772411584854, -0.00012467056512832642, -0.00011936388909816742, -0.00011405721306800842, -0.00010875053703784943, -0.00010344386100769043, -9.813718497753143e-05, -9.283050894737244e-05, -8.752383291721344e-05, -8.221715688705444e-05, -7.691048085689545e-05, -7.160380482673645e-05, -6.629712879657745e-05, -6.099045276641846e-05, -5.568377673625946e-05, -5.0377100706100464e-05, -4.507042467594147e-05, -3.976374864578247e-05, -3.4457072615623474e-05, -2.9150396585464478e-05, -2.384372055530548e-05, -1.8537044525146484e-05, -1.3230368494987488e-05, -7.923692464828491e-06, -2.6170164346694946e-06, 2.689659595489502e-06, 7.996335625648499e-06, 1.3303011655807495e-05, 1.8609687685966492e-05, 2.3916363716125488e-05, 2.9223039746284485e-05, 3.452971577644348e-05, 3.983639180660248e-05, 4.5143067836761475e-05, 5.044974386692047e-05, 5.575641989707947e-05, 6.106309592723846e-05, 6.636977195739746e-05, 7.167644798755646e-05, 7.698312401771545e-05, 8.228980004787445e-05, 8.759647607803345e-05, 9.290315210819244e-05, 9.820982813835144e-05, 0.00010351650416851044, 0.00010882318019866943, 0.00011412985622882843, 0.00011943653225898743, 0.00012474320828914642, 0.00013004988431930542, 0.00013535656034946442, 0.0001406632363796234, 0.0001459699124097824, 0.0001512765884399414]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 4.0, 2.0, 2.0, 6.0, 8.0, 2.0, 6.0, 4.0, 8.0, 7.0, 10.0, 17.0, 17.0, 27.0, 17.0, 29.0, 27.0, 27.0, 31.0, 37.0, 26.0, 42.0, 31.0, 35.0, 45.0, 1070.0, 40.0, 41.0, 37.0, 27.0, 33.0, 43.0, 31.0, 39.0, 36.0, 24.0, 23.0, 16.0, 14.0, 22.0, 16.0, 11.0, 17.0, 9.0, 4.0, 7.0, 3.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.025634765625, -0.02486109733581543, -0.02408742904663086, -0.02331376075744629, -0.02254009246826172, -0.02176642417907715, -0.020992755889892578, -0.020219087600708008, -0.019445419311523438, -0.018671751022338867, -0.017898082733154297, -0.017124414443969727, -0.016350746154785156, -0.015577077865600586, -0.014803409576416016, -0.014029741287231445, -0.013256072998046875, -0.012482404708862305, -0.011708736419677734, -0.010935068130493164, -0.010161399841308594, -0.009387731552124023, -0.008614063262939453, -0.007840394973754883, -0.0070667266845703125, -0.006293058395385742, -0.005519390106201172, -0.0047457218170166016, -0.003972053527832031, -0.003198385238647461, -0.0024247169494628906, -0.0016510486602783203, -0.00087738037109375, -0.00010371208190917969, 0.0006699562072753906, 0.001443624496459961, 0.0022172927856445312, 0.0029909610748291016, 0.003764629364013672, 0.004538297653198242, 0.0053119659423828125, 0.006085634231567383, 0.006859302520751953, 0.0076329708099365234, 0.008406639099121094, 0.009180307388305664, 0.009953975677490234, 0.010727643966674805, 0.011501312255859375, 0.012274980545043945, 0.013048648834228516, 0.013822317123413086, 0.014595985412597656, 0.015369653701782227, 0.016143321990966797, 0.016916990280151367, 0.017690658569335938, 0.018464326858520508, 0.019237995147705078, 0.02001166343688965, 0.02078533172607422, 0.02155900001525879, 0.02233266830444336, 0.02310633659362793, 0.0238800048828125]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 4.0, 2.0, 0.0, 10.0, 4.0, 6.0, 13.0, 12.0, 18.0, 14.0, 19.0, 20.0, 22.0, 23.0, 29.0, 39.0, 35.0, 35.0, 44.0, 80.0, 201.0, 653.0, 2636.0, 21902.0, 2062725.0, 6477.0, 1322.0, 345.0, 114.0, 68.0, 37.0, 29.0, 22.0, 34.0, 23.0, 28.0, 19.0, 14.0, 11.0, 6.0, 12.0, 3.0, 7.0, 2.0, 8.0, 4.0, 2.0, 3.0, 5.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.378225326538086e-05, -2.3021362721920013e-05, -2.2260472178459167e-05, -2.149958163499832e-05, -2.0738691091537476e-05, -1.997780054807663e-05, -1.9216910004615784e-05, -1.8456019461154938e-05, -1.7695128917694092e-05, -1.6934238374233246e-05, -1.61733478307724e-05, -1.5412457287311554e-05, -1.4651566743850708e-05, -1.3890676200389862e-05, -1.3129785656929016e-05, -1.236889511346817e-05, -1.1608004570007324e-05, -1.0847114026546478e-05, -1.0086223483085632e-05, -9.325332939624786e-06, -8.56444239616394e-06, -7.803551852703094e-06, -7.0426613092422485e-06, -6.281770765781403e-06, -5.520880222320557e-06, -4.759989678859711e-06, -3.999099135398865e-06, -3.238208591938019e-06, -2.477318048477173e-06, -1.716427505016327e-06, -9.55536961555481e-07, -1.94646418094635e-07, 5.662441253662109e-07, 1.3271346688270569e-06, 2.088025212287903e-06, 2.8489157557487488e-06, 3.6098062992095947e-06, 4.370696842670441e-06, 5.131587386131287e-06, 5.8924779295921326e-06, 6.6533684730529785e-06, 7.4142590165138245e-06, 8.17514955997467e-06, 8.936040103435516e-06, 9.696930646896362e-06, 1.0457821190357208e-05, 1.1218711733818054e-05, 1.19796022772789e-05, 1.2740492820739746e-05, 1.3501383364200592e-05, 1.4262273907661438e-05, 1.5023164451122284e-05, 1.578405499458313e-05, 1.6544945538043976e-05, 1.7305836081504822e-05, 1.8066726624965668e-05, 1.8827617168426514e-05, 1.958850771188736e-05, 2.0349398255348206e-05, 2.111028879880905e-05, 2.1871179342269897e-05, 2.2632069885730743e-05, 2.339296042919159e-05, 2.4153850972652435e-05, 2.491474151611328e-05]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 8.0, 2.0, 10.0, 9.0, 9.0, 15.0, 22.0, 15.0, 16.0, 22.0, 33.0, 31.0, 42.0, 34.0, 49.0, 50.0, 46.0, 69.0, 40.0, 46.0, 49.0, 42.0, 54.0, 46.0, 37.0, 38.0, 35.0, 20.0, 26.0, 19.0, 22.0, 14.0, 7.0, 6.0, 6.0, 6.0, 4.0, 3.0, 4.0, 1.0, 0.0, 2.0], "bins": [-0.03314208984375, -0.032321929931640625, -0.03150177001953125, -0.030681610107421875, -0.0298614501953125, -0.029041290283203125, -0.02822113037109375, -0.027400970458984375, -0.026580810546875, -0.025760650634765625, -0.02494049072265625, -0.024120330810546875, -0.0233001708984375, -0.022480010986328125, -0.02165985107421875, -0.020839691162109375, -0.02001953125, -0.019199371337890625, -0.01837921142578125, -0.017559051513671875, -0.0167388916015625, -0.015918731689453125, -0.01509857177734375, -0.014278411865234375, -0.013458251953125, -0.012638092041015625, -0.01181793212890625, -0.010997772216796875, -0.0101776123046875, -0.009357452392578125, -0.00853729248046875, -0.007717132568359375, -0.00689697265625, -0.006076812744140625, -0.00525665283203125, -0.004436492919921875, -0.0036163330078125, -0.002796173095703125, -0.00197601318359375, -0.001155853271484375, -0.000335693359375, 0.000484466552734375, 0.00130462646484375, 0.002124786376953125, 0.0029449462890625, 0.003765106201171875, 0.00458526611328125, 0.005405426025390625, 0.0062255859375, 0.007045745849609375, 0.00786590576171875, 0.008686065673828125, 0.0095062255859375, 0.010326385498046875, 0.01114654541015625, 0.011966705322265625, 0.012786865234375, 0.013607025146484375, 0.01442718505859375, 0.015247344970703125, 0.0160675048828125, 0.016887664794921875, 0.01770782470703125, 0.018527984619140625, 0.01934814453125]}, "gradients/decoder.transformer.h.9.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 4.0, 1.0, 0.0, 1.0, 3.0, 9.0, 9.0, 16.0, 24.0, 39.0, 54.0, 78.0, 149.0, 240.0, 375.0, 571.0, 936.0, 1540.0, 2348.0, 3710.0, 5652.0, 8843.0, 13993.0, 22176.0, 36897.0, 74143.0, 225882.0, 408738.0, 117524.0, 49165.0, 27777.0, 17335.0, 11094.0, 6959.0, 4433.0, 2864.0, 1847.0, 1172.0, 752.0, 434.0, 290.0, 197.0, 116.0, 62.0, 46.0, 34.0, 12.0, 10.0, 10.0, 3.0, 2.0, 1.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0295562744140625, -0.02850937843322754, -0.027462482452392578, -0.026415586471557617, -0.025368690490722656, -0.024321794509887695, -0.023274898529052734, -0.022228002548217773, -0.021181106567382812, -0.02013421058654785, -0.01908731460571289, -0.01804041862487793, -0.01699352264404297, -0.015946626663208008, -0.014899730682373047, -0.013852834701538086, -0.012805938720703125, -0.011759042739868164, -0.010712146759033203, -0.009665250778198242, -0.008618354797363281, -0.00757145881652832, -0.006524562835693359, -0.0054776668548583984, -0.0044307708740234375, -0.0033838748931884766, -0.0023369789123535156, -0.0012900829315185547, -0.00024318695068359375, 0.0008037090301513672, 0.0018506050109863281, 0.002897500991821289, 0.00394439697265625, 0.004991292953491211, 0.006038188934326172, 0.007085084915161133, 0.008131980895996094, 0.009178876876831055, 0.010225772857666016, 0.011272668838500977, 0.012319564819335938, 0.013366460800170898, 0.01441335678100586, 0.01546025276184082, 0.01650714874267578, 0.017554044723510742, 0.018600940704345703, 0.019647836685180664, 0.020694732666015625, 0.021741628646850586, 0.022788524627685547, 0.023835420608520508, 0.02488231658935547, 0.02592921257019043, 0.02697610855102539, 0.02802300453186035, 0.029069900512695312, 0.030116796493530273, 0.031163692474365234, 0.032210588455200195, 0.033257484436035156, 0.03430438041687012, 0.03535127639770508, 0.03639817237854004, 0.037445068359375]}, "gradients/decoder.transformer.h.9.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 1.0, 7.0, 2.0, 3.0, 5.0, 10.0, 13.0, 12.0, 23.0, 17.0, 17.0, 14.0, 13.0, 26.0, 29.0, 28.0, 38.0, 34.0, 31.0, 58.0, 71.0, 112.0, 183.0, 1429.0, 238.0, 114.0, 94.0, 61.0, 54.0, 36.0, 37.0, 27.0, 30.0, 29.0, 17.0, 28.0, 19.0, 16.0, 18.0, 10.0, 14.0, 10.0, 2.0, 11.0, 3.0, 1.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0736083984375, -0.07148170471191406, -0.06935501098632812, -0.06722831726074219, -0.06510162353515625, -0.06297492980957031, -0.060848236083984375, -0.05872154235839844, -0.0565948486328125, -0.05446815490722656, -0.052341461181640625, -0.05021476745605469, -0.04808807373046875, -0.04596138000488281, -0.043834686279296875, -0.04170799255371094, -0.039581298828125, -0.03745460510253906, -0.035327911376953125, -0.03320121765136719, -0.03107452392578125, -0.028947830200195312, -0.026821136474609375, -0.024694442749023438, -0.0225677490234375, -0.020441055297851562, -0.018314361572265625, -0.016187667846679688, -0.01406097412109375, -0.011934280395507812, -0.009807586669921875, -0.0076808929443359375, -0.00555419921875, -0.0034275054931640625, -0.001300811767578125, 0.0008258819580078125, 0.00295257568359375, 0.0050792694091796875, 0.007205963134765625, 0.009332656860351562, 0.0114593505859375, 0.013586044311523438, 0.015712738037109375, 0.017839431762695312, 0.01996612548828125, 0.022092819213867188, 0.024219512939453125, 0.026346206665039062, 0.028472900390625, 0.030599594116210938, 0.032726287841796875, 0.03485298156738281, 0.03697967529296875, 0.03910636901855469, 0.041233062744140625, 0.04335975646972656, 0.0454864501953125, 0.04761314392089844, 0.049739837646484375, 0.05186653137207031, 0.05399322509765625, 0.05611991882324219, 0.058246612548828125, 0.06037330627441406, 0.0625]}, "gradients/decoder.transformer.h.9.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 3.0, 8.0, 2.0, 5.0, 6.0, 11.0, 15.0, 16.0, 18.0, 18.0, 29.0, 34.0, 58.0, 62.0, 81.0, 102.0, 138.0, 228.0, 471.0, 1454.0, 4687.0, 20884.0, 135550.0, 2259832.0, 644615.0, 61600.0, 10942.0, 2836.0, 939.0, 380.0, 180.0, 135.0, 81.0, 59.0, 40.0, 41.0, 28.0, 30.0, 24.0, 18.0, 8.0, 14.0, 9.0, 4.0, 8.0, 6.0, 4.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.10382080078125, -0.1005563735961914, -0.09729194641113281, -0.09402751922607422, -0.09076309204101562, -0.08749866485595703, -0.08423423767089844, -0.08096981048583984, -0.07770538330078125, -0.07444095611572266, -0.07117652893066406, -0.06791210174560547, -0.06464767456054688, -0.06138324737548828, -0.05811882019042969, -0.054854393005371094, -0.0515899658203125, -0.048325538635253906, -0.04506111145019531, -0.04179668426513672, -0.038532257080078125, -0.03526782989501953, -0.03200340270996094, -0.028738975524902344, -0.02547454833984375, -0.022210121154785156, -0.018945693969726562, -0.01568126678466797, -0.012416839599609375, -0.009152412414550781, -0.0058879852294921875, -0.0026235580444335938, 0.000640869140625, 0.0039052963256835938, 0.0071697235107421875, 0.010434150695800781, 0.013698577880859375, 0.01696300506591797, 0.020227432250976562, 0.023491859436035156, 0.02675628662109375, 0.030020713806152344, 0.03328514099121094, 0.03654956817626953, 0.039813995361328125, 0.04307842254638672, 0.04634284973144531, 0.049607276916503906, 0.0528717041015625, 0.056136131286621094, 0.05940055847167969, 0.06266498565673828, 0.06592941284179688, 0.06919384002685547, 0.07245826721191406, 0.07572269439697266, 0.07898712158203125, 0.08225154876708984, 0.08551597595214844, 0.08878040313720703, 0.09204483032226562, 0.09530925750732422, 0.09857368469238281, 0.1018381118774414, 0.1051025390625]}, "gradients/decoder.transformer.h.9.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 7.0, 32.0, 104.0, 252.0, 266.0, 211.0, 101.0, 37.0, 8.0], "bins": [-0.8301335573196411, -0.8161871433258057, -0.8022407293319702, -0.7882943749427795, -0.7743479609489441, -0.7604015469551086, -0.7464551329612732, -0.7325087785720825, -0.7185623645782471, -0.7046159505844116, -0.6906695365905762, -0.6767231822013855, -0.66277676820755, -0.6488303542137146, -0.6348839402198792, -0.6209375858306885, -0.606991171836853, -0.5930447578430176, -0.5790983438491821, -0.5651519894599915, -0.551205575466156, -0.5372591614723206, -0.5233127474784851, -0.5093663930892944, -0.4954199492931366, -0.48147353529930115, -0.4675271511077881, -0.45358073711395264, -0.4396343529224396, -0.4256879389286041, -0.41174155473709106, -0.3977951407432556, -0.38384878635406494, -0.3699023723602295, -0.35595598816871643, -0.342009574174881, -0.3280631899833679, -0.31411677598953247, -0.3001703917980194, -0.28622397780418396, -0.2722775936126709, -0.25833117961883545, -0.2443847954273224, -0.23043839633464813, -0.21649199724197388, -0.20254558324813843, -0.18859919905662537, -0.17465278506278992, -0.16070638597011566, -0.1467599868774414, -0.13281358778476715, -0.1188671886920929, -0.10492078959941864, -0.09097438305616379, -0.07702798396348953, -0.06308158487081528, -0.04913518205285072, -0.03518878296017647, -0.021242382004857063, -0.007295981049537659, 0.006650418043136597, 0.02059682086110115, 0.034543219953775406, 0.04848961904644966, 0.06243601813912392]}, "gradients/decoder.transformer.h.9.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 2.0, 6.0, 3.0, 10.0, 9.0, 5.0, 10.0, 18.0, 12.0, 21.0, 21.0, 24.0, 24.0, 29.0, 22.0, 33.0, 35.0, 32.0, 51.0, 44.0, 48.0, 40.0, 37.0, 40.0, 36.0, 51.0, 47.0, 29.0, 30.0, 32.0, 31.0, 32.0, 25.0, 24.0, 19.0, 17.0, 12.0, 9.0, 6.0, 7.0, 7.0, 8.0, 1.0, 6.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2283560037612915, -0.2214781492948532, -0.21460029482841492, -0.20772242546081543, -0.20084457099437714, -0.19396671652793884, -0.18708886206150055, -0.18021100759506226, -0.17333313822746277, -0.16645528376102448, -0.15957742929458618, -0.1526995599269867, -0.1458217054605484, -0.1389438509941101, -0.13206599652767181, -0.12518814206123352, -0.11831028759479523, -0.11143243312835693, -0.10455457121133804, -0.09767671674489975, -0.09079885482788086, -0.08392100036144257, -0.07704314589500427, -0.07016529142856598, -0.06328742951154709, -0.0564095713198185, -0.049531713128089905, -0.04265385866165161, -0.03577600046992302, -0.028898142278194427, -0.022020287811756134, -0.015142429620027542, -0.00826457142829895, -0.001386714167892933, 0.005491143092513084, 0.012368999421596527, 0.01924685761332512, 0.02612471580505371, 0.033002570271492004, 0.039880428463220596, 0.04675828665494919, 0.05363614484667778, 0.06051400303840637, 0.06739185750484467, 0.07426971197128296, 0.08114757388830185, 0.08802542835474014, 0.09490329027175903, 0.10178114473819733, 0.10865899920463562, 0.11553686112165451, 0.1224147155880928, 0.1292925775051117, 0.13617043197155, 0.14304828643798828, 0.14992614090442657, 0.15680399537086487, 0.16368184983730316, 0.17055970430374146, 0.17743757367134094, 0.18431542813777924, 0.19119328260421753, 0.19807113707065582, 0.20494899153709412, 0.2118268609046936]}, "gradients/decoder.transformer.h.8.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 3.0, 6.0, 4.0, 9.0, 5.0, 11.0, 14.0, 23.0, 14.0, 25.0, 23.0, 25.0, 27.0, 39.0, 47.0, 58.0, 51.0, 57.0, 58.0, 33.0, 46.0, 45.0, 56.0, 52.0, 47.0, 39.0, 32.0, 32.0, 31.0, 16.0, 17.0, 20.0, 6.0, 13.0, 9.0, 6.0, 2.0, 3.0, 2.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.03497314453125, -0.0341033935546875, -0.033233642578125, -0.0323638916015625, -0.031494140625, -0.0306243896484375, -0.029754638671875, -0.0288848876953125, -0.02801513671875, -0.0271453857421875, -0.026275634765625, -0.0254058837890625, -0.0245361328125, -0.0236663818359375, -0.022796630859375, -0.0219268798828125, -0.02105712890625, -0.0201873779296875, -0.019317626953125, -0.0184478759765625, -0.017578125, -0.0167083740234375, -0.015838623046875, -0.0149688720703125, -0.01409912109375, -0.0132293701171875, -0.012359619140625, -0.0114898681640625, -0.0106201171875, -0.0097503662109375, -0.008880615234375, -0.0080108642578125, -0.00714111328125, -0.0062713623046875, -0.005401611328125, -0.0045318603515625, -0.003662109375, -0.0027923583984375, -0.001922607421875, -0.0010528564453125, -0.00018310546875, 0.0006866455078125, 0.001556396484375, 0.0024261474609375, 0.0032958984375, 0.0041656494140625, 0.005035400390625, 0.0059051513671875, 0.00677490234375, 0.0076446533203125, 0.008514404296875, 0.0093841552734375, 0.01025390625, 0.0111236572265625, 0.011993408203125, 0.0128631591796875, 0.01373291015625, 0.0146026611328125, 0.015472412109375, 0.0163421630859375, 0.0172119140625, 0.0180816650390625, 0.018951416015625, 0.0198211669921875, 0.02069091796875]}, "gradients/decoder.transformer.h.8.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 1.0, 8.0, 11.0, 14.0, 11.0, 15.0, 32.0, 28.0, 57.0, 79.0, 95.0, 166.0, 231.0, 380.0, 512.0, 879.0, 1471.0, 2498.0, 4490.0, 8236.0, 16102.0, 33742.0, 78082.0, 201628.0, 599356.0, 1507943.0, 1108363.0, 384528.0, 136951.0, 55727.0, 24898.0, 12288.0, 6371.0, 3657.0, 2045.0, 1188.0, 753.0, 494.0, 296.0, 198.0, 126.0, 91.0, 65.0, 54.0, 31.0, 24.0, 18.0, 11.0, 14.0, 9.0, 5.0, 3.0, 4.0, 5.0, 3.0, 3.0], "bins": [-0.0313720703125, -0.030443906784057617, -0.029515743255615234, -0.02858757972717285, -0.02765941619873047, -0.026731252670288086, -0.025803089141845703, -0.02487492561340332, -0.023946762084960938, -0.023018598556518555, -0.022090435028076172, -0.02116227149963379, -0.020234107971191406, -0.019305944442749023, -0.01837778091430664, -0.017449617385864258, -0.016521453857421875, -0.015593290328979492, -0.01466512680053711, -0.013736963272094727, -0.012808799743652344, -0.011880636215209961, -0.010952472686767578, -0.010024309158325195, -0.009096145629882812, -0.00816798210144043, -0.007239818572998047, -0.006311655044555664, -0.005383491516113281, -0.0044553279876708984, -0.0035271644592285156, -0.002599000930786133, -0.00167083740234375, -0.0007426738739013672, 0.00018548965454101562, 0.0011136531829833984, 0.0020418167114257812, 0.002969980239868164, 0.003898143768310547, 0.00482630729675293, 0.0057544708251953125, 0.006682634353637695, 0.007610797882080078, 0.008538961410522461, 0.009467124938964844, 0.010395288467407227, 0.01132345199584961, 0.012251615524291992, 0.013179779052734375, 0.014107942581176758, 0.01503610610961914, 0.015964269638061523, 0.016892433166503906, 0.01782059669494629, 0.018748760223388672, 0.019676923751831055, 0.020605087280273438, 0.02153325080871582, 0.022461414337158203, 0.023389577865600586, 0.02431774139404297, 0.02524590492248535, 0.026174068450927734, 0.027102231979370117, 0.0280303955078125]}, "gradients/decoder.transformer.h.8.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 3.0, 3.0, 11.0, 17.0, 16.0, 30.0, 23.0, 45.0, 57.0, 96.0, 124.0, 212.0, 268.0, 388.0, 513.0, 570.0, 456.0, 348.0, 277.0, 200.0, 137.0, 80.0, 57.0, 44.0, 31.0, 26.0, 21.0, 8.0, 7.0, 8.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04656982421875, -0.04503917694091797, -0.04350852966308594, -0.041977882385253906, -0.040447235107421875, -0.038916587829589844, -0.03738594055175781, -0.03585529327392578, -0.03432464599609375, -0.03279399871826172, -0.03126335144042969, -0.029732704162597656, -0.028202056884765625, -0.026671409606933594, -0.025140762329101562, -0.02361011505126953, -0.0220794677734375, -0.02054882049560547, -0.019018173217773438, -0.017487525939941406, -0.015956878662109375, -0.014426231384277344, -0.012895584106445312, -0.011364936828613281, -0.00983428955078125, -0.008303642272949219, -0.0067729949951171875, -0.005242347717285156, -0.003711700439453125, -0.0021810531616210938, -0.0006504058837890625, 0.0008802413940429688, 0.002410888671875, 0.003941535949707031, 0.0054721832275390625, 0.007002830505371094, 0.008533477783203125, 0.010064125061035156, 0.011594772338867188, 0.013125419616699219, 0.01465606689453125, 0.01618671417236328, 0.017717361450195312, 0.019248008728027344, 0.020778656005859375, 0.022309303283691406, 0.023839950561523438, 0.02537059783935547, 0.0269012451171875, 0.02843189239501953, 0.029962539672851562, 0.031493186950683594, 0.033023834228515625, 0.034554481506347656, 0.03608512878417969, 0.03761577606201172, 0.03914642333984375, 0.04067707061767578, 0.04220771789550781, 0.043738365173339844, 0.045269012451171875, 0.046799659729003906, 0.04833030700683594, 0.04986095428466797, 0.0513916015625]}, "gradients/decoder.transformer.h.8.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 1.0, 7.0, 8.0, 8.0, 18.0, 14.0, 29.0, 37.0, 60.0, 57.0, 115.0, 207.0, 395.0, 779.0, 5593.0, 233892.0, 3820342.0, 127412.0, 3763.0, 695.0, 348.0, 189.0, 101.0, 68.0, 40.0, 34.0, 27.0, 19.0, 16.0, 7.0, 3.0, 3.0, 6.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.18798828125, -0.1821918487548828, -0.17639541625976562, -0.17059898376464844, -0.16480255126953125, -0.15900611877441406, -0.15320968627929688, -0.1474132537841797, -0.1416168212890625, -0.1358203887939453, -0.13002395629882812, -0.12422752380371094, -0.11843109130859375, -0.11263465881347656, -0.10683822631835938, -0.10104179382324219, -0.095245361328125, -0.08944892883300781, -0.08365249633789062, -0.07785606384277344, -0.07205963134765625, -0.06626319885253906, -0.060466766357421875, -0.05467033386230469, -0.0488739013671875, -0.04307746887207031, -0.037281036376953125, -0.03148460388183594, -0.02568817138671875, -0.019891738891601562, -0.014095306396484375, -0.008298873901367188, -0.00250244140625, 0.0032939910888671875, 0.009090423583984375, 0.014886856079101562, 0.02068328857421875, 0.026479721069335938, 0.032276153564453125, 0.03807258605957031, 0.0438690185546875, 0.04966545104980469, 0.055461883544921875, 0.06125831604003906, 0.06705474853515625, 0.07285118103027344, 0.07864761352539062, 0.08444404602050781, 0.090240478515625, 0.09603691101074219, 0.10183334350585938, 0.10762977600097656, 0.11342620849609375, 0.11922264099121094, 0.12501907348632812, 0.1308155059814453, 0.1366119384765625, 0.1424083709716797, 0.14820480346679688, 0.15400123596191406, 0.15979766845703125, 0.16559410095214844, 0.17139053344726562, 0.1771869659423828, 0.1829833984375]}, "gradients/decoder.transformer.h.8.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 7.0, 30.0, 62.0, 161.0, 195.0, 207.0, 181.0, 94.0, 56.0, 17.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.24149569869041443, -0.22667603194713593, -0.21185635030269623, -0.19703668355941772, -0.18221700191497803, -0.16739733517169952, -0.15257766842842102, -0.13775798678398132, -0.12293832004070282, -0.10811864584684372, -0.09329897165298462, -0.07847930490970612, -0.06365963071584702, -0.048839956521987915, -0.03402028977870941, -0.01920061558485031, -0.004380941390991211, 0.01043873094022274, 0.02525840327143669, 0.04007807374000549, 0.054897747933864594, 0.0697174221277237, 0.0845370888710022, 0.0993567630648613, 0.1141764372587204, 0.1289961040019989, 0.1438157856464386, 0.1586354523897171, 0.1734551191329956, 0.1882748007774353, 0.2030944675207138, 0.2179141342639923, 0.2327338457107544, 0.2475535124540329, 0.2623731791973114, 0.2771928608417511, 0.2920125424861908, 0.3068321943283081, 0.3216518759727478, 0.3364715576171875, 0.3512912392616272, 0.3661109209060669, 0.3809305727481842, 0.3957502543926239, 0.4105699360370636, 0.4253895878791809, 0.4402092695236206, 0.4550289511680603, 0.4698486030101776, 0.4846682846546173, 0.4994879364967346, 0.5143076181411743, 0.529127299785614, 0.5439469814300537, 0.5587666034698486, 0.5735862851142883, 0.588405966758728, 0.6032256484031677, 0.6180453300476074, 0.6328649520874023, 0.647684633731842, 0.6625043153762817, 0.6773239970207214, 0.6921436786651611, 0.7069633603096008]}, "gradients/decoder.transformer.h.8.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 4.0, 4.0, 4.0, 6.0, 1.0, 6.0, 8.0, 4.0, 12.0, 12.0, 15.0, 12.0, 21.0, 20.0, 18.0, 16.0, 26.0, 23.0, 40.0, 32.0, 31.0, 29.0, 34.0, 42.0, 37.0, 33.0, 38.0, 37.0, 30.0, 38.0, 40.0, 37.0, 32.0, 26.0, 21.0, 29.0, 27.0, 24.0, 26.0, 16.0, 14.0, 12.0, 13.0, 9.0, 12.0, 5.0, 8.0, 4.0, 10.0, 3.0, 6.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.13161510229110718, -0.12729117274284363, -0.12296722829341888, -0.11864329129457474, -0.11431935429573059, -0.10999541729688644, -0.1056714802980423, -0.10134754329919815, -0.097023606300354, -0.09269966930150986, -0.08837573230266571, -0.08405179530382156, -0.07972785830497742, -0.07540392130613327, -0.07107998430728912, -0.06675604730844498, -0.06243211030960083, -0.05810817331075668, -0.05378423631191254, -0.04946029931306839, -0.04513636231422424, -0.040812425315380096, -0.03648848831653595, -0.0321645513176918, -0.027840614318847656, -0.02351667732000351, -0.019192740321159363, -0.014868803322315216, -0.01054486632347107, -0.006220929324626923, -0.0018969923257827759, 0.002426944673061371, 0.006750881671905518, 0.011074818670749664, 0.015398755669593811, 0.019722692668437958, 0.024046629667282104, 0.02837056666612625, 0.0326945036649704, 0.037018440663814545, 0.04134237766265869, 0.04566631466150284, 0.049990251660346985, 0.05431418865919113, 0.05863812565803528, 0.06296206265687943, 0.06728599965572357, 0.07160993665456772, 0.07593387365341187, 0.08025781065225601, 0.08458174765110016, 0.0889056846499443, 0.09322962164878845, 0.0975535586476326, 0.10187749564647675, 0.10620143264532089, 0.11052536964416504, 0.11484930664300919, 0.11917324364185333, 0.12349718064069748, 0.12782111763954163, 0.13214504718780518, 0.13646899163722992, 0.14079293608665466, 0.1451168656349182]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 3.0, 4.0, 3.0, 5.0, 10.0, 8.0, 12.0, 16.0, 8.0, 15.0, 19.0, 21.0, 19.0, 30.0, 33.0, 29.0, 38.0, 50.0, 42.0, 43.0, 43.0, 57.0, 34.0, 44.0, 51.0, 42.0, 47.0, 48.0, 28.0, 40.0, 31.0, 23.0, 18.0, 22.0, 21.0, 10.0, 13.0, 7.0, 4.0, 7.0, 5.0, 5.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0296173095703125, -0.028812408447265625, -0.02800750732421875, -0.027202606201171875, -0.026397705078125, -0.025592803955078125, -0.02478790283203125, -0.023983001708984375, -0.0231781005859375, -0.022373199462890625, -0.02156829833984375, -0.020763397216796875, -0.01995849609375, -0.019153594970703125, -0.01834869384765625, -0.017543792724609375, -0.0167388916015625, -0.015933990478515625, -0.01512908935546875, -0.014324188232421875, -0.013519287109375, -0.012714385986328125, -0.01190948486328125, -0.011104583740234375, -0.0102996826171875, -0.009494781494140625, -0.00868988037109375, -0.007884979248046875, -0.007080078125, -0.006275177001953125, -0.00547027587890625, -0.004665374755859375, -0.0038604736328125, -0.003055572509765625, -0.00225067138671875, -0.001445770263671875, -0.000640869140625, 0.000164031982421875, 0.00096893310546875, 0.001773834228515625, 0.0025787353515625, 0.003383636474609375, 0.00418853759765625, 0.004993438720703125, 0.00579833984375, 0.006603240966796875, 0.00740814208984375, 0.008213043212890625, 0.0090179443359375, 0.009822845458984375, 0.01062774658203125, 0.011432647705078125, 0.012237548828125, 0.013042449951171875, 0.01384735107421875, 0.014652252197265625, 0.0154571533203125, 0.016262054443359375, 0.01706695556640625, 0.017871856689453125, 0.0186767578125, 0.019481658935546875, 0.02028656005859375, 0.021091461181640625, 0.0218963623046875]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 2.0, 4.0, 20.0, 20.0, 36.0, 30.0, 67.0, 98.0, 138.0, 219.0, 337.0, 579.0, 934.0, 1487.0, 2476.0, 4196.0, 6652.0, 11210.0, 18740.0, 33689.0, 62362.0, 130381.0, 382660.0, 202028.0, 85833.0, 44163.0, 24710.0, 14127.0, 8431.0, 4992.0, 3014.0, 1879.0, 1169.0, 687.0, 412.0, 294.0, 180.0, 91.0, 72.0, 41.0, 31.0, 20.0, 18.0, 13.0, 9.0, 4.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001455545425415039, -0.00014096684753894806, -0.0001363791525363922, -0.00013179145753383636, -0.00012720376253128052, -0.00012261606752872467, -0.00011802837252616882, -0.00011344067752361298, -0.00010885298252105713, -0.00010426528751850128, -9.967759251594543e-05, -9.508989751338959e-05, -9.050220251083374e-05, -8.591450750827789e-05, -8.132681250572205e-05, -7.67391175031662e-05, -7.215142250061035e-05, -6.75637274980545e-05, -6.297603249549866e-05, -5.838833749294281e-05, -5.380064249038696e-05, -4.9212947487831116e-05, -4.462525248527527e-05, -4.003755748271942e-05, -3.5449862480163574e-05, -3.086216747760773e-05, -2.627447247505188e-05, -2.1686777472496033e-05, -1.7099082469940186e-05, -1.2511387467384338e-05, -7.923692464828491e-06, -3.335997462272644e-06, 1.2516975402832031e-06, 5.83939254283905e-06, 1.0427087545394897e-05, 1.5014782547950745e-05, 1.9602477550506592e-05, 2.419017255306244e-05, 2.8777867555618286e-05, 3.336556255817413e-05, 3.795325756072998e-05, 4.254095256328583e-05, 4.7128647565841675e-05, 5.171634256839752e-05, 5.630403757095337e-05, 6.0891732573509216e-05, 6.547942757606506e-05, 7.006712257862091e-05, 7.465481758117676e-05, 7.92425125837326e-05, 8.383020758628845e-05, 8.84179025888443e-05, 9.300559759140015e-05, 9.7593292593956e-05, 0.00010218098759651184, 0.00010676868259906769, 0.00011135637760162354, 0.00011594407260417938, 0.00012053176760673523, 0.00012511946260929108, 0.00012970715761184692, 0.00013429485261440277, 0.00013888254761695862, 0.00014347024261951447, 0.0001480579376220703]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 2.0, 1.0, 2.0, 0.0, 4.0, 3.0, 3.0, 8.0, 7.0, 8.0, 12.0, 10.0, 11.0, 20.0, 12.0, 19.0, 20.0, 26.0, 36.0, 33.0, 30.0, 41.0, 31.0, 38.0, 40.0, 38.0, 34.0, 1057.0, 37.0, 34.0, 33.0, 31.0, 33.0, 32.0, 39.0, 34.0, 22.0, 21.0, 22.0, 19.0, 17.0, 15.0, 23.0, 14.0, 16.0, 10.0, 8.0, 8.0, 5.0, 3.0, 5.0, 2.0, 3.0, 4.0, 2.0, 1.0, 1.0], "bins": [-0.024139404296875, -0.02344346046447754, -0.022747516632080078, -0.022051572799682617, -0.021355628967285156, -0.020659685134887695, -0.019963741302490234, -0.019267797470092773, -0.018571853637695312, -0.01787590980529785, -0.01717996597290039, -0.01648402214050293, -0.01578807830810547, -0.015092134475708008, -0.014396190643310547, -0.013700246810913086, -0.013004302978515625, -0.012308359146118164, -0.011612415313720703, -0.010916471481323242, -0.010220527648925781, -0.00952458381652832, -0.00882863998413086, -0.008132696151733398, -0.0074367523193359375, -0.0067408084869384766, -0.006044864654541016, -0.005348920822143555, -0.004652976989746094, -0.003957033157348633, -0.003261089324951172, -0.002565145492553711, -0.00186920166015625, -0.001173257827758789, -0.0004773139953613281, 0.0002186298370361328, 0.0009145736694335938, 0.0016105175018310547, 0.0023064613342285156, 0.0030024051666259766, 0.0036983489990234375, 0.0043942928314208984, 0.005090236663818359, 0.00578618049621582, 0.006482124328613281, 0.007178068161010742, 0.007874011993408203, 0.008569955825805664, 0.009265899658203125, 0.009961843490600586, 0.010657787322998047, 0.011353731155395508, 0.012049674987792969, 0.01274561882019043, 0.01344156265258789, 0.014137506484985352, 0.014833450317382812, 0.015529394149780273, 0.016225337982177734, 0.016921281814575195, 0.017617225646972656, 0.018313169479370117, 0.019009113311767578, 0.01970505714416504, 0.0204010009765625]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 3.0, 2.0, 1.0, 4.0, 3.0, 2.0, 4.0, 9.0, 5.0, 11.0, 11.0, 9.0, 17.0, 18.0, 12.0, 18.0, 21.0, 19.0, 23.0, 24.0, 30.0, 39.0, 37.0, 89.0, 143.0, 418.0, 1380.0, 7140.0, 2052587.0, 30112.0, 3308.0, 903.0, 277.0, 107.0, 52.0, 45.0, 22.0, 37.0, 35.0, 27.0, 25.0, 14.0, 14.0, 15.0, 12.0, 14.0, 6.0, 8.0, 10.0, 5.0, 4.0, 3.0, 2.0, 2.0, 1.0, 2.0, 2.0, 0.0, 3.0, 3.0, 1.0, 0.0, 1.0], "bins": [-2.002716064453125e-05, -1.9354745745658875e-05, -1.86823308467865e-05, -1.8009915947914124e-05, -1.7337501049041748e-05, -1.6665086150169373e-05, -1.5992671251296997e-05, -1.532025635242462e-05, -1.4647841453552246e-05, -1.397542655467987e-05, -1.3303011655807495e-05, -1.263059675693512e-05, -1.1958181858062744e-05, -1.1285766959190369e-05, -1.0613352060317993e-05, -9.940937161445618e-06, -9.268522262573242e-06, -8.596107363700867e-06, -7.923692464828491e-06, -7.251277565956116e-06, -6.57886266708374e-06, -5.906447768211365e-06, -5.234032869338989e-06, -4.561617970466614e-06, -3.889203071594238e-06, -3.216788172721863e-06, -2.5443732738494873e-06, -1.8719583749771118e-06, -1.1995434761047363e-06, -5.271285772323608e-07, 1.4528632164001465e-07, 8.177012205123901e-07, 1.4901161193847656e-06, 2.162531018257141e-06, 2.8349459171295166e-06, 3.507360816001892e-06, 4.179775714874268e-06, 4.852190613746643e-06, 5.5246055126190186e-06, 6.197020411491394e-06, 6.8694353103637695e-06, 7.541850209236145e-06, 8.21426510810852e-06, 8.886680006980896e-06, 9.559094905853271e-06, 1.0231509804725647e-05, 1.0903924703598022e-05, 1.1576339602470398e-05, 1.2248754501342773e-05, 1.2921169400215149e-05, 1.3593584299087524e-05, 1.42659991979599e-05, 1.4938414096832275e-05, 1.561082899570465e-05, 1.6283243894577026e-05, 1.6955658793449402e-05, 1.7628073692321777e-05, 1.8300488591194153e-05, 1.897290349006653e-05, 1.9645318388938904e-05, 2.031773328781128e-05, 2.0990148186683655e-05, 2.166256308555603e-05, 2.2334977984428406e-05, 2.300739288330078e-05]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 3.0, 4.0, 3.0, 5.0, 10.0, 8.0, 12.0, 16.0, 8.0, 15.0, 19.0, 21.0, 19.0, 30.0, 33.0, 29.0, 38.0, 50.0, 42.0, 43.0, 43.0, 57.0, 34.0, 44.0, 51.0, 42.0, 47.0, 48.0, 28.0, 40.0, 31.0, 23.0, 18.0, 22.0, 21.0, 10.0, 13.0, 7.0, 4.0, 7.0, 5.0, 5.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0296173095703125, -0.028812408447265625, -0.02800750732421875, -0.027202606201171875, -0.026397705078125, -0.025592803955078125, -0.02478790283203125, -0.023983001708984375, -0.0231781005859375, -0.022373199462890625, -0.02156829833984375, -0.020763397216796875, -0.01995849609375, -0.019153594970703125, -0.01834869384765625, -0.017543792724609375, -0.0167388916015625, -0.015933990478515625, -0.01512908935546875, -0.014324188232421875, -0.013519287109375, -0.012714385986328125, -0.01190948486328125, -0.011104583740234375, -0.0102996826171875, -0.009494781494140625, -0.00868988037109375, -0.007884979248046875, -0.007080078125, -0.006275177001953125, -0.00547027587890625, -0.004665374755859375, -0.0038604736328125, -0.003055572509765625, -0.00225067138671875, -0.001445770263671875, -0.000640869140625, 0.000164031982421875, 0.00096893310546875, 0.001773834228515625, 0.0025787353515625, 0.003383636474609375, 0.00418853759765625, 0.004993438720703125, 0.00579833984375, 0.006603240966796875, 0.00740814208984375, 0.008213043212890625, 0.0090179443359375, 0.009822845458984375, 0.01062774658203125, 0.011432647705078125, 0.012237548828125, 0.013042449951171875, 0.01384735107421875, 0.014652252197265625, 0.0154571533203125, 0.016262054443359375, 0.01706695556640625, 0.017871856689453125, 0.0186767578125, 0.019481658935546875, 0.02028656005859375, 0.021091461181640625, 0.0218963623046875]}, "gradients/decoder.transformer.h.8.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 5.0, 1.0, 7.0, 10.0, 13.0, 25.0, 41.0, 45.0, 57.0, 91.0, 144.0, 198.0, 323.0, 460.0, 667.0, 1004.0, 1446.0, 2104.0, 3187.0, 4753.0, 6934.0, 11189.0, 17649.0, 29513.0, 52293.0, 100732.0, 201119.0, 264394.0, 160720.0, 79500.0, 42234.0, 24677.0, 14986.0, 9316.0, 6187.0, 3943.0, 2722.0, 1871.0, 1213.0, 909.0, 606.0, 413.0, 249.0, 210.0, 133.0, 94.0, 58.0, 30.0, 29.0, 19.0, 19.0, 10.0, 5.0, 6.0, 4.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0262451171875, -0.02540731430053711, -0.02456951141357422, -0.023731708526611328, -0.022893905639648438, -0.022056102752685547, -0.021218299865722656, -0.020380496978759766, -0.019542694091796875, -0.018704891204833984, -0.017867088317871094, -0.017029285430908203, -0.016191482543945312, -0.015353679656982422, -0.014515876770019531, -0.01367807388305664, -0.01284027099609375, -0.01200246810913086, -0.011164665222167969, -0.010326862335205078, -0.009489059448242188, -0.008651256561279297, -0.007813453674316406, -0.006975650787353516, -0.006137847900390625, -0.005300045013427734, -0.004462242126464844, -0.003624439239501953, -0.0027866363525390625, -0.0019488334655761719, -0.0011110305786132812, -0.0002732276916503906, 0.0005645751953125, 0.0014023780822753906, 0.0022401809692382812, 0.003077983856201172, 0.0039157867431640625, 0.004753589630126953, 0.005591392517089844, 0.006429195404052734, 0.007266998291015625, 0.008104801177978516, 0.008942604064941406, 0.009780406951904297, 0.010618209838867188, 0.011456012725830078, 0.012293815612792969, 0.01313161849975586, 0.01396942138671875, 0.01480722427368164, 0.01564502716064453, 0.016482830047607422, 0.017320632934570312, 0.018158435821533203, 0.018996238708496094, 0.019834041595458984, 0.020671844482421875, 0.021509647369384766, 0.022347450256347656, 0.023185253143310547, 0.024023056030273438, 0.024860858917236328, 0.02569866180419922, 0.02653646469116211, 0.027374267578125]}, "gradients/decoder.transformer.h.8.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 4.0, 3.0, 15.0, 19.0, 12.0, 21.0, 9.0, 15.0, 25.0, 19.0, 32.0, 38.0, 43.0, 57.0, 59.0, 63.0, 99.0, 171.0, 1386.0, 306.0, 166.0, 98.0, 51.0, 45.0, 45.0, 45.0, 36.0, 27.0, 26.0, 24.0, 18.0, 11.0, 16.0, 12.0, 14.0, 5.0, 2.0, 4.0, 5.0, 3.0, 3.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07427978515625, -0.07171154022216797, -0.06914329528808594, -0.0665750503540039, -0.06400680541992188, -0.061438560485839844, -0.05887031555175781, -0.05630207061767578, -0.05373382568359375, -0.05116558074951172, -0.04859733581542969, -0.046029090881347656, -0.043460845947265625, -0.040892601013183594, -0.03832435607910156, -0.03575611114501953, -0.0331878662109375, -0.03061962127685547, -0.028051376342773438, -0.025483131408691406, -0.022914886474609375, -0.020346641540527344, -0.017778396606445312, -0.015210151672363281, -0.01264190673828125, -0.010073661804199219, -0.0075054168701171875, -0.004937171936035156, -0.002368927001953125, 0.00019931793212890625, 0.0027675628662109375, 0.005335807800292969, 0.007904052734375, 0.010472297668457031, 0.013040542602539062, 0.015608787536621094, 0.018177032470703125, 0.020745277404785156, 0.023313522338867188, 0.02588176727294922, 0.02845001220703125, 0.03101825714111328, 0.03358650207519531, 0.036154747009277344, 0.038722991943359375, 0.041291236877441406, 0.04385948181152344, 0.04642772674560547, 0.0489959716796875, 0.05156421661376953, 0.05413246154785156, 0.056700706481933594, 0.059268951416015625, 0.061837196350097656, 0.06440544128417969, 0.06697368621826172, 0.06954193115234375, 0.07211017608642578, 0.07467842102050781, 0.07724666595458984, 0.07981491088867188, 0.0823831558227539, 0.08495140075683594, 0.08751964569091797, 0.090087890625]}, "gradients/decoder.transformer.h.8.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 5.0, 7.0, 7.0, 8.0, 20.0, 23.0, 29.0, 39.0, 34.0, 62.0, 101.0, 126.0, 199.0, 284.0, 632.0, 1588.0, 5202.0, 22478.0, 148451.0, 2013023.0, 860320.0, 73595.0, 13461.0, 3564.0, 1154.0, 474.0, 230.0, 163.0, 99.0, 103.0, 62.0, 42.0, 33.0, 23.0, 20.0, 11.0, 6.0, 10.0, 8.0, 4.0, 5.0, 1.0, 5.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.08856201171875, -0.08601951599121094, -0.08347702026367188, -0.08093452453613281, -0.07839202880859375, -0.07584953308105469, -0.07330703735351562, -0.07076454162597656, -0.0682220458984375, -0.06567955017089844, -0.06313705444335938, -0.06059455871582031, -0.05805206298828125, -0.05550956726074219, -0.052967071533203125, -0.05042457580566406, -0.047882080078125, -0.04533958435058594, -0.042797088623046875, -0.04025459289550781, -0.03771209716796875, -0.03516960144042969, -0.032627105712890625, -0.030084609985351562, -0.0275421142578125, -0.024999618530273438, -0.022457122802734375, -0.019914627075195312, -0.01737213134765625, -0.014829635620117188, -0.012287139892578125, -0.009744644165039062, -0.0072021484375, -0.0046596527099609375, -0.002117156982421875, 0.0004253387451171875, 0.00296783447265625, 0.0055103302001953125, 0.008052825927734375, 0.010595321655273438, 0.0131378173828125, 0.015680313110351562, 0.018222808837890625, 0.020765304565429688, 0.02330780029296875, 0.025850296020507812, 0.028392791748046875, 0.030935287475585938, 0.033477783203125, 0.03602027893066406, 0.038562774658203125, 0.04110527038574219, 0.04364776611328125, 0.04619026184082031, 0.048732757568359375, 0.05127525329589844, 0.0538177490234375, 0.05636024475097656, 0.058902740478515625, 0.06144523620605469, 0.06398773193359375, 0.06653022766113281, 0.06907272338867188, 0.07161521911621094, 0.07415771484375]}, "gradients/decoder.transformer.h.8.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 6.0, 12.0, 31.0, 57.0, 82.0, 150.0, 167.0, 157.0, 144.0, 110.0, 54.0, 24.0, 12.0, 4.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1945732980966568, -0.1867615133523941, -0.1789497435092926, -0.1711379587650299, -0.1633261740207672, -0.15551438927650452, -0.14770260453224182, -0.13989083468914032, -0.13207904994487762, -0.12426726520061493, -0.11645548790693283, -0.10864371061325073, -0.10083192586898804, -0.09302014112472534, -0.08520836383104324, -0.07739658653736115, -0.06958480179309845, -0.06177302077412605, -0.053961239755153656, -0.04614945873618126, -0.03833767771720886, -0.030525896698236465, -0.02271411567926407, -0.014902334660291672, -0.007090553641319275, 0.000721227377653122, 0.008533008396625519, 0.016344789415597916, 0.024156570434570312, 0.03196835145354271, 0.039780132472515106, 0.0475919134914875, 0.055403679609298706, 0.0632154643535614, 0.0710272416472435, 0.0788390189409256, 0.0866508036851883, 0.09446258842945099, 0.10227436572313309, 0.11008614301681519, 0.11789792776107788, 0.12570971250534058, 0.13352149724960327, 0.14133326709270477, 0.14914505183696747, 0.15695683658123016, 0.16476860642433167, 0.17258039116859436, 0.18039217591285706, 0.18820396065711975, 0.19601574540138245, 0.20382751524448395, 0.21163929998874664, 0.21945108473300934, 0.22726285457611084, 0.23507463932037354, 0.24288642406463623, 0.2506982088088989, 0.2585099935531616, 0.2663217782974243, 0.274133563041687, 0.2819453179836273, 0.28975710272789, 0.2975688874721527, 0.3053806722164154]}, "gradients/decoder.transformer.h.8.ln_1.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 4.0, 2.0, 3.0, 3.0, 4.0, 2.0, 9.0, 7.0, 13.0, 16.0, 12.0, 22.0, 14.0, 19.0, 19.0, 30.0, 26.0, 39.0, 38.0, 40.0, 44.0, 47.0, 46.0, 37.0, 45.0, 47.0, 55.0, 34.0, 41.0, 44.0, 20.0, 37.0, 34.0, 24.0, 17.0, 13.0, 28.0, 14.0, 10.0, 10.0, 17.0, 9.0, 4.0, 6.0, 3.0, 4.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22059309482574463, -0.2128404825925827, -0.20508787035942078, -0.19733525812625885, -0.18958264589309692, -0.181830033659935, -0.17407742142677307, -0.16632479429244995, -0.15857219696044922, -0.1508195847272873, -0.14306697249412537, -0.13531436026096344, -0.1275617480278015, -0.11980913579463959, -0.11205651611089706, -0.10430390387773514, -0.09655128419399261, -0.08879867196083069, -0.08104605972766876, -0.07329344749450684, -0.06554083526134491, -0.057788219302892685, -0.05003560334444046, -0.042282991111278534, -0.03453037887811661, -0.02677776664495468, -0.019025152549147606, -0.01127253845334053, -0.003519926220178604, 0.004232686012983322, 0.011985301971435547, 0.019737914204597473, 0.0274905264377594, 0.035243138670921326, 0.04299575090408325, 0.05074836686253548, 0.0585009790956974, 0.06625358760356903, 0.07400620728731155, 0.08175881952047348, 0.0895114317536354, 0.09726404398679733, 0.10501665621995926, 0.11276927590370178, 0.12052188813686371, 0.12827450037002563, 0.13602711260318756, 0.1437797248363495, 0.1515323370695114, 0.15928494930267334, 0.16703756153583527, 0.1747901737689972, 0.18254278600215912, 0.19029539823532104, 0.19804802536964417, 0.2058006227016449, 0.21355324983596802, 0.22130586206912994, 0.22905847430229187, 0.2368110865354538, 0.24456369876861572, 0.25231632590293884, 0.2600689232349396, 0.2678215503692627, 0.2755741477012634]}, "gradients/decoder.transformer.h.7.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 5.0, 4.0, 3.0, 9.0, 12.0, 9.0, 12.0, 18.0, 12.0, 10.0, 15.0, 18.0, 21.0, 24.0, 33.0, 32.0, 40.0, 36.0, 44.0, 55.0, 34.0, 44.0, 49.0, 38.0, 44.0, 46.0, 45.0, 40.0, 35.0, 38.0, 25.0, 23.0, 26.0, 27.0, 15.0, 16.0, 13.0, 14.0, 5.0, 10.0, 4.0, 2.0, 0.0, 4.0, 0.0, 3.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0276031494140625, -0.026815414428710938, -0.026027679443359375, -0.025239944458007812, -0.02445220947265625, -0.023664474487304688, -0.022876739501953125, -0.022089004516601562, -0.02130126953125, -0.020513534545898438, -0.019725799560546875, -0.018938064575195312, -0.01815032958984375, -0.017362594604492188, -0.016574859619140625, -0.015787124633789062, -0.0149993896484375, -0.014211654663085938, -0.013423919677734375, -0.012636184692382812, -0.01184844970703125, -0.011060714721679688, -0.010272979736328125, -0.009485244750976562, -0.008697509765625, -0.007909774780273438, -0.007122039794921875, -0.0063343048095703125, -0.00554656982421875, -0.0047588348388671875, -0.003971099853515625, -0.0031833648681640625, -0.0023956298828125, -0.0016078948974609375, -0.000820159912109375, -3.24249267578125e-05, 0.00075531005859375, 0.0015430450439453125, 0.002330780029296875, 0.0031185150146484375, 0.00390625, 0.0046939849853515625, 0.005481719970703125, 0.0062694549560546875, 0.00705718994140625, 0.007844924926757812, 0.008632659912109375, 0.009420394897460938, 0.0102081298828125, 0.010995864868164062, 0.011783599853515625, 0.012571334838867188, 0.01335906982421875, 0.014146804809570312, 0.014934539794921875, 0.015722274780273438, 0.016510009765625, 0.017297744750976562, 0.018085479736328125, 0.018873214721679688, 0.01966094970703125, 0.020448684692382812, 0.021236419677734375, 0.022024154663085938, 0.0228118896484375]}, "gradients/decoder.transformer.h.7.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 3.0, 1.0, 2.0, 3.0, 4.0, 8.0, 6.0, 13.0, 14.0, 22.0, 25.0, 38.0, 68.0, 90.0, 120.0, 211.0, 303.0, 540.0, 910.0, 1532.0, 2907.0, 6123.0, 12966.0, 30289.0, 78723.0, 248564.0, 995288.0, 1969530.0, 587931.0, 161547.0, 54657.0, 21916.0, 9555.0, 4775.0, 2379.0, 1246.0, 746.0, 434.0, 283.0, 168.0, 103.0, 77.0, 53.0, 34.0, 24.0, 22.0, 14.0, 10.0, 6.0, 5.0, 2.0, 3.0, 1.0, 1.0, 1.0, 3.0], "bins": [-0.04351806640625, -0.042285919189453125, -0.04105377197265625, -0.039821624755859375, -0.0385894775390625, -0.037357330322265625, -0.03612518310546875, -0.034893035888671875, -0.033660888671875, -0.032428741455078125, -0.03119659423828125, -0.029964447021484375, -0.0287322998046875, -0.027500152587890625, -0.02626800537109375, -0.025035858154296875, -0.0238037109375, -0.022571563720703125, -0.02133941650390625, -0.020107269287109375, -0.0188751220703125, -0.017642974853515625, -0.01641082763671875, -0.015178680419921875, -0.013946533203125, -0.012714385986328125, -0.01148223876953125, -0.010250091552734375, -0.0090179443359375, -0.007785797119140625, -0.00655364990234375, -0.005321502685546875, -0.00408935546875, -0.002857208251953125, -0.00162506103515625, -0.000392913818359375, 0.0008392333984375, 0.002071380615234375, 0.00330352783203125, 0.004535675048828125, 0.005767822265625, 0.006999969482421875, 0.00823211669921875, 0.009464263916015625, 0.0106964111328125, 0.011928558349609375, 0.01316070556640625, 0.014392852783203125, 0.015625, 0.016857147216796875, 0.01808929443359375, 0.019321441650390625, 0.0205535888671875, 0.021785736083984375, 0.02301788330078125, 0.024250030517578125, 0.025482177734375, 0.026714324951171875, 0.02794647216796875, 0.029178619384765625, 0.0304107666015625, 0.031642913818359375, 0.03287506103515625, 0.034107208251953125, 0.03533935546875]}, "gradients/decoder.transformer.h.7.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 4.0, 1.0, 3.0, 2.0, 4.0, 3.0, 4.0, 16.0, 9.0, 19.0, 23.0, 26.0, 44.0, 46.0, 70.0, 100.0, 105.0, 139.0, 228.0, 268.0, 357.0, 430.0, 486.0, 412.0, 338.0, 238.0, 158.0, 128.0, 108.0, 76.0, 61.0, 49.0, 35.0, 24.0, 18.0, 14.0, 12.0, 10.0, 6.0, 5.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0469970703125, -0.04566526412963867, -0.044333457946777344, -0.043001651763916016, -0.04166984558105469, -0.04033803939819336, -0.03900623321533203, -0.0376744270324707, -0.036342620849609375, -0.03501081466674805, -0.03367900848388672, -0.03234720230102539, -0.031015396118164062, -0.029683589935302734, -0.028351783752441406, -0.027019977569580078, -0.02568817138671875, -0.024356365203857422, -0.023024559020996094, -0.021692752838134766, -0.020360946655273438, -0.01902914047241211, -0.01769733428955078, -0.016365528106689453, -0.015033721923828125, -0.013701915740966797, -0.012370109558105469, -0.01103830337524414, -0.009706497192382812, -0.008374691009521484, -0.007042884826660156, -0.005711078643798828, -0.0043792724609375, -0.003047466278076172, -0.0017156600952148438, -0.0003838539123535156, 0.0009479522705078125, 0.0022797584533691406, 0.0036115646362304688, 0.004943370819091797, 0.006275177001953125, 0.007606983184814453, 0.008938789367675781, 0.01027059555053711, 0.011602401733398438, 0.012934207916259766, 0.014266014099121094, 0.015597820281982422, 0.01692962646484375, 0.018261432647705078, 0.019593238830566406, 0.020925045013427734, 0.022256851196289062, 0.02358865737915039, 0.02492046356201172, 0.026252269744873047, 0.027584075927734375, 0.028915882110595703, 0.03024768829345703, 0.03157949447631836, 0.03291130065917969, 0.034243106842041016, 0.035574913024902344, 0.03690671920776367, 0.038238525390625]}, "gradients/decoder.transformer.h.7.mlp.c_fc.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 4.0, 5.0, 11.0, 14.0, 11.0, 20.0, 30.0, 38.0, 56.0, 76.0, 73.0, 121.0, 196.0, 327.0, 683.0, 2425.0, 13262.0, 140663.0, 2623124.0, 1324271.0, 77082.0, 8524.0, 1738.0, 591.0, 279.0, 167.0, 129.0, 95.0, 86.0, 44.0, 28.0, 31.0, 17.0, 17.0, 14.0, 9.0, 10.0, 2.0, 3.0, 1.0, 5.0, 0.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1025390625, -0.09857749938964844, -0.09461593627929688, -0.09065437316894531, -0.08669281005859375, -0.08273124694824219, -0.07876968383789062, -0.07480812072753906, -0.0708465576171875, -0.06688499450683594, -0.06292343139648438, -0.05896186828613281, -0.05500030517578125, -0.05103874206542969, -0.047077178955078125, -0.04311561584472656, -0.039154052734375, -0.03519248962402344, -0.031230926513671875, -0.027269363403320312, -0.02330780029296875, -0.019346237182617188, -0.015384674072265625, -0.011423110961914062, -0.0074615478515625, -0.0034999847412109375, 0.000461578369140625, 0.0044231414794921875, 0.00838470458984375, 0.012346267700195312, 0.016307830810546875, 0.020269393920898438, 0.02423095703125, 0.028192520141601562, 0.032154083251953125, 0.03611564636230469, 0.04007720947265625, 0.04403877258300781, 0.048000335693359375, 0.05196189880371094, 0.0559234619140625, 0.05988502502441406, 0.06384658813476562, 0.06780815124511719, 0.07176971435546875, 0.07573127746582031, 0.07969284057617188, 0.08365440368652344, 0.087615966796875, 0.09157752990722656, 0.09553909301757812, 0.09950065612792969, 0.10346221923828125, 0.10742378234863281, 0.11138534545898438, 0.11534690856933594, 0.1193084716796875, 0.12327003479003906, 0.12723159790039062, 0.1311931610107422, 0.13515472412109375, 0.1391162872314453, 0.14307785034179688, 0.14703941345214844, 0.1510009765625]}, "gradients/decoder.transformer.h.7.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 3.0, 2.0, 23.0, 23.0, 42.0, 58.0, 58.0, 77.0, 93.0, 110.0, 106.0, 115.0, 94.0, 68.0, 51.0, 35.0, 27.0, 12.0, 2.0, 9.0, 6.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09561461210250854, -0.08837215602397919, -0.08112969994544983, -0.07388724386692047, -0.06664478778839111, -0.059402331709861755, -0.0521598756313324, -0.04491741955280304, -0.03767496347427368, -0.030432507395744324, -0.023190051317214966, -0.015947595238685608, -0.00870513916015625, -0.001462683081626892, 0.005779772996902466, 0.013022229075431824, 0.02026468515396118, 0.02750714123249054, 0.0347495973110199, 0.041992053389549255, 0.04923450946807861, 0.05647696554660797, 0.06371942162513733, 0.07096187770366669, 0.07820433378219604, 0.0854467898607254, 0.09268924593925476, 0.09993170201778412, 0.10717415809631348, 0.11441661417484283, 0.12165907025337219, 0.12890152633190155, 0.1361439824104309, 0.14338643848896027, 0.15062889456748962, 0.15787135064601898, 0.16511380672454834, 0.1723562628030777, 0.17959871888160706, 0.1868411749601364, 0.19408363103866577, 0.20132608711719513, 0.2085685431957245, 0.21581099927425385, 0.2230534553527832, 0.23029591143131256, 0.23753836750984192, 0.24478082358837128, 0.25202327966690063, 0.2592657208442688, 0.26650819182395935, 0.2737506628036499, 0.28099310398101807, 0.28823554515838623, 0.2954780161380768, 0.30272048711776733, 0.3099629282951355, 0.31720536947250366, 0.3244478404521942, 0.33169031143188477, 0.33893275260925293, 0.3461751937866211, 0.35341766476631165, 0.3606601357460022, 0.36790257692337036]}, "gradients/decoder.transformer.h.7.ln_2.bias": {"_type": "histogram", "values": [5.0, 4.0, 1.0, 4.0, 9.0, 4.0, 7.0, 6.0, 4.0, 16.0, 2.0, 11.0, 15.0, 13.0, 12.0, 13.0, 36.0, 24.0, 29.0, 37.0, 39.0, 39.0, 39.0, 39.0, 28.0, 40.0, 25.0, 26.0, 37.0, 44.0, 38.0, 34.0, 33.0, 26.0, 36.0, 36.0, 32.0, 20.0, 20.0, 20.0, 22.0, 26.0, 14.0, 14.0, 6.0, 8.0, 5.0, 7.0, 2.0, 3.0, 4.0, 2.0, 5.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12050735950469971, -0.11607244610786438, -0.11163752526044846, -0.10720260441303253, -0.1027676910161972, -0.09833277761936188, -0.09389785677194595, -0.08946293592453003, -0.0850280225276947, -0.08059310913085938, -0.07615818828344345, -0.07172326743602753, -0.0672883540391922, -0.06285344064235687, -0.05841851979494095, -0.05398360267281532, -0.0495486855506897, -0.04511376842856407, -0.040678851306438446, -0.03624393418431282, -0.031809017062187195, -0.02737409994006157, -0.022939182817935944, -0.018504265695810318, -0.014069348573684692, -0.009634431451559067, -0.005199514329433441, -0.0007645972073078156, 0.00367031991481781, 0.008105237036943436, 0.012540154159069061, 0.016975071281194687, 0.021409988403320312, 0.025844905525445938, 0.030279822647571564, 0.03471473976969719, 0.039149656891822815, 0.04358457401394844, 0.048019491136074066, 0.05245440825819969, 0.05688932538032532, 0.06132424250245094, 0.06575915962457657, 0.07019408047199249, 0.07462899386882782, 0.07906390726566315, 0.08349882811307907, 0.087933748960495, 0.09236866235733032, 0.09680357575416565, 0.10123849660158157, 0.1056734174489975, 0.11010833084583282, 0.11454324424266815, 0.11897816509008408, 0.1234130859375, 0.12784799933433533, 0.13228291273117065, 0.13671782612800598, 0.1411527544260025, 0.14558766782283783, 0.15002258121967316, 0.15445750951766968, 0.158892422914505, 0.16332733631134033]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 9.0, 10.0, 10.0, 13.0, 4.0, 10.0, 6.0, 9.0, 20.0, 14.0, 15.0, 23.0, 27.0, 27.0, 26.0, 27.0, 35.0, 31.0, 46.0, 44.0, 42.0, 43.0, 43.0, 37.0, 29.0, 41.0, 25.0, 40.0, 37.0, 41.0, 37.0, 24.0, 18.0, 28.0, 15.0, 19.0, 15.0, 7.0, 14.0, 11.0, 7.0, 6.0, 10.0, 6.0, 4.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0248260498046875, -0.024100065231323242, -0.023374080657958984, -0.022648096084594727, -0.02192211151123047, -0.02119612693786621, -0.020470142364501953, -0.019744157791137695, -0.019018173217773438, -0.01829218864440918, -0.017566204071044922, -0.016840219497680664, -0.016114234924316406, -0.015388250350952148, -0.01466226577758789, -0.013936281204223633, -0.013210296630859375, -0.012484312057495117, -0.01175832748413086, -0.011032342910766602, -0.010306358337402344, -0.009580373764038086, -0.008854389190673828, -0.00812840461730957, -0.0074024200439453125, -0.006676435470581055, -0.005950450897216797, -0.005224466323852539, -0.004498481750488281, -0.0037724971771240234, -0.0030465126037597656, -0.002320528030395508, -0.00159454345703125, -0.0008685588836669922, -0.00014257431030273438, 0.0005834102630615234, 0.0013093948364257812, 0.002035379409790039, 0.002761363983154297, 0.0034873485565185547, 0.0042133331298828125, 0.00493931770324707, 0.005665302276611328, 0.006391286849975586, 0.007117271423339844, 0.007843255996704102, 0.00856924057006836, 0.009295225143432617, 0.010021209716796875, 0.010747194290161133, 0.01147317886352539, 0.012199163436889648, 0.012925148010253906, 0.013651132583618164, 0.014377117156982422, 0.01510310173034668, 0.015829086303710938, 0.016555070877075195, 0.017281055450439453, 0.01800704002380371, 0.01873302459716797, 0.019459009170532227, 0.020184993743896484, 0.020910978317260742, 0.021636962890625]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 9.0, 10.0, 6.0, 15.0, 17.0, 30.0, 66.0, 85.0, 122.0, 178.0, 244.0, 352.0, 517.0, 854.0, 1285.0, 1721.0, 2651.0, 3952.0, 5802.0, 8603.0, 12978.0, 19922.0, 31916.0, 51388.0, 89693.0, 175268.0, 318484.0, 132240.0, 70650.0, 42591.0, 26062.0, 16787.0, 11259.0, 7397.0, 4954.0, 3409.0, 2224.0, 1521.0, 1121.0, 711.0, 447.0, 302.0, 219.0, 175.0, 112.0, 82.0, 49.0, 25.0, 19.0, 12.0, 9.0, 10.0, 4.0, 3.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.0001074075698852539, -0.00010408274829387665, -0.00010075792670249939, -9.743310511112213e-05, -9.410828351974487e-05, -9.078346192836761e-05, -8.745864033699036e-05, -8.41338187456131e-05, -8.080899715423584e-05, -7.748417556285858e-05, -7.415935397148132e-05, -7.083453238010406e-05, -6.75097107887268e-05, -6.418488919734955e-05, -6.086006760597229e-05, -5.753524601459503e-05, -5.4210424423217773e-05, -5.0885602831840515e-05, -4.756078124046326e-05, -4.4235959649086e-05, -4.091113805770874e-05, -3.758631646633148e-05, -3.4261494874954224e-05, -3.0936673283576965e-05, -2.7611851692199707e-05, -2.428703010082245e-05, -2.096220850944519e-05, -1.7637386918067932e-05, -1.4312565326690674e-05, -1.0987743735313416e-05, -7.662922143936157e-06, -4.338100552558899e-06, -1.0132789611816406e-06, 2.3115426301956177e-06, 5.636364221572876e-06, 8.961185812950134e-06, 1.2286007404327393e-05, 1.561082899570465e-05, 1.893565058708191e-05, 2.2260472178459167e-05, 2.5585293769836426e-05, 2.8910115361213684e-05, 3.223493695259094e-05, 3.55597585439682e-05, 3.888458013534546e-05, 4.220940172672272e-05, 4.5534223318099976e-05, 4.8859044909477234e-05, 5.218386650085449e-05, 5.550868809223175e-05, 5.883350968360901e-05, 6.215833127498627e-05, 6.548315286636353e-05, 6.880797445774078e-05, 7.213279604911804e-05, 7.54576176404953e-05, 7.878243923187256e-05, 8.210726082324982e-05, 8.543208241462708e-05, 8.875690400600433e-05, 9.208172559738159e-05, 9.540654718875885e-05, 9.873136878013611e-05, 0.00010205619037151337, 0.00010538101196289062]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 4.0, 1.0, 4.0, 0.0, 5.0, 7.0, 5.0, 13.0, 16.0, 13.0, 23.0, 23.0, 19.0, 30.0, 32.0, 34.0, 31.0, 37.0, 41.0, 41.0, 38.0, 47.0, 40.0, 1067.0, 42.0, 38.0, 43.0, 34.0, 39.0, 40.0, 34.0, 25.0, 25.0, 20.0, 18.0, 23.0, 7.0, 12.0, 17.0, 14.0, 7.0, 11.0, 2.0, 3.0, 4.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.02789306640625, -0.02705836296081543, -0.02622365951538086, -0.02538895606994629, -0.02455425262451172, -0.02371954917907715, -0.022884845733642578, -0.022050142288208008, -0.021215438842773438, -0.020380735397338867, -0.019546031951904297, -0.018711328506469727, -0.017876625061035156, -0.017041921615600586, -0.016207218170166016, -0.015372514724731445, -0.014537811279296875, -0.013703107833862305, -0.012868404388427734, -0.012033700942993164, -0.011198997497558594, -0.010364294052124023, -0.009529590606689453, -0.008694887161254883, -0.007860183715820312, -0.007025480270385742, -0.006190776824951172, -0.0053560733795166016, -0.004521369934082031, -0.003686666488647461, -0.0028519630432128906, -0.0020172595977783203, -0.00118255615234375, -0.0003478527069091797, 0.0004868507385253906, 0.001321554183959961, 0.0021562576293945312, 0.0029909610748291016, 0.003825664520263672, 0.004660367965698242, 0.0054950714111328125, 0.006329774856567383, 0.007164478302001953, 0.007999181747436523, 0.008833885192871094, 0.009668588638305664, 0.010503292083740234, 0.011337995529174805, 0.012172698974609375, 0.013007402420043945, 0.013842105865478516, 0.014676809310913086, 0.015511512756347656, 0.016346216201782227, 0.017180919647216797, 0.018015623092651367, 0.018850326538085938, 0.019685029983520508, 0.020519733428955078, 0.02135443687438965, 0.02218914031982422, 0.02302384376525879, 0.02385854721069336, 0.02469325065612793, 0.0255279541015625]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 3.0, 0.0, 1.0, 2.0, 3.0, 2.0, 8.0, 6.0, 10.0, 8.0, 13.0, 12.0, 16.0, 17.0, 17.0, 24.0, 21.0, 19.0, 23.0, 44.0, 59.0, 89.0, 201.0, 664.0, 2898.0, 23023.0, 2061783.0, 6016.0, 1255.0, 423.0, 109.0, 84.0, 27.0, 33.0, 32.0, 23.0, 28.0, 27.0, 21.0, 23.0, 15.0, 14.0, 11.0, 11.0, 5.0, 7.0, 0.0, 3.0, 0.0, 4.0, 5.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4139881134033203e-05, -2.3341737687587738e-05, -2.2543594241142273e-05, -2.1745450794696808e-05, -2.0947307348251343e-05, -2.0149163901805878e-05, -1.9351020455360413e-05, -1.8552877008914948e-05, -1.7754733562469482e-05, -1.6956590116024017e-05, -1.6158446669578552e-05, -1.5360303223133087e-05, -1.4562159776687622e-05, -1.3764016330242157e-05, -1.2965872883796692e-05, -1.2167729437351227e-05, -1.1369585990905762e-05, -1.0571442544460297e-05, -9.773299098014832e-06, -8.975155651569366e-06, -8.177012205123901e-06, -7.378868758678436e-06, -6.580725312232971e-06, -5.782581865787506e-06, -4.984438419342041e-06, -4.186294972896576e-06, -3.388151526451111e-06, -2.5900080800056458e-06, -1.7918646335601807e-06, -9.937211871147156e-07, -1.955777406692505e-07, 6.025657057762146e-07, 1.4007091522216797e-06, 2.1988525986671448e-06, 2.99699604511261e-06, 3.795139491558075e-06, 4.59328293800354e-06, 5.391426384449005e-06, 6.18956983089447e-06, 6.987713277339935e-06, 7.7858567237854e-06, 8.584000170230865e-06, 9.38214361667633e-06, 1.0180287063121796e-05, 1.097843050956726e-05, 1.1776573956012726e-05, 1.2574717402458191e-05, 1.3372860848903656e-05, 1.4171004295349121e-05, 1.4969147741794586e-05, 1.576729118824005e-05, 1.6565434634685516e-05, 1.736357808113098e-05, 1.8161721527576447e-05, 1.895986497402191e-05, 1.9758008420467377e-05, 2.0556151866912842e-05, 2.1354295313358307e-05, 2.2152438759803772e-05, 2.2950582206249237e-05, 2.3748725652694702e-05, 2.4546869099140167e-05, 2.5345012545585632e-05, 2.6143155992031097e-05, 2.6941299438476562e-05]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 9.0, 10.0, 10.0, 13.0, 4.0, 10.0, 6.0, 9.0, 20.0, 14.0, 15.0, 23.0, 27.0, 27.0, 26.0, 27.0, 35.0, 31.0, 46.0, 44.0, 42.0, 43.0, 43.0, 37.0, 29.0, 41.0, 25.0, 40.0, 37.0, 41.0, 37.0, 24.0, 18.0, 28.0, 15.0, 19.0, 15.0, 7.0, 14.0, 11.0, 7.0, 6.0, 10.0, 6.0, 4.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0248260498046875, -0.024100065231323242, -0.023374080657958984, -0.022648096084594727, -0.02192211151123047, -0.02119612693786621, -0.020470142364501953, -0.019744157791137695, -0.019018173217773438, -0.01829218864440918, -0.017566204071044922, -0.016840219497680664, -0.016114234924316406, -0.015388250350952148, -0.01466226577758789, -0.013936281204223633, -0.013210296630859375, -0.012484312057495117, -0.01175832748413086, -0.011032342910766602, -0.010306358337402344, -0.009580373764038086, -0.008854389190673828, -0.00812840461730957, -0.0074024200439453125, -0.006676435470581055, -0.005950450897216797, -0.005224466323852539, -0.004498481750488281, -0.0037724971771240234, -0.0030465126037597656, -0.002320528030395508, -0.00159454345703125, -0.0008685588836669922, -0.00014257431030273438, 0.0005834102630615234, 0.0013093948364257812, 0.002035379409790039, 0.002761363983154297, 0.0034873485565185547, 0.0042133331298828125, 0.00493931770324707, 0.005665302276611328, 0.006391286849975586, 0.007117271423339844, 0.007843255996704102, 0.00856924057006836, 0.009295225143432617, 0.010021209716796875, 0.010747194290161133, 0.01147317886352539, 0.012199163436889648, 0.012925148010253906, 0.013651132583618164, 0.014377117156982422, 0.01510310173034668, 0.015829086303710938, 0.016555070877075195, 0.017281055450439453, 0.01800704002380371, 0.01873302459716797, 0.019459009170532227, 0.020184993743896484, 0.020910978317260742, 0.021636962890625]}, "gradients/decoder.transformer.h.7.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 4.0, 2.0, 2.0, 0.0, 6.0, 3.0, 10.0, 15.0, 19.0, 25.0, 29.0, 43.0, 95.0, 152.0, 242.0, 375.0, 594.0, 965.0, 1540.0, 2376.0, 3707.0, 5781.0, 9232.0, 14636.0, 23234.0, 38431.0, 72384.0, 176087.0, 380434.0, 155870.0, 66553.0, 36489.0, 21850.0, 13590.0, 8580.0, 5516.0, 3487.0, 2251.0, 1492.0, 904.0, 570.0, 327.0, 245.0, 144.0, 90.0, 76.0, 35.0, 26.0, 20.0, 17.0, 5.0, 3.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.031005859375, -0.030078649520874023, -0.029151439666748047, -0.02822422981262207, -0.027297019958496094, -0.026369810104370117, -0.02544260025024414, -0.024515390396118164, -0.023588180541992188, -0.02266097068786621, -0.021733760833740234, -0.020806550979614258, -0.01987934112548828, -0.018952131271362305, -0.018024921417236328, -0.01709771156311035, -0.016170501708984375, -0.015243291854858398, -0.014316082000732422, -0.013388872146606445, -0.012461662292480469, -0.011534452438354492, -0.010607242584228516, -0.009680032730102539, -0.008752822875976562, -0.007825613021850586, -0.006898403167724609, -0.005971193313598633, -0.005043983459472656, -0.00411677360534668, -0.003189563751220703, -0.0022623538970947266, -0.00133514404296875, -0.00040793418884277344, 0.0005192756652832031, 0.0014464855194091797, 0.0023736953735351562, 0.003300905227661133, 0.004228115081787109, 0.005155324935913086, 0.0060825347900390625, 0.007009744644165039, 0.007936954498291016, 0.008864164352416992, 0.009791374206542969, 0.010718584060668945, 0.011645793914794922, 0.012573003768920898, 0.013500213623046875, 0.014427423477172852, 0.015354633331298828, 0.016281843185424805, 0.01720905303955078, 0.018136262893676758, 0.019063472747802734, 0.01999068260192871, 0.020917892456054688, 0.021845102310180664, 0.02277231216430664, 0.023699522018432617, 0.024626731872558594, 0.02555394172668457, 0.026481151580810547, 0.027408361434936523, 0.0283355712890625]}, "gradients/decoder.transformer.h.7.attn.c_attn.bias": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 3.0, 0.0, 2.0, 3.0, 3.0, 8.0, 4.0, 3.0, 7.0, 12.0, 7.0, 8.0, 13.0, 14.0, 16.0, 22.0, 29.0, 24.0, 27.0, 34.0, 29.0, 38.0, 47.0, 48.0, 66.0, 74.0, 133.0, 321.0, 1376.0, 133.0, 88.0, 64.0, 43.0, 54.0, 28.0, 37.0, 24.0, 24.0, 21.0, 22.0, 26.0, 21.0, 14.0, 21.0, 13.0, 8.0, 9.0, 6.0, 10.0, 6.0, 4.0, 5.0, 3.0, 2.0, 1.0, 2.0, 0.0, 3.0], "bins": [-0.07611083984375, -0.07387542724609375, -0.0716400146484375, -0.06940460205078125, -0.067169189453125, -0.06493377685546875, -0.0626983642578125, -0.06046295166015625, -0.0582275390625, -0.05599212646484375, -0.0537567138671875, -0.05152130126953125, -0.049285888671875, -0.04705047607421875, -0.0448150634765625, -0.04257965087890625, -0.04034423828125, -0.03810882568359375, -0.0358734130859375, -0.03363800048828125, -0.031402587890625, -0.02916717529296875, -0.0269317626953125, -0.02469635009765625, -0.0224609375, -0.02022552490234375, -0.0179901123046875, -0.01575469970703125, -0.013519287109375, -0.01128387451171875, -0.0090484619140625, -0.00681304931640625, -0.00457763671875, -0.00234222412109375, -0.0001068115234375, 0.00212860107421875, 0.004364013671875, 0.00659942626953125, 0.0088348388671875, 0.01107025146484375, 0.0133056640625, 0.01554107666015625, 0.0177764892578125, 0.02001190185546875, 0.022247314453125, 0.02448272705078125, 0.0267181396484375, 0.02895355224609375, 0.03118896484375, 0.03342437744140625, 0.0356597900390625, 0.03789520263671875, 0.040130615234375, 0.04236602783203125, 0.0446014404296875, 0.04683685302734375, 0.049072265625, 0.05130767822265625, 0.0535430908203125, 0.05577850341796875, 0.058013916015625, 0.06024932861328125, 0.0624847412109375, 0.06472015380859375, 0.06695556640625]}, "gradients/decoder.transformer.h.7.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 5.0, 2.0, 3.0, 4.0, 11.0, 12.0, 26.0, 38.0, 59.0, 97.0, 154.0, 256.0, 419.0, 1050.0, 3398.0, 18100.0, 159346.0, 2706884.0, 226548.0, 22762.0, 4154.0, 1186.0, 513.0, 270.0, 140.0, 93.0, 62.0, 42.0, 18.0, 15.0, 17.0, 7.0, 3.0, 7.0, 2.0, 2.0, 2.0, 2.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.130859375, -0.12684059143066406, -0.12282180786132812, -0.11880302429199219, -0.11478424072265625, -0.11076545715332031, -0.10674667358398438, -0.10272789001464844, -0.0987091064453125, -0.09469032287597656, -0.09067153930664062, -0.08665275573730469, -0.08263397216796875, -0.07861518859863281, -0.07459640502929688, -0.07057762145996094, -0.066558837890625, -0.06254005432128906, -0.058521270751953125, -0.05450248718261719, -0.05048370361328125, -0.04646492004394531, -0.042446136474609375, -0.03842735290527344, -0.0344085693359375, -0.030389785766601562, -0.026371002197265625, -0.022352218627929688, -0.01833343505859375, -0.014314651489257812, -0.010295867919921875, -0.0062770843505859375, -0.00225830078125, 0.0017604827880859375, 0.005779266357421875, 0.009798049926757812, 0.01381683349609375, 0.017835617065429688, 0.021854400634765625, 0.025873184204101562, 0.0298919677734375, 0.03391075134277344, 0.037929534912109375, 0.04194831848144531, 0.04596710205078125, 0.04998588562011719, 0.054004669189453125, 0.05802345275878906, 0.062042236328125, 0.06606101989746094, 0.07007980346679688, 0.07409858703613281, 0.07811737060546875, 0.08213615417480469, 0.08615493774414062, 0.09017372131347656, 0.0941925048828125, 0.09821128845214844, 0.10223007202148438, 0.10624885559082031, 0.11026763916015625, 0.11428642272949219, 0.11830520629882812, 0.12232398986816406, 0.1263427734375]}, "gradients/decoder.transformer.h.7.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 4.0, 12.0, 40.0, 117.0, 219.0, 263.0, 187.0, 103.0, 48.0, 15.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.654629111289978, -0.6416229605674744, -0.6286167502403259, -0.6156105995178223, -0.6026044487953186, -0.5895982980728149, -0.5765920877456665, -0.5635859370231628, -0.5505797863006592, -0.5375736355781555, -0.5245674252510071, -0.5115612745285034, -0.49855512380599976, -0.4855489432811737, -0.47254279255867004, -0.459536612033844, -0.44653046131134033, -0.4335242807865143, -0.4205181300640106, -0.40751194953918457, -0.3945057988166809, -0.38149961829185486, -0.3684934675693512, -0.35548728704452515, -0.3424811065196991, -0.32947492599487305, -0.3164687752723694, -0.30346259474754333, -0.2904564440250397, -0.2774502635002136, -0.26444411277770996, -0.2514379322528839, -0.23843179643154144, -0.2254256308078766, -0.21241946518421173, -0.19941329956054688, -0.18640713393688202, -0.17340096831321716, -0.1603947877883911, -0.14738863706588745, -0.1343824565410614, -0.12137629091739655, -0.10837012529373169, -0.09536395967006683, -0.08235779404640198, -0.06935162097215652, -0.05634545534849167, -0.04333928972482681, -0.030333131551742554, -0.017326965928077698, -0.0043207984417676926, 0.008685369044542313, 0.02169153466820717, 0.03469770401716232, 0.04770386964082718, 0.060710035264492035, 0.07371620088815689, 0.08672236651182175, 0.0997285321354866, 0.11273470520973206, 0.1257408708333969, 0.13874703645706177, 0.15175320208072662, 0.16475936770439148, 0.17776553332805634]}, "gradients/decoder.transformer.h.7.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 3.0, 7.0, 2.0, 5.0, 9.0, 9.0, 8.0, 18.0, 13.0, 16.0, 16.0, 28.0, 27.0, 36.0, 31.0, 46.0, 35.0, 37.0, 34.0, 55.0, 44.0, 44.0, 30.0, 49.0, 52.0, 38.0, 35.0, 40.0, 37.0, 14.0, 27.0, 21.0, 29.0, 16.0, 20.0, 15.0, 19.0, 5.0, 9.0, 11.0, 8.0, 6.0, 1.0, 3.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.27802157402038574, -0.26991039514541626, -0.26179924607276917, -0.2536880671977997, -0.2455769032239914, -0.2374657392501831, -0.22935456037521362, -0.22124339640140533, -0.21313223242759705, -0.20502106845378876, -0.19690988957881927, -0.188798725605011, -0.1806875616312027, -0.1725763976573944, -0.16446521878242493, -0.15635405480861664, -0.14824287593364716, -0.14013171195983887, -0.13202053308486938, -0.1239093691110611, -0.11579820513725281, -0.10768703371286392, -0.09957586228847504, -0.09146469831466675, -0.08335352689027786, -0.07524235546588898, -0.06713119149208069, -0.0590200200676918, -0.050908852368593216, -0.04279768466949463, -0.03468651324510574, -0.026575345546007156, -0.01846417784690857, -0.010353009216487408, -0.002241840586066246, 0.00586932897567749, 0.013980496674776077, 0.022091664373874664, 0.03020283579826355, 0.03831400349736214, 0.046425171196460724, 0.05453633889555931, 0.0626475065946579, 0.07075867801904678, 0.07886984944343567, 0.08698101341724396, 0.09509218484163284, 0.10320335626602173, 0.11131452023983002, 0.1194256916642189, 0.1275368630886078, 0.13564802706241608, 0.14375919103622437, 0.15187036991119385, 0.15998153388500214, 0.16809269785881042, 0.1762038767337799, 0.1843150407075882, 0.19242621958255768, 0.20053738355636597, 0.20864854753017426, 0.21675971150398254, 0.22487089037895203, 0.23298205435276031, 0.2410932183265686]}, "gradients/decoder.transformer.h.6.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 6.0, 5.0, 8.0, 6.0, 6.0, 11.0, 11.0, 10.0, 15.0, 10.0, 10.0, 12.0, 20.0, 22.0, 28.0, 26.0, 40.0, 27.0, 35.0, 37.0, 35.0, 34.0, 49.0, 40.0, 41.0, 35.0, 34.0, 38.0, 43.0, 28.0, 33.0, 24.0, 24.0, 35.0, 22.0, 21.0, 23.0, 19.0, 22.0, 18.0, 8.0, 9.0, 5.0, 8.0, 3.0, 7.0, 7.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0245208740234375, -0.023779869079589844, -0.023038864135742188, -0.02229785919189453, -0.021556854248046875, -0.02081584930419922, -0.020074844360351562, -0.019333839416503906, -0.01859283447265625, -0.017851829528808594, -0.017110824584960938, -0.01636981964111328, -0.015628814697265625, -0.014887809753417969, -0.014146804809570312, -0.013405799865722656, -0.012664794921875, -0.011923789978027344, -0.011182785034179688, -0.010441780090332031, -0.009700775146484375, -0.008959770202636719, -0.008218765258789062, -0.007477760314941406, -0.00673675537109375, -0.005995750427246094, -0.0052547454833984375, -0.004513740539550781, -0.003772735595703125, -0.0030317306518554688, -0.0022907257080078125, -0.0015497207641601562, -0.0008087158203125, -6.771087646484375e-05, 0.0006732940673828125, 0.0014142990112304688, 0.002155303955078125, 0.0028963088989257812, 0.0036373138427734375, 0.004378318786621094, 0.00511932373046875, 0.005860328674316406, 0.0066013336181640625, 0.007342338562011719, 0.008083343505859375, 0.008824348449707031, 0.009565353393554688, 0.010306358337402344, 0.01104736328125, 0.011788368225097656, 0.012529373168945312, 0.013270378112792969, 0.014011383056640625, 0.014752388000488281, 0.015493392944335938, 0.016234397888183594, 0.01697540283203125, 0.017716407775878906, 0.018457412719726562, 0.01919841766357422, 0.019939422607421875, 0.02068042755126953, 0.021421432495117188, 0.022162437438964844, 0.0229034423828125]}, "gradients/decoder.transformer.h.6.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 5.0, 9.0, 6.0, 10.0, 14.0, 33.0, 48.0, 66.0, 108.0, 173.0, 266.0, 504.0, 864.0, 1485.0, 2717.0, 5129.0, 10128.0, 21009.0, 46462.0, 111406.0, 323124.0, 1155027.0, 1693564.0, 532458.0, 167950.0, 65076.0, 29024.0, 13397.0, 6396.0, 3343.0, 1892.0, 1026.0, 621.0, 386.0, 226.0, 128.0, 74.0, 55.0, 29.0, 23.0, 13.0, 6.0, 4.0, 4.0, 3.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.039581298828125, -0.038487911224365234, -0.03739452362060547, -0.0363011360168457, -0.03520774841308594, -0.03411436080932617, -0.033020973205566406, -0.03192758560180664, -0.030834197998046875, -0.02974081039428711, -0.028647422790527344, -0.027554035186767578, -0.026460647583007812, -0.025367259979248047, -0.02427387237548828, -0.023180484771728516, -0.02208709716796875, -0.020993709564208984, -0.01990032196044922, -0.018806934356689453, -0.017713546752929688, -0.016620159149169922, -0.015526771545410156, -0.01443338394165039, -0.013339996337890625, -0.01224660873413086, -0.011153221130371094, -0.010059833526611328, -0.008966445922851562, -0.007873058319091797, -0.006779670715332031, -0.005686283111572266, -0.0045928955078125, -0.0034995079040527344, -0.0024061203002929688, -0.0013127326965332031, -0.0002193450927734375, 0.0008740425109863281, 0.0019674301147460938, 0.0030608177185058594, 0.004154205322265625, 0.005247592926025391, 0.006340980529785156, 0.007434368133544922, 0.008527755737304688, 0.009621143341064453, 0.010714530944824219, 0.011807918548583984, 0.01290130615234375, 0.013994693756103516, 0.015088081359863281, 0.016181468963623047, 0.017274856567382812, 0.018368244171142578, 0.019461631774902344, 0.02055501937866211, 0.021648406982421875, 0.02274179458618164, 0.023835182189941406, 0.024928569793701172, 0.026021957397460938, 0.027115345001220703, 0.02820873260498047, 0.029302120208740234, 0.0303955078125]}, "gradients/decoder.transformer.h.6.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 5.0, 2.0, 9.0, 7.0, 14.0, 14.0, 23.0, 21.0, 41.0, 45.0, 69.0, 84.0, 137.0, 189.0, 238.0, 303.0, 467.0, 539.0, 489.0, 390.0, 293.0, 210.0, 150.0, 97.0, 69.0, 48.0, 37.0, 31.0, 11.0, 17.0, 7.0, 6.0, 6.0, 5.0, 1.0, 2.0, 0.0, 1.0, 5.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.038360595703125, -0.036923885345458984, -0.03548717498779297, -0.03405046463012695, -0.03261375427246094, -0.031177043914794922, -0.029740333557128906, -0.02830362319946289, -0.026866912841796875, -0.02543020248413086, -0.023993492126464844, -0.022556781768798828, -0.021120071411132812, -0.019683361053466797, -0.01824665069580078, -0.016809940338134766, -0.01537322998046875, -0.013936519622802734, -0.012499809265136719, -0.011063098907470703, -0.009626388549804688, -0.008189678192138672, -0.006752967834472656, -0.005316257476806641, -0.003879547119140625, -0.0024428367614746094, -0.0010061264038085938, 0.0004305839538574219, 0.0018672943115234375, 0.003304004669189453, 0.004740715026855469, 0.006177425384521484, 0.0076141357421875, 0.009050846099853516, 0.010487556457519531, 0.011924266815185547, 0.013360977172851562, 0.014797687530517578, 0.016234397888183594, 0.01767110824584961, 0.019107818603515625, 0.02054452896118164, 0.021981239318847656, 0.023417949676513672, 0.024854660034179688, 0.026291370391845703, 0.02772808074951172, 0.029164791107177734, 0.03060150146484375, 0.032038211822509766, 0.03347492218017578, 0.0349116325378418, 0.03634834289550781, 0.03778505325317383, 0.039221763610839844, 0.04065847396850586, 0.042095184326171875, 0.04353189468383789, 0.044968605041503906, 0.04640531539916992, 0.04784202575683594, 0.04927873611450195, 0.05071544647216797, 0.052152156829833984, 0.0535888671875]}, "gradients/decoder.transformer.h.6.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 4.0, 4.0, 1.0, 2.0, 1.0, 3.0, 5.0, 6.0, 1.0, 16.0, 16.0, 11.0, 24.0, 51.0, 70.0, 97.0, 164.0, 295.0, 536.0, 1383.0, 4960.0, 32149.0, 347195.0, 3229953.0, 523899.0, 43873.0, 6415.0, 1619.0, 624.0, 319.0, 203.0, 116.0, 84.0, 57.0, 33.0, 30.0, 18.0, 18.0, 9.0, 8.0, 9.0, 5.0, 3.0, 2.0, 0.0, 3.0, 1.0, 0.0, 3.0, 1.0], "bins": [-0.1300048828125, -0.12654495239257812, -0.12308502197265625, -0.11962509155273438, -0.1161651611328125, -0.11270523071289062, -0.10924530029296875, -0.10578536987304688, -0.102325439453125, -0.09886550903320312, -0.09540557861328125, -0.09194564819335938, -0.0884857177734375, -0.08502578735351562, -0.08156585693359375, -0.07810592651367188, -0.07464599609375, -0.07118606567382812, -0.06772613525390625, -0.06426620483398438, -0.0608062744140625, -0.057346343994140625, -0.05388641357421875, -0.050426483154296875, -0.046966552734375, -0.043506622314453125, -0.04004669189453125, -0.036586761474609375, -0.0331268310546875, -0.029666900634765625, -0.02620697021484375, -0.022747039794921875, -0.019287109375, -0.015827178955078125, -0.01236724853515625, -0.008907318115234375, -0.0054473876953125, -0.001987457275390625, 0.00147247314453125, 0.004932403564453125, 0.008392333984375, 0.011852264404296875, 0.01531219482421875, 0.018772125244140625, 0.0222320556640625, 0.025691986083984375, 0.02915191650390625, 0.032611846923828125, 0.03607177734375, 0.039531707763671875, 0.04299163818359375, 0.046451568603515625, 0.0499114990234375, 0.053371429443359375, 0.05683135986328125, 0.060291290283203125, 0.063751220703125, 0.06721115112304688, 0.07067108154296875, 0.07413101196289062, 0.0775909423828125, 0.08105087280273438, 0.08451080322265625, 0.08797073364257812, 0.0914306640625]}, "gradients/decoder.transformer.h.6.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 37.0, 187.0, 463.0, 277.0, 49.0, 6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2594791650772095, -0.22932729125022888, -0.1991754174232483, -0.1690235435962677, -0.1388716697692871, -0.10871978104114532, -0.07856790721416473, -0.04841603338718414, -0.018264159560203552, 0.011887716129422188, 0.04203959181904793, 0.07219146937131882, 0.10234334319829941, 0.1324952244758606, 0.1626470983028412, 0.19279897212982178, 0.22295084595680237, 0.25310271978378296, 0.28325459361076355, 0.31340646743774414, 0.34355834126472473, 0.3737102150917053, 0.4038621187210083, 0.4340139627456665, 0.4641658663749695, 0.4943177402019501, 0.5244696140289307, 0.5546215176582336, 0.5847733616828918, 0.6149252653121948, 0.645077109336853, 0.675229012966156, 0.7053808569908142, 0.7355327606201172, 0.7656846046447754, 0.7958365082740784, 0.8259883522987366, 0.8561402559280396, 0.8862920999526978, 0.9164440035820007, 0.9465958476066589, 0.9767477512359619, 1.0068995952606201, 1.0370514392852783, 1.067203402519226, 1.0973552465438843, 1.1275070905685425, 1.1576589345932007, 1.1878108978271484, 1.2179627418518066, 1.2481147050857544, 1.2782665491104126, 1.3084183931350708, 1.338570237159729, 1.3687222003936768, 1.398874044418335, 1.4290258884429932, 1.4591777324676514, 1.4893296957015991, 1.5194815397262573, 1.5496333837509155, 1.5797852277755737, 1.6099371910095215, 1.6400890350341797, 1.670240879058838]}, "gradients/decoder.transformer.h.6.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 8.0, 0.0, 4.0, 4.0, 7.0, 8.0, 9.0, 15.0, 11.0, 27.0, 22.0, 25.0, 31.0, 30.0, 33.0, 27.0, 32.0, 34.0, 38.0, 37.0, 42.0, 44.0, 39.0, 44.0, 45.0, 45.0, 47.0, 42.0, 35.0, 30.0, 31.0, 23.0, 26.0, 16.0, 17.0, 15.0, 8.0, 12.0, 12.0, 10.0, 6.0, 5.0, 6.0, 2.0, 1.0, 4.0, 1.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.14892488718032837, -0.1439836323261261, -0.13904239237308502, -0.13410113751888275, -0.12915989756584167, -0.1242186427116394, -0.11927739530801773, -0.11433614790439606, -0.10939490050077438, -0.10445365309715271, -0.09951240569353104, -0.09457115828990936, -0.08962990343570709, -0.08468866348266602, -0.07974740862846375, -0.07480616122484207, -0.0698649138212204, -0.06492366641759872, -0.05998241901397705, -0.05504116788506508, -0.050099920481443405, -0.04515867307782173, -0.04021742194890976, -0.035276174545288086, -0.030334927141666412, -0.02539367973804474, -0.020452430471777916, -0.015511182136833668, -0.01056993380188942, -0.005628686398267746, -0.0006874371320009232, 0.0042538121342659, 0.009195059537887573, 0.014136307872831821, 0.01907755620777607, 0.024018805474042892, 0.028960052877664566, 0.03390130028128624, 0.03884255141019821, 0.043783798813819885, 0.04872504621744156, 0.05366629362106323, 0.058607541024684906, 0.06354878842830658, 0.06849004328250885, 0.07343128323554993, 0.0783725380897522, 0.08331378549337387, 0.08825503289699554, 0.09319628030061722, 0.09813752770423889, 0.10307877510786057, 0.10802002251148224, 0.11296127736568451, 0.11790252476930618, 0.12284377217292786, 0.12778502702713013, 0.1327262818813324, 0.13766752183437347, 0.14260877668857574, 0.14755001664161682, 0.1524912714958191, 0.15743251144886017, 0.16237376630306244, 0.16731500625610352]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 5.0, 1.0, 4.0, 1.0, 1.0, 5.0, 10.0, 4.0, 9.0, 8.0, 13.0, 16.0, 17.0, 13.0, 19.0, 14.0, 22.0, 29.0, 31.0, 25.0, 31.0, 36.0, 40.0, 32.0, 33.0, 41.0, 43.0, 46.0, 38.0, 31.0, 41.0, 38.0, 28.0, 25.0, 30.0, 34.0, 24.0, 15.0, 25.0, 17.0, 19.0, 19.0, 10.0, 17.0, 10.0, 8.0, 8.0, 7.0, 7.0, 3.0, 4.0, 2.0, 0.0, 5.0, 2.0], "bins": [-0.0259552001953125, -0.025233745574951172, -0.024512290954589844, -0.023790836334228516, -0.023069381713867188, -0.02234792709350586, -0.02162647247314453, -0.020905017852783203, -0.020183563232421875, -0.019462108612060547, -0.01874065399169922, -0.01801919937133789, -0.017297744750976562, -0.016576290130615234, -0.015854835510253906, -0.015133380889892578, -0.01441192626953125, -0.013690471649169922, -0.012969017028808594, -0.012247562408447266, -0.011526107788085938, -0.01080465316772461, -0.010083198547363281, -0.009361743927001953, -0.008640289306640625, -0.007918834686279297, -0.007197380065917969, -0.006475925445556641, -0.0057544708251953125, -0.005033016204833984, -0.004311561584472656, -0.003590106964111328, -0.00286865234375, -0.002147197723388672, -0.0014257431030273438, -0.0007042884826660156, 1.71661376953125e-05, 0.0007386207580566406, 0.0014600753784179688, 0.002181529998779297, 0.002902984619140625, 0.003624439239501953, 0.004345893859863281, 0.005067348480224609, 0.0057888031005859375, 0.006510257720947266, 0.007231712341308594, 0.007953166961669922, 0.00867462158203125, 0.009396076202392578, 0.010117530822753906, 0.010838985443115234, 0.011560440063476562, 0.01228189468383789, 0.013003349304199219, 0.013724803924560547, 0.014446258544921875, 0.015167713165283203, 0.01588916778564453, 0.01661062240600586, 0.017332077026367188, 0.018053531646728516, 0.018774986267089844, 0.019496440887451172, 0.0202178955078125]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 3.0, 3.0, 10.0, 6.0, 10.0, 10.0, 27.0, 27.0, 45.0, 50.0, 83.0, 137.0, 213.0, 335.0, 511.0, 714.0, 1056.0, 1591.0, 2356.0, 3476.0, 5187.0, 7645.0, 11002.0, 16512.0, 24755.0, 37976.0, 60566.0, 102573.0, 260144.0, 238448.0, 101746.0, 58742.0, 37700.0, 24457.0, 16462.0, 10894.0, 7435.0, 5101.0, 3417.0, 2328.0, 1594.0, 1018.0, 721.0, 494.0, 323.0, 230.0, 154.0, 93.0, 61.0, 44.0, 33.0, 22.0, 14.0, 6.0, 0.0, 5.0, 4.0], "bins": [-0.00015985965728759766, -0.00015541724860668182, -0.000150974839925766, -0.00014653243124485016, -0.00014209002256393433, -0.0001376476138830185, -0.00013320520520210266, -0.00012876279652118683, -0.000124320387840271, -0.00011987797915935516, -0.00011543557047843933, -0.0001109931617975235, -0.00010655075311660767, -0.00010210834443569183, -9.7665935754776e-05, -9.322352707386017e-05, -8.878111839294434e-05, -8.43387097120285e-05, -7.989630103111267e-05, -7.545389235019684e-05, -7.1011483669281e-05, -6.656907498836517e-05, -6.212666630744934e-05, -5.768425762653351e-05, -5.3241848945617676e-05, -4.879944026470184e-05, -4.435703158378601e-05, -3.991462290287018e-05, -3.5472214221954346e-05, -3.102980554103851e-05, -2.658739686012268e-05, -2.2144988179206848e-05, -1.7702579498291016e-05, -1.3260170817375183e-05, -8.81776213645935e-06, -4.375353455543518e-06, 6.705522537231445e-08, 4.509463906288147e-06, 8.95187258720398e-06, 1.3394281268119812e-05, 1.7836689949035645e-05, 2.2279098629951477e-05, 2.672150731086731e-05, 3.116391599178314e-05, 3.5606324672698975e-05, 4.004873335361481e-05, 4.449114203453064e-05, 4.893355071544647e-05, 5.3375959396362305e-05, 5.781836807727814e-05, 6.226077675819397e-05, 6.67031854391098e-05, 7.114559412002563e-05, 7.558800280094147e-05, 8.00304114818573e-05, 8.447282016277313e-05, 8.891522884368896e-05, 9.33576375246048e-05, 9.780004620552063e-05, 0.00010224245488643646, 0.0001066848635673523, 0.00011112727224826813, 0.00011556968092918396, 0.00012001208961009979, 0.00012445449829101562]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 4.0, 3.0, 7.0, 9.0, 3.0, 10.0, 16.0, 17.0, 14.0, 17.0, 14.0, 31.0, 22.0, 27.0, 24.0, 19.0, 32.0, 34.0, 34.0, 45.0, 36.0, 34.0, 35.0, 1059.0, 35.0, 43.0, 38.0, 39.0, 40.0, 32.0, 30.0, 24.0, 22.0, 23.0, 19.0, 20.0, 14.0, 14.0, 12.0, 12.0, 13.0, 15.0, 5.0, 7.0, 6.0, 8.0, 7.0, 2.0, 3.0, 0.0, 2.0, 0.0, 3.0, 1.0, 2.0], "bins": [-0.0194244384765625, -0.018825054168701172, -0.018225669860839844, -0.017626285552978516, -0.017026901245117188, -0.01642751693725586, -0.01582813262939453, -0.015228748321533203, -0.014629364013671875, -0.014029979705810547, -0.013430595397949219, -0.01283121109008789, -0.012231826782226562, -0.011632442474365234, -0.011033058166503906, -0.010433673858642578, -0.00983428955078125, -0.009234905242919922, -0.008635520935058594, -0.008036136627197266, -0.0074367523193359375, -0.006837368011474609, -0.006237983703613281, -0.005638599395751953, -0.005039215087890625, -0.004439830780029297, -0.0038404464721679688, -0.0032410621643066406, -0.0026416778564453125, -0.0020422935485839844, -0.0014429092407226562, -0.0008435249328613281, -0.000244140625, 0.0003552436828613281, 0.0009546279907226562, 0.0015540122985839844, 0.0021533966064453125, 0.0027527809143066406, 0.0033521652221679688, 0.003951549530029297, 0.004550933837890625, 0.005150318145751953, 0.005749702453613281, 0.006349086761474609, 0.0069484710693359375, 0.007547855377197266, 0.008147239685058594, 0.008746623992919922, 0.00934600830078125, 0.009945392608642578, 0.010544776916503906, 0.011144161224365234, 0.011743545532226562, 0.01234292984008789, 0.012942314147949219, 0.013541698455810547, 0.014141082763671875, 0.014740467071533203, 0.015339851379394531, 0.01593923568725586, 0.016538619995117188, 0.017138004302978516, 0.017737388610839844, 0.018336772918701172, 0.0189361572265625]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 3.0, 6.0, 11.0, 6.0, 6.0, 19.0, 8.0, 12.0, 14.0, 18.0, 18.0, 21.0, 16.0, 26.0, 25.0, 26.0, 52.0, 73.0, 173.0, 455.0, 1356.0, 4440.0, 128352.0, 1955103.0, 4623.0, 1247.0, 469.0, 181.0, 77.0, 36.0, 31.0, 29.0, 24.0, 21.0, 29.0, 25.0, 23.0, 10.0, 15.0, 6.0, 15.0, 8.0, 7.0, 7.0, 6.0, 2.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.9609928131103516e-05, -1.899711787700653e-05, -1.8384307622909546e-05, -1.777149736881256e-05, -1.7158687114715576e-05, -1.654587686061859e-05, -1.5933066606521606e-05, -1.532025635242462e-05, -1.4707446098327637e-05, -1.4094635844230652e-05, -1.3481825590133667e-05, -1.2869015336036682e-05, -1.2256205081939697e-05, -1.1643394827842712e-05, -1.1030584573745728e-05, -1.0417774319648743e-05, -9.804964065551758e-06, -9.192153811454773e-06, -8.579343557357788e-06, -7.966533303260803e-06, -7.353723049163818e-06, -6.7409127950668335e-06, -6.128102540969849e-06, -5.515292286872864e-06, -4.902482032775879e-06, -4.289671778678894e-06, -3.676861524581909e-06, -3.0640512704849243e-06, -2.4512410163879395e-06, -1.8384307622909546e-06, -1.2256205081939697e-06, -6.128102540969849e-07, 0.0, 6.128102540969849e-07, 1.2256205081939697e-06, 1.8384307622909546e-06, 2.4512410163879395e-06, 3.0640512704849243e-06, 3.676861524581909e-06, 4.289671778678894e-06, 4.902482032775879e-06, 5.515292286872864e-06, 6.128102540969849e-06, 6.7409127950668335e-06, 7.353723049163818e-06, 7.966533303260803e-06, 8.579343557357788e-06, 9.192153811454773e-06, 9.804964065551758e-06, 1.0417774319648743e-05, 1.1030584573745728e-05, 1.1643394827842712e-05, 1.2256205081939697e-05, 1.2869015336036682e-05, 1.3481825590133667e-05, 1.4094635844230652e-05, 1.4707446098327637e-05, 1.532025635242462e-05, 1.5933066606521606e-05, 1.654587686061859e-05, 1.7158687114715576e-05, 1.777149736881256e-05, 1.8384307622909546e-05, 1.899711787700653e-05, 1.9609928131103516e-05]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 5.0, 1.0, 4.0, 1.0, 1.0, 5.0, 10.0, 4.0, 9.0, 8.0, 13.0, 16.0, 17.0, 13.0, 19.0, 14.0, 22.0, 29.0, 31.0, 25.0, 31.0, 36.0, 40.0, 32.0, 33.0, 41.0, 43.0, 46.0, 38.0, 31.0, 41.0, 38.0, 28.0, 25.0, 30.0, 34.0, 24.0, 15.0, 25.0, 17.0, 19.0, 19.0, 10.0, 17.0, 10.0, 8.0, 8.0, 7.0, 7.0, 3.0, 4.0, 2.0, 0.0, 5.0, 2.0], "bins": [-0.0259552001953125, -0.025233745574951172, -0.024512290954589844, -0.023790836334228516, -0.023069381713867188, -0.02234792709350586, -0.02162647247314453, -0.020905017852783203, -0.020183563232421875, -0.019462108612060547, -0.01874065399169922, -0.01801919937133789, -0.017297744750976562, -0.016576290130615234, -0.015854835510253906, -0.015133380889892578, -0.01441192626953125, -0.013690471649169922, -0.012969017028808594, -0.012247562408447266, -0.011526107788085938, -0.01080465316772461, -0.010083198547363281, -0.009361743927001953, -0.008640289306640625, -0.007918834686279297, -0.007197380065917969, -0.006475925445556641, -0.0057544708251953125, -0.005033016204833984, -0.004311561584472656, -0.003590106964111328, -0.00286865234375, -0.002147197723388672, -0.0014257431030273438, -0.0007042884826660156, 1.71661376953125e-05, 0.0007386207580566406, 0.0014600753784179688, 0.002181529998779297, 0.002902984619140625, 0.003624439239501953, 0.004345893859863281, 0.005067348480224609, 0.0057888031005859375, 0.006510257720947266, 0.007231712341308594, 0.007953166961669922, 0.00867462158203125, 0.009396076202392578, 0.010117530822753906, 0.010838985443115234, 0.011560440063476562, 0.01228189468383789, 0.013003349304199219, 0.013724803924560547, 0.014446258544921875, 0.015167713165283203, 0.01588916778564453, 0.01661062240600586, 0.017332077026367188, 0.018053531646728516, 0.018774986267089844, 0.019496440887451172, 0.0202178955078125]}, "gradients/decoder.transformer.h.6.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 7.0, 5.0, 10.0, 11.0, 16.0, 14.0, 24.0, 37.0, 77.0, 94.0, 135.0, 238.0, 397.0, 574.0, 902.0, 1385.0, 2077.0, 3273.0, 5033.0, 7361.0, 11135.0, 16504.0, 26101.0, 45053.0, 105543.0, 465006.0, 200977.0, 63462.0, 32845.0, 20398.0, 13294.0, 8904.0, 6063.0, 4108.0, 2713.0, 1696.0, 1095.0, 742.0, 428.0, 288.0, 186.0, 125.0, 77.0, 49.0, 29.0, 21.0, 19.0, 11.0, 6.0, 9.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.037384033203125, -0.03627586364746094, -0.035167694091796875, -0.03405952453613281, -0.03295135498046875, -0.03184318542480469, -0.030735015869140625, -0.029626846313476562, -0.0285186767578125, -0.027410507202148438, -0.026302337646484375, -0.025194168090820312, -0.02408599853515625, -0.022977828979492188, -0.021869659423828125, -0.020761489868164062, -0.0196533203125, -0.018545150756835938, -0.017436981201171875, -0.016328811645507812, -0.01522064208984375, -0.014112472534179688, -0.013004302978515625, -0.011896133422851562, -0.0107879638671875, -0.009679794311523438, -0.008571624755859375, -0.0074634552001953125, -0.00635528564453125, -0.0052471160888671875, -0.004138946533203125, -0.0030307769775390625, -0.001922607421875, -0.0008144378662109375, 0.000293731689453125, 0.0014019012451171875, 0.00251007080078125, 0.0036182403564453125, 0.004726409912109375, 0.0058345794677734375, 0.0069427490234375, 0.008050918579101562, 0.009159088134765625, 0.010267257690429688, 0.01137542724609375, 0.012483596801757812, 0.013591766357421875, 0.014699935913085938, 0.01580810546875, 0.016916275024414062, 0.018024444580078125, 0.019132614135742188, 0.02024078369140625, 0.021348953247070312, 0.022457122802734375, 0.023565292358398438, 0.0246734619140625, 0.025781631469726562, 0.026889801025390625, 0.027997970581054688, 0.02910614013671875, 0.030214309692382812, 0.031322479248046875, 0.03243064880371094, 0.033538818359375]}, "gradients/decoder.transformer.h.6.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 4.0, 4.0, 5.0, 10.0, 10.0, 12.0, 10.0, 11.0, 14.0, 12.0, 27.0, 17.0, 29.0, 34.0, 37.0, 32.0, 42.0, 37.0, 54.0, 74.0, 140.0, 303.0, 1492.0, 164.0, 86.0, 55.0, 43.0, 35.0, 29.0, 30.0, 33.0, 20.0, 23.0, 22.0, 19.0, 13.0, 15.0, 8.0, 10.0, 6.0, 11.0, 6.0, 4.0, 2.0, 3.0, 3.0, 5.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0780029296875, -0.07549476623535156, -0.07298660278320312, -0.07047843933105469, -0.06797027587890625, -0.06546211242675781, -0.06295394897460938, -0.06044578552246094, -0.0579376220703125, -0.05542945861816406, -0.052921295166015625, -0.05041313171386719, -0.04790496826171875, -0.04539680480957031, -0.042888641357421875, -0.04038047790527344, -0.037872314453125, -0.03536415100097656, -0.032855987548828125, -0.030347824096679688, -0.02783966064453125, -0.025331497192382812, -0.022823333740234375, -0.020315170288085938, -0.0178070068359375, -0.015298843383789062, -0.012790679931640625, -0.010282516479492188, -0.00777435302734375, -0.0052661895751953125, -0.002758026123046875, -0.0002498626708984375, 0.00225830078125, 0.0047664642333984375, 0.007274627685546875, 0.009782791137695312, 0.01229095458984375, 0.014799118041992188, 0.017307281494140625, 0.019815444946289062, 0.0223236083984375, 0.024831771850585938, 0.027339935302734375, 0.029848098754882812, 0.03235626220703125, 0.03486442565917969, 0.037372589111328125, 0.03988075256347656, 0.042388916015625, 0.04489707946777344, 0.047405242919921875, 0.04991340637207031, 0.05242156982421875, 0.05492973327636719, 0.057437896728515625, 0.05994606018066406, 0.0624542236328125, 0.06496238708496094, 0.06747055053710938, 0.06997871398925781, 0.07248687744140625, 0.07499504089355469, 0.07750320434570312, 0.08001136779785156, 0.08251953125]}, "gradients/decoder.transformer.h.6.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 1.0, 4.0, 3.0, 7.0, 3.0, 4.0, 11.0, 8.0, 8.0, 10.0, 17.0, 27.0, 29.0, 25.0, 30.0, 52.0, 55.0, 94.0, 92.0, 170.0, 253.0, 451.0, 959.0, 2713.0, 8058.0, 24711.0, 90891.0, 1567684.0, 1323261.0, 89120.0, 24274.0, 7794.0, 2573.0, 1017.0, 428.0, 265.0, 127.0, 105.0, 91.0, 64.0, 51.0, 32.0, 34.0, 25.0, 24.0, 20.0, 8.0, 7.0, 8.0, 7.0, 1.0, 4.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0750732421875, -0.07265090942382812, -0.07022857666015625, -0.06780624389648438, -0.0653839111328125, -0.06296157836914062, -0.06053924560546875, -0.058116912841796875, -0.055694580078125, -0.053272247314453125, -0.05084991455078125, -0.048427581787109375, -0.0460052490234375, -0.043582916259765625, -0.04116058349609375, -0.038738250732421875, -0.03631591796875, -0.033893585205078125, -0.03147125244140625, -0.029048919677734375, -0.0266265869140625, -0.024204254150390625, -0.02178192138671875, -0.019359588623046875, -0.016937255859375, -0.014514923095703125, -0.01209259033203125, -0.009670257568359375, -0.0072479248046875, -0.004825592041015625, -0.00240325927734375, 1.9073486328125e-05, 0.00244140625, 0.004863739013671875, 0.00728607177734375, 0.009708404541015625, 0.0121307373046875, 0.014553070068359375, 0.01697540283203125, 0.019397735595703125, 0.021820068359375, 0.024242401123046875, 0.02666473388671875, 0.029087066650390625, 0.0315093994140625, 0.033931732177734375, 0.03635406494140625, 0.038776397705078125, 0.04119873046875, 0.043621063232421875, 0.04604339599609375, 0.048465728759765625, 0.0508880615234375, 0.053310394287109375, 0.05573272705078125, 0.058155059814453125, 0.060577392578125, 0.06299972534179688, 0.06542205810546875, 0.06784439086914062, 0.0702667236328125, 0.07268905639648438, 0.07511138916015625, 0.07753372192382812, 0.0799560546875]}, "gradients/decoder.transformer.h.6.ln_1.weight": {"_type": "histogram", "values": [6.0, 13.0, 45.0, 101.0, 202.0, 265.0, 205.0, 115.0, 47.0, 16.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.05514739453792572, -0.04534387215971947, -0.035540349781513214, -0.02573682740330696, -0.015933305025100708, -0.006129782646894455, 0.003673739731311798, 0.01347726583480835, 0.023280784487724304, 0.03308430686593056, 0.04288782924413681, 0.05269135162234306, 0.062494874000549316, 0.07229839265346527, 0.08210191875696182, 0.09190544486045837, 0.10170896351337433, 0.11151248216629028, 0.12131600826978683, 0.1311195343732834, 0.14092305302619934, 0.1507265716791153, 0.16053009033203125, 0.1703336238861084, 0.18013714253902435, 0.1899406611919403, 0.19974419474601746, 0.2095477133989334, 0.21935123205184937, 0.22915475070476532, 0.23895826935768127, 0.24876180291175842, 0.2585653066635132, 0.26836884021759033, 0.2781723439693451, 0.28797587752342224, 0.297779381275177, 0.30758291482925415, 0.3173864483833313, 0.32718998193740845, 0.3369934856891632, 0.34679701924324036, 0.3566005229949951, 0.36640405654907227, 0.3762075901031494, 0.3860110938549042, 0.3958146274089813, 0.4056181311607361, 0.41542166471481323, 0.4252251982688904, 0.43502870202064514, 0.4448322355747223, 0.45463573932647705, 0.4644392728805542, 0.47424280643463135, 0.4840463399887085, 0.49384984374046326, 0.503653347492218, 0.5134568810462952, 0.5232604146003723, 0.5330639481544495, 0.5428674817085266, 0.552670955657959, 0.5624744892120361, 0.5722780227661133]}, "gradients/decoder.transformer.h.6.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 8.0, 3.0, 4.0, 9.0, 7.0, 4.0, 6.0, 9.0, 7.0, 11.0, 10.0, 10.0, 20.0, 30.0, 32.0, 28.0, 31.0, 38.0, 24.0, 31.0, 31.0, 41.0, 38.0, 31.0, 36.0, 44.0, 48.0, 38.0, 41.0, 44.0, 31.0, 35.0, 36.0, 35.0, 28.0, 22.0, 20.0, 15.0, 17.0, 10.0, 5.0, 10.0, 10.0, 3.0, 8.0, 4.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0], "bins": [-0.24575406312942505, -0.23817811906337738, -0.2306021749973297, -0.22302624583244324, -0.21545030176639557, -0.2078743577003479, -0.20029842853546143, -0.19272248446941376, -0.1851465404033661, -0.17757059633731842, -0.16999465227127075, -0.16241872310638428, -0.1548427790403366, -0.14726683497428894, -0.13969090580940247, -0.1321149617433548, -0.12453901767730713, -0.11696307361125946, -0.10938713699579239, -0.10181120038032532, -0.09423525631427765, -0.08665931224822998, -0.07908337563276291, -0.07150743901729584, -0.06393149495124817, -0.0563555546104908, -0.04877961426973343, -0.04120367392897606, -0.03362773358821869, -0.02605179324746132, -0.01847585290670395, -0.010899912565946579, -0.003323972225189209, 0.004251968115568161, 0.011827908456325531, 0.0194038487970829, 0.02697978913784027, 0.03455572947859764, 0.04213166981935501, 0.04970761016011238, 0.05728355050086975, 0.06485949456691742, 0.07243543118238449, 0.08001136779785156, 0.08758731186389923, 0.0951632559299469, 0.10273919254541397, 0.11031512916088104, 0.11789107322692871, 0.12546701729297638, 0.13304296135902405, 0.14061889052391052, 0.1481948345899582, 0.15577077865600586, 0.16334670782089233, 0.17092265188694, 0.17849859595298767, 0.18607454001903534, 0.193650484085083, 0.20122641324996948, 0.20880235731601715, 0.21637830138206482, 0.2239542305469513, 0.23153017461299896, 0.23910611867904663]}, "gradients/decoder.transformer.h.5.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 4.0, 1.0, 2.0, 3.0, 2.0, 5.0, 8.0, 6.0, 7.0, 7.0, 13.0, 13.0, 15.0, 14.0, 13.0, 22.0, 23.0, 23.0, 26.0, 42.0, 27.0, 31.0, 26.0, 39.0, 43.0, 42.0, 34.0, 46.0, 49.0, 36.0, 39.0, 29.0, 33.0, 31.0, 36.0, 34.0, 21.0, 29.0, 19.0, 19.0, 11.0, 19.0, 14.0, 14.0, 11.0, 8.0, 4.0, 8.0, 5.0, 4.0, 3.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-0.026885986328125, -0.02612161636352539, -0.02535724639892578, -0.024592876434326172, -0.023828506469726562, -0.023064136505126953, -0.022299766540527344, -0.021535396575927734, -0.020771026611328125, -0.020006656646728516, -0.019242286682128906, -0.018477916717529297, -0.017713546752929688, -0.016949176788330078, -0.01618480682373047, -0.01542043685913086, -0.01465606689453125, -0.01389169692993164, -0.013127326965332031, -0.012362957000732422, -0.011598587036132812, -0.010834217071533203, -0.010069847106933594, -0.009305477142333984, -0.008541107177734375, -0.007776737213134766, -0.007012367248535156, -0.006247997283935547, -0.0054836273193359375, -0.004719257354736328, -0.003954887390136719, -0.0031905174255371094, -0.0024261474609375, -0.0016617774963378906, -0.0008974075317382812, -0.00013303756713867188, 0.0006313323974609375, 0.0013957023620605469, 0.0021600723266601562, 0.0029244422912597656, 0.003688812255859375, 0.004453182220458984, 0.005217552185058594, 0.005981922149658203, 0.0067462921142578125, 0.007510662078857422, 0.008275032043457031, 0.00903940200805664, 0.00980377197265625, 0.01056814193725586, 0.011332511901855469, 0.012096881866455078, 0.012861251831054688, 0.013625621795654297, 0.014389991760253906, 0.015154361724853516, 0.015918731689453125, 0.016683101654052734, 0.017447471618652344, 0.018211841583251953, 0.018976211547851562, 0.019740581512451172, 0.02050495147705078, 0.02126932144165039, 0.02203369140625]}, "gradients/decoder.transformer.h.5.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0, 9.0, 8.0, 15.0, 17.0, 31.0, 59.0, 110.0, 156.0, 291.0, 522.0, 967.0, 1781.0, 3689.0, 7861.0, 18517.0, 45617.0, 129097.0, 454807.0, 1847959.0, 1241308.0, 291650.0, 90179.0, 33654.0, 13678.0, 6163.0, 2935.0, 1427.0, 761.0, 401.0, 261.0, 146.0, 79.0, 59.0, 35.0, 20.0, 7.0, 8.0, 3.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.040313720703125, -0.03891563415527344, -0.037517547607421875, -0.03611946105957031, -0.03472137451171875, -0.03332328796386719, -0.031925201416015625, -0.030527114868164062, -0.0291290283203125, -0.027730941772460938, -0.026332855224609375, -0.024934768676757812, -0.02353668212890625, -0.022138595581054688, -0.020740509033203125, -0.019342422485351562, -0.0179443359375, -0.016546249389648438, -0.015148162841796875, -0.013750076293945312, -0.01235198974609375, -0.010953903198242188, -0.009555816650390625, -0.008157730102539062, -0.0067596435546875, -0.0053615570068359375, -0.003963470458984375, -0.0025653839111328125, -0.00116729736328125, 0.0002307891845703125, 0.001628875732421875, 0.0030269622802734375, 0.004425048828125, 0.0058231353759765625, 0.007221221923828125, 0.008619308471679688, 0.01001739501953125, 0.011415481567382812, 0.012813568115234375, 0.014211654663085938, 0.0156097412109375, 0.017007827758789062, 0.018405914306640625, 0.019804000854492188, 0.02120208740234375, 0.022600173950195312, 0.023998260498046875, 0.025396347045898438, 0.02679443359375, 0.028192520141601562, 0.029590606689453125, 0.030988693237304688, 0.03238677978515625, 0.03378486633300781, 0.035182952880859375, 0.03658103942871094, 0.0379791259765625, 0.03937721252441406, 0.040775299072265625, 0.04217338562011719, 0.04357147216796875, 0.04496955871582031, 0.046367645263671875, 0.04776573181152344, 0.049163818359375]}, "gradients/decoder.transformer.h.5.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 5.0, 6.0, 6.0, 7.0, 15.0, 17.0, 22.0, 35.0, 39.0, 50.0, 91.0, 123.0, 146.0, 191.0, 275.0, 383.0, 464.0, 544.0, 402.0, 339.0, 234.0, 186.0, 143.0, 94.0, 79.0, 47.0, 28.0, 22.0, 21.0, 17.0, 15.0, 9.0, 8.0, 6.0, 5.0, 5.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.042449951171875, -0.0410008430480957, -0.039551734924316406, -0.03810262680053711, -0.03665351867675781, -0.035204410552978516, -0.03375530242919922, -0.03230619430541992, -0.030857086181640625, -0.029407978057861328, -0.02795886993408203, -0.026509761810302734, -0.025060653686523438, -0.02361154556274414, -0.022162437438964844, -0.020713329315185547, -0.01926422119140625, -0.017815113067626953, -0.016366004943847656, -0.01491689682006836, -0.013467788696289062, -0.012018680572509766, -0.010569572448730469, -0.009120464324951172, -0.007671356201171875, -0.006222248077392578, -0.004773139953613281, -0.0033240318298339844, -0.0018749237060546875, -0.0004258155822753906, 0.0010232925415039062, 0.002472400665283203, 0.0039215087890625, 0.005370616912841797, 0.006819725036621094, 0.00826883316040039, 0.009717941284179688, 0.011167049407958984, 0.012616157531738281, 0.014065265655517578, 0.015514373779296875, 0.016963481903076172, 0.01841259002685547, 0.019861698150634766, 0.021310806274414062, 0.02275991439819336, 0.024209022521972656, 0.025658130645751953, 0.02710723876953125, 0.028556346893310547, 0.030005455017089844, 0.03145456314086914, 0.03290367126464844, 0.034352779388427734, 0.03580188751220703, 0.03725099563598633, 0.038700103759765625, 0.04014921188354492, 0.04159832000732422, 0.043047428131103516, 0.04449653625488281, 0.04594564437866211, 0.047394752502441406, 0.0488438606262207, 0.05029296875]}, "gradients/decoder.transformer.h.5.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 4.0, 3.0, 4.0, 7.0, 3.0, 9.0, 6.0, 13.0, 19.0, 40.0, 25.0, 52.0, 73.0, 111.0, 184.0, 294.0, 623.0, 1417.0, 4554.0, 19722.0, 126856.0, 1397892.0, 2401027.0, 203245.0, 28815.0, 5953.0, 1669.0, 711.0, 342.0, 203.0, 134.0, 75.0, 63.0, 35.0, 35.0, 19.0, 14.0, 10.0, 4.0, 5.0, 7.0, 5.0, 2.0, 4.0, 1.0, 3.0, 0.0, 3.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.10809326171875, -0.10492420196533203, -0.10175514221191406, -0.0985860824584961, -0.09541702270507812, -0.09224796295166016, -0.08907890319824219, -0.08590984344482422, -0.08274078369140625, -0.07957172393798828, -0.07640266418457031, -0.07323360443115234, -0.07006454467773438, -0.0668954849243164, -0.06372642517089844, -0.06055736541748047, -0.0573883056640625, -0.05421924591064453, -0.05105018615722656, -0.047881126403808594, -0.044712066650390625, -0.041543006896972656, -0.03837394714355469, -0.03520488739013672, -0.03203582763671875, -0.02886676788330078, -0.025697708129882812, -0.022528648376464844, -0.019359588623046875, -0.016190528869628906, -0.013021469116210938, -0.009852409362792969, -0.006683349609375, -0.0035142898559570312, -0.0003452301025390625, 0.0028238296508789062, 0.005992889404296875, 0.009161949157714844, 0.012331008911132812, 0.015500068664550781, 0.01866912841796875, 0.02183818817138672, 0.025007247924804688, 0.028176307678222656, 0.031345367431640625, 0.034514427185058594, 0.03768348693847656, 0.04085254669189453, 0.0440216064453125, 0.04719066619873047, 0.05035972595214844, 0.053528785705566406, 0.056697845458984375, 0.059866905212402344, 0.06303596496582031, 0.06620502471923828, 0.06937408447265625, 0.07254314422607422, 0.07571220397949219, 0.07888126373291016, 0.08205032348632812, 0.0852193832397461, 0.08838844299316406, 0.09155750274658203, 0.0947265625]}, "gradients/decoder.transformer.h.5.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 1.0, 6.0, 60.0, 245.0, 405.0, 221.0, 64.0, 11.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22657698392868042, -0.19978097081184387, -0.17298495769500732, -0.14618895947933197, -0.11939294636249542, -0.09259693324565887, -0.06580093502998352, -0.03900492191314697, -0.012208908796310425, 0.014587100595235825, 0.041383109986782074, 0.06817911565303802, 0.09497512876987457, 0.12177114188671112, 0.14856714010238647, 0.17536315321922302, 0.20215916633605957, 0.22895517945289612, 0.25575119256973267, 0.2825471758842468, 0.30934321880340576, 0.3361392021179199, 0.36293521523475647, 0.389731228351593, 0.41652724146842957, 0.4433232545852661, 0.47011926770210266, 0.4969152808189392, 0.5237112641334534, 0.5505073070526123, 0.5773032903671265, 0.6040992736816406, 0.6308952569961548, 0.657691240310669, 0.6844872832298279, 0.711283266544342, 0.738079309463501, 0.7648752927780151, 0.7916712760925293, 0.8184673190116882, 0.8452633619308472, 0.8720593452453613, 0.8988553881645203, 0.9256513714790344, 0.9524474143981934, 0.9792433977127075, 1.0060393810272217, 1.0328354835510254, 1.05963134765625, 1.0864273309707642, 1.1132233142852783, 1.140019416809082, 1.1668154001235962, 1.1936113834381104, 1.2204073667526245, 1.2472033500671387, 1.2739994525909424, 1.3007954359054565, 1.3275914192199707, 1.3543875217437744, 1.3811835050582886, 1.4079794883728027, 1.434775471687317, 1.461571455001831, 1.4883675575256348]}, "gradients/decoder.transformer.h.5.ln_2.bias": {"_type": "histogram", "values": [4.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 1.0, 3.0, 9.0, 5.0, 14.0, 4.0, 12.0, 10.0, 15.0, 6.0, 18.0, 20.0, 18.0, 22.0, 33.0, 27.0, 31.0, 22.0, 35.0, 38.0, 32.0, 24.0, 46.0, 32.0, 39.0, 33.0, 38.0, 46.0, 42.0, 42.0, 26.0, 24.0, 20.0, 19.0, 17.0, 27.0, 21.0, 22.0, 14.0, 16.0, 17.0, 10.0, 18.0, 9.0, 3.0, 5.0, 6.0, 4.0, 2.0, 3.0, 5.0, 4.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.13790136575698853, -0.13348595798015594, -0.12907053530216217, -0.12465512752532959, -0.12023971974849701, -0.11582430452108383, -0.11140888929367065, -0.10699348151683807, -0.1025780662894249, -0.09816265106201172, -0.09374724328517914, -0.08933182805776596, -0.08491641283035278, -0.0805010050535202, -0.07608558982610703, -0.07167017459869385, -0.06725476682186127, -0.06283935159444809, -0.05842394381761551, -0.05400852859020233, -0.04959311708807945, -0.045177705585956573, -0.040762290358543396, -0.03634687885642052, -0.03193146735429764, -0.02751605585217476, -0.02310064248740673, -0.018685229122638702, -0.014269817620515823, -0.009854406118392944, -0.005438992753624916, -0.0010235793888568878, 0.003391832113265991, 0.007807244546711445, 0.012222656980156898, 0.016638070344924927, 0.021053481847047806, 0.025468893349170685, 0.029884306713938713, 0.03429972007870674, 0.03871513158082962, 0.0431305430829525, 0.04754595458507538, 0.051961369812488556, 0.056376781314611435, 0.060792192816734314, 0.06520760804414749, 0.06962302327156067, 0.07403843104839325, 0.07845384627580643, 0.08286925405263901, 0.08728466928005219, 0.09170007705688477, 0.09611549228429794, 0.10053090751171112, 0.1049463152885437, 0.10936173051595688, 0.11377714574337006, 0.11819255352020264, 0.12260796874761581, 0.127023383975029, 0.13143879175186157, 0.13585419952869415, 0.14026962220668793, 0.1446850299835205]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 6.0, 10.0, 3.0, 2.0, 7.0, 10.0, 9.0, 13.0, 20.0, 11.0, 16.0, 27.0, 33.0, 23.0, 27.0, 29.0, 26.0, 40.0, 37.0, 40.0, 37.0, 35.0, 46.0, 37.0, 35.0, 46.0, 29.0, 34.0, 38.0, 28.0, 22.0, 34.0, 24.0, 24.0, 23.0, 17.0, 17.0, 18.0, 11.0, 11.0, 16.0, 8.0, 7.0, 5.0, 5.0, 2.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0265045166015625, -0.025723934173583984, -0.02494335174560547, -0.024162769317626953, -0.023382186889648438, -0.022601604461669922, -0.021821022033691406, -0.02104043960571289, -0.020259857177734375, -0.01947927474975586, -0.018698692321777344, -0.017918109893798828, -0.017137527465820312, -0.016356945037841797, -0.015576362609863281, -0.014795780181884766, -0.01401519775390625, -0.013234615325927734, -0.012454032897949219, -0.011673450469970703, -0.010892868041992188, -0.010112285614013672, -0.009331703186035156, -0.00855112075805664, -0.007770538330078125, -0.006989955902099609, -0.006209373474121094, -0.005428791046142578, -0.0046482086181640625, -0.003867626190185547, -0.0030870437622070312, -0.0023064613342285156, -0.00152587890625, -0.0007452964782714844, 3.528594970703125e-05, 0.0008158683776855469, 0.0015964508056640625, 0.002377033233642578, 0.0031576156616210938, 0.003938198089599609, 0.004718780517578125, 0.005499362945556641, 0.006279945373535156, 0.007060527801513672, 0.007841110229492188, 0.008621692657470703, 0.009402275085449219, 0.010182857513427734, 0.01096343994140625, 0.011744022369384766, 0.012524604797363281, 0.013305187225341797, 0.014085769653320312, 0.014866352081298828, 0.015646934509277344, 0.01642751693725586, 0.017208099365234375, 0.01798868179321289, 0.018769264221191406, 0.019549846649169922, 0.020330429077148438, 0.021111011505126953, 0.02189159393310547, 0.022672176361083984, 0.0234527587890625]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 3.0, 8.0, 19.0, 17.0, 32.0, 51.0, 53.0, 84.0, 125.0, 201.0, 268.0, 417.0, 559.0, 823.0, 1102.0, 1701.0, 2348.0, 3513.0, 4941.0, 7418.0, 10956.0, 16042.0, 25143.0, 38528.0, 62032.0, 106800.0, 264531.0, 229524.0, 100553.0, 60482.0, 36969.0, 24032.0, 15573.0, 10557.0, 7204.0, 4853.0, 3441.0, 2310.0, 1685.0, 1135.0, 819.0, 540.0, 378.0, 258.0, 184.0, 133.0, 79.0, 51.0, 34.0, 19.0, 14.0, 12.0, 6.0, 3.0, 2.0, 1.0, 2.0], "bins": [-0.00014460086822509766, -0.0001403428614139557, -0.00013608485460281372, -0.00013182684779167175, -0.00012756884098052979, -0.00012331083416938782, -0.00011905282735824585, -0.00011479482054710388, -0.00011053681373596191, -0.00010627880692481995, -0.00010202080011367798, -9.776279330253601e-05, -9.350478649139404e-05, -8.924677968025208e-05, -8.498877286911011e-05, -8.073076605796814e-05, -7.647275924682617e-05, -7.22147524356842e-05, -6.795674562454224e-05, -6.369873881340027e-05, -5.94407320022583e-05, -5.518272519111633e-05, -5.0924718379974365e-05, -4.66667115688324e-05, -4.240870475769043e-05, -3.815069794654846e-05, -3.3892691135406494e-05, -2.9634684324264526e-05, -2.537667751312256e-05, -2.111867070198059e-05, -1.6860663890838623e-05, -1.2602657079696655e-05, -8.344650268554688e-06, -4.08664345741272e-06, 1.7136335372924805e-07, 4.429370164871216e-06, 8.687376976013184e-06, 1.2945383787155151e-05, 1.720339059829712e-05, 2.1461397409439087e-05, 2.5719404220581055e-05, 2.9977411031723022e-05, 3.423541784286499e-05, 3.849342465400696e-05, 4.2751431465148926e-05, 4.7009438276290894e-05, 5.126744508743286e-05, 5.552545189857483e-05, 5.97834587097168e-05, 6.404146552085876e-05, 6.829947233200073e-05, 7.25574791431427e-05, 7.681548595428467e-05, 8.107349276542664e-05, 8.53314995765686e-05, 8.958950638771057e-05, 9.384751319885254e-05, 9.810552000999451e-05, 0.00010236352682113647, 0.00010662153363227844, 0.00011087954044342041, 0.00011513754725456238, 0.00011939555406570435, 0.0001236535608768463, 0.00012791156768798828]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 1.0, 4.0, 5.0, 11.0, 11.0, 7.0, 11.0, 10.0, 18.0, 17.0, 22.0, 27.0, 28.0, 29.0, 26.0, 42.0, 45.0, 33.0, 45.0, 44.0, 42.0, 36.0, 1071.0, 46.0, 43.0, 51.0, 28.0, 36.0, 24.0, 24.0, 24.0, 29.0, 26.0, 21.0, 16.0, 17.0, 10.0, 7.0, 11.0, 6.0, 6.0, 7.0, 3.0, 3.0, 6.0, 3.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.027862548828125, -0.02709174156188965, -0.026320934295654297, -0.025550127029418945, -0.024779319763183594, -0.024008512496948242, -0.02323770523071289, -0.02246689796447754, -0.021696090698242188, -0.020925283432006836, -0.020154476165771484, -0.019383668899536133, -0.01861286163330078, -0.01784205436706543, -0.017071247100830078, -0.016300439834594727, -0.015529632568359375, -0.014758825302124023, -0.013988018035888672, -0.01321721076965332, -0.012446403503417969, -0.011675596237182617, -0.010904788970947266, -0.010133981704711914, -0.009363174438476562, -0.008592367172241211, -0.00782155990600586, -0.007050752639770508, -0.006279945373535156, -0.005509138107299805, -0.004738330841064453, -0.0039675235748291016, -0.00319671630859375, -0.0024259090423583984, -0.0016551017761230469, -0.0008842945098876953, -0.00011348724365234375, 0.0006573200225830078, 0.0014281272888183594, 0.002198934555053711, 0.0029697418212890625, 0.003740549087524414, 0.004511356353759766, 0.005282163619995117, 0.006052970886230469, 0.00682377815246582, 0.007594585418701172, 0.008365392684936523, 0.009136199951171875, 0.009907007217407227, 0.010677814483642578, 0.01144862174987793, 0.012219429016113281, 0.012990236282348633, 0.013761043548583984, 0.014531850814819336, 0.015302658081054688, 0.01607346534729004, 0.01684427261352539, 0.017615079879760742, 0.018385887145996094, 0.019156694412231445, 0.019927501678466797, 0.02069830894470215, 0.0214691162109375]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.weight": {"_type": "histogram", "values": [3.0, 2.0, 2.0, 3.0, 2.0, 5.0, 2.0, 6.0, 11.0, 8.0, 6.0, 9.0, 13.0, 15.0, 20.0, 19.0, 26.0, 31.0, 24.0, 35.0, 41.0, 83.0, 240.0, 658.0, 2856.0, 22402.0, 2061622.0, 6601.0, 1436.0, 437.0, 167.0, 59.0, 52.0, 39.0, 30.0, 26.0, 26.0, 25.0, 13.0, 23.0, 13.0, 8.0, 11.0, 12.0, 6.0, 8.0, 3.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0563602447509766e-05, -1.9781291484832764e-05, -1.8998980522155762e-05, -1.821666955947876e-05, -1.7434358596801758e-05, -1.6652047634124756e-05, -1.5869736671447754e-05, -1.5087425708770752e-05, -1.430511474609375e-05, -1.3522803783416748e-05, -1.2740492820739746e-05, -1.1958181858062744e-05, -1.1175870895385742e-05, -1.039355993270874e-05, -9.611248970031738e-06, -8.828938007354736e-06, -8.046627044677734e-06, -7.264316082000732e-06, -6.4820051193237305e-06, -5.6996941566467285e-06, -4.9173831939697266e-06, -4.135072231292725e-06, -3.3527612686157227e-06, -2.5704503059387207e-06, -1.7881393432617188e-06, -1.0058283805847168e-06, -2.2351741790771484e-07, 5.587935447692871e-07, 1.341104507446289e-06, 2.123415470123291e-06, 2.905726432800293e-06, 3.688037395477295e-06, 4.470348358154297e-06, 5.252659320831299e-06, 6.034970283508301e-06, 6.817281246185303e-06, 7.599592208862305e-06, 8.381903171539307e-06, 9.164214134216309e-06, 9.94652509689331e-06, 1.0728836059570312e-05, 1.1511147022247314e-05, 1.2293457984924316e-05, 1.3075768947601318e-05, 1.385807991027832e-05, 1.4640390872955322e-05, 1.5422701835632324e-05, 1.6205012798309326e-05, 1.6987323760986328e-05, 1.776963472366333e-05, 1.8551945686340332e-05, 1.9334256649017334e-05, 2.0116567611694336e-05, 2.0898878574371338e-05, 2.168118953704834e-05, 2.2463500499725342e-05, 2.3245811462402344e-05, 2.4028122425079346e-05, 2.4810433387756348e-05, 2.559274435043335e-05, 2.637505531311035e-05, 2.7157366275787354e-05, 2.7939677238464355e-05, 2.8721988201141357e-05, 2.950429916381836e-05]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 6.0, 10.0, 3.0, 2.0, 7.0, 10.0, 9.0, 13.0, 20.0, 11.0, 16.0, 27.0, 33.0, 23.0, 27.0, 29.0, 26.0, 40.0, 37.0, 40.0, 37.0, 35.0, 46.0, 37.0, 35.0, 46.0, 29.0, 34.0, 38.0, 28.0, 22.0, 34.0, 24.0, 24.0, 23.0, 17.0, 17.0, 18.0, 11.0, 11.0, 16.0, 8.0, 7.0, 5.0, 5.0, 2.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0265045166015625, -0.025723934173583984, -0.02494335174560547, -0.024162769317626953, -0.023382186889648438, -0.022601604461669922, -0.021821022033691406, -0.02104043960571289, -0.020259857177734375, -0.01947927474975586, -0.018698692321777344, -0.017918109893798828, -0.017137527465820312, -0.016356945037841797, -0.015576362609863281, -0.014795780181884766, -0.01401519775390625, -0.013234615325927734, -0.012454032897949219, -0.011673450469970703, -0.010892868041992188, -0.010112285614013672, -0.009331703186035156, -0.00855112075805664, -0.007770538330078125, -0.006989955902099609, -0.006209373474121094, -0.005428791046142578, -0.0046482086181640625, -0.003867626190185547, -0.0030870437622070312, -0.0023064613342285156, -0.00152587890625, -0.0007452964782714844, 3.528594970703125e-05, 0.0008158683776855469, 0.0015964508056640625, 0.002377033233642578, 0.0031576156616210938, 0.003938198089599609, 0.004718780517578125, 0.005499362945556641, 0.006279945373535156, 0.007060527801513672, 0.007841110229492188, 0.008621692657470703, 0.009402275085449219, 0.010182857513427734, 0.01096343994140625, 0.011744022369384766, 0.012524604797363281, 0.013305187225341797, 0.014085769653320312, 0.014866352081298828, 0.015646934509277344, 0.01642751693725586, 0.017208099365234375, 0.01798868179321289, 0.018769264221191406, 0.019549846649169922, 0.020330429077148438, 0.021111011505126953, 0.02189159393310547, 0.022672176361083984, 0.0234527587890625]}, "gradients/decoder.transformer.h.5.attn.c_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 1.0, 2.0, 2.0, 6.0, 11.0, 13.0, 18.0, 30.0, 34.0, 72.0, 97.0, 123.0, 214.0, 299.0, 466.0, 620.0, 1031.0, 1571.0, 2240.0, 3440.0, 5134.0, 7475.0, 11314.0, 16394.0, 23829.0, 35039.0, 53012.0, 84731.0, 140301.0, 201594.0, 166968.0, 102501.0, 62873.0, 40675.0, 27676.0, 18894.0, 12881.0, 8838.0, 6037.0, 4027.0, 2647.0, 1842.0, 1164.0, 809.0, 504.0, 365.0, 272.0, 160.0, 109.0, 79.0, 46.0, 25.0, 23.0, 11.0, 12.0, 7.0, 5.0, 6.0, 0.0, 1.0, 1.0], "bins": [-0.0303192138671875, -0.029391765594482422, -0.028464317321777344, -0.027536869049072266, -0.026609420776367188, -0.02568197250366211, -0.02475452423095703, -0.023827075958251953, -0.022899627685546875, -0.021972179412841797, -0.02104473114013672, -0.02011728286743164, -0.019189834594726562, -0.018262386322021484, -0.017334938049316406, -0.016407489776611328, -0.01548004150390625, -0.014552593231201172, -0.013625144958496094, -0.012697696685791016, -0.011770248413085938, -0.01084280014038086, -0.009915351867675781, -0.008987903594970703, -0.008060455322265625, -0.007133007049560547, -0.006205558776855469, -0.005278110504150391, -0.0043506622314453125, -0.0034232139587402344, -0.0024957656860351562, -0.0015683174133300781, -0.000640869140625, 0.0002865791320800781, 0.0012140274047851562, 0.0021414756774902344, 0.0030689239501953125, 0.003996372222900391, 0.004923820495605469, 0.005851268768310547, 0.006778717041015625, 0.007706165313720703, 0.008633613586425781, 0.00956106185913086, 0.010488510131835938, 0.011415958404541016, 0.012343406677246094, 0.013270854949951172, 0.01419830322265625, 0.015125751495361328, 0.016053199768066406, 0.016980648040771484, 0.017908096313476562, 0.01883554458618164, 0.01976299285888672, 0.020690441131591797, 0.021617889404296875, 0.022545337677001953, 0.02347278594970703, 0.02440023422241211, 0.025327682495117188, 0.026255130767822266, 0.027182579040527344, 0.028110027313232422, 0.0290374755859375]}, "gradients/decoder.transformer.h.5.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 4.0, 3.0, 7.0, 6.0, 4.0, 5.0, 2.0, 6.0, 18.0, 14.0, 21.0, 20.0, 26.0, 26.0, 27.0, 43.0, 33.0, 43.0, 61.0, 83.0, 136.0, 210.0, 1368.0, 252.0, 140.0, 88.0, 68.0, 52.0, 48.0, 29.0, 29.0, 35.0, 29.0, 18.0, 22.0, 14.0, 15.0, 6.0, 11.0, 8.0, 9.0, 6.0, 5.0, 4.0, 5.0, 3.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.1016845703125, -0.09891510009765625, -0.0961456298828125, -0.09337615966796875, -0.090606689453125, -0.08783721923828125, -0.0850677490234375, -0.08229827880859375, -0.07952880859375, -0.07675933837890625, -0.0739898681640625, -0.07122039794921875, -0.068450927734375, -0.06568145751953125, -0.0629119873046875, -0.06014251708984375, -0.057373046875, -0.05460357666015625, -0.0518341064453125, -0.04906463623046875, -0.046295166015625, -0.04352569580078125, -0.0407562255859375, -0.03798675537109375, -0.03521728515625, -0.03244781494140625, -0.0296783447265625, -0.02690887451171875, -0.024139404296875, -0.02136993408203125, -0.0186004638671875, -0.01583099365234375, -0.0130615234375, -0.01029205322265625, -0.0075225830078125, -0.00475311279296875, -0.001983642578125, 0.00078582763671875, 0.0035552978515625, 0.00632476806640625, 0.00909423828125, 0.01186370849609375, 0.0146331787109375, 0.01740264892578125, 0.020172119140625, 0.02294158935546875, 0.0257110595703125, 0.02848052978515625, 0.03125, 0.03401947021484375, 0.0367889404296875, 0.03955841064453125, 0.042327880859375, 0.04509735107421875, 0.0478668212890625, 0.05063629150390625, 0.05340576171875, 0.05617523193359375, 0.0589447021484375, 0.06171417236328125, 0.064483642578125, 0.06725311279296875, 0.0700225830078125, 0.07279205322265625, 0.0755615234375]}, "gradients/decoder.transformer.h.5.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 3.0, 1.0, 9.0, 3.0, 6.0, 8.0, 11.0, 12.0, 14.0, 11.0, 8.0, 33.0, 29.0, 52.0, 57.0, 65.0, 98.0, 124.0, 212.0, 388.0, 873.0, 2234.0, 5599.0, 15279.0, 41457.0, 132485.0, 660485.0, 1819691.0, 336801.0, 83427.0, 28587.0, 10457.0, 3995.0, 1566.0, 670.0, 308.0, 183.0, 98.0, 80.0, 75.0, 37.0, 42.0, 29.0, 25.0, 16.0, 14.0, 15.0, 16.0, 10.0, 7.0, 3.0, 8.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.06280517578125, -0.060799598693847656, -0.05879402160644531, -0.05678844451904297, -0.054782867431640625, -0.05277729034423828, -0.05077171325683594, -0.048766136169433594, -0.04676055908203125, -0.044754981994628906, -0.04274940490722656, -0.04074382781982422, -0.038738250732421875, -0.03673267364501953, -0.03472709655761719, -0.032721519470214844, -0.0307159423828125, -0.028710365295410156, -0.026704788208007812, -0.02469921112060547, -0.022693634033203125, -0.02068805694580078, -0.018682479858398438, -0.016676902770996094, -0.01467132568359375, -0.012665748596191406, -0.010660171508789062, -0.008654594421386719, -0.006649017333984375, -0.004643440246582031, -0.0026378631591796875, -0.0006322860717773438, 0.001373291015625, 0.0033788681030273438, 0.0053844451904296875, 0.007390022277832031, 0.009395599365234375, 0.011401176452636719, 0.013406753540039062, 0.015412330627441406, 0.01741790771484375, 0.019423484802246094, 0.021429061889648438, 0.02343463897705078, 0.025440216064453125, 0.02744579315185547, 0.029451370239257812, 0.031456947326660156, 0.0334625244140625, 0.035468101501464844, 0.03747367858886719, 0.03947925567626953, 0.041484832763671875, 0.04349040985107422, 0.04549598693847656, 0.047501564025878906, 0.04950714111328125, 0.051512718200683594, 0.05351829528808594, 0.05552387237548828, 0.057529449462890625, 0.05953502655029297, 0.06154060363769531, 0.06354618072509766, 0.0655517578125]}, "gradients/decoder.transformer.h.5.ln_1.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 2.0, 4.0, 6.0, 13.0, 18.0, 18.0, 35.0, 43.0, 56.0, 54.0, 75.0, 93.0, 75.0, 81.0, 82.0, 61.0, 79.0, 49.0, 41.0, 40.0, 29.0, 21.0, 13.0, 6.0, 6.0, 5.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0825200155377388, -0.07754945009946823, -0.07257888466119766, -0.0676083192229271, -0.06263776123523712, -0.057667192071676254, -0.052696630358695984, -0.047726064920425415, -0.042755499482154846, -0.03778493404388428, -0.03281436860561371, -0.027843806892633438, -0.02287324145436287, -0.0179026760160923, -0.01293211244046688, -0.007961548864841461, -0.0029909834265708923, 0.001979581080377102, 0.006950145587325096, 0.01192071009427309, 0.016891274601221085, 0.021861840039491653, 0.026832403615117073, 0.03180296719074249, 0.03677353262901306, 0.04174409806728363, 0.0467146635055542, 0.05168522521853447, 0.05665579065680504, 0.06162635609507561, 0.06659691780805588, 0.07156748324632645, 0.07653805613517761, 0.08150862157344818, 0.08647918701171875, 0.09144975244998932, 0.09642031788825989, 0.10139088332653046, 0.10636144131422043, 0.111332006752491, 0.11630257219076157, 0.12127313762903214, 0.1262436956167221, 0.13121426105499268, 0.13618482649326324, 0.1411553919315338, 0.14612595736980438, 0.15109652280807495, 0.15606708824634552, 0.1610376536846161, 0.16600821912288666, 0.17097878456115723, 0.1759493499994278, 0.18091991543769836, 0.18589048087596893, 0.1908610463142395, 0.19583159685134888, 0.20080216228961945, 0.20577272772789001, 0.21074329316616058, 0.21571385860443115, 0.22068442404270172, 0.2256549894809723, 0.23062554001808167, 0.23559612035751343]}, "gradients/decoder.transformer.h.5.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 4.0, 3.0, 1.0, 6.0, 0.0, 8.0, 6.0, 8.0, 14.0, 16.0, 15.0, 18.0, 26.0, 19.0, 23.0, 21.0, 31.0, 26.0, 30.0, 30.0, 40.0, 42.0, 48.0, 44.0, 55.0, 47.0, 37.0, 42.0, 44.0, 32.0, 35.0, 29.0, 25.0, 37.0, 22.0, 33.0, 20.0, 13.0, 21.0, 12.0, 8.0, 6.0, 1.0, 4.0, 2.0, 3.0, 1.0, 3.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2677449584007263, -0.2597086727619171, -0.2516723871231079, -0.2436361163854599, -0.2355998307466507, -0.22756356000900269, -0.21952727437019348, -0.21149098873138428, -0.20345470309257507, -0.19541841745376587, -0.18738214671611786, -0.17934586107730865, -0.17130957543849945, -0.16327330470085144, -0.15523701906204224, -0.14720073342323303, -0.13916446268558502, -0.13112817704677582, -0.12309189885854721, -0.1150556206703186, -0.1070193350315094, -0.09898305684328079, -0.09094677865505219, -0.08291049301624298, -0.07487421482801437, -0.06683793663978577, -0.05880165100097656, -0.050765372812747955, -0.04272909089922905, -0.034692808985710144, -0.026656530797481537, -0.01862024888396263, -0.010583966970443726, -0.0025476859882473946, 0.0054885949939489365, 0.013524875044822693, 0.0215611569583416, 0.029597438871860504, 0.03763371706008911, 0.04566999897360802, 0.05370628088712692, 0.06174256280064583, 0.06977884471416473, 0.07781512290239334, 0.08585140109062195, 0.09388768672943115, 0.10192396491765976, 0.10996024310588837, 0.11799652874469757, 0.12603281438350677, 0.13406908512115479, 0.142105370759964, 0.1501416563987732, 0.1581779420375824, 0.1662142127752304, 0.1742504984140396, 0.18228676915168762, 0.19032305479049683, 0.19835932552814484, 0.20639561116695404, 0.21443189680576324, 0.22246816754341125, 0.23050445318222046, 0.23854073882102966, 0.24657702445983887]}, "gradients/decoder.transformer.h.4.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 5.0, 2.0, 1.0, 1.0, 6.0, 5.0, 5.0, 6.0, 9.0, 8.0, 9.0, 11.0, 14.0, 21.0, 8.0, 17.0, 21.0, 29.0, 25.0, 31.0, 25.0, 35.0, 36.0, 31.0, 36.0, 36.0, 41.0, 35.0, 38.0, 50.0, 41.0, 34.0, 37.0, 39.0, 32.0, 35.0, 18.0, 23.0, 16.0, 24.0, 19.0, 18.0, 8.0, 20.0, 14.0, 7.0, 6.0, 6.0, 5.0, 4.0, 5.0, 4.0, 2.0, 3.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0269317626953125, -0.026131153106689453, -0.025330543518066406, -0.02452993392944336, -0.023729324340820312, -0.022928714752197266, -0.02212810516357422, -0.021327495574951172, -0.020526885986328125, -0.019726276397705078, -0.01892566680908203, -0.018125057220458984, -0.017324447631835938, -0.01652383804321289, -0.015723228454589844, -0.014922618865966797, -0.01412200927734375, -0.013321399688720703, -0.012520790100097656, -0.01172018051147461, -0.010919570922851562, -0.010118961334228516, -0.009318351745605469, -0.008517742156982422, -0.007717132568359375, -0.006916522979736328, -0.006115913391113281, -0.005315303802490234, -0.0045146942138671875, -0.0037140846252441406, -0.0029134750366210938, -0.002112865447998047, -0.001312255859375, -0.0005116462707519531, 0.00028896331787109375, 0.0010895729064941406, 0.0018901824951171875, 0.0026907920837402344, 0.0034914016723632812, 0.004292011260986328, 0.005092620849609375, 0.005893230438232422, 0.006693840026855469, 0.007494449615478516, 0.008295059204101562, 0.00909566879272461, 0.009896278381347656, 0.010696887969970703, 0.01149749755859375, 0.012298107147216797, 0.013098716735839844, 0.01389932632446289, 0.014699935913085938, 0.015500545501708984, 0.01630115509033203, 0.017101764678955078, 0.017902374267578125, 0.018702983856201172, 0.01950359344482422, 0.020304203033447266, 0.021104812622070312, 0.02190542221069336, 0.022706031799316406, 0.023506641387939453, 0.0243072509765625]}, "gradients/decoder.transformer.h.4.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 8.0, 7.0, 10.0, 17.0, 30.0, 49.0, 77.0, 146.0, 380.0, 1507.0, 7366.0, 62427.0, 1915765.0, 2129795.0, 66744.0, 7762.0, 1390.0, 410.0, 174.0, 86.0, 55.0, 30.0, 11.0, 11.0, 8.0, 6.0, 1.0, 1.0, 5.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11126708984375, -0.1071481704711914, -0.10302925109863281, -0.09891033172607422, -0.09479141235351562, -0.09067249298095703, -0.08655357360839844, -0.08243465423583984, -0.07831573486328125, -0.07419681549072266, -0.07007789611816406, -0.06595897674560547, -0.061840057373046875, -0.05772113800048828, -0.05360221862792969, -0.049483299255371094, -0.0453643798828125, -0.041245460510253906, -0.03712654113769531, -0.03300762176513672, -0.028888702392578125, -0.02476978302001953, -0.020650863647460938, -0.016531944274902344, -0.01241302490234375, -0.008294105529785156, -0.0041751861572265625, -5.626678466796875e-05, 0.004062652587890625, 0.008181571960449219, 0.012300491333007812, 0.016419410705566406, 0.020538330078125, 0.024657249450683594, 0.028776168823242188, 0.03289508819580078, 0.037014007568359375, 0.04113292694091797, 0.04525184631347656, 0.049370765686035156, 0.05348968505859375, 0.057608604431152344, 0.06172752380371094, 0.06584644317626953, 0.06996536254882812, 0.07408428192138672, 0.07820320129394531, 0.0823221206665039, 0.0864410400390625, 0.0905599594116211, 0.09467887878417969, 0.09879779815673828, 0.10291671752929688, 0.10703563690185547, 0.11115455627441406, 0.11527347564697266, 0.11939239501953125, 0.12351131439208984, 0.12763023376464844, 0.13174915313720703, 0.13586807250976562, 0.13998699188232422, 0.1441059112548828, 0.1482248306274414, 0.15234375]}, "gradients/decoder.transformer.h.4.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 3.0, 2.0, 3.0, 3.0, 4.0, 4.0, 5.0, 8.0, 5.0, 15.0, 13.0, 27.0, 23.0, 33.0, 37.0, 64.0, 90.0, 105.0, 137.0, 179.0, 248.0, 320.0, 397.0, 479.0, 415.0, 344.0, 253.0, 205.0, 152.0, 120.0, 95.0, 74.0, 46.0, 52.0, 28.0, 22.0, 19.0, 16.0, 8.0, 10.0, 8.0, 4.0, 2.0, 1.0, 4.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.033782958984375, -0.0325164794921875, -0.03125, -0.0299835205078125, -0.028717041015625, -0.0274505615234375, -0.02618408203125, -0.0249176025390625, -0.023651123046875, -0.0223846435546875, -0.0211181640625, -0.0198516845703125, -0.018585205078125, -0.0173187255859375, -0.01605224609375, -0.0147857666015625, -0.013519287109375, -0.0122528076171875, -0.010986328125, -0.0097198486328125, -0.008453369140625, -0.0071868896484375, -0.00592041015625, -0.0046539306640625, -0.003387451171875, -0.0021209716796875, -0.0008544921875, 0.0004119873046875, 0.001678466796875, 0.0029449462890625, 0.00421142578125, 0.0054779052734375, 0.006744384765625, 0.0080108642578125, 0.00927734375, 0.0105438232421875, 0.011810302734375, 0.0130767822265625, 0.01434326171875, 0.0156097412109375, 0.016876220703125, 0.0181427001953125, 0.0194091796875, 0.0206756591796875, 0.021942138671875, 0.0232086181640625, 0.02447509765625, 0.0257415771484375, 0.027008056640625, 0.0282745361328125, 0.029541015625, 0.0308074951171875, 0.032073974609375, 0.0333404541015625, 0.03460693359375, 0.0358734130859375, 0.037139892578125, 0.0384063720703125, 0.0396728515625, 0.0409393310546875, 0.042205810546875, 0.0434722900390625, 0.04473876953125, 0.0460052490234375, 0.047271728515625]}, "gradients/decoder.transformer.h.4.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 6.0, 2.0, 5.0, 5.0, 7.0, 9.0, 9.0, 6.0, 11.0, 24.0, 27.0, 34.0, 43.0, 62.0, 98.0, 157.0, 301.0, 511.0, 1047.0, 2267.0, 5552.0, 16199.0, 53191.0, 201043.0, 1012774.0, 2323051.0, 430080.0, 102194.0, 29196.0, 9480.0, 3634.0, 1460.0, 722.0, 397.0, 217.0, 151.0, 96.0, 59.0, 47.0, 29.0, 20.0, 13.0, 15.0, 10.0, 9.0, 3.0, 9.0, 5.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0626220703125, -0.06061840057373047, -0.05861473083496094, -0.056611061096191406, -0.054607391357421875, -0.052603721618652344, -0.05060005187988281, -0.04859638214111328, -0.04659271240234375, -0.04458904266357422, -0.04258537292480469, -0.040581703186035156, -0.038578033447265625, -0.036574363708496094, -0.03457069396972656, -0.03256702423095703, -0.0305633544921875, -0.02855968475341797, -0.026556015014648438, -0.024552345275878906, -0.022548675537109375, -0.020545005798339844, -0.018541336059570312, -0.01653766632080078, -0.01453399658203125, -0.012530326843261719, -0.010526657104492188, -0.008522987365722656, -0.006519317626953125, -0.004515647888183594, -0.0025119781494140625, -0.0005083084106445312, 0.001495361328125, 0.0034990310668945312, 0.0055027008056640625, 0.007506370544433594, 0.009510040283203125, 0.011513710021972656, 0.013517379760742188, 0.015521049499511719, 0.01752471923828125, 0.01952838897705078, 0.021532058715820312, 0.023535728454589844, 0.025539398193359375, 0.027543067932128906, 0.029546737670898438, 0.03155040740966797, 0.0335540771484375, 0.03555774688720703, 0.03756141662597656, 0.039565086364746094, 0.041568756103515625, 0.043572425842285156, 0.04557609558105469, 0.04757976531982422, 0.04958343505859375, 0.05158710479736328, 0.05359077453613281, 0.055594444274902344, 0.057598114013671875, 0.059601783752441406, 0.06160545349121094, 0.06360912322998047, 0.06561279296875]}, "gradients/decoder.transformer.h.4.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 5.0, 13.0, 28.0, 103.0, 215.0, 224.0, 239.0, 126.0, 48.0, 14.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.20174819231033325, -0.1857447773218155, -0.16974137723445892, -0.15373796224594116, -0.1377345621585846, -0.12173114717006683, -0.10572773218154907, -0.08972432464361191, -0.07372091710567474, -0.05771750956773758, -0.04171409830451012, -0.025710687041282654, -0.00970727950334549, 0.006296128034591675, 0.022299543023109436, 0.0383029505610466, 0.054306358098983765, 0.07030976563692093, 0.0863131731748581, 0.10231658816337585, 0.11831999570131302, 0.13432340323925018, 0.15032681822776794, 0.1663302183151245, 0.18233363330364227, 0.19833704829216003, 0.2143404483795166, 0.23034386336803436, 0.24634727835655212, 0.2623506784439087, 0.27835410833358765, 0.2943575084209442, 0.3103609085083008, 0.32636430859565735, 0.3423677384853363, 0.35837113857269287, 0.37437453866004944, 0.390377938747406, 0.40638136863708496, 0.42238476872444153, 0.4383881688117981, 0.45439156889915466, 0.4703949987888336, 0.4863983988761902, 0.5024018287658691, 0.5184051990509033, 0.5344086289405823, 0.5504120588302612, 0.5664154291152954, 0.5824188590049744, 0.5984222292900085, 0.6144256591796875, 0.6304290890693665, 0.6464324593544006, 0.6624358892440796, 0.6784393191337585, 0.6944427490234375, 0.7104461789131165, 0.7264495491981506, 0.7424529790878296, 0.7584564089775085, 0.7744597792625427, 0.7904632091522217, 0.8064666390419006, 0.8224700093269348]}, "gradients/decoder.transformer.h.4.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 3.0, 1.0, 3.0, 6.0, 5.0, 4.0, 5.0, 12.0, 8.0, 11.0, 9.0, 18.0, 19.0, 18.0, 21.0, 30.0, 26.0, 31.0, 37.0, 30.0, 32.0, 50.0, 48.0, 58.0, 43.0, 48.0, 45.0, 42.0, 46.0, 36.0, 30.0, 32.0, 38.0, 33.0, 24.0, 14.0, 13.0, 13.0, 18.0, 12.0, 14.0, 8.0, 4.0, 8.0, 2.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1571466326713562, -0.15195392072200775, -0.1467612087726593, -0.14156848192214966, -0.1363757699728012, -0.13118305802345276, -0.1259903460741043, -0.12079763412475586, -0.11560491472482681, -0.11041220277547836, -0.10521948337554932, -0.10002677142620087, -0.09483405947685242, -0.08964134007692337, -0.08444862812757492, -0.07925590872764587, -0.07406319677829742, -0.06887048482894897, -0.06367776542901993, -0.05848505347967148, -0.05329233780503273, -0.04809962213039398, -0.04290691018104553, -0.037714194506406784, -0.032521478831768036, -0.027328763157129288, -0.02213604934513569, -0.01694333553314209, -0.011750619858503342, -0.0065579041838645935, -0.0013651903718709946, 0.0038275234401226044, 0.009020239114761353, 0.014212953858077526, 0.0194056686013937, 0.0245983824133873, 0.029791098088026047, 0.034983813762664795, 0.040176525712013245, 0.04536924138665199, 0.05056195706129074, 0.05575467273592949, 0.06094738841056824, 0.06614010035991669, 0.07133281230926514, 0.07652553170919418, 0.08171824365854263, 0.08691096305847168, 0.09210367500782013, 0.09729638695716858, 0.10248910635709763, 0.10768181830644608, 0.11287453770637512, 0.11806724965572357, 0.12325996160507202, 0.12845267355442047, 0.13364538550376892, 0.13883809745311737, 0.14403080940246582, 0.14922353625297546, 0.1544162482023239, 0.15960896015167236, 0.1648016721010208, 0.16999438405036926, 0.1751871109008789]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 2.0, 1.0, 4.0, 3.0, 4.0, 12.0, 5.0, 9.0, 11.0, 8.0, 14.0, 15.0, 17.0, 22.0, 15.0, 26.0, 28.0, 38.0, 39.0, 30.0, 37.0, 37.0, 40.0, 52.0, 42.0, 40.0, 39.0, 45.0, 42.0, 34.0, 31.0, 34.0, 26.0, 40.0, 23.0, 25.0, 23.0, 11.0, 9.0, 20.0, 13.0, 8.0, 7.0, 6.0, 6.0, 5.0, 5.0, 1.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0303955078125, -0.02952289581298828, -0.028650283813476562, -0.027777671813964844, -0.026905059814453125, -0.026032447814941406, -0.025159835815429688, -0.02428722381591797, -0.02341461181640625, -0.02254199981689453, -0.021669387817382812, -0.020796775817871094, -0.019924163818359375, -0.019051551818847656, -0.018178939819335938, -0.01730632781982422, -0.0164337158203125, -0.015561103820800781, -0.014688491821289062, -0.013815879821777344, -0.012943267822265625, -0.012070655822753906, -0.011198043823242188, -0.010325431823730469, -0.00945281982421875, -0.008580207824707031, -0.0077075958251953125, -0.006834983825683594, -0.005962371826171875, -0.005089759826660156, -0.0042171478271484375, -0.0033445358276367188, -0.002471923828125, -0.0015993118286132812, -0.0007266998291015625, 0.00014591217041015625, 0.001018524169921875, 0.0018911361694335938, 0.0027637481689453125, 0.0036363601684570312, 0.00450897216796875, 0.005381584167480469, 0.0062541961669921875, 0.007126808166503906, 0.007999420166015625, 0.008872032165527344, 0.009744644165039062, 0.010617256164550781, 0.0114898681640625, 0.012362480163574219, 0.013235092163085938, 0.014107704162597656, 0.014980316162109375, 0.015852928161621094, 0.016725540161132812, 0.01759815216064453, 0.01847076416015625, 0.01934337615966797, 0.020215988159179688, 0.021088600158691406, 0.021961212158203125, 0.022833824157714844, 0.023706436157226562, 0.02457904815673828, 0.02545166015625]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 6.0, 6.0, 5.0, 9.0, 15.0, 19.0, 38.0, 52.0, 63.0, 113.0, 172.0, 272.0, 429.0, 651.0, 936.0, 1457.0, 2383.0, 3706.0, 5893.0, 9708.0, 15456.0, 25259.0, 43192.0, 76414.0, 153787.0, 365510.0, 156193.0, 76208.0, 43623.0, 25623.0, 15488.0, 9568.0, 5980.0, 3723.0, 2392.0, 1416.0, 1042.0, 585.0, 345.0, 272.0, 177.0, 108.0, 100.0, 53.0, 38.0, 26.0, 24.0, 7.0, 8.0, 8.0, 3.0, 3.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.00019252300262451172, -0.00018677674233913422, -0.00018103048205375671, -0.0001752842217683792, -0.0001695379614830017, -0.0001637917011976242, -0.0001580454409122467, -0.0001522991806268692, -0.0001465529203414917, -0.0001408066600561142, -0.0001350603997707367, -0.0001293141394853592, -0.0001235678791999817, -0.00011782161891460419, -0.00011207535862922668, -0.00010632909834384918, -0.00010058283805847168, -9.483657777309418e-05, -8.909031748771667e-05, -8.334405720233917e-05, -7.759779691696167e-05, -7.185153663158417e-05, -6.610527634620667e-05, -6.035901606082916e-05, -5.461275577545166e-05, -4.886649549007416e-05, -4.3120235204696655e-05, -3.737397491931915e-05, -3.162771463394165e-05, -2.5881454348564148e-05, -2.0135194063186646e-05, -1.4388933777809143e-05, -8.64267349243164e-06, -2.896413207054138e-06, 2.8498470783233643e-06, 8.596107363700867e-06, 1.4342367649078369e-05, 2.008862793445587e-05, 2.5834888219833374e-05, 3.1581148505210876e-05, 3.732740879058838e-05, 4.307366907596588e-05, 4.8819929361343384e-05, 5.4566189646720886e-05, 6.031244993209839e-05, 6.605871021747589e-05, 7.18049705028534e-05, 7.75512307882309e-05, 8.32974910736084e-05, 8.90437513589859e-05, 9.47900116443634e-05, 0.0001005362719297409, 0.00010628253221511841, 0.00011202879250049591, 0.00011777505278587341, 0.00012352131307125092, 0.00012926757335662842, 0.00013501383364200592, 0.00014076009392738342, 0.00014650635421276093, 0.00015225261449813843, 0.00015799887478351593, 0.00016374513506889343, 0.00016949139535427094, 0.00017523765563964844]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 6.0, 6.0, 3.0, 4.0, 5.0, 16.0, 8.0, 14.0, 14.0, 10.0, 18.0, 24.0, 27.0, 24.0, 27.0, 30.0, 32.0, 24.0, 45.0, 34.0, 37.0, 46.0, 36.0, 1063.0, 37.0, 38.0, 43.0, 43.0, 37.0, 24.0, 27.0, 34.0, 30.0, 21.0, 24.0, 22.0, 17.0, 13.0, 10.0, 15.0, 7.0, 5.0, 6.0, 5.0, 7.0, 4.0, 4.0, 2.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-0.023681640625, -0.02299332618713379, -0.022305011749267578, -0.021616697311401367, -0.020928382873535156, -0.020240068435668945, -0.019551753997802734, -0.018863439559936523, -0.018175125122070312, -0.0174868106842041, -0.01679849624633789, -0.01611018180847168, -0.015421867370605469, -0.014733552932739258, -0.014045238494873047, -0.013356924057006836, -0.012668609619140625, -0.011980295181274414, -0.011291980743408203, -0.010603666305541992, -0.009915351867675781, -0.00922703742980957, -0.00853872299194336, -0.007850408554077148, -0.0071620941162109375, -0.0064737796783447266, -0.005785465240478516, -0.005097150802612305, -0.004408836364746094, -0.003720521926879883, -0.003032207489013672, -0.002343893051147461, -0.00165557861328125, -0.0009672641754150391, -0.0002789497375488281, 0.0004093647003173828, 0.0010976791381835938, 0.0017859935760498047, 0.0024743080139160156, 0.0031626224517822266, 0.0038509368896484375, 0.0045392513275146484, 0.005227565765380859, 0.00591588020324707, 0.006604194641113281, 0.007292509078979492, 0.007980823516845703, 0.008669137954711914, 0.009357452392578125, 0.010045766830444336, 0.010734081268310547, 0.011422395706176758, 0.012110710144042969, 0.01279902458190918, 0.01348733901977539, 0.014175653457641602, 0.014863967895507812, 0.015552282333374023, 0.016240596771240234, 0.016928911209106445, 0.017617225646972656, 0.018305540084838867, 0.018993854522705078, 0.01968216896057129, 0.0203704833984375]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 5.0, 4.0, 4.0, 3.0, 5.0, 9.0, 4.0, 9.0, 10.0, 18.0, 12.0, 16.0, 16.0, 15.0, 22.0, 26.0, 30.0, 30.0, 47.0, 93.0, 139.0, 392.0, 983.0, 4002.0, 54172.0, 2029608.0, 4995.0, 1380.0, 505.0, 203.0, 73.0, 43.0, 31.0, 37.0, 21.0, 23.0, 27.0, 21.0, 20.0, 13.0, 15.0, 12.0, 11.0, 6.0, 8.0, 4.0, 4.0, 7.0, 2.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0], "bins": [-2.0623207092285156e-05, -1.993868499994278e-05, -1.9254162907600403e-05, -1.8569640815258026e-05, -1.788511872291565e-05, -1.7200596630573273e-05, -1.6516074538230896e-05, -1.583155244588852e-05, -1.5147030353546143e-05, -1.4462508261203766e-05, -1.377798616886139e-05, -1.3093464076519012e-05, -1.2408941984176636e-05, -1.1724419891834259e-05, -1.1039897799491882e-05, -1.0355375707149506e-05, -9.670853614807129e-06, -8.986331522464752e-06, -8.301809430122375e-06, -7.617287337779999e-06, -6.932765245437622e-06, -6.248243153095245e-06, -5.563721060752869e-06, -4.879198968410492e-06, -4.194676876068115e-06, -3.5101547837257385e-06, -2.825632691383362e-06, -2.141110599040985e-06, -1.4565885066986084e-06, -7.720664143562317e-07, -8.754432201385498e-08, 5.969777703285217e-07, 1.2814998626708984e-06, 1.966021955013275e-06, 2.650544047355652e-06, 3.3350661396980286e-06, 4.019588232040405e-06, 4.704110324382782e-06, 5.388632416725159e-06, 6.073154509067535e-06, 6.757676601409912e-06, 7.442198693752289e-06, 8.126720786094666e-06, 8.811242878437042e-06, 9.495764970779419e-06, 1.0180287063121796e-05, 1.0864809155464172e-05, 1.1549331247806549e-05, 1.2233853340148926e-05, 1.2918375432491302e-05, 1.360289752483368e-05, 1.4287419617176056e-05, 1.4971941709518433e-05, 1.565646380186081e-05, 1.6340985894203186e-05, 1.7025507986545563e-05, 1.771003007888794e-05, 1.8394552171230316e-05, 1.9079074263572693e-05, 1.976359635591507e-05, 2.0448118448257446e-05, 2.1132640540599823e-05, 2.18171626329422e-05, 2.2501684725284576e-05, 2.3186206817626953e-05]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 2.0, 1.0, 4.0, 3.0, 4.0, 12.0, 5.0, 9.0, 11.0, 8.0, 14.0, 15.0, 17.0, 22.0, 15.0, 26.0, 28.0, 38.0, 39.0, 30.0, 37.0, 37.0, 40.0, 52.0, 42.0, 40.0, 39.0, 45.0, 42.0, 34.0, 31.0, 34.0, 26.0, 40.0, 23.0, 25.0, 23.0, 11.0, 9.0, 20.0, 13.0, 8.0, 7.0, 6.0, 6.0, 5.0, 5.0, 1.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0303955078125, -0.02952289581298828, -0.028650283813476562, -0.027777671813964844, -0.026905059814453125, -0.026032447814941406, -0.025159835815429688, -0.02428722381591797, -0.02341461181640625, -0.02254199981689453, -0.021669387817382812, -0.020796775817871094, -0.019924163818359375, -0.019051551818847656, -0.018178939819335938, -0.01730632781982422, -0.0164337158203125, -0.015561103820800781, -0.014688491821289062, -0.013815879821777344, -0.012943267822265625, -0.012070655822753906, -0.011198043823242188, -0.010325431823730469, -0.00945281982421875, -0.008580207824707031, -0.0077075958251953125, -0.006834983825683594, -0.005962371826171875, -0.005089759826660156, -0.0042171478271484375, -0.0033445358276367188, -0.002471923828125, -0.0015993118286132812, -0.0007266998291015625, 0.00014591217041015625, 0.001018524169921875, 0.0018911361694335938, 0.0027637481689453125, 0.0036363601684570312, 0.00450897216796875, 0.005381584167480469, 0.0062541961669921875, 0.007126808166503906, 0.007999420166015625, 0.008872032165527344, 0.009744644165039062, 0.010617256164550781, 0.0114898681640625, 0.012362480163574219, 0.013235092163085938, 0.014107704162597656, 0.014980316162109375, 0.015852928161621094, 0.016725540161132812, 0.01759815216064453, 0.01847076416015625, 0.01934337615966797, 0.020215988159179688, 0.021088600158691406, 0.021961212158203125, 0.022833824157714844, 0.023706436157226562, 0.02457904815673828, 0.02545166015625]}, "gradients/decoder.transformer.h.4.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 2.0, 8.0, 6.0, 8.0, 19.0, 27.0, 34.0, 51.0, 75.0, 111.0, 173.0, 237.0, 347.0, 503.0, 769.0, 1039.0, 1528.0, 2157.0, 3154.0, 4615.0, 6544.0, 9476.0, 13880.0, 19765.0, 28806.0, 42795.0, 64278.0, 101347.0, 167283.0, 205723.0, 129307.0, 79902.0, 51903.0, 35217.0, 24022.0, 16551.0, 11268.0, 7843.0, 5424.0, 3774.0, 2682.0, 1841.0, 1294.0, 860.0, 608.0, 444.0, 273.0, 180.0, 137.0, 84.0, 62.0, 38.0, 40.0, 24.0, 9.0, 8.0, 4.0, 4.0, 4.0, 0.0, 3.0], "bins": [-0.02984619140625, -0.028920650482177734, -0.02799510955810547, -0.027069568634033203, -0.026144027709960938, -0.025218486785888672, -0.024292945861816406, -0.02336740493774414, -0.022441864013671875, -0.02151632308959961, -0.020590782165527344, -0.019665241241455078, -0.018739700317382812, -0.017814159393310547, -0.01688861846923828, -0.015963077545166016, -0.01503753662109375, -0.014111995697021484, -0.013186454772949219, -0.012260913848876953, -0.011335372924804688, -0.010409832000732422, -0.009484291076660156, -0.00855875015258789, -0.007633209228515625, -0.006707668304443359, -0.005782127380371094, -0.004856586456298828, -0.0039310455322265625, -0.003005504608154297, -0.0020799636840820312, -0.0011544227600097656, -0.0002288818359375, 0.0006966590881347656, 0.0016222000122070312, 0.002547740936279297, 0.0034732818603515625, 0.004398822784423828, 0.005324363708496094, 0.006249904632568359, 0.007175445556640625, 0.00810098648071289, 0.009026527404785156, 0.009952068328857422, 0.010877609252929688, 0.011803150177001953, 0.012728691101074219, 0.013654232025146484, 0.01457977294921875, 0.015505313873291016, 0.01643085479736328, 0.017356395721435547, 0.018281936645507812, 0.019207477569580078, 0.020133018493652344, 0.02105855941772461, 0.021984100341796875, 0.02290964126586914, 0.023835182189941406, 0.024760723114013672, 0.025686264038085938, 0.026611804962158203, 0.02753734588623047, 0.028462886810302734, 0.029388427734375]}, "gradients/decoder.transformer.h.4.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 2.0, 3.0, 3.0, 6.0, 1.0, 8.0, 13.0, 9.0, 13.0, 11.0, 19.0, 21.0, 14.0, 21.0, 38.0, 23.0, 31.0, 36.0, 55.0, 53.0, 78.0, 96.0, 90.0, 171.0, 1305.0, 237.0, 150.0, 92.0, 72.0, 63.0, 42.0, 43.0, 28.0, 32.0, 19.0, 23.0, 28.0, 17.0, 17.0, 11.0, 16.0, 10.0, 8.0, 8.0, 5.0, 7.0, 3.0, 2.0, 4.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0799560546875, -0.07751655578613281, -0.07507705688476562, -0.07263755798339844, -0.07019805908203125, -0.06775856018066406, -0.06531906127929688, -0.06287956237792969, -0.0604400634765625, -0.05800056457519531, -0.055561065673828125, -0.05312156677246094, -0.05068206787109375, -0.04824256896972656, -0.045803070068359375, -0.04336357116699219, -0.040924072265625, -0.03848457336425781, -0.036045074462890625, -0.03360557556152344, -0.03116607666015625, -0.028726577758789062, -0.026287078857421875, -0.023847579956054688, -0.0214080810546875, -0.018968582153320312, -0.016529083251953125, -0.014089584350585938, -0.01165008544921875, -0.009210586547851562, -0.006771087646484375, -0.0043315887451171875, -0.00189208984375, 0.0005474090576171875, 0.002986907958984375, 0.0054264068603515625, 0.00786590576171875, 0.010305404663085938, 0.012744903564453125, 0.015184402465820312, 0.0176239013671875, 0.020063400268554688, 0.022502899169921875, 0.024942398071289062, 0.02738189697265625, 0.029821395874023438, 0.032260894775390625, 0.03470039367675781, 0.037139892578125, 0.03957939147949219, 0.042018890380859375, 0.04445838928222656, 0.04689788818359375, 0.04933738708496094, 0.051776885986328125, 0.05421638488769531, 0.0566558837890625, 0.05909538269042969, 0.061534881591796875, 0.06397438049316406, 0.06641387939453125, 0.06885337829589844, 0.07129287719726562, 0.07373237609863281, 0.076171875]}, "gradients/decoder.transformer.h.4.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 7.0, 3.0, 7.0, 4.0, 6.0, 11.0, 7.0, 10.0, 16.0, 28.0, 20.0, 44.0, 42.0, 56.0, 62.0, 124.0, 151.0, 258.0, 499.0, 1130.0, 2996.0, 9514.0, 33230.0, 130811.0, 718162.0, 1866090.0, 290385.0, 64986.0, 17913.0, 5429.0, 1827.0, 740.0, 377.0, 206.0, 136.0, 105.0, 60.0, 53.0, 55.0, 30.0, 24.0, 26.0, 12.0, 14.0, 14.0, 5.0, 7.0, 6.0, 6.0, 1.0, 9.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0792236328125, -0.07684135437011719, -0.07445907592773438, -0.07207679748535156, -0.06969451904296875, -0.06731224060058594, -0.06492996215820312, -0.06254768371582031, -0.0601654052734375, -0.05778312683105469, -0.055400848388671875, -0.05301856994628906, -0.05063629150390625, -0.04825401306152344, -0.045871734619140625, -0.04348945617675781, -0.041107177734375, -0.03872489929199219, -0.036342620849609375, -0.03396034240722656, -0.03157806396484375, -0.029195785522460938, -0.026813507080078125, -0.024431228637695312, -0.0220489501953125, -0.019666671752929688, -0.017284393310546875, -0.014902114868164062, -0.01251983642578125, -0.010137557983398438, -0.007755279541015625, -0.0053730010986328125, -0.00299072265625, -0.0006084442138671875, 0.001773834228515625, 0.0041561126708984375, 0.00653839111328125, 0.008920669555664062, 0.011302947998046875, 0.013685226440429688, 0.0160675048828125, 0.018449783325195312, 0.020832061767578125, 0.023214340209960938, 0.02559661865234375, 0.027978897094726562, 0.030361175537109375, 0.03274345397949219, 0.035125732421875, 0.03750801086425781, 0.039890289306640625, 0.04227256774902344, 0.04465484619140625, 0.04703712463378906, 0.049419403076171875, 0.05180168151855469, 0.0541839599609375, 0.05656623840332031, 0.058948516845703125, 0.06133079528808594, 0.06371307373046875, 0.06609535217285156, 0.06847763061523438, 0.07085990905761719, 0.0732421875]}, "gradients/decoder.transformer.h.4.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 8.0, 66.0, 152.0, 312.0, 295.0, 138.0, 39.0, 8.0, 1.0], "bins": [-1.3992992639541626, -1.3756141662597656, -1.3519291877746582, -1.3282442092895508, -1.3045591115951538, -1.2808740139007568, -1.2571890354156494, -1.233504056930542, -1.209818959236145, -1.186133861541748, -1.1624488830566406, -1.1387639045715332, -1.1150788068771362, -1.0913937091827393, -1.0677087306976318, -1.0440237522125244, -1.0203386545181274, -0.9966536164283752, -0.972968578338623, -0.9492835402488708, -0.9255985021591187, -0.9019134640693665, -0.8782284259796143, -0.8545433878898621, -0.8308583498001099, -0.8071733117103577, -0.7834882736206055, -0.7598032355308533, -0.7361181974411011, -0.7124331593513489, -0.6887481212615967, -0.6650630831718445, -0.6413780450820923, -0.6176930069923401, -0.5940079689025879, -0.5703229308128357, -0.5466378927230835, -0.5229528546333313, -0.4992678165435791, -0.4755827784538269, -0.4518977403640747, -0.4282127022743225, -0.4045276641845703, -0.3808426260948181, -0.3571575880050659, -0.3334725499153137, -0.3097875118255615, -0.2861024737358093, -0.26241743564605713, -0.23873239755630493, -0.21504735946655273, -0.19136232137680054, -0.16767728328704834, -0.14399224519729614, -0.12030720710754395, -0.09662216901779175, -0.07293712347745895, -0.04925208538770676, -0.02556704729795456, -0.001882009208202362, 0.021803028881549835, 0.04548806697130203, 0.06917310506105423, 0.09285814315080643, 0.11654318124055862]}, "gradients/decoder.transformer.h.4.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 4.0, 9.0, 4.0, 8.0, 16.0, 13.0, 18.0, 17.0, 25.0, 18.0, 24.0, 29.0, 27.0, 27.0, 46.0, 48.0, 51.0, 65.0, 57.0, 43.0, 36.0, 45.0, 41.0, 53.0, 51.0, 31.0, 38.0, 30.0, 23.0, 20.0, 15.0, 17.0, 10.0, 10.0, 7.0, 11.0, 10.0, 3.0, 2.0, 2.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.2752436399459839, -0.2668440341949463, -0.2584443986415863, -0.2500447630882263, -0.24164515733718872, -0.23324553668498993, -0.22484591603279114, -0.21644629538059235, -0.20804667472839355, -0.19964705407619476, -0.19124743342399597, -0.18284781277179718, -0.1744481921195984, -0.1660485714673996, -0.1576489508152008, -0.14924933016300201, -0.14084970951080322, -0.13245008885860443, -0.12405046820640564, -0.11565084755420685, -0.10725122690200806, -0.09885160624980927, -0.09045198559761047, -0.08205236494541168, -0.07365274429321289, -0.0652531236410141, -0.05685350298881531, -0.048453882336616516, -0.040054261684417725, -0.03165464103221893, -0.02325502038002014, -0.01485539972782135, -0.006455779075622559, 0.001943841576576233, 0.010343462228775024, 0.018743082880973816, 0.027142703533172607, 0.0355423241853714, 0.04394194483757019, 0.05234156548976898, 0.06074118614196777, 0.06914080679416656, 0.07754042744636536, 0.08594004809856415, 0.09433966875076294, 0.10273928940296173, 0.11113891005516052, 0.11953853070735931, 0.1279381513595581, 0.1363377720117569, 0.1447373926639557, 0.15313701331615448, 0.16153663396835327, 0.16993625462055206, 0.17833587527275085, 0.18673549592494965, 0.19513511657714844, 0.20353473722934723, 0.21193435788154602, 0.2203339785337448, 0.2287335991859436, 0.2371332198381424, 0.2455328404903412, 0.25393247604370117, 0.26233208179473877]}, "gradients/decoder.transformer.h.3.mlp.c_proj.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 2.0, 4.0, 3.0, 4.0, 6.0, 3.0, 6.0, 5.0, 11.0, 9.0, 15.0, 12.0, 14.0, 22.0, 16.0, 28.0, 22.0, 29.0, 39.0, 35.0, 21.0, 43.0, 33.0, 42.0, 56.0, 33.0, 43.0, 38.0, 39.0, 38.0, 36.0, 29.0, 38.0, 28.0, 29.0, 27.0, 13.0, 20.0, 16.0, 21.0, 17.0, 16.0, 6.0, 8.0, 11.0, 5.0, 5.0, 3.0, 3.0, 4.0, 2.0, 2.0, 2.0, 0.0, 1.0, 2.0], "bins": [-0.0290069580078125, -0.028148412704467773, -0.027289867401123047, -0.02643132209777832, -0.025572776794433594, -0.024714231491088867, -0.02385568618774414, -0.022997140884399414, -0.022138595581054688, -0.02128005027770996, -0.020421504974365234, -0.019562959671020508, -0.01870441436767578, -0.017845869064331055, -0.016987323760986328, -0.0161287784576416, -0.015270233154296875, -0.014411687850952148, -0.013553142547607422, -0.012694597244262695, -0.011836051940917969, -0.010977506637573242, -0.010118961334228516, -0.009260416030883789, -0.008401870727539062, -0.007543325424194336, -0.006684780120849609, -0.005826234817504883, -0.004967689514160156, -0.00410914421081543, -0.003250598907470703, -0.0023920536041259766, -0.00153350830078125, -0.0006749629974365234, 0.00018358230590820312, 0.0010421276092529297, 0.0019006729125976562, 0.002759218215942383, 0.0036177635192871094, 0.004476308822631836, 0.0053348541259765625, 0.006193399429321289, 0.007051944732666016, 0.007910490036010742, 0.008769035339355469, 0.009627580642700195, 0.010486125946044922, 0.011344671249389648, 0.012203216552734375, 0.013061761856079102, 0.013920307159423828, 0.014778852462768555, 0.01563739776611328, 0.016495943069458008, 0.017354488372802734, 0.01821303367614746, 0.019071578979492188, 0.019930124282836914, 0.02078866958618164, 0.021647214889526367, 0.022505760192871094, 0.02336430549621582, 0.024222850799560547, 0.025081396102905273, 0.02593994140625]}, "gradients/decoder.transformer.h.3.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 5.0, 4.0, 4.0, 15.0, 18.0, 26.0, 34.0, 56.0, 94.0, 162.0, 305.0, 657.0, 110071.0, 4081143.0, 870.0, 360.0, 164.0, 116.0, 53.0, 49.0, 24.0, 25.0, 11.0, 8.0, 3.0, 4.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.779296875, -0.7505645751953125, -0.721832275390625, -0.6930999755859375, -0.66436767578125, -0.6356353759765625, -0.606903076171875, -0.5781707763671875, -0.5494384765625, -0.5207061767578125, -0.491973876953125, -0.4632415771484375, -0.43450927734375, -0.4057769775390625, -0.377044677734375, -0.3483123779296875, -0.319580078125, -0.2908477783203125, -0.262115478515625, -0.2333831787109375, -0.20465087890625, -0.1759185791015625, -0.147186279296875, -0.1184539794921875, -0.0897216796875, -0.0609893798828125, -0.032257080078125, -0.0035247802734375, 0.02520751953125, 0.0539398193359375, 0.082672119140625, 0.1114044189453125, 0.14013671875, 0.1688690185546875, 0.197601318359375, 0.2263336181640625, 0.25506591796875, 0.2837982177734375, 0.312530517578125, 0.3412628173828125, 0.3699951171875, 0.3987274169921875, 0.427459716796875, 0.4561920166015625, 0.48492431640625, 0.5136566162109375, 0.542388916015625, 0.5711212158203125, 0.599853515625, 0.6285858154296875, 0.657318115234375, 0.6860504150390625, 0.71478271484375, 0.7435150146484375, 0.772247314453125, 0.8009796142578125, 0.8297119140625, 0.8584442138671875, 0.887176513671875, 0.9159088134765625, 0.94464111328125, 0.9733734130859375, 1.002105712890625, 1.0308380126953125, 1.0595703125]}, "gradients/decoder.transformer.h.3.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 6.0, 11.0, 17.0, 18.0, 20.0, 42.0, 45.0, 70.0, 94.0, 159.0, 204.0, 331.0, 554.0, 816.0, 582.0, 343.0, 195.0, 169.0, 108.0, 75.0, 61.0, 46.0, 33.0, 26.0, 17.0, 7.0, 9.0, 5.0, 5.0, 1.0, 3.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0565185546875, -0.05478239059448242, -0.053046226501464844, -0.051310062408447266, -0.04957389831542969, -0.04783773422241211, -0.04610157012939453, -0.04436540603637695, -0.042629241943359375, -0.0408930778503418, -0.03915691375732422, -0.03742074966430664, -0.03568458557128906, -0.033948421478271484, -0.032212257385253906, -0.030476093292236328, -0.02873992919921875, -0.027003765106201172, -0.025267601013183594, -0.023531436920166016, -0.021795272827148438, -0.02005910873413086, -0.01832294464111328, -0.016586780548095703, -0.014850616455078125, -0.013114452362060547, -0.011378288269042969, -0.00964212417602539, -0.007905960083007812, -0.006169795989990234, -0.004433631896972656, -0.002697467803955078, -0.0009613037109375, 0.0007748603820800781, 0.0025110244750976562, 0.004247188568115234, 0.0059833526611328125, 0.007719516754150391, 0.009455680847167969, 0.011191844940185547, 0.012928009033203125, 0.014664173126220703, 0.01640033721923828, 0.01813650131225586, 0.019872665405273438, 0.021608829498291016, 0.023344993591308594, 0.025081157684326172, 0.02681732177734375, 0.028553485870361328, 0.030289649963378906, 0.032025814056396484, 0.03376197814941406, 0.03549814224243164, 0.03723430633544922, 0.0389704704284668, 0.040706634521484375, 0.04244279861450195, 0.04417896270751953, 0.04591512680053711, 0.04765129089355469, 0.049387454986572266, 0.051123619079589844, 0.05285978317260742, 0.054595947265625]}, "gradients/decoder.transformer.h.3.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 6.0, 10.0, 3.0, 5.0, 14.0, 10.0, 10.0, 14.0, 27.0, 29.0, 44.0, 62.0, 101.0, 178.0, 384.0, 1365.0, 9007.0, 136628.0, 3625513.0, 398151.0, 19459.0, 2184.0, 516.0, 233.0, 102.0, 69.0, 40.0, 26.0, 24.0, 24.0, 8.0, 9.0, 6.0, 7.0, 6.0, 4.0, 6.0, 4.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.173583984375, -0.168426513671875, -0.16326904296875, -0.158111572265625, -0.1529541015625, -0.147796630859375, -0.14263916015625, -0.137481689453125, -0.13232421875, -0.127166748046875, -0.12200927734375, -0.116851806640625, -0.1116943359375, -0.106536865234375, -0.10137939453125, -0.096221923828125, -0.091064453125, -0.085906982421875, -0.08074951171875, -0.075592041015625, -0.0704345703125, -0.065277099609375, -0.06011962890625, -0.054962158203125, -0.0498046875, -0.044647216796875, -0.03948974609375, -0.034332275390625, -0.0291748046875, -0.024017333984375, -0.01885986328125, -0.013702392578125, -0.008544921875, -0.003387451171875, 0.00177001953125, 0.006927490234375, 0.0120849609375, 0.017242431640625, 0.02239990234375, 0.027557373046875, 0.03271484375, 0.037872314453125, 0.04302978515625, 0.048187255859375, 0.0533447265625, 0.058502197265625, 0.06365966796875, 0.068817138671875, 0.073974609375, 0.079132080078125, 0.08428955078125, 0.089447021484375, 0.0946044921875, 0.099761962890625, 0.10491943359375, 0.110076904296875, 0.115234375, 0.120391845703125, 0.12554931640625, 0.130706787109375, 0.1358642578125, 0.141021728515625, 0.14617919921875, 0.151336669921875, 0.156494140625]}, "gradients/decoder.transformer.h.3.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 18.0, 355.0, 588.0, 57.0, 4.0], "bins": [-2.6256062984466553, -2.582683563232422, -2.5397608280181885, -2.496838331222534, -2.453915596008301, -2.4109928607940674, -2.368070125579834, -2.3251476287841797, -2.2822248935699463, -2.239302158355713, -2.1963794231414795, -2.153456926345825, -2.110534191131592, -2.0676114559173584, -2.024688720703125, -1.9817661046981812, -1.9388434886932373, -1.895920753479004, -1.85299813747406, -1.8100754022598267, -1.7671527862548828, -1.7242300510406494, -1.6813074350357056, -1.6383846998214722, -1.5954619646072388, -1.5525392293930054, -1.5096166133880615, -1.4666938781738281, -1.4237712621688843, -1.3808485269546509, -1.337925910949707, -1.2950031757354736, -1.2520804405212402, -1.2091577053070068, -1.166235089302063, -1.1233123540878296, -1.0803897380828857, -1.0374670028686523, -0.9945443868637085, -0.9516216516494751, -0.9086990356445312, -0.8657763600349426, -0.822853684425354, -0.7799310088157654, -0.7370083332061768, -0.6940856575965881, -0.6511629819869995, -0.6082402467727661, -0.5653176307678223, -0.5223949551582336, -0.479472279548645, -0.4365496039390564, -0.3936269283294678, -0.35070425271987915, -0.30778154730796814, -0.2648588716983795, -0.2219361960887909, -0.17901352047920227, -0.13609084486961365, -0.09316815435886383, -0.05024547874927521, -0.0073228031396865845, 0.03559988737106323, 0.07852256298065186, 0.12144523859024048]}, "gradients/decoder.transformer.h.3.ln_2.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 2.0, 5.0, 5.0, 5.0, 8.0, 10.0, 12.0, 22.0, 11.0, 14.0, 16.0, 29.0, 24.0, 25.0, 24.0, 28.0, 27.0, 38.0, 39.0, 31.0, 43.0, 34.0, 45.0, 36.0, 41.0, 38.0, 36.0, 35.0, 34.0, 25.0, 37.0, 29.0, 29.0, 27.0, 18.0, 13.0, 16.0, 19.0, 16.0, 13.0, 3.0, 9.0, 7.0, 5.0, 8.0, 8.0, 1.0, 4.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0], "bins": [-0.14571696519851685, -0.1412343531847, -0.13675174117088318, -0.13226914405822754, -0.1277865320444107, -0.12330392003059387, -0.11882130801677704, -0.1143386960029602, -0.10985609143972397, -0.10537347942590714, -0.1008908748626709, -0.09640826284885406, -0.09192565083503723, -0.087443046271801, -0.08296043425798416, -0.07847782969474792, -0.07399521768093109, -0.06951260566711426, -0.06503000110387802, -0.06054738909006119, -0.05606478080153465, -0.05158217251300812, -0.047099560499191284, -0.04261695221066475, -0.038134343922138214, -0.03365173563361168, -0.029169125482439995, -0.02468651533126831, -0.020203907042741776, -0.01572129875421524, -0.011238688603043556, -0.006756078451871872, -0.002273470163345337, 0.0022091390565037727, 0.006691748276352882, 0.011174357496201992, 0.0156569667160511, 0.020139575004577637, 0.02462218515574932, 0.029104795306921005, 0.03358740359544754, 0.038070011883974075, 0.04255262017250061, 0.047035232186317444, 0.05151784047484398, 0.056000448763370514, 0.06048306077718735, 0.06496566534042358, 0.06944827735424042, 0.07393088936805725, 0.07841349393129349, 0.08289610594511032, 0.08737871050834656, 0.09186132252216339, 0.09634393453598022, 0.10082654654979706, 0.1053091511130333, 0.10979176312685013, 0.11427436769008636, 0.1187569797039032, 0.12323959171772003, 0.12772220373153687, 0.1322048008441925, 0.13668741285800934, 0.14117002487182617]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 5.0, 1.0, 2.0, 12.0, 6.0, 9.0, 12.0, 14.0, 19.0, 25.0, 19.0, 21.0, 28.0, 26.0, 24.0, 39.0, 38.0, 49.0, 46.0, 48.0, 40.0, 41.0, 43.0, 51.0, 40.0, 35.0, 38.0, 34.0, 31.0, 33.0, 26.0, 14.0, 18.0, 21.0, 16.0, 15.0, 17.0, 8.0, 10.0, 7.0, 8.0, 3.0, 5.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0316162109375, -0.030669689178466797, -0.029723167419433594, -0.02877664566040039, -0.027830123901367188, -0.026883602142333984, -0.02593708038330078, -0.024990558624267578, -0.024044036865234375, -0.023097515106201172, -0.02215099334716797, -0.021204471588134766, -0.020257949829101562, -0.01931142807006836, -0.018364906311035156, -0.017418384552001953, -0.01647186279296875, -0.015525341033935547, -0.014578819274902344, -0.01363229751586914, -0.012685775756835938, -0.011739253997802734, -0.010792732238769531, -0.009846210479736328, -0.008899688720703125, -0.007953166961669922, -0.007006645202636719, -0.006060123443603516, -0.0051136016845703125, -0.004167079925537109, -0.0032205581665039062, -0.002274036407470703, -0.0013275146484375, -0.0003809928894042969, 0.0005655288696289062, 0.0015120506286621094, 0.0024585723876953125, 0.0034050941467285156, 0.004351615905761719, 0.005298137664794922, 0.006244659423828125, 0.007191181182861328, 0.008137702941894531, 0.009084224700927734, 0.010030746459960938, 0.01097726821899414, 0.011923789978027344, 0.012870311737060547, 0.01381683349609375, 0.014763355255126953, 0.015709877014160156, 0.01665639877319336, 0.017602920532226562, 0.018549442291259766, 0.01949596405029297, 0.020442485809326172, 0.021389007568359375, 0.022335529327392578, 0.02328205108642578, 0.024228572845458984, 0.025175094604492188, 0.02612161636352539, 0.027068138122558594, 0.028014659881591797, 0.028961181640625]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 3.0, 2.0, 3.0, 5.0, 8.0, 14.0, 15.0, 30.0, 40.0, 58.0, 106.0, 134.0, 227.0, 332.0, 479.0, 768.0, 1256.0, 1903.0, 2965.0, 4891.0, 8008.0, 13175.0, 22449.0, 38557.0, 69299.0, 142457.0, 385125.0, 169982.0, 79624.0, 43795.0, 24610.0, 14652.0, 8895.0, 5511.0, 3348.0, 2094.0, 1328.0, 851.0, 552.0, 339.0, 225.0, 158.0, 95.0, 67.0, 48.0, 25.0, 16.0, 15.0, 10.0, 5.0, 5.0, 5.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002219676971435547, -0.00021471455693244934, -0.000207461416721344, -0.00020020827651023865, -0.0001929551362991333, -0.00018570199608802795, -0.0001784488558769226, -0.00017119571566581726, -0.00016394257545471191, -0.00015668943524360657, -0.00014943629503250122, -0.00014218315482139587, -0.00013493001461029053, -0.00012767687439918518, -0.00012042373418807983, -0.00011317059397697449, -0.00010591745376586914, -9.86643135547638e-05, -9.141117334365845e-05, -8.41580331325531e-05, -7.690489292144775e-05, -6.965175271034241e-05, -6.239861249923706e-05, -5.5145472288131714e-05, -4.789233207702637e-05, -4.063919186592102e-05, -3.3386051654815674e-05, -2.6132911443710327e-05, -1.887977123260498e-05, -1.1626631021499634e-05, -4.373490810394287e-06, 2.8796494007110596e-06, 1.0132789611816406e-05, 1.7385929822921753e-05, 2.46390700340271e-05, 3.1892210245132446e-05, 3.914535045623779e-05, 4.639849066734314e-05, 5.3651630878448486e-05, 6.090477108955383e-05, 6.815791130065918e-05, 7.541105151176453e-05, 8.266419172286987e-05, 8.991733193397522e-05, 9.717047214508057e-05, 0.00010442361235618591, 0.00011167675256729126, 0.0001189298927783966, 0.00012618303298950195, 0.0001334361732006073, 0.00014068931341171265, 0.000147942453622818, 0.00015519559383392334, 0.0001624487340450287, 0.00016970187425613403, 0.00017695501446723938, 0.00018420815467834473, 0.00019146129488945007, 0.00019871443510055542, 0.00020596757531166077, 0.0002132207155227661, 0.00022047385573387146, 0.0002277269959449768, 0.00023498013615608215, 0.0002422332763671875]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 0.0, 4.0, 9.0, 6.0, 7.0, 12.0, 7.0, 6.0, 11.0, 18.0, 16.0, 16.0, 26.0, 26.0, 24.0, 29.0, 33.0, 22.0, 46.0, 46.0, 37.0, 54.0, 52.0, 1067.0, 49.0, 41.0, 47.0, 39.0, 35.0, 31.0, 32.0, 22.0, 25.0, 23.0, 17.0, 10.0, 19.0, 11.0, 15.0, 7.0, 12.0, 9.0, 2.0, 3.0, 4.0, 0.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.023529052734375, -0.022770166397094727, -0.022011280059814453, -0.02125239372253418, -0.020493507385253906, -0.019734621047973633, -0.01897573471069336, -0.018216848373413086, -0.017457962036132812, -0.01669907569885254, -0.015940189361572266, -0.015181303024291992, -0.014422416687011719, -0.013663530349731445, -0.012904644012451172, -0.012145757675170898, -0.011386871337890625, -0.010627985000610352, -0.009869098663330078, -0.009110212326049805, -0.008351325988769531, -0.007592439651489258, -0.006833553314208984, -0.006074666976928711, -0.0053157806396484375, -0.004556894302368164, -0.0037980079650878906, -0.003039121627807617, -0.0022802352905273438, -0.0015213489532470703, -0.0007624626159667969, -3.5762786865234375e-06, 0.00075531005859375, 0.0015141963958740234, 0.002273082733154297, 0.0030319690704345703, 0.0037908554077148438, 0.004549741744995117, 0.005308628082275391, 0.006067514419555664, 0.0068264007568359375, 0.007585287094116211, 0.008344173431396484, 0.009103059768676758, 0.009861946105957031, 0.010620832443237305, 0.011379718780517578, 0.012138605117797852, 0.012897491455078125, 0.013656377792358398, 0.014415264129638672, 0.015174150466918945, 0.01593303680419922, 0.016691923141479492, 0.017450809478759766, 0.01820969581604004, 0.018968582153320312, 0.019727468490600586, 0.02048635482788086, 0.021245241165161133, 0.022004127502441406, 0.02276301383972168, 0.023521900177001953, 0.024280786514282227, 0.0250396728515625]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 5.0, 10.0, 6.0, 7.0, 12.0, 16.0, 17.0, 10.0, 12.0, 23.0, 22.0, 23.0, 28.0, 33.0, 46.0, 64.0, 168.0, 394.0, 1232.0, 5735.0, 2055294.0, 29947.0, 2566.0, 754.0, 255.0, 124.0, 70.0, 31.0, 26.0, 28.0, 18.0, 29.0, 18.0, 21.0, 11.0, 13.0, 11.0, 10.0, 10.0, 6.0, 9.0, 7.0, 3.0, 2.0, 1.0, 4.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.5212764739990234e-05, -2.4466775357723236e-05, -2.3720785975456238e-05, -2.297479659318924e-05, -2.222880721092224e-05, -2.1482817828655243e-05, -2.0736828446388245e-05, -1.9990839064121246e-05, -1.9244849681854248e-05, -1.849886029958725e-05, -1.775287091732025e-05, -1.7006881535053253e-05, -1.6260892152786255e-05, -1.5514902770519257e-05, -1.4768913388252258e-05, -1.402292400598526e-05, -1.3276934623718262e-05, -1.2530945241451263e-05, -1.1784955859184265e-05, -1.1038966476917267e-05, -1.0292977094650269e-05, -9.54698771238327e-06, -8.800998330116272e-06, -8.055008947849274e-06, -7.309019565582275e-06, -6.563030183315277e-06, -5.817040801048279e-06, -5.0710514187812805e-06, -4.325062036514282e-06, -3.579072654247284e-06, -2.8330832719802856e-06, -2.0870938897132874e-06, -1.341104507446289e-06, -5.951151251792908e-07, 1.5087425708770752e-07, 8.968636393547058e-07, 1.642853021621704e-06, 2.3888424038887024e-06, 3.1348317861557007e-06, 3.880821168422699e-06, 4.626810550689697e-06, 5.3727999329566956e-06, 6.118789315223694e-06, 6.864778697490692e-06, 7.6107680797576904e-06, 8.356757462024689e-06, 9.102746844291687e-06, 9.848736226558685e-06, 1.0594725608825684e-05, 1.1340714991092682e-05, 1.208670437335968e-05, 1.2832693755626678e-05, 1.3578683137893677e-05, 1.4324672520160675e-05, 1.5070661902427673e-05, 1.581665128469467e-05, 1.656264066696167e-05, 1.7308630049228668e-05, 1.8054619431495667e-05, 1.8800608813762665e-05, 1.9546598196029663e-05, 2.029258757829666e-05, 2.103857696056366e-05, 2.1784566342830658e-05, 2.2530555725097656e-05]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 5.0, 1.0, 2.0, 12.0, 6.0, 9.0, 12.0, 14.0, 19.0, 25.0, 19.0, 21.0, 28.0, 26.0, 24.0, 39.0, 38.0, 49.0, 46.0, 48.0, 40.0, 41.0, 43.0, 51.0, 40.0, 35.0, 38.0, 34.0, 31.0, 33.0, 26.0, 14.0, 18.0, 21.0, 16.0, 15.0, 17.0, 8.0, 10.0, 7.0, 8.0, 3.0, 5.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0316162109375, -0.030669689178466797, -0.029723167419433594, -0.02877664566040039, -0.027830123901367188, -0.026883602142333984, -0.02593708038330078, -0.024990558624267578, -0.024044036865234375, -0.023097515106201172, -0.02215099334716797, -0.021204471588134766, -0.020257949829101562, -0.01931142807006836, -0.018364906311035156, -0.017418384552001953, -0.01647186279296875, -0.015525341033935547, -0.014578819274902344, -0.01363229751586914, -0.012685775756835938, -0.011739253997802734, -0.010792732238769531, -0.009846210479736328, -0.008899688720703125, -0.007953166961669922, -0.007006645202636719, -0.006060123443603516, -0.0051136016845703125, -0.004167079925537109, -0.0032205581665039062, -0.002274036407470703, -0.0013275146484375, -0.0003809928894042969, 0.0005655288696289062, 0.0015120506286621094, 0.0024585723876953125, 0.0034050941467285156, 0.004351615905761719, 0.005298137664794922, 0.006244659423828125, 0.007191181182861328, 0.008137702941894531, 0.009084224700927734, 0.010030746459960938, 0.01097726821899414, 0.011923789978027344, 0.012870311737060547, 0.01381683349609375, 0.014763355255126953, 0.015709877014160156, 0.01665639877319336, 0.017602920532226562, 0.018549442291259766, 0.01949596405029297, 0.020442485809326172, 0.021389007568359375, 0.022335529327392578, 0.02328205108642578, 0.024228572845458984, 0.025175094604492188, 0.02612161636352539, 0.027068138122558594, 0.028014659881591797, 0.028961181640625]}, "gradients/decoder.transformer.h.3.attn.c_proj.weight": {"_type": "histogram", "values": [4.0, 3.0, 1.0, 1.0, 2.0, 7.0, 12.0, 14.0, 13.0, 18.0, 54.0, 82.0, 101.0, 146.0, 213.0, 360.0, 613.0, 950.0, 1403.0, 2277.0, 3741.0, 5931.0, 9453.0, 15436.0, 25207.0, 40259.0, 65702.0, 107442.0, 169003.0, 201357.0, 151700.0, 94509.0, 58548.0, 36052.0, 22025.0, 13384.0, 8506.0, 5297.0, 3246.0, 2051.0, 1275.0, 750.0, 478.0, 337.0, 210.0, 144.0, 85.0, 58.0, 37.0, 29.0, 16.0, 8.0, 10.0, 5.0, 1.0, 2.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0307769775390625, -0.029729127883911133, -0.028681278228759766, -0.0276334285736084, -0.02658557891845703, -0.025537729263305664, -0.024489879608154297, -0.02344202995300293, -0.022394180297851562, -0.021346330642700195, -0.020298480987548828, -0.01925063133239746, -0.018202781677246094, -0.017154932022094727, -0.01610708236694336, -0.015059232711791992, -0.014011383056640625, -0.012963533401489258, -0.01191568374633789, -0.010867834091186523, -0.009819984436035156, -0.008772134780883789, -0.007724285125732422, -0.006676435470581055, -0.0056285858154296875, -0.00458073616027832, -0.003532886505126953, -0.002485036849975586, -0.0014371871948242188, -0.00038933753967285156, 0.0006585121154785156, 0.0017063617706298828, 0.00275421142578125, 0.003802061080932617, 0.004849910736083984, 0.0058977603912353516, 0.006945610046386719, 0.007993459701538086, 0.009041309356689453, 0.01008915901184082, 0.011137008666992188, 0.012184858322143555, 0.013232707977294922, 0.014280557632446289, 0.015328407287597656, 0.016376256942749023, 0.01742410659790039, 0.018471956253051758, 0.019519805908203125, 0.020567655563354492, 0.02161550521850586, 0.022663354873657227, 0.023711204528808594, 0.02475905418395996, 0.025806903839111328, 0.026854753494262695, 0.027902603149414062, 0.02895045280456543, 0.029998302459716797, 0.031046152114868164, 0.03209400177001953, 0.0331418514251709, 0.034189701080322266, 0.03523755073547363, 0.036285400390625]}, "gradients/decoder.transformer.h.3.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 1.0, 11.0, 6.0, 8.0, 6.0, 11.0, 22.0, 16.0, 21.0, 28.0, 25.0, 27.0, 24.0, 44.0, 54.0, 54.0, 86.0, 119.0, 158.0, 196.0, 1278.0, 198.0, 122.0, 96.0, 81.0, 51.0, 50.0, 37.0, 29.0, 29.0, 22.0, 27.0, 16.0, 15.0, 12.0, 17.0, 7.0, 11.0, 7.0, 6.0, 3.0, 7.0, 6.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.09918212890625, -0.0965280532836914, -0.09387397766113281, -0.09121990203857422, -0.08856582641601562, -0.08591175079345703, -0.08325767517089844, -0.08060359954833984, -0.07794952392578125, -0.07529544830322266, -0.07264137268066406, -0.06998729705810547, -0.06733322143554688, -0.06467914581298828, -0.06202507019042969, -0.059370994567871094, -0.0567169189453125, -0.054062843322753906, -0.05140876770019531, -0.04875469207763672, -0.046100616455078125, -0.04344654083251953, -0.04079246520996094, -0.038138389587402344, -0.03548431396484375, -0.032830238342285156, -0.030176162719726562, -0.02752208709716797, -0.024868011474609375, -0.02221393585205078, -0.019559860229492188, -0.016905784606933594, -0.014251708984375, -0.011597633361816406, -0.008943557739257812, -0.006289482116699219, -0.003635406494140625, -0.0009813308715820312, 0.0016727447509765625, 0.004326820373535156, 0.00698089599609375, 0.009634971618652344, 0.012289047241210938, 0.014943122863769531, 0.017597198486328125, 0.02025127410888672, 0.022905349731445312, 0.025559425354003906, 0.0282135009765625, 0.030867576599121094, 0.03352165222167969, 0.03617572784423828, 0.038829803466796875, 0.04148387908935547, 0.04413795471191406, 0.046792030334472656, 0.04944610595703125, 0.052100181579589844, 0.05475425720214844, 0.05740833282470703, 0.060062408447265625, 0.06271648406982422, 0.06537055969238281, 0.0680246353149414, 0.0706787109375]}, "gradients/decoder.transformer.h.3.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 3.0, 3.0, 10.0, 6.0, 5.0, 9.0, 15.0, 18.0, 29.0, 30.0, 36.0, 58.0, 98.0, 117.0, 187.0, 268.0, 448.0, 775.0, 3012.0, 41980.0, 2122352.0, 948994.0, 23127.0, 2130.0, 738.0, 400.0, 243.0, 166.0, 116.0, 80.0, 51.0, 48.0, 35.0, 25.0, 28.0, 17.0, 13.0, 9.0, 4.0, 7.0, 5.0, 7.0, 1.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.1650390625, -0.1598663330078125, -0.154693603515625, -0.1495208740234375, -0.14434814453125, -0.1391754150390625, -0.134002685546875, -0.1288299560546875, -0.1236572265625, -0.1184844970703125, -0.113311767578125, -0.1081390380859375, -0.10296630859375, -0.0977935791015625, -0.092620849609375, -0.0874481201171875, -0.082275390625, -0.0771026611328125, -0.071929931640625, -0.0667572021484375, -0.06158447265625, -0.0564117431640625, -0.051239013671875, -0.0460662841796875, -0.0408935546875, -0.0357208251953125, -0.030548095703125, -0.0253753662109375, -0.02020263671875, -0.0150299072265625, -0.009857177734375, -0.0046844482421875, 0.00048828125, 0.0056610107421875, 0.010833740234375, 0.0160064697265625, 0.02117919921875, 0.0263519287109375, 0.031524658203125, 0.0366973876953125, 0.0418701171875, 0.0470428466796875, 0.052215576171875, 0.0573883056640625, 0.06256103515625, 0.0677337646484375, 0.072906494140625, 0.0780792236328125, 0.083251953125, 0.0884246826171875, 0.093597412109375, 0.0987701416015625, 0.10394287109375, 0.1091156005859375, 0.114288330078125, 0.1194610595703125, 0.1246337890625, 0.1298065185546875, 0.134979248046875, 0.1401519775390625, 0.14532470703125, 0.1504974365234375, 0.155670166015625, 0.1608428955078125, 0.166015625]}, "gradients/decoder.transformer.h.3.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 9.0, 22.0, 51.0, 103.0, 189.0, 240.0, 186.0, 116.0, 69.0, 19.0, 8.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3577291965484619, -0.33464592695236206, -0.3115626871585846, -0.28847944736480713, -0.2653961777687073, -0.24231292307376862, -0.21922966837882996, -0.1961464136838913, -0.17306315898895264, -0.14997990429401398, -0.12689664959907532, -0.10381339490413666, -0.080730140209198, -0.05764688551425934, -0.03456363081932068, -0.011480376124382019, 0.01160287857055664, 0.0346861332654953, 0.05776938796043396, 0.08085264265537262, 0.10393589735031128, 0.12701915204524994, 0.1501024067401886, 0.17318566143512726, 0.19626891613006592, 0.21935217082500458, 0.24243542551994324, 0.2655186653137207, 0.28860193490982056, 0.3116852045059204, 0.3347684442996979, 0.35785168409347534, 0.3809349536895752, 0.40401822328567505, 0.4271014630794525, 0.45018470287323, 0.47326797246932983, 0.4963512420654297, 0.5194344520568848, 0.5425177216529846, 0.5656009912490845, 0.5886842608451843, 0.6117675304412842, 0.6348507404327393, 0.6579340100288391, 0.681017279624939, 0.704100489616394, 0.7271837592124939, 0.7502670288085938, 0.7733502984046936, 0.7964335680007935, 0.8195167779922485, 0.8426000475883484, 0.8656833171844482, 0.8887665271759033, 0.9118497967720032, 0.934933066368103, 0.9580163359642029, 0.9810996055603027, 1.0041828155517578, 1.027266025543213, 1.0503493547439575, 1.0734325647354126, 1.0965158939361572, 1.1195991039276123]}, "gradients/decoder.transformer.h.3.ln_1.bias": {"_type": "histogram", "values": [1.0, 3.0, 2.0, 1.0, 5.0, 4.0, 4.0, 7.0, 7.0, 10.0, 8.0, 15.0, 15.0, 15.0, 16.0, 25.0, 29.0, 23.0, 26.0, 25.0, 27.0, 30.0, 34.0, 26.0, 38.0, 44.0, 41.0, 36.0, 36.0, 44.0, 45.0, 45.0, 34.0, 28.0, 31.0, 29.0, 28.0, 22.0, 23.0, 12.0, 20.0, 14.0, 19.0, 11.0, 8.0, 11.0, 8.0, 7.0, 4.0, 4.0, 4.0, 5.0, 1.0, 1.0, 5.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.27356064319610596, -0.2641562223434448, -0.2547518014907837, -0.24534739553928375, -0.23594297468662262, -0.22653856873512268, -0.21713414788246155, -0.20772972702980042, -0.19832530617713928, -0.18892088532447815, -0.1795164793729782, -0.17011205852031708, -0.16070763766765594, -0.151303231716156, -0.14189881086349487, -0.13249439001083374, -0.1230899840593338, -0.11368557065725327, -0.10428114980459213, -0.0948767364025116, -0.08547231554985046, -0.07606790214776993, -0.06666348874568939, -0.05725906789302826, -0.04785465449094772, -0.03845023736357689, -0.029045822098851204, -0.01964140683412552, -0.010236989706754684, -0.0008325725793838501, 0.008571840822696686, 0.01797626167535782, 0.027380675077438354, 0.03678509220480919, 0.04618950933218002, 0.05559392273426056, 0.06499834358692169, 0.07440275698900223, 0.08380717039108276, 0.0932115912437439, 0.10261600464582443, 0.11202041804790497, 0.1214248389005661, 0.13082924485206604, 0.14023366570472717, 0.1496380865573883, 0.15904250741004944, 0.16844692826271057, 0.1778513342142105, 0.18725575506687164, 0.19666016101837158, 0.20606458187103271, 0.21546900272369385, 0.22487342357635498, 0.23427782952785492, 0.24368225038051605, 0.253086656332016, 0.2624910771846771, 0.27189549803733826, 0.281299889087677, 0.29070430994033813, 0.30010873079299927, 0.3095131516456604, 0.31891757249832153, 0.32832199335098267]}, "gradients/decoder.transformer.h.2.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 2.0, 3.0, 4.0, 3.0, 9.0, 7.0, 5.0, 7.0, 15.0, 11.0, 17.0, 14.0, 21.0, 18.0, 26.0, 20.0, 26.0, 31.0, 30.0, 38.0, 42.0, 37.0, 45.0, 46.0, 51.0, 50.0, 42.0, 25.0, 45.0, 30.0, 29.0, 31.0, 25.0, 29.0, 28.0, 19.0, 29.0, 12.0, 15.0, 17.0, 10.0, 10.0, 6.0, 7.0, 5.0, 3.0, 5.0, 1.0, 3.0, 5.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.0279541015625, -0.027044057846069336, -0.026134014129638672, -0.025223970413208008, -0.024313926696777344, -0.02340388298034668, -0.022493839263916016, -0.02158379554748535, -0.020673751831054688, -0.019763708114624023, -0.01885366439819336, -0.017943620681762695, -0.01703357696533203, -0.016123533248901367, -0.015213489532470703, -0.014303445816040039, -0.013393402099609375, -0.012483358383178711, -0.011573314666748047, -0.010663270950317383, -0.009753227233886719, -0.008843183517456055, -0.00793313980102539, -0.0070230960845947266, -0.0061130523681640625, -0.0052030086517333984, -0.004292964935302734, -0.0033829212188720703, -0.0024728775024414062, -0.0015628337860107422, -0.0006527900695800781, 0.00025725364685058594, 0.00116729736328125, 0.002077341079711914, 0.002987384796142578, 0.003897428512573242, 0.004807472229003906, 0.00571751594543457, 0.006627559661865234, 0.0075376033782958984, 0.008447647094726562, 0.009357690811157227, 0.01026773452758789, 0.011177778244018555, 0.012087821960449219, 0.012997865676879883, 0.013907909393310547, 0.014817953109741211, 0.015727996826171875, 0.01663804054260254, 0.017548084259033203, 0.018458127975463867, 0.01936817169189453, 0.020278215408325195, 0.02118825912475586, 0.022098302841186523, 0.023008346557617188, 0.02391839027404785, 0.024828433990478516, 0.02573847770690918, 0.026648521423339844, 0.027558565139770508, 0.028468608856201172, 0.029378652572631836, 0.0302886962890625]}, "gradients/decoder.transformer.h.2.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 5.0, 9.0, 3.0, 8.0, 14.0, 15.0, 22.0, 37.0, 35.0, 65.0, 102.0, 161.0, 287.0, 548.0, 1051.0, 2393.0, 5388.0, 14281.0, 46943.0, 299681.0, 2547794.0, 1115986.0, 115779.0, 26903.0, 9387.0, 3857.0, 1708.0, 778.0, 419.0, 220.0, 154.0, 80.0, 59.0, 35.0, 26.0, 18.0, 11.0, 9.0, 8.0, 2.0, 4.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07061767578125, -0.06816387176513672, -0.06571006774902344, -0.06325626373291016, -0.060802459716796875, -0.058348655700683594, -0.05589485168457031, -0.05344104766845703, -0.05098724365234375, -0.04853343963623047, -0.04607963562011719, -0.043625831604003906, -0.041172027587890625, -0.038718223571777344, -0.03626441955566406, -0.03381061553955078, -0.0313568115234375, -0.02890300750732422, -0.026449203491210938, -0.023995399475097656, -0.021541595458984375, -0.019087791442871094, -0.016633987426757812, -0.014180183410644531, -0.01172637939453125, -0.009272575378417969, -0.0068187713623046875, -0.004364967346191406, -0.001911163330078125, 0.0005426406860351562, 0.0029964447021484375, 0.005450248718261719, 0.007904052734375, 0.010357856750488281, 0.012811660766601562, 0.015265464782714844, 0.017719268798828125, 0.020173072814941406, 0.022626876831054688, 0.02508068084716797, 0.02753448486328125, 0.02998828887939453, 0.03244209289550781, 0.034895896911621094, 0.037349700927734375, 0.039803504943847656, 0.04225730895996094, 0.04471111297607422, 0.0471649169921875, 0.04961872100830078, 0.05207252502441406, 0.054526329040527344, 0.056980133056640625, 0.059433937072753906, 0.06188774108886719, 0.06434154510498047, 0.06679534912109375, 0.06924915313720703, 0.07170295715332031, 0.0741567611694336, 0.07661056518554688, 0.07906436920166016, 0.08151817321777344, 0.08397197723388672, 0.08642578125]}, "gradients/decoder.transformer.h.2.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 3.0, 7.0, 12.0, 8.0, 15.0, 14.0, 13.0, 29.0, 29.0, 62.0, 68.0, 96.0, 127.0, 178.0, 184.0, 271.0, 365.0, 489.0, 517.0, 356.0, 301.0, 237.0, 151.0, 130.0, 100.0, 69.0, 60.0, 36.0, 38.0, 23.0, 18.0, 15.0, 14.0, 9.0, 5.0, 9.0, 2.0, 2.0, 4.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.0467529296875, -0.04533958435058594, -0.043926239013671875, -0.04251289367675781, -0.04109954833984375, -0.03968620300292969, -0.038272857666015625, -0.03685951232910156, -0.0354461669921875, -0.03403282165527344, -0.032619476318359375, -0.031206130981445312, -0.02979278564453125, -0.028379440307617188, -0.026966094970703125, -0.025552749633789062, -0.024139404296875, -0.022726058959960938, -0.021312713623046875, -0.019899368286132812, -0.01848602294921875, -0.017072677612304688, -0.015659332275390625, -0.014245986938476562, -0.0128326416015625, -0.011419296264648438, -0.010005950927734375, -0.008592605590820312, -0.00717926025390625, -0.0057659149169921875, -0.004352569580078125, -0.0029392242431640625, -0.00152587890625, -0.0001125335693359375, 0.001300811767578125, 0.0027141571044921875, 0.00412750244140625, 0.0055408477783203125, 0.006954193115234375, 0.008367538452148438, 0.0097808837890625, 0.011194229125976562, 0.012607574462890625, 0.014020919799804688, 0.01543426513671875, 0.016847610473632812, 0.018260955810546875, 0.019674301147460938, 0.021087646484375, 0.022500991821289062, 0.023914337158203125, 0.025327682495117188, 0.02674102783203125, 0.028154373168945312, 0.029567718505859375, 0.030981063842773438, 0.0323944091796875, 0.03380775451660156, 0.035221099853515625, 0.03663444519042969, 0.03804779052734375, 0.03946113586425781, 0.040874481201171875, 0.04228782653808594, 0.043701171875]}, "gradients/decoder.transformer.h.2.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 4.0, 1.0, 1.0, 6.0, 0.0, 2.0, 2.0, 7.0, 10.0, 11.0, 12.0, 18.0, 33.0, 49.0, 79.0, 115.0, 170.0, 341.0, 538.0, 973.0, 2292.0, 5542.0, 15481.0, 53178.0, 226474.0, 1448930.0, 2045492.0, 297700.0, 66299.0, 18797.0, 6477.0, 2553.0, 1191.0, 633.0, 315.0, 208.0, 102.0, 93.0, 59.0, 25.0, 27.0, 19.0, 15.0, 7.0, 8.0, 2.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.059783935546875, -0.05772829055786133, -0.055672645568847656, -0.053617000579833984, -0.05156135559082031, -0.04950571060180664, -0.04745006561279297, -0.0453944206237793, -0.043338775634765625, -0.04128313064575195, -0.03922748565673828, -0.03717184066772461, -0.03511619567871094, -0.033060550689697266, -0.031004905700683594, -0.028949260711669922, -0.02689361572265625, -0.024837970733642578, -0.022782325744628906, -0.020726680755615234, -0.018671035766601562, -0.01661539077758789, -0.014559745788574219, -0.012504100799560547, -0.010448455810546875, -0.008392810821533203, -0.006337165832519531, -0.004281520843505859, -0.0022258758544921875, -0.00017023086547851562, 0.0018854141235351562, 0.003941059112548828, 0.0059967041015625, 0.008052349090576172, 0.010107994079589844, 0.012163639068603516, 0.014219284057617188, 0.01627492904663086, 0.01833057403564453, 0.020386219024658203, 0.022441864013671875, 0.024497509002685547, 0.02655315399169922, 0.02860879898071289, 0.030664443969726562, 0.032720088958740234, 0.034775733947753906, 0.03683137893676758, 0.03888702392578125, 0.04094266891479492, 0.042998313903808594, 0.045053958892822266, 0.04710960388183594, 0.04916524887084961, 0.05122089385986328, 0.05327653884887695, 0.055332183837890625, 0.0573878288269043, 0.05944347381591797, 0.06149911880493164, 0.06355476379394531, 0.06561040878295898, 0.06766605377197266, 0.06972169876098633, 0.07177734375]}, "gradients/decoder.transformer.h.2.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 55.0, 422.0, 463.0, 66.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7545274496078491, -1.7095420360565186, -1.664556622505188, -1.6195712089538574, -1.5745856761932373, -1.5296002626419067, -1.4846148490905762, -1.4396294355392456, -1.394644021987915, -1.3496586084365845, -1.304673194885254, -1.2596876621246338, -1.2147022485733032, -1.1697168350219727, -1.124731421470642, -1.0797460079193115, -1.0347604751586914, -0.9897750616073608, -0.9447895884513855, -0.8998041749000549, -0.8548187017440796, -0.809833288192749, -0.7648478746414185, -0.7198624610900879, -0.6748769879341125, -0.629891574382782, -0.5849061012268066, -0.5399206876754761, -0.4949352443218231, -0.44994980096817017, -0.4049643874168396, -0.35997894406318665, -0.31499361991882324, -0.2700081765651703, -0.22502274811267853, -0.18003731966018677, -0.1350518763065338, -0.09006643295288086, -0.04508101940155029, -9.557604789733887e-05, 0.044889867305755615, 0.08987530320882797, 0.13486073911190033, 0.1798461675643921, 0.22483161091804504, 0.269817054271698, 0.31480246782302856, 0.3597879111766815, 0.4047733545303345, 0.4497587978839874, 0.4947442412376404, 0.539729654788971, 0.5847151279449463, 0.6297005414962769, 0.6746859550476074, 0.719671368598938, 0.7646568417549133, 0.8096422553062439, 0.8546277284622192, 0.8996131420135498, 0.9445985555648804, 0.9895840287208557, 1.034569501876831, 1.0795549154281616, 1.1245403289794922]}, "gradients/decoder.transformer.h.2.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 4.0, 6.0, 1.0, 5.0, 5.0, 4.0, 9.0, 16.0, 23.0, 26.0, 30.0, 27.0, 23.0, 35.0, 39.0, 44.0, 60.0, 52.0, 50.0, 63.0, 65.0, 58.0, 53.0, 55.0, 43.0, 41.0, 31.0, 24.0, 23.0, 22.0, 20.0, 19.0, 10.0, 8.0, 7.0, 7.0, 2.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2699589729309082, -0.26251348853111267, -0.25506800413131714, -0.2476225346326828, -0.24017705023288727, -0.23273158073425293, -0.2252860963344574, -0.21784061193466187, -0.21039512753486633, -0.2029496431350708, -0.19550417363643646, -0.18805868923664093, -0.1806132048368454, -0.17316773533821106, -0.16572225093841553, -0.15827676653862, -0.15083129703998566, -0.14338581264019012, -0.1359403431415558, -0.12849485874176025, -0.12104937434196472, -0.11360389739274979, -0.10615842044353485, -0.09871293604373932, -0.09126745909452438, -0.08382198214530945, -0.07637649774551392, -0.06893102079629898, -0.06148554012179375, -0.05404005944728851, -0.04659458249807358, -0.039149101823568344, -0.03170362114906311, -0.024258140474557877, -0.016812661662697792, -0.009367182850837708, -0.0019217021763324738, 0.00552377849817276, 0.012969255447387695, 0.02041473612189293, 0.027860216796398163, 0.0353056974709034, 0.04275117814540863, 0.050196655094623566, 0.0576421357691288, 0.06508761644363403, 0.07253309339284897, 0.0799785703420639, 0.08742405474185944, 0.09486953169107437, 0.1023150160908699, 0.10976049304008484, 0.11720597743988037, 0.1246514543890953, 0.13209693133831024, 0.13954241573810577, 0.1469878852367401, 0.15443336963653564, 0.16187883913516998, 0.16932432353496552, 0.17676980793476105, 0.18421527743339539, 0.19166076183319092, 0.19910624623298645, 0.20655173063278198]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.bias": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 3.0, 3.0, 3.0, 4.0, 4.0, 8.0, 8.0, 5.0, 5.0, 16.0, 14.0, 11.0, 19.0, 21.0, 27.0, 23.0, 26.0, 27.0, 38.0, 33.0, 45.0, 37.0, 30.0, 48.0, 49.0, 45.0, 42.0, 44.0, 33.0, 32.0, 35.0, 32.0, 39.0, 21.0, 24.0, 35.0, 13.0, 16.0, 15.0, 17.0, 13.0, 9.0, 9.0, 5.0, 7.0, 3.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0247650146484375, -0.02388596534729004, -0.023006916046142578, -0.022127866744995117, -0.021248817443847656, -0.020369768142700195, -0.019490718841552734, -0.018611669540405273, -0.017732620239257812, -0.01685357093811035, -0.01597452163696289, -0.01509547233581543, -0.014216423034667969, -0.013337373733520508, -0.012458324432373047, -0.011579275131225586, -0.010700225830078125, -0.009821176528930664, -0.008942127227783203, -0.008063077926635742, -0.007184028625488281, -0.00630497932434082, -0.005425930023193359, -0.0045468807220458984, -0.0036678314208984375, -0.0027887821197509766, -0.0019097328186035156, -0.0010306835174560547, -0.00015163421630859375, 0.0007274150848388672, 0.0016064643859863281, 0.002485513687133789, 0.00336456298828125, 0.004243612289428711, 0.005122661590576172, 0.006001710891723633, 0.006880760192871094, 0.007759809494018555, 0.008638858795166016, 0.009517908096313477, 0.010396957397460938, 0.011276006698608398, 0.01215505599975586, 0.01303410530090332, 0.013913154602050781, 0.014792203903198242, 0.015671253204345703, 0.016550302505493164, 0.017429351806640625, 0.018308401107788086, 0.019187450408935547, 0.020066499710083008, 0.02094554901123047, 0.02182459831237793, 0.02270364761352539, 0.02358269691467285, 0.024461746215820312, 0.025340795516967773, 0.026219844818115234, 0.027098894119262695, 0.027977943420410156, 0.028856992721557617, 0.029736042022705078, 0.03061509132385254, 0.031494140625]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 4.0, 2.0, 6.0, 3.0, 4.0, 11.0, 13.0, 23.0, 33.0, 53.0, 74.0, 92.0, 149.0, 211.0, 293.0, 409.0, 624.0, 825.0, 1303.0, 1783.0, 2595.0, 3763.0, 5679.0, 8287.0, 12237.0, 18952.0, 28865.0, 46325.0, 78553.0, 146319.0, 342912.0, 141544.0, 76053.0, 45677.0, 28449.0, 18438.0, 12204.0, 8135.0, 5397.0, 3791.0, 2598.0, 1830.0, 1217.0, 865.0, 589.0, 403.0, 294.0, 198.0, 146.0, 117.0, 66.0, 54.0, 34.0, 20.0, 21.0, 13.0, 6.0, 8.0, 1.0, 2.0], "bins": [-0.00018298625946044922, -0.00017767958343029022, -0.00017237290740013123, -0.00016706623136997223, -0.00016175955533981323, -0.00015645287930965424, -0.00015114620327949524, -0.00014583952724933624, -0.00014053285121917725, -0.00013522617518901825, -0.00012991949915885925, -0.00012461282312870026, -0.00011930614709854126, -0.00011399947106838226, -0.00010869279503822327, -0.00010338611900806427, -9.807944297790527e-05, -9.277276694774628e-05, -8.746609091758728e-05, -8.215941488742828e-05, -7.685273885726929e-05, -7.154606282711029e-05, -6.62393867969513e-05, -6.09327107667923e-05, -5.56260347366333e-05, -5.0319358706474304e-05, -4.501268267631531e-05, -3.970600664615631e-05, -3.4399330615997314e-05, -2.9092654585838318e-05, -2.378597855567932e-05, -1.8479302525520325e-05, -1.3172626495361328e-05, -7.865950465202332e-06, -2.559274435043335e-06, 2.7474015951156616e-06, 8.054077625274658e-06, 1.3360753655433655e-05, 1.866742968559265e-05, 2.3974105715751648e-05, 2.9280781745910645e-05, 3.458745777606964e-05, 3.989413380622864e-05, 4.5200809836387634e-05, 5.050748586654663e-05, 5.581416189670563e-05, 6.112083792686462e-05, 6.642751395702362e-05, 7.173418998718262e-05, 7.704086601734161e-05, 8.234754204750061e-05, 8.765421807765961e-05, 9.29608941078186e-05, 9.82675701379776e-05, 0.0001035742461681366, 0.0001088809221982956, 0.00011418759822845459, 0.00011949427425861359, 0.00012480095028877258, 0.00013010762631893158, 0.00013541430234909058, 0.00014072097837924957, 0.00014602765440940857, 0.00015133433043956757, 0.00015664100646972656]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 3.0, 0.0, 1.0, 3.0, 2.0, 4.0, 5.0, 13.0, 9.0, 12.0, 17.0, 12.0, 19.0, 29.0, 19.0, 25.0, 21.0, 29.0, 37.0, 33.0, 40.0, 31.0, 33.0, 43.0, 45.0, 1061.0, 37.0, 44.0, 31.0, 30.0, 39.0, 34.0, 30.0, 29.0, 34.0, 22.0, 31.0, 14.0, 18.0, 15.0, 11.0, 7.0, 13.0, 9.0, 10.0, 8.0, 6.0, 5.0, 6.0, 4.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.02252197265625, -0.02183365821838379, -0.021145343780517578, -0.020457029342651367, -0.019768714904785156, -0.019080400466918945, -0.018392086029052734, -0.017703771591186523, -0.017015457153320312, -0.0163271427154541, -0.01563882827758789, -0.01495051383972168, -0.014262199401855469, -0.013573884963989258, -0.012885570526123047, -0.012197256088256836, -0.011508941650390625, -0.010820627212524414, -0.010132312774658203, -0.009443998336791992, -0.008755683898925781, -0.00806736946105957, -0.007379055023193359, -0.0066907405853271484, -0.0060024261474609375, -0.0053141117095947266, -0.004625797271728516, -0.003937482833862305, -0.0032491683959960938, -0.002560853958129883, -0.0018725395202636719, -0.001184225082397461, -0.00049591064453125, 0.00019240379333496094, 0.0008807182312011719, 0.0015690326690673828, 0.0022573471069335938, 0.0029456615447998047, 0.0036339759826660156, 0.0043222904205322266, 0.0050106048583984375, 0.0056989192962646484, 0.006387233734130859, 0.00707554817199707, 0.007763862609863281, 0.008452177047729492, 0.009140491485595703, 0.009828805923461914, 0.010517120361328125, 0.011205434799194336, 0.011893749237060547, 0.012582063674926758, 0.013270378112792969, 0.01395869255065918, 0.01464700698852539, 0.015335321426391602, 0.016023635864257812, 0.016711950302124023, 0.017400264739990234, 0.018088579177856445, 0.018776893615722656, 0.019465208053588867, 0.020153522491455078, 0.02084183692932129, 0.0215301513671875]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 4.0, 5.0, 5.0, 6.0, 6.0, 3.0, 4.0, 10.0, 10.0, 7.0, 14.0, 14.0, 15.0, 22.0, 17.0, 16.0, 27.0, 28.0, 28.0, 39.0, 51.0, 127.0, 304.0, 798.0, 2750.0, 19353.0, 2063068.0, 7550.0, 1690.0, 542.0, 233.0, 85.0, 42.0, 49.0, 20.0, 23.0, 24.0, 25.0, 24.0, 17.0, 13.0, 19.0, 13.0, 12.0, 7.0, 7.0, 3.0, 2.0, 4.0, 1.0, 3.0, 0.0, 4.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0563602447509766e-05, -1.9907020032405853e-05, -1.925043761730194e-05, -1.859385520219803e-05, -1.7937272787094116e-05, -1.7280690371990204e-05, -1.662410795688629e-05, -1.596752554178238e-05, -1.5310943126678467e-05, -1.4654360711574554e-05, -1.3997778296470642e-05, -1.334119588136673e-05, -1.2684613466262817e-05, -1.2028031051158905e-05, -1.1371448636054993e-05, -1.071486622095108e-05, -1.0058283805847168e-05, -9.401701390743256e-06, -8.745118975639343e-06, -8.088536560535431e-06, -7.4319541454315186e-06, -6.775371730327606e-06, -6.118789315223694e-06, -5.4622069001197815e-06, -4.805624485015869e-06, -4.149042069911957e-06, -3.4924596548080444e-06, -2.835877239704132e-06, -2.1792948246002197e-06, -1.5227124094963074e-06, -8.66129994392395e-07, -2.0954757928848267e-07, 4.470348358154297e-07, 1.103617250919342e-06, 1.7601996660232544e-06, 2.4167820811271667e-06, 3.073364496231079e-06, 3.7299469113349915e-06, 4.386529326438904e-06, 5.043111741542816e-06, 5.6996941566467285e-06, 6.356276571750641e-06, 7.012858986854553e-06, 7.669441401958466e-06, 8.326023817062378e-06, 8.98260623216629e-06, 9.639188647270203e-06, 1.0295771062374115e-05, 1.0952353477478027e-05, 1.160893589258194e-05, 1.2265518307685852e-05, 1.2922100722789764e-05, 1.3578683137893677e-05, 1.4235265552997589e-05, 1.4891847968101501e-05, 1.5548430383205414e-05, 1.6205012798309326e-05, 1.686159521341324e-05, 1.751817762851715e-05, 1.8174760043621063e-05, 1.8831342458724976e-05, 1.9487924873828888e-05, 2.01445072889328e-05, 2.0801089704036713e-05, 2.1457672119140625e-05]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.attn.c_proj.bias": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 3.0, 3.0, 3.0, 4.0, 4.0, 8.0, 8.0, 5.0, 5.0, 16.0, 14.0, 11.0, 19.0, 21.0, 27.0, 23.0, 26.0, 27.0, 38.0, 33.0, 45.0, 37.0, 30.0, 48.0, 49.0, 45.0, 42.0, 44.0, 33.0, 32.0, 35.0, 32.0, 39.0, 21.0, 24.0, 35.0, 13.0, 16.0, 15.0, 17.0, 13.0, 9.0, 9.0, 5.0, 7.0, 3.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0247650146484375, -0.02388596534729004, -0.023006916046142578, -0.022127866744995117, -0.021248817443847656, -0.020369768142700195, -0.019490718841552734, -0.018611669540405273, -0.017732620239257812, -0.01685357093811035, -0.01597452163696289, -0.01509547233581543, -0.014216423034667969, -0.013337373733520508, -0.012458324432373047, -0.011579275131225586, -0.010700225830078125, -0.009821176528930664, -0.008942127227783203, -0.008063077926635742, -0.007184028625488281, -0.00630497932434082, -0.005425930023193359, -0.0045468807220458984, -0.0036678314208984375, -0.0027887821197509766, -0.0019097328186035156, -0.0010306835174560547, -0.00015163421630859375, 0.0007274150848388672, 0.0016064643859863281, 0.002485513687133789, 0.00336456298828125, 0.004243612289428711, 0.005122661590576172, 0.006001710891723633, 0.006880760192871094, 0.007759809494018555, 0.008638858795166016, 0.009517908096313477, 0.010396957397460938, 0.011276006698608398, 0.01215505599975586, 0.01303410530090332, 0.013913154602050781, 0.014792203903198242, 0.015671253204345703, 0.016550302505493164, 0.017429351806640625, 0.018308401107788086, 0.019187450408935547, 0.020066499710083008, 0.02094554901123047, 0.02182459831237793, 0.02270364761352539, 0.02358269691467285, 0.024461746215820312, 0.025340795516967773, 0.026219844818115234, 0.027098894119262695, 0.027977943420410156, 0.028856992721557617, 0.029736042022705078, 0.03061509132385254, 0.031494140625]}, "gradients/decoder.transformer.h.2.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 4.0, 5.0, 8.0, 8.0, 26.0, 24.0, 25.0, 43.0, 61.0, 94.0, 158.0, 205.0, 339.0, 543.0, 836.0, 1250.0, 2041.0, 3139.0, 4695.0, 7590.0, 11859.0, 19490.0, 32641.0, 57403.0, 111580.0, 242700.0, 267845.0, 127616.0, 63735.0, 35558.0, 21566.0, 13101.0, 8081.0, 5046.0, 3238.0, 2067.0, 1373.0, 911.0, 614.0, 360.0, 231.0, 132.0, 117.0, 65.0, 55.0, 23.0, 22.0, 9.0, 7.0, 5.0, 4.0, 4.0, 4.0, 2.0, 2.0, 4.0], "bins": [-0.035552978515625, -0.034509897232055664, -0.03346681594848633, -0.03242373466491699, -0.031380653381347656, -0.03033757209777832, -0.029294490814208984, -0.02825140953063965, -0.027208328247070312, -0.026165246963500977, -0.02512216567993164, -0.024079084396362305, -0.02303600311279297, -0.021992921829223633, -0.020949840545654297, -0.01990675926208496, -0.018863677978515625, -0.01782059669494629, -0.016777515411376953, -0.015734434127807617, -0.014691352844238281, -0.013648271560668945, -0.01260519027709961, -0.011562108993530273, -0.010519027709960938, -0.009475946426391602, -0.008432865142822266, -0.00738978385925293, -0.006346702575683594, -0.005303621292114258, -0.004260540008544922, -0.003217458724975586, -0.00217437744140625, -0.001131296157836914, -8.821487426757812e-05, 0.0009548664093017578, 0.0019979476928710938, 0.0030410289764404297, 0.004084110260009766, 0.0051271915435791016, 0.0061702728271484375, 0.0072133541107177734, 0.00825643539428711, 0.009299516677856445, 0.010342597961425781, 0.011385679244995117, 0.012428760528564453, 0.013471841812133789, 0.014514923095703125, 0.015558004379272461, 0.016601085662841797, 0.017644166946411133, 0.01868724822998047, 0.019730329513549805, 0.02077341079711914, 0.021816492080688477, 0.022859573364257812, 0.02390265464782715, 0.024945735931396484, 0.02598881721496582, 0.027031898498535156, 0.028074979782104492, 0.029118061065673828, 0.030161142349243164, 0.0312042236328125]}, "gradients/decoder.transformer.h.2.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 1.0, 1.0, 1.0, 8.0, 4.0, 4.0, 7.0, 6.0, 10.0, 16.0, 22.0, 22.0, 20.0, 27.0, 31.0, 35.0, 35.0, 49.0, 43.0, 78.0, 91.0, 132.0, 210.0, 1347.0, 194.0, 138.0, 114.0, 87.0, 54.0, 42.0, 29.0, 21.0, 21.0, 20.0, 25.0, 21.0, 18.0, 13.0, 13.0, 10.0, 10.0, 5.0, 4.0, 5.0, 3.0, 2.0, 0.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.07049560546875, -0.0681924819946289, -0.06588935852050781, -0.06358623504638672, -0.061283111572265625, -0.05897998809814453, -0.05667686462402344, -0.054373741149902344, -0.05207061767578125, -0.049767494201660156, -0.04746437072753906, -0.04516124725341797, -0.042858123779296875, -0.04055500030517578, -0.03825187683105469, -0.035948753356933594, -0.0336456298828125, -0.031342506408691406, -0.029039382934570312, -0.02673625946044922, -0.024433135986328125, -0.02213001251220703, -0.019826889038085938, -0.017523765563964844, -0.01522064208984375, -0.012917518615722656, -0.010614395141601562, -0.008311271667480469, -0.006008148193359375, -0.0037050247192382812, -0.0014019012451171875, 0.0009012222290039062, 0.003204345703125, 0.005507469177246094, 0.0078105926513671875, 0.010113716125488281, 0.012416839599609375, 0.014719963073730469, 0.017023086547851562, 0.019326210021972656, 0.02162933349609375, 0.023932456970214844, 0.026235580444335938, 0.02853870391845703, 0.030841827392578125, 0.03314495086669922, 0.03544807434082031, 0.037751197814941406, 0.0400543212890625, 0.042357444763183594, 0.04466056823730469, 0.04696369171142578, 0.049266815185546875, 0.05156993865966797, 0.05387306213378906, 0.056176185607910156, 0.05847930908203125, 0.060782432556152344, 0.06308555603027344, 0.06538867950439453, 0.06769180297851562, 0.06999492645263672, 0.07229804992675781, 0.0746011734008789, 0.076904296875]}, "gradients/decoder.transformer.h.2.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 2.0, 4.0, 4.0, 2.0, 9.0, 4.0, 9.0, 6.0, 9.0, 17.0, 27.0, 32.0, 40.0, 55.0, 88.0, 83.0, 142.0, 256.0, 374.0, 704.0, 1677.0, 12304.0, 847882.0, 2257046.0, 20789.0, 2069.0, 835.0, 401.0, 263.0, 179.0, 119.0, 76.0, 60.0, 49.0, 29.0, 19.0, 9.0, 7.0, 11.0, 5.0, 8.0, 2.0, 3.0, 2.0, 0.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.151123046875, -0.14626121520996094, -0.14139938354492188, -0.1365375518798828, -0.13167572021484375, -0.1268138885498047, -0.12195205688476562, -0.11709022521972656, -0.1122283935546875, -0.10736656188964844, -0.10250473022460938, -0.09764289855957031, -0.09278106689453125, -0.08791923522949219, -0.08305740356445312, -0.07819557189941406, -0.073333740234375, -0.06847190856933594, -0.06361007690429688, -0.05874824523925781, -0.05388641357421875, -0.04902458190917969, -0.044162750244140625, -0.03930091857910156, -0.0344390869140625, -0.029577255249023438, -0.024715423583984375, -0.019853591918945312, -0.01499176025390625, -0.010129928588867188, -0.005268096923828125, -0.0004062652587890625, 0.00445556640625, 0.009317398071289062, 0.014179229736328125, 0.019041061401367188, 0.02390289306640625, 0.028764724731445312, 0.033626556396484375, 0.03848838806152344, 0.0433502197265625, 0.04821205139160156, 0.053073883056640625, 0.05793571472167969, 0.06279754638671875, 0.06765937805175781, 0.07252120971679688, 0.07738304138183594, 0.082244873046875, 0.08710670471191406, 0.09196853637695312, 0.09683036804199219, 0.10169219970703125, 0.10655403137207031, 0.11141586303710938, 0.11627769470214844, 0.1211395263671875, 0.12600135803222656, 0.13086318969726562, 0.1357250213623047, 0.14058685302734375, 0.1454486846923828, 0.15031051635742188, 0.15517234802246094, 0.1600341796875]}, "gradients/decoder.transformer.h.2.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 7.0, 22.0, 90.0, 173.0, 225.0, 229.0, 158.0, 73.0, 20.0, 12.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4971444606781006, -0.4721161425113678, -0.4470878541469574, -0.4220595359802246, -0.3970312178134918, -0.37200289964675903, -0.34697461128234863, -0.32194629311561584, -0.29691797494888306, -0.27188965678215027, -0.24686135351657867, -0.22183305025100708, -0.1968047320842743, -0.1717764288187027, -0.1467481255531311, -0.12171980738639832, -0.09669151902198792, -0.07166320830583572, -0.04663490131497383, -0.02160659432411194, 0.0034217163920402527, 0.028450027108192444, 0.05347833037376404, 0.07850664854049683, 0.10353495180606842, 0.12856325507164001, 0.1535915732383728, 0.1786198765039444, 0.203648179769516, 0.22867649793624878, 0.2537047863006592, 0.27873313426971436, 0.30376142263412476, 0.32878974080085754, 0.35381802916526794, 0.37884634733200073, 0.4038746654987335, 0.4289029836654663, 0.4539312720298767, 0.4789595901966095, 0.5039879083633423, 0.5290161967277527, 0.5540445446968079, 0.5790728330612183, 0.6041011214256287, 0.6291294693946838, 0.6541577577590942, 0.6791861057281494, 0.704214334487915, 0.7292426228523254, 0.7542709708213806, 0.779299259185791, 0.8043275475502014, 0.8293558955192566, 0.854384183883667, 0.8794125318527222, 0.9044408202171326, 0.929469108581543, 0.9544974565505981, 0.9795257449150085, 1.004554033279419, 1.0295823812484741, 1.0546107292175293, 1.079638957977295, 1.10466730594635]}, "gradients/decoder.transformer.h.2.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 4.0, 3.0, 3.0, 4.0, 2.0, 3.0, 10.0, 5.0, 9.0, 14.0, 12.0, 13.0, 14.0, 12.0, 17.0, 18.0, 28.0, 33.0, 25.0, 31.0, 41.0, 47.0, 41.0, 33.0, 29.0, 35.0, 36.0, 39.0, 29.0, 22.0, 34.0, 23.0, 37.0, 27.0, 41.0, 26.0, 29.0, 25.0, 19.0, 11.0, 23.0, 9.0, 12.0, 18.0, 12.0, 14.0, 7.0, 7.0, 9.0, 5.0, 4.0, 2.0, 4.0, 3.0, 3.0, 0.0, 1.0, 3.0, 0.0, 1.0], "bins": [-0.23694318532943726, -0.2291771024465561, -0.22141103446483612, -0.21364495158195496, -0.20587888360023499, -0.19811280071735382, -0.19034671783447266, -0.18258064985275269, -0.17481458187103271, -0.16704849898815155, -0.15928243100643158, -0.15151634812355042, -0.14375028014183044, -0.13598419725894928, -0.12821811437606812, -0.12045204639434814, -0.11268596351146698, -0.10491988807916641, -0.09715381264686584, -0.08938772976398468, -0.08162166178226471, -0.07385557889938354, -0.06608950346708298, -0.05832342803478241, -0.05055735260248184, -0.042791277170181274, -0.03502520173788071, -0.02725912258028984, -0.019493047147989273, -0.011726971715688705, -0.003960892558097839, 0.0038051828742027283, 0.011571258306503296, 0.019337333738803864, 0.02710341103374958, 0.0348694883286953, 0.042635563760995865, 0.05040163919329643, 0.0581677183508873, 0.06593379378318787, 0.07369986921548843, 0.081465944647789, 0.08923202008008957, 0.09699809551239014, 0.1047641783952713, 0.11253024637699127, 0.12029632925987244, 0.1280623972415924, 0.13582848012447357, 0.14359456300735474, 0.1513606309890747, 0.15912671387195587, 0.16689278185367584, 0.174658864736557, 0.18242493271827698, 0.19019101560115814, 0.1979570984840393, 0.20572318136692047, 0.21348924934864044, 0.2212553322315216, 0.22902140021324158, 0.23678748309612274, 0.2445535659790039, 0.2523196339607239, 0.26008570194244385]}, "gradients/decoder.transformer.h.1.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 5.0, 5.0, 8.0, 6.0, 5.0, 6.0, 14.0, 16.0, 12.0, 13.0, 19.0, 18.0, 29.0, 29.0, 27.0, 38.0, 45.0, 40.0, 37.0, 42.0, 44.0, 45.0, 39.0, 44.0, 43.0, 42.0, 44.0, 42.0, 33.0, 29.0, 33.0, 29.0, 13.0, 15.0, 16.0, 14.0, 16.0, 12.0, 7.0, 12.0, 6.0, 5.0, 3.0, 4.0, 3.0, 2.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0296478271484375, -0.028665781021118164, -0.027683734893798828, -0.026701688766479492, -0.025719642639160156, -0.02473759651184082, -0.023755550384521484, -0.02277350425720215, -0.021791458129882812, -0.020809412002563477, -0.01982736587524414, -0.018845319747924805, -0.01786327362060547, -0.016881227493286133, -0.015899181365966797, -0.014917135238647461, -0.013935089111328125, -0.012953042984008789, -0.011970996856689453, -0.010988950729370117, -0.010006904602050781, -0.009024858474731445, -0.00804281234741211, -0.0070607662200927734, -0.0060787200927734375, -0.0050966739654541016, -0.004114627838134766, -0.0031325817108154297, -0.0021505355834960938, -0.0011684894561767578, -0.00018644332885742188, 0.0007956027984619141, 0.00177764892578125, 0.002759695053100586, 0.003741741180419922, 0.004723787307739258, 0.005705833435058594, 0.00668787956237793, 0.007669925689697266, 0.008651971817016602, 0.009634017944335938, 0.010616064071655273, 0.01159811019897461, 0.012580156326293945, 0.013562202453613281, 0.014544248580932617, 0.015526294708251953, 0.01650834083557129, 0.017490386962890625, 0.01847243309020996, 0.019454479217529297, 0.020436525344848633, 0.02141857147216797, 0.022400617599487305, 0.02338266372680664, 0.024364709854125977, 0.025346755981445312, 0.02632880210876465, 0.027310848236083984, 0.02829289436340332, 0.029274940490722656, 0.030256986618041992, 0.031239032745361328, 0.032221078872680664, 0.033203125]}, "gradients/decoder.transformer.h.1.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 0.0, 4.0, 8.0, 7.0, 18.0, 10.0, 13.0, 17.0, 27.0, 45.0, 66.0, 96.0, 134.0, 217.0, 320.0, 511.0, 736.0, 1105.0, 1708.0, 2698.0, 4456.0, 7763.0, 13934.0, 27705.0, 71980.0, 427338.0, 2452835.0, 974878.0, 124711.0, 38137.0, 17817.0, 9674.0, 5704.0, 3424.0, 2181.0, 1413.0, 869.0, 583.0, 355.0, 236.0, 158.0, 120.0, 75.0, 60.0, 32.0, 35.0, 19.0, 21.0, 9.0, 9.0, 7.0, 4.0, 4.0, 4.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.07135009765625, -0.0691680908203125, -0.066986083984375, -0.0648040771484375, -0.0626220703125, -0.0604400634765625, -0.058258056640625, -0.0560760498046875, -0.05389404296875, -0.0517120361328125, -0.049530029296875, -0.0473480224609375, -0.045166015625, -0.0429840087890625, -0.040802001953125, -0.0386199951171875, -0.03643798828125, -0.0342559814453125, -0.032073974609375, -0.0298919677734375, -0.0277099609375, -0.0255279541015625, -0.023345947265625, -0.0211639404296875, -0.01898193359375, -0.0167999267578125, -0.014617919921875, -0.0124359130859375, -0.01025390625, -0.0080718994140625, -0.005889892578125, -0.0037078857421875, -0.00152587890625, 0.0006561279296875, 0.002838134765625, 0.0050201416015625, 0.0072021484375, 0.0093841552734375, 0.011566162109375, 0.0137481689453125, 0.01593017578125, 0.0181121826171875, 0.020294189453125, 0.0224761962890625, 0.024658203125, 0.0268402099609375, 0.029022216796875, 0.0312042236328125, 0.03338623046875, 0.0355682373046875, 0.037750244140625, 0.0399322509765625, 0.0421142578125, 0.0442962646484375, 0.046478271484375, 0.0486602783203125, 0.05084228515625, 0.0530242919921875, 0.055206298828125, 0.0573883056640625, 0.0595703125, 0.0617523193359375, 0.063934326171875, 0.0661163330078125, 0.06829833984375]}, "gradients/decoder.transformer.h.1.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 1.0, 3.0, 2.0, 5.0, 3.0, 4.0, 6.0, 16.0, 13.0, 22.0, 30.0, 46.0, 68.0, 96.0, 132.0, 189.0, 250.0, 329.0, 479.0, 623.0, 511.0, 354.0, 247.0, 197.0, 132.0, 93.0, 64.0, 47.0, 28.0, 34.0, 13.0, 11.0, 8.0, 10.0, 4.0, 4.0, 2.0, 2.0, 4.0, 1.0, 2.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.037109375, -0.035536766052246094, -0.03396415710449219, -0.03239154815673828, -0.030818939208984375, -0.02924633026123047, -0.027673721313476562, -0.026101112365722656, -0.02452850341796875, -0.022955894470214844, -0.021383285522460938, -0.01981067657470703, -0.018238067626953125, -0.01666545867919922, -0.015092849731445312, -0.013520240783691406, -0.0119476318359375, -0.010375022888183594, -0.008802413940429688, -0.007229804992675781, -0.005657196044921875, -0.004084587097167969, -0.0025119781494140625, -0.0009393692016601562, 0.00063323974609375, 0.0022058486938476562, 0.0037784576416015625, 0.005351066589355469, 0.006923675537109375, 0.008496284484863281, 0.010068893432617188, 0.011641502380371094, 0.013214111328125, 0.014786720275878906, 0.016359329223632812, 0.01793193817138672, 0.019504547119140625, 0.02107715606689453, 0.022649765014648438, 0.024222373962402344, 0.02579498291015625, 0.027367591857910156, 0.028940200805664062, 0.03051280975341797, 0.032085418701171875, 0.03365802764892578, 0.03523063659667969, 0.036803245544433594, 0.0383758544921875, 0.039948463439941406, 0.04152107238769531, 0.04309368133544922, 0.044666290283203125, 0.04623889923095703, 0.04781150817871094, 0.049384117126464844, 0.05095672607421875, 0.052529335021972656, 0.05410194396972656, 0.05567455291748047, 0.057247161865234375, 0.05881977081298828, 0.06039237976074219, 0.061964988708496094, 0.06353759765625]}, "gradients/decoder.transformer.h.1.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 4.0, 4.0, 1.0, 0.0, 8.0, 5.0, 11.0, 15.0, 23.0, 27.0, 51.0, 126.0, 194.0, 412.0, 1108.0, 3682.0, 15958.0, 108218.0, 2275656.0, 1678632.0, 90926.0, 13967.0, 3453.0, 1022.0, 393.0, 177.0, 98.0, 41.0, 27.0, 18.0, 9.0, 7.0, 8.0, 6.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0], "bins": [-0.1427001953125, -0.13937854766845703, -0.13605690002441406, -0.1327352523803711, -0.12941360473632812, -0.12609195709228516, -0.12277030944824219, -0.11944866180419922, -0.11612701416015625, -0.11280536651611328, -0.10948371887207031, -0.10616207122802734, -0.10284042358398438, -0.0995187759399414, -0.09619712829589844, -0.09287548065185547, -0.0895538330078125, -0.08623218536376953, -0.08291053771972656, -0.0795888900756836, -0.07626724243164062, -0.07294559478759766, -0.06962394714355469, -0.06630229949951172, -0.06298065185546875, -0.05965900421142578, -0.05633735656738281, -0.053015708923339844, -0.049694061279296875, -0.046372413635253906, -0.04305076599121094, -0.03972911834716797, -0.036407470703125, -0.03308582305908203, -0.029764175415039062, -0.026442527770996094, -0.023120880126953125, -0.019799232482910156, -0.016477584838867188, -0.013155937194824219, -0.00983428955078125, -0.006512641906738281, -0.0031909942626953125, 0.00013065338134765625, 0.003452301025390625, 0.006773948669433594, 0.010095596313476562, 0.013417243957519531, 0.0167388916015625, 0.02006053924560547, 0.023382186889648438, 0.026703834533691406, 0.030025482177734375, 0.033347129821777344, 0.03666877746582031, 0.03999042510986328, 0.04331207275390625, 0.04663372039794922, 0.04995536804199219, 0.053277015686035156, 0.056598663330078125, 0.059920310974121094, 0.06324195861816406, 0.06656360626220703, 0.06988525390625]}, "gradients/decoder.transformer.h.1.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 5.0, 12.0, 26.0, 31.0, 47.0, 72.0, 109.0, 128.0, 133.0, 120.0, 102.0, 74.0, 56.0, 38.0, 26.0, 18.0, 4.0, 5.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.28001776337623596, -0.26980963349342346, -0.25960150361061096, -0.24939337372779846, -0.23918524384498596, -0.22897711396217346, -0.21876898407936096, -0.20856085419654846, -0.19835272431373596, -0.18814459443092346, -0.17793646454811096, -0.16772833466529846, -0.15752020478248596, -0.14731207489967346, -0.13710394501686096, -0.12689581513404846, -0.11668768525123596, -0.10647955536842346, -0.09627142548561096, -0.08606329560279846, -0.07585516571998596, -0.06564703583717346, -0.05543890595436096, -0.04523077607154846, -0.03502264618873596, -0.024814516305923462, -0.014606386423110962, -0.004398256540298462, 0.005809873342514038, 0.016018003225326538, 0.026226133108139038, 0.03643426299095154, 0.04664239287376404, 0.05685052275657654, 0.06705865263938904, 0.07726678252220154, 0.08747491240501404, 0.09768304228782654, 0.10789117217063904, 0.11809930205345154, 0.12830743193626404, 0.13851556181907654, 0.14872369170188904, 0.15893182158470154, 0.16913995146751404, 0.17934808135032654, 0.18955621123313904, 0.19976434111595154, 0.20997247099876404, 0.22018060088157654, 0.23038873076438904, 0.24059686064720154, 0.25080499053001404, 0.26101312041282654, 0.27122125029563904, 0.28142938017845154, 0.29163751006126404, 0.30184563994407654, 0.31205376982688904, 0.32226189970970154, 0.33247002959251404, 0.34267815947532654, 0.35288628935813904, 0.36309441924095154, 0.37330254912376404]}, "gradients/decoder.transformer.h.1.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 5.0, 3.0, 4.0, 5.0, 6.0, 5.0, 12.0, 9.0, 14.0, 20.0, 16.0, 27.0, 22.0, 26.0, 21.0, 37.0, 33.0, 30.0, 28.0, 29.0, 49.0, 33.0, 41.0, 42.0, 35.0, 41.0, 46.0, 43.0, 46.0, 28.0, 31.0, 29.0, 20.0, 30.0, 14.0, 21.0, 13.0, 14.0, 18.0, 11.0, 8.0, 13.0, 9.0, 4.0, 4.0, 4.0, 2.0, 4.0, 1.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1568232774734497, -0.15176962316036224, -0.14671596884727478, -0.1416623294353485, -0.13660867512226105, -0.13155502080917358, -0.12650138139724731, -0.12144772708415985, -0.11639407277107239, -0.11134041845798492, -0.10628677159547806, -0.10123312473297119, -0.09617947041988373, -0.09112581610679626, -0.0860721692442894, -0.08101852238178253, -0.07596486806869507, -0.0709112137556076, -0.06585756689310074, -0.060803916305303574, -0.05575026571750641, -0.050696615129709244, -0.04564296454191208, -0.040589313954114914, -0.03553566336631775, -0.030482012778520584, -0.02542836219072342, -0.020374711602926254, -0.01532106101512909, -0.010267410427331924, -0.0052137598395347595, -0.0001601092517375946, 0.00489354133605957, 0.009947191923856735, 0.0150008425116539, 0.020054493099451065, 0.02510814368724823, 0.030161794275045395, 0.03521544486284256, 0.040269095450639725, 0.04532274603843689, 0.050376396626234055, 0.05543004721403122, 0.060483697801828384, 0.06553734838962555, 0.07059100270271301, 0.07564464956521988, 0.08069829642772675, 0.08575195074081421, 0.09080560505390167, 0.09585925191640854, 0.1009128987789154, 0.10596655309200287, 0.11102020740509033, 0.1160738542675972, 0.12112750113010406, 0.12618115544319153, 0.131234809756279, 0.13628846406936646, 0.14134210348129272, 0.1463957577943802, 0.15144941210746765, 0.15650305151939392, 0.16155670583248138, 0.16661036014556885]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 6.0, 8.0, 8.0, 10.0, 10.0, 7.0, 20.0, 11.0, 20.0, 30.0, 30.0, 13.0, 39.0, 37.0, 39.0, 35.0, 39.0, 32.0, 41.0, 43.0, 45.0, 47.0, 43.0, 33.0, 39.0, 38.0, 37.0, 22.0, 32.0, 34.0, 21.0, 23.0, 18.0, 12.0, 16.0, 13.0, 13.0, 7.0, 6.0, 6.0, 4.0, 1.0, 4.0, 3.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02752685546875, -0.026554107666015625, -0.02558135986328125, -0.024608612060546875, -0.0236358642578125, -0.022663116455078125, -0.02169036865234375, -0.020717620849609375, -0.019744873046875, -0.018772125244140625, -0.01779937744140625, -0.016826629638671875, -0.0158538818359375, -0.014881134033203125, -0.01390838623046875, -0.012935638427734375, -0.011962890625, -0.010990142822265625, -0.01001739501953125, -0.009044647216796875, -0.0080718994140625, -0.007099151611328125, -0.00612640380859375, -0.005153656005859375, -0.004180908203125, -0.003208160400390625, -0.00223541259765625, -0.001262664794921875, -0.0002899169921875, 0.000682830810546875, 0.00165557861328125, 0.002628326416015625, 0.00360107421875, 0.004573822021484375, 0.00554656982421875, 0.006519317626953125, 0.0074920654296875, 0.008464813232421875, 0.00943756103515625, 0.010410308837890625, 0.011383056640625, 0.012355804443359375, 0.01332855224609375, 0.014301300048828125, 0.0152740478515625, 0.016246795654296875, 0.01721954345703125, 0.018192291259765625, 0.0191650390625, 0.020137786865234375, 0.02111053466796875, 0.022083282470703125, 0.0230560302734375, 0.024028778076171875, 0.02500152587890625, 0.025974273681640625, 0.026947021484375, 0.027919769287109375, 0.02889251708984375, 0.029865264892578125, 0.0308380126953125, 0.031810760498046875, 0.03278350830078125, 0.033756256103515625, 0.03472900390625]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 7.0, 10.0, 15.0, 14.0, 43.0, 50.0, 81.0, 116.0, 178.0, 321.0, 418.0, 688.0, 1058.0, 1640.0, 2643.0, 4093.0, 6447.0, 10401.0, 16721.0, 27058.0, 44729.0, 76635.0, 144362.0, 357827.0, 152005.0, 79635.0, 46748.0, 28190.0, 17106.0, 10794.0, 6761.0, 4248.0, 2681.0, 1755.0, 1088.0, 706.0, 446.0, 288.0, 181.0, 119.0, 82.0, 41.0, 50.0, 24.0, 12.0, 16.0, 10.0, 6.0, 5.0, 7.0, 3.0, 0.0, 1.0, 2.0], "bins": [-0.00029397010803222656, -0.0002852044999599457, -0.0002764388918876648, -0.0002676732838153839, -0.00025890767574310303, -0.00025014206767082214, -0.00024137645959854126, -0.00023261085152626038, -0.0002238452434539795, -0.0002150796353816986, -0.00020631402730941772, -0.00019754841923713684, -0.00018878281116485596, -0.00018001720309257507, -0.0001712515950202942, -0.0001624859869480133, -0.00015372037887573242, -0.00014495477080345154, -0.00013618916273117065, -0.00012742355465888977, -0.00011865794658660889, -0.000109892338514328, -0.00010112673044204712, -9.236112236976624e-05, -8.359551429748535e-05, -7.482990622520447e-05, -6.606429815292358e-05, -5.72986900806427e-05, -4.8533082008361816e-05, -3.976747393608093e-05, -3.100186586380005e-05, -2.2236257791519165e-05, -1.3470649719238281e-05, -4.7050416469573975e-06, 4.060566425323486e-06, 1.282617449760437e-05, 2.1591782569885254e-05, 3.0357390642166138e-05, 3.912299871444702e-05, 4.7888606786727905e-05, 5.665421485900879e-05, 6.541982293128967e-05, 7.418543100357056e-05, 8.295103907585144e-05, 9.171664714813232e-05, 0.00010048225522041321, 0.00010924786329269409, 0.00011801347136497498, 0.00012677907943725586, 0.00013554468750953674, 0.00014431029558181763, 0.0001530759036540985, 0.0001618415117263794, 0.00017060711979866028, 0.00017937272787094116, 0.00018813833594322205, 0.00019690394401550293, 0.0002056695520877838, 0.0002144351601600647, 0.00022320076823234558, 0.00023196637630462646, 0.00024073198437690735, 0.00024949759244918823, 0.0002582632005214691, 0.00026702880859375]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 1.0, 4.0, 0.0, 3.0, 3.0, 2.0, 8.0, 5.0, 4.0, 5.0, 8.0, 10.0, 19.0, 11.0, 18.0, 19.0, 26.0, 35.0, 37.0, 23.0, 43.0, 43.0, 33.0, 41.0, 44.0, 52.0, 1067.0, 46.0, 31.0, 41.0, 38.0, 34.0, 44.0, 22.0, 25.0, 25.0, 25.0, 19.0, 20.0, 21.0, 24.0, 10.0, 10.0, 8.0, 4.0, 8.0, 3.0, 8.0, 1.0, 3.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.03192138671875, -0.030989408493041992, -0.030057430267333984, -0.029125452041625977, -0.02819347381591797, -0.02726149559020996, -0.026329517364501953, -0.025397539138793945, -0.024465560913085938, -0.02353358268737793, -0.022601604461669922, -0.021669626235961914, -0.020737648010253906, -0.0198056697845459, -0.01887369155883789, -0.017941713333129883, -0.017009735107421875, -0.016077756881713867, -0.01514577865600586, -0.014213800430297852, -0.013281822204589844, -0.012349843978881836, -0.011417865753173828, -0.01048588752746582, -0.009553909301757812, -0.008621931076049805, -0.007689952850341797, -0.006757974624633789, -0.005825996398925781, -0.0048940181732177734, -0.003962039947509766, -0.003030061721801758, -0.00209808349609375, -0.0011661052703857422, -0.00023412704467773438, 0.0006978511810302734, 0.0016298294067382812, 0.002561807632446289, 0.003493785858154297, 0.004425764083862305, 0.0053577423095703125, 0.00628972053527832, 0.007221698760986328, 0.008153676986694336, 0.009085655212402344, 0.010017633438110352, 0.01094961166381836, 0.011881589889526367, 0.012813568115234375, 0.013745546340942383, 0.01467752456665039, 0.015609502792358398, 0.016541481018066406, 0.017473459243774414, 0.018405437469482422, 0.01933741569519043, 0.020269393920898438, 0.021201372146606445, 0.022133350372314453, 0.02306532859802246, 0.02399730682373047, 0.024929285049438477, 0.025861263275146484, 0.026793241500854492, 0.0277252197265625]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 0.0, 7.0, 5.0, 5.0, 9.0, 7.0, 12.0, 7.0, 20.0, 21.0, 23.0, 24.0, 17.0, 19.0, 28.0, 30.0, 57.0, 101.0, 221.0, 464.0, 1319.0, 6400.0, 2056440.0, 27709.0, 2591.0, 824.0, 317.0, 118.0, 84.0, 44.0, 33.0, 37.0, 27.0, 18.0, 15.0, 13.0, 14.0, 15.0, 6.0, 2.0, 10.0, 3.0, 6.0, 2.0, 2.0, 3.0, 2.0, 5.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7358531951904297e-05, -2.643931657075882e-05, -2.5520101189613342e-05, -2.4600885808467865e-05, -2.3681670427322388e-05, -2.276245504617691e-05, -2.1843239665031433e-05, -2.0924024283885956e-05, -2.000480890274048e-05, -1.9085593521595e-05, -1.8166378140449524e-05, -1.7247162759304047e-05, -1.632794737815857e-05, -1.5408731997013092e-05, -1.4489516615867615e-05, -1.3570301234722137e-05, -1.265108585357666e-05, -1.1731870472431183e-05, -1.0812655091285706e-05, -9.893439710140228e-06, -8.974224328994751e-06, -8.055008947849274e-06, -7.135793566703796e-06, -6.216578185558319e-06, -5.297362804412842e-06, -4.3781474232673645e-06, -3.458932042121887e-06, -2.53971666097641e-06, -1.6205012798309326e-06, -7.012858986854553e-07, 2.1792948246002197e-07, 1.1371448636054993e-06, 2.0563602447509766e-06, 2.975575625896454e-06, 3.894791007041931e-06, 4.8140063881874084e-06, 5.733221769332886e-06, 6.652437150478363e-06, 7.57165253162384e-06, 8.490867912769318e-06, 9.410083293914795e-06, 1.0329298675060272e-05, 1.124851405620575e-05, 1.2167729437351227e-05, 1.3086944818496704e-05, 1.4006160199642181e-05, 1.4925375580787659e-05, 1.5844590961933136e-05, 1.6763806343078613e-05, 1.768302172422409e-05, 1.8602237105369568e-05, 1.9521452486515045e-05, 2.0440667867660522e-05, 2.1359883248806e-05, 2.2279098629951477e-05, 2.3198314011096954e-05, 2.411752939224243e-05, 2.503674477338791e-05, 2.5955960154533386e-05, 2.6875175535678864e-05, 2.779439091682434e-05, 2.8713606297969818e-05, 2.9632821679115295e-05, 3.055203706026077e-05, 3.147125244140625e-05]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 6.0, 8.0, 8.0, 10.0, 10.0, 7.0, 20.0, 11.0, 20.0, 30.0, 30.0, 13.0, 39.0, 37.0, 39.0, 35.0, 39.0, 32.0, 41.0, 43.0, 45.0, 47.0, 43.0, 33.0, 39.0, 38.0, 37.0, 22.0, 32.0, 34.0, 21.0, 23.0, 18.0, 12.0, 16.0, 13.0, 13.0, 7.0, 6.0, 6.0, 4.0, 1.0, 4.0, 3.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02752685546875, -0.026554107666015625, -0.02558135986328125, -0.024608612060546875, -0.0236358642578125, -0.022663116455078125, -0.02169036865234375, -0.020717620849609375, -0.019744873046875, -0.018772125244140625, -0.01779937744140625, -0.016826629638671875, -0.0158538818359375, -0.014881134033203125, -0.01390838623046875, -0.012935638427734375, -0.011962890625, -0.010990142822265625, -0.01001739501953125, -0.009044647216796875, -0.0080718994140625, -0.007099151611328125, -0.00612640380859375, -0.005153656005859375, -0.004180908203125, -0.003208160400390625, -0.00223541259765625, -0.001262664794921875, -0.0002899169921875, 0.000682830810546875, 0.00165557861328125, 0.002628326416015625, 0.00360107421875, 0.004573822021484375, 0.00554656982421875, 0.006519317626953125, 0.0074920654296875, 0.008464813232421875, 0.00943756103515625, 0.010410308837890625, 0.011383056640625, 0.012355804443359375, 0.01332855224609375, 0.014301300048828125, 0.0152740478515625, 0.016246795654296875, 0.01721954345703125, 0.018192291259765625, 0.0191650390625, 0.020137786865234375, 0.02111053466796875, 0.022083282470703125, 0.0230560302734375, 0.024028778076171875, 0.02500152587890625, 0.025974273681640625, 0.026947021484375, 0.027919769287109375, 0.02889251708984375, 0.029865264892578125, 0.0308380126953125, 0.031810760498046875, 0.03278350830078125, 0.033756256103515625, 0.03472900390625]}, "gradients/decoder.transformer.h.1.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 7.0, 5.0, 3.0, 7.0, 19.0, 28.0, 27.0, 53.0, 99.0, 131.0, 262.0, 401.0, 723.0, 1236.0, 2215.0, 3645.0, 6736.0, 12416.0, 23413.0, 47204.0, 100129.0, 216249.0, 309117.0, 168115.0, 77425.0, 37301.0, 18694.0, 10178.0, 5374.0, 3066.0, 1774.0, 1021.0, 591.0, 384.0, 204.0, 104.0, 69.0, 59.0, 32.0, 19.0, 11.0, 7.0, 5.0, 5.0, 2.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03076171875, -0.029779911041259766, -0.02879810333251953, -0.027816295623779297, -0.026834487915039062, -0.025852680206298828, -0.024870872497558594, -0.02388906478881836, -0.022907257080078125, -0.02192544937133789, -0.020943641662597656, -0.019961833953857422, -0.018980026245117188, -0.017998218536376953, -0.01701641082763672, -0.016034603118896484, -0.01505279541015625, -0.014070987701416016, -0.013089179992675781, -0.012107372283935547, -0.011125564575195312, -0.010143756866455078, -0.009161949157714844, -0.00818014144897461, -0.007198333740234375, -0.006216526031494141, -0.005234718322753906, -0.004252910614013672, -0.0032711029052734375, -0.002289295196533203, -0.0013074874877929688, -0.0003256797790527344, 0.0006561279296875, 0.0016379356384277344, 0.0026197433471679688, 0.003601551055908203, 0.0045833587646484375, 0.005565166473388672, 0.006546974182128906, 0.007528781890869141, 0.008510589599609375, 0.00949239730834961, 0.010474205017089844, 0.011456012725830078, 0.012437820434570312, 0.013419628143310547, 0.014401435852050781, 0.015383243560791016, 0.01636505126953125, 0.017346858978271484, 0.01832866668701172, 0.019310474395751953, 0.020292282104492188, 0.021274089813232422, 0.022255897521972656, 0.02323770523071289, 0.024219512939453125, 0.02520132064819336, 0.026183128356933594, 0.027164936065673828, 0.028146743774414062, 0.029128551483154297, 0.03011035919189453, 0.031092166900634766, 0.032073974609375]}, "gradients/decoder.transformer.h.1.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 0.0, 0.0, 1.0, 2.0, 6.0, 9.0, 10.0, 10.0, 9.0, 18.0, 17.0, 26.0, 28.0, 14.0, 35.0, 35.0, 40.0, 43.0, 68.0, 81.0, 126.0, 250.0, 1421.0, 249.0, 117.0, 77.0, 54.0, 54.0, 49.0, 29.0, 28.0, 21.0, 29.0, 19.0, 14.0, 13.0, 11.0, 7.0, 6.0, 7.0, 6.0, 2.0, 3.0, 3.0, 2.0, 2.0, 7.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0911865234375, -0.08846187591552734, -0.08573722839355469, -0.08301258087158203, -0.08028793334960938, -0.07756328582763672, -0.07483863830566406, -0.0721139907836914, -0.06938934326171875, -0.0666646957397461, -0.06394004821777344, -0.06121540069580078, -0.058490753173828125, -0.05576610565185547, -0.05304145812988281, -0.050316810607910156, -0.0475921630859375, -0.044867515563964844, -0.04214286804199219, -0.03941822052001953, -0.036693572998046875, -0.03396892547607422, -0.031244277954101562, -0.028519630432128906, -0.02579498291015625, -0.023070335388183594, -0.020345687866210938, -0.01762104034423828, -0.014896392822265625, -0.012171745300292969, -0.009447097778320312, -0.006722450256347656, -0.003997802734375, -0.0012731552124023438, 0.0014514923095703125, 0.004176139831542969, 0.006900787353515625, 0.009625434875488281, 0.012350082397460938, 0.015074729919433594, 0.01779937744140625, 0.020524024963378906, 0.023248672485351562, 0.02597332000732422, 0.028697967529296875, 0.03142261505126953, 0.03414726257324219, 0.036871910095214844, 0.0395965576171875, 0.042321205139160156, 0.04504585266113281, 0.04777050018310547, 0.050495147705078125, 0.05321979522705078, 0.05594444274902344, 0.058669090270996094, 0.06139373779296875, 0.0641183853149414, 0.06684303283691406, 0.06956768035888672, 0.07229232788085938, 0.07501697540283203, 0.07774162292480469, 0.08046627044677734, 0.08319091796875]}, "gradients/decoder.transformer.h.1.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 6.0, 8.0, 5.0, 8.0, 13.0, 9.0, 8.0, 16.0, 26.0, 27.0, 50.0, 46.0, 67.0, 94.0, 106.0, 147.0, 224.0, 496.0, 2074.0, 24267.0, 2023859.0, 1073952.0, 17327.0, 1642.0, 395.0, 192.0, 152.0, 105.0, 88.0, 60.0, 60.0, 36.0, 40.0, 24.0, 23.0, 9.0, 9.0, 14.0, 6.0, 8.0, 8.0, 3.0, 2.0, 1.0, 0.0, 3.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.126953125, -0.12309932708740234, -0.11924552917480469, -0.11539173126220703, -0.11153793334960938, -0.10768413543701172, -0.10383033752441406, -0.0999765396118164, -0.09612274169921875, -0.0922689437866211, -0.08841514587402344, -0.08456134796142578, -0.08070755004882812, -0.07685375213623047, -0.07299995422363281, -0.06914615631103516, -0.0652923583984375, -0.061438560485839844, -0.05758476257324219, -0.05373096466064453, -0.049877166748046875, -0.04602336883544922, -0.04216957092285156, -0.038315773010253906, -0.03446197509765625, -0.030608177185058594, -0.026754379272460938, -0.02290058135986328, -0.019046783447265625, -0.015192985534667969, -0.011339187622070312, -0.007485389709472656, -0.003631591796875, 0.00022220611572265625, 0.0040760040283203125, 0.007929801940917969, 0.011783599853515625, 0.01563739776611328, 0.019491195678710938, 0.023344993591308594, 0.02719879150390625, 0.031052589416503906, 0.03490638732910156, 0.03876018524169922, 0.042613983154296875, 0.04646778106689453, 0.05032157897949219, 0.054175376892089844, 0.0580291748046875, 0.061882972717285156, 0.06573677062988281, 0.06959056854248047, 0.07344436645507812, 0.07729816436767578, 0.08115196228027344, 0.0850057601928711, 0.08885955810546875, 0.0927133560180664, 0.09656715393066406, 0.10042095184326172, 0.10427474975585938, 0.10812854766845703, 0.11198234558105469, 0.11583614349365234, 0.11968994140625]}, "gradients/decoder.transformer.h.1.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 12.0, 37.0, 110.0, 283.0, 304.0, 164.0, 80.0, 15.0, 5.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.285350501537323, -0.265248566865921, -0.24514663219451904, -0.22504469752311707, -0.2049427628517151, -0.1848408281803131, -0.16473889350891113, -0.14463695883750916, -0.12453502416610718, -0.1044330894947052, -0.08433115482330322, -0.06422922015190125, -0.04412728548049927, -0.02402535080909729, -0.0039234161376953125, 0.016178518533706665, 0.03628045320510864, 0.05638238787651062, 0.0764843225479126, 0.09658625721931458, 0.11668819189071655, 0.13679012656211853, 0.1568920612335205, 0.17699399590492249, 0.19709593057632446, 0.21719786524772644, 0.23729979991912842, 0.2574017345905304, 0.2775036692619324, 0.29760560393333435, 0.31770753860473633, 0.3378094732761383, 0.3579113483428955, 0.3780132830142975, 0.39811521768569946, 0.41821715235710144, 0.4383190870285034, 0.4584210216999054, 0.4785229563713074, 0.49862489104270935, 0.5187268257141113, 0.5388287305831909, 0.5589306950569153, 0.5790326595306396, 0.5991345643997192, 0.6192364692687988, 0.6393384337425232, 0.6594403982162476, 0.6795423030853271, 0.6996442079544067, 0.7197461724281311, 0.7398481369018555, 0.7599500417709351, 0.7800519466400146, 0.800153911113739, 0.8202558755874634, 0.840357780456543, 0.8604596853256226, 0.8805616497993469, 0.9006636142730713, 0.9207655191421509, 0.9408674240112305, 0.9609693884849548, 0.9810713529586792, 1.0011732578277588]}, "gradients/decoder.transformer.h.1.ln_1.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 6.0, 2.0, 6.0, 4.0, 12.0, 16.0, 12.0, 26.0, 22.0, 21.0, 23.0, 35.0, 25.0, 31.0, 44.0, 39.0, 38.0, 37.0, 37.0, 54.0, 45.0, 40.0, 58.0, 27.0, 27.0, 40.0, 30.0, 30.0, 29.0, 27.0, 18.0, 23.0, 24.0, 19.0, 15.0, 11.0, 8.0, 13.0, 6.0, 7.0, 5.0, 3.0, 4.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0], "bins": [-0.25852346420288086, -0.2507038712501526, -0.2428843080997467, -0.23506471514701843, -0.22724513709545135, -0.21942555904388428, -0.211605966091156, -0.20378638803958893, -0.19596680998802185, -0.18814723193645477, -0.1803276538848877, -0.17250806093215942, -0.16468848288059235, -0.15686890482902527, -0.149049311876297, -0.14122973382472992, -0.13341015577316284, -0.12559057772159576, -0.11777099221944809, -0.10995140671730042, -0.10213182866573334, -0.09431225061416626, -0.08649266511201859, -0.07867307960987091, -0.07085350155830383, -0.06303392350673676, -0.05521433800458908, -0.047394756227731705, -0.03957517445087433, -0.03175559267401695, -0.023936010897159576, -0.0161164291203022, -0.008296847343444824, -0.0004772655665874481, 0.007342316210269928, 0.015161897987127304, 0.02298147976398468, 0.030801061540842056, 0.03862064331769943, 0.04644022509455681, 0.054259806871414185, 0.06207938864827156, 0.06989897042512894, 0.07771855592727661, 0.08553813397884369, 0.09335771203041077, 0.10117729753255844, 0.10899688303470612, 0.1168164610862732, 0.12463603913784027, 0.13245561718940735, 0.14027521014213562, 0.1480947881937027, 0.15591436624526978, 0.16373395919799805, 0.17155353724956512, 0.1793731153011322, 0.18719269335269928, 0.19501227140426636, 0.20283186435699463, 0.2106514424085617, 0.21847102046012878, 0.22629061341285706, 0.23411019146442413, 0.2419297695159912]}, "gradients/decoder.transformer.h.0.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 7.0, 4.0, 2.0, 3.0, 9.0, 5.0, 9.0, 11.0, 10.0, 17.0, 21.0, 21.0, 22.0, 20.0, 23.0, 33.0, 48.0, 32.0, 41.0, 30.0, 41.0, 43.0, 44.0, 47.0, 52.0, 40.0, 38.0, 32.0, 31.0, 30.0, 30.0, 36.0, 22.0, 25.0, 21.0, 29.0, 14.0, 15.0, 13.0, 10.0, 6.0, 4.0, 5.0, 2.0, 2.0, 0.0, 5.0, 2.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0308074951171875, -0.02975153923034668, -0.02869558334350586, -0.02763962745666504, -0.02658367156982422, -0.0255277156829834, -0.024471759796142578, -0.023415803909301758, -0.022359848022460938, -0.021303892135620117, -0.020247936248779297, -0.019191980361938477, -0.018136024475097656, -0.017080068588256836, -0.016024112701416016, -0.014968156814575195, -0.013912200927734375, -0.012856245040893555, -0.011800289154052734, -0.010744333267211914, -0.009688377380371094, -0.008632421493530273, -0.007576465606689453, -0.006520509719848633, -0.0054645538330078125, -0.004408597946166992, -0.003352642059326172, -0.0022966861724853516, -0.0012407302856445312, -0.00018477439880371094, 0.0008711814880371094, 0.0019271373748779297, 0.00298309326171875, 0.00403904914855957, 0.005095005035400391, 0.006150960922241211, 0.007206916809082031, 0.008262872695922852, 0.009318828582763672, 0.010374784469604492, 0.011430740356445312, 0.012486696243286133, 0.013542652130126953, 0.014598608016967773, 0.015654563903808594, 0.016710519790649414, 0.017766475677490234, 0.018822431564331055, 0.019878387451171875, 0.020934343338012695, 0.021990299224853516, 0.023046255111694336, 0.024102210998535156, 0.025158166885375977, 0.026214122772216797, 0.027270078659057617, 0.028326034545898438, 0.029381990432739258, 0.030437946319580078, 0.0314939022064209, 0.03254985809326172, 0.03360581398010254, 0.03466176986694336, 0.03571772575378418, 0.036773681640625]}, "gradients/decoder.transformer.h.0.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 8.0, 7.0, 10.0, 12.0, 16.0, 21.0, 23.0, 39.0, 45.0, 73.0, 94.0, 123.0, 156.0, 234.0, 352.0, 421.0, 609.0, 993.0, 1893.0, 5381.0, 26517.0, 224954.0, 2801336.0, 1028303.0, 82770.0, 12686.0, 3146.0, 1341.0, 795.0, 518.0, 370.0, 253.0, 199.0, 155.0, 112.0, 91.0, 69.0, 35.0, 30.0, 30.0, 16.0, 13.0, 12.0, 6.0, 7.0, 4.0, 3.0, 9.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.2037353515625, -0.1973247528076172, -0.19091415405273438, -0.18450355529785156, -0.17809295654296875, -0.17168235778808594, -0.16527175903320312, -0.1588611602783203, -0.1524505615234375, -0.1460399627685547, -0.13962936401367188, -0.13321876525878906, -0.12680816650390625, -0.12039756774902344, -0.11398696899414062, -0.10757637023925781, -0.101165771484375, -0.09475517272949219, -0.08834457397460938, -0.08193397521972656, -0.07552337646484375, -0.06911277770996094, -0.06270217895507812, -0.05629158020019531, -0.0498809814453125, -0.04347038269042969, -0.037059783935546875, -0.030649185180664062, -0.02423858642578125, -0.017827987670898438, -0.011417388916015625, -0.0050067901611328125, 0.00140380859375, 0.007814407348632812, 0.014225006103515625, 0.020635604858398438, 0.02704620361328125, 0.03345680236816406, 0.039867401123046875, 0.04627799987792969, 0.0526885986328125, 0.05909919738769531, 0.06550979614257812, 0.07192039489746094, 0.07833099365234375, 0.08474159240722656, 0.09115219116210938, 0.09756278991699219, 0.103973388671875, 0.11038398742675781, 0.11679458618164062, 0.12320518493652344, 0.12961578369140625, 0.13602638244628906, 0.14243698120117188, 0.1488475799560547, 0.1552581787109375, 0.1616687774658203, 0.16807937622070312, 0.17448997497558594, 0.18090057373046875, 0.18731117248535156, 0.19372177124023438, 0.2001323699951172, 0.20654296875]}, "gradients/decoder.transformer.h.0.mlp.c_fc.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 5.0, 3.0, 9.0, 13.0, 12.0, 13.0, 15.0, 27.0, 32.0, 60.0, 61.0, 87.0, 114.0, 126.0, 154.0, 180.0, 255.0, 312.0, 351.0, 402.0, 333.0, 321.0, 223.0, 211.0, 181.0, 151.0, 105.0, 72.0, 67.0, 43.0, 31.0, 30.0, 21.0, 16.0, 19.0, 9.0, 5.0, 6.0, 4.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.06787109375, -0.06556320190429688, -0.06325531005859375, -0.060947418212890625, -0.0586395263671875, -0.056331634521484375, -0.05402374267578125, -0.051715850830078125, -0.049407958984375, -0.047100067138671875, -0.04479217529296875, -0.042484283447265625, -0.0401763916015625, -0.037868499755859375, -0.03556060791015625, -0.033252716064453125, -0.03094482421875, -0.028636932373046875, -0.02632904052734375, -0.024021148681640625, -0.0217132568359375, -0.019405364990234375, -0.01709747314453125, -0.014789581298828125, -0.012481689453125, -0.010173797607421875, -0.00786590576171875, -0.005558013916015625, -0.0032501220703125, -0.000942230224609375, 0.00136566162109375, 0.003673553466796875, 0.0059814453125, 0.008289337158203125, 0.01059722900390625, 0.012905120849609375, 0.0152130126953125, 0.017520904541015625, 0.01982879638671875, 0.022136688232421875, 0.024444580078125, 0.026752471923828125, 0.02906036376953125, 0.031368255615234375, 0.0336761474609375, 0.035984039306640625, 0.03829193115234375, 0.040599822998046875, 0.04290771484375, 0.045215606689453125, 0.04752349853515625, 0.049831390380859375, 0.0521392822265625, 0.054447174072265625, 0.05675506591796875, 0.059062957763671875, 0.061370849609375, 0.06367874145507812, 0.06598663330078125, 0.06829452514648438, 0.0706024169921875, 0.07291030883789062, 0.07521820068359375, 0.07752609252929688, 0.079833984375]}, "gradients/decoder.transformer.h.0.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 3.0, 1.0, 4.0, 4.0, 6.0, 8.0, 11.0, 28.0, 21.0, 27.0, 50.0, 82.0, 106.0, 230.0, 502.0, 1360.0, 5054.0, 37582.0, 525204.0, 3139268.0, 445196.0, 32580.0, 4600.0, 1246.0, 489.0, 237.0, 127.0, 80.0, 55.0, 41.0, 25.0, 18.0, 12.0, 9.0, 7.0, 3.0, 4.0, 2.0, 1.0, 1.0, 1.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.184814453125, -0.1789417266845703, -0.17306900024414062, -0.16719627380371094, -0.16132354736328125, -0.15545082092285156, -0.14957809448242188, -0.1437053680419922, -0.1378326416015625, -0.1319599151611328, -0.12608718872070312, -0.12021446228027344, -0.11434173583984375, -0.10846900939941406, -0.10259628295898438, -0.09672355651855469, -0.090850830078125, -0.08497810363769531, -0.07910537719726562, -0.07323265075683594, -0.06735992431640625, -0.06148719787597656, -0.055614471435546875, -0.04974174499511719, -0.0438690185546875, -0.03799629211425781, -0.032123565673828125, -0.026250839233398438, -0.02037811279296875, -0.014505386352539062, -0.008632659912109375, -0.0027599334716796875, 0.00311279296875, 0.008985519409179688, 0.014858245849609375, 0.020730972290039062, 0.02660369873046875, 0.03247642517089844, 0.038349151611328125, 0.04422187805175781, 0.0500946044921875, 0.05596733093261719, 0.061840057373046875, 0.06771278381347656, 0.07358551025390625, 0.07945823669433594, 0.08533096313476562, 0.09120368957519531, 0.097076416015625, 0.10294914245605469, 0.10882186889648438, 0.11469459533691406, 0.12056732177734375, 0.12644004821777344, 0.13231277465820312, 0.1381855010986328, 0.1440582275390625, 0.1499309539794922, 0.15580368041992188, 0.16167640686035156, 0.16754913330078125, 0.17342185974121094, 0.17929458618164062, 0.1851673126220703, 0.1910400390625]}, "gradients/decoder.transformer.h.0.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 6.0, 7.0, 7.0, 10.0, 11.0, 24.0, 38.0, 40.0, 37.0, 57.0, 71.0, 49.0, 65.0, 89.0, 65.0, 66.0, 65.0, 53.0, 48.0, 38.0, 43.0, 22.0, 21.0, 24.0, 19.0, 8.0, 3.0, 8.0, 3.0, 1.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.4674987494945526, -0.44850417971611023, -0.42950960993766785, -0.41051504015922546, -0.3915204703807831, -0.3725259006023407, -0.3535313308238983, -0.33453676104545593, -0.31554219126701355, -0.29654762148857117, -0.2775530517101288, -0.2585584819316864, -0.23956391215324402, -0.22056934237480164, -0.20157477259635925, -0.18258020281791687, -0.1635856330394745, -0.1445910632610321, -0.12559649348258972, -0.10660192370414734, -0.08760735392570496, -0.06861278414726257, -0.04961821436882019, -0.030623644590377808, -0.011629074811935425, 0.007365494966506958, 0.02636006474494934, 0.045354634523391724, 0.0643492043018341, 0.08334377408027649, 0.10233834385871887, 0.12133291363716125, 0.14032745361328125, 0.15932202339172363, 0.17831659317016602, 0.1973111629486084, 0.21630573272705078, 0.23530030250549316, 0.25429487228393555, 0.27328944206237793, 0.2922840118408203, 0.3112785816192627, 0.3302731513977051, 0.34926772117614746, 0.36826229095458984, 0.3872568607330322, 0.4062514305114746, 0.425246000289917, 0.4442405700683594, 0.46323513984680176, 0.48222970962524414, 0.5012242794036865, 0.5202188491821289, 0.5392134189605713, 0.5582079887390137, 0.577202558517456, 0.5961971282958984, 0.6151916980743408, 0.6341862678527832, 0.6531808376312256, 0.672175407409668, 0.6911699771881104, 0.7101645469665527, 0.7291591167449951, 0.7481536865234375]}, "gradients/decoder.transformer.h.0.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 3.0, 6.0, 7.0, 5.0, 5.0, 4.0, 11.0, 12.0, 12.0, 21.0, 23.0, 29.0, 33.0, 32.0, 33.0, 38.0, 45.0, 34.0, 47.0, 32.0, 44.0, 49.0, 42.0, 50.0, 46.0, 40.0, 37.0, 37.0, 33.0, 33.0, 20.0, 27.0, 20.0, 14.0, 20.0, 9.0, 14.0, 9.0, 4.0, 5.0, 5.0, 6.0, 5.0, 2.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4928513765335083, -0.4781046509742737, -0.4633578956127167, -0.44861114025115967, -0.43386441469192505, -0.41911768913269043, -0.4043709337711334, -0.3896241784095764, -0.3748774528503418, -0.3601307272911072, -0.34538397192955017, -0.33063721656799316, -0.31589049100875854, -0.3011437654495239, -0.2863970100879669, -0.2716502547264099, -0.2569035291671753, -0.24215678870677948, -0.22741004824638367, -0.21266330778598785, -0.19791656732559204, -0.18316982686519623, -0.16842308640480042, -0.1536763459444046, -0.1389296054840088, -0.12418286502361298, -0.10943612456321716, -0.09468938410282135, -0.07994264364242554, -0.06519590318202972, -0.05044916272163391, -0.0357024222612381, -0.020955681800842285, -0.006208941340446472, 0.00853779911994934, 0.023284539580345154, 0.03803128004074097, 0.05277802050113678, 0.06752476096153259, 0.0822715014219284, 0.09701824188232422, 0.11176498234272003, 0.12651172280311584, 0.14125846326351166, 0.15600520372390747, 0.17075194418430328, 0.1854986846446991, 0.2002454251050949, 0.21499216556549072, 0.22973890602588654, 0.24448564648628235, 0.25923240184783936, 0.273979127407074, 0.2887258529663086, 0.3034726083278656, 0.3182193636894226, 0.3329660892486572, 0.34771281480789185, 0.36245957016944885, 0.37720632553100586, 0.3919530510902405, 0.4066997766494751, 0.4214465320110321, 0.4361932873725891, 0.45094001293182373]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 4.0, 9.0, 8.0, 8.0, 10.0, 18.0, 17.0, 22.0, 22.0, 35.0, 41.0, 26.0, 37.0, 47.0, 37.0, 51.0, 41.0, 57.0, 49.0, 51.0, 63.0, 53.0, 46.0, 28.0, 27.0, 36.0, 26.0, 22.0, 17.0, 19.0, 14.0, 11.0, 17.0, 5.0, 7.0, 3.0, 6.0, 5.0, 3.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.123046875, -1.09100341796875, -1.0589599609375, -1.02691650390625, -0.994873046875, -0.96282958984375, -0.9307861328125, -0.89874267578125, -0.86669921875, -0.83465576171875, -0.8026123046875, -0.77056884765625, -0.738525390625, -0.70648193359375, -0.6744384765625, -0.64239501953125, -0.6103515625, -0.57830810546875, -0.5462646484375, -0.51422119140625, -0.482177734375, -0.45013427734375, -0.4180908203125, -0.38604736328125, -0.35400390625, -0.32196044921875, -0.2899169921875, -0.25787353515625, -0.225830078125, -0.19378662109375, -0.1617431640625, -0.12969970703125, -0.09765625, -0.06561279296875, -0.0335693359375, -0.00152587890625, 0.030517578125, 0.06256103515625, 0.0946044921875, 0.12664794921875, 0.15869140625, 0.19073486328125, 0.2227783203125, 0.25482177734375, 0.286865234375, 0.31890869140625, 0.3509521484375, 0.38299560546875, 0.4150390625, 0.44708251953125, 0.4791259765625, 0.51116943359375, 0.543212890625, 0.57525634765625, 0.6072998046875, 0.63934326171875, 0.67138671875, 0.70343017578125, 0.7354736328125, 0.76751708984375, 0.799560546875, 0.83160400390625, 0.8636474609375, 0.89569091796875, 0.927734375]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 5.0, 6.0, 2.0, 1.0, 7.0, 14.0, 21.0, 28.0, 27.0, 40.0, 66.0, 102.0, 128.0, 204.0, 314.0, 449.0, 704.0, 1111.0, 1790.0, 2776.0, 4603.0, 7481.0, 12640.0, 21322.0, 37803.0, 70016.0, 154526.0, 411887.0, 156692.0, 71623.0, 38187.0, 21303.0, 12601.0, 7503.0, 4556.0, 2912.0, 1756.0, 1126.0, 759.0, 480.0, 323.0, 236.0, 138.0, 98.0, 72.0, 46.0, 32.0, 19.0, 12.0, 9.0, 4.0, 5.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.006114959716796875, -0.005920886993408203, -0.005726814270019531, -0.005532741546630859, -0.0053386688232421875, -0.005144596099853516, -0.004950523376464844, -0.004756450653076172, -0.0045623779296875, -0.004368305206298828, -0.004174232482910156, -0.003980159759521484, -0.0037860870361328125, -0.0035920143127441406, -0.0033979415893554688, -0.003203868865966797, -0.003009796142578125, -0.002815723419189453, -0.0026216506958007812, -0.0024275779724121094, -0.0022335052490234375, -0.0020394325256347656, -0.0018453598022460938, -0.0016512870788574219, -0.00145721435546875, -0.0012631416320800781, -0.0010690689086914062, -0.0008749961853027344, -0.0006809234619140625, -0.0004868507385253906, -0.00029277801513671875, -9.870529174804688e-05, 9.5367431640625e-05, 0.0002894401550292969, 0.00048351287841796875, 0.0006775856018066406, 0.0008716583251953125, 0.0010657310485839844, 0.0012598037719726562, 0.0014538764953613281, 0.00164794921875, 0.0018420219421386719, 0.0020360946655273438, 0.0022301673889160156, 0.0024242401123046875, 0.0026183128356933594, 0.0028123855590820312, 0.003006458282470703, 0.003200531005859375, 0.003394603729248047, 0.0035886764526367188, 0.0037827491760253906, 0.0039768218994140625, 0.004170894622802734, 0.004364967346191406, 0.004559040069580078, 0.00475311279296875, 0.004947185516357422, 0.005141258239746094, 0.005335330963134766, 0.0055294036865234375, 0.005723476409912109, 0.005917549133300781, 0.006111621856689453, 0.006305694580078125]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 7.0, 2.0, 7.0, 6.0, 8.0, 12.0, 9.0, 23.0, 31.0, 21.0, 25.0, 23.0, 41.0, 24.0, 41.0, 35.0, 41.0, 49.0, 49.0, 1081.0, 46.0, 36.0, 54.0, 50.0, 38.0, 38.0, 26.0, 29.0, 33.0, 26.0, 26.0, 17.0, 20.0, 11.0, 13.0, 6.0, 4.0, 6.0, 5.0, 5.0, 0.0, 3.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.82763671875, -0.80322265625, -0.77880859375, -0.75439453125, -0.72998046875, -0.70556640625, -0.68115234375, -0.65673828125, -0.63232421875, -0.60791015625, -0.58349609375, -0.55908203125, -0.53466796875, -0.51025390625, -0.48583984375, -0.46142578125, -0.43701171875, -0.41259765625, -0.38818359375, -0.36376953125, -0.33935546875, -0.31494140625, -0.29052734375, -0.26611328125, -0.24169921875, -0.21728515625, -0.19287109375, -0.16845703125, -0.14404296875, -0.11962890625, -0.09521484375, -0.07080078125, -0.04638671875, -0.02197265625, 0.00244140625, 0.02685546875, 0.05126953125, 0.07568359375, 0.10009765625, 0.12451171875, 0.14892578125, 0.17333984375, 0.19775390625, 0.22216796875, 0.24658203125, 0.27099609375, 0.29541015625, 0.31982421875, 0.34423828125, 0.36865234375, 0.39306640625, 0.41748046875, 0.44189453125, 0.46630859375, 0.49072265625, 0.51513671875, 0.53955078125, 0.56396484375, 0.58837890625, 0.61279296875, 0.63720703125, 0.66162109375, 0.68603515625, 0.71044921875, 0.73486328125]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 4.0, 2.0, 5.0, 6.0, 6.0, 6.0, 16.0, 14.0, 16.0, 21.0, 19.0, 38.0, 26.0, 29.0, 32.0, 66.0, 106.0, 309.0, 958.0, 3886.0, 449684.0, 1636269.0, 3927.0, 981.0, 285.0, 117.0, 57.0, 34.0, 32.0, 25.0, 19.0, 30.0, 33.0, 15.0, 16.0, 11.0, 7.0, 3.0, 7.0, 8.0, 4.0, 2.0, 3.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0007181167602539062, -0.0006949529051780701, -0.0006717890501022339, -0.0006486251950263977, -0.0006254613399505615, -0.0006022974848747253, -0.0005791336297988892, -0.000555969774723053, -0.0005328059196472168, -0.0005096420645713806, -0.00048647820949554443, -0.00046331435441970825, -0.00044015049934387207, -0.0004169866442680359, -0.0003938227891921997, -0.0003706589341163635, -0.00034749507904052734, -0.00032433122396469116, -0.000301167368888855, -0.0002780035138130188, -0.0002548396587371826, -0.00023167580366134644, -0.00020851194858551025, -0.00018534809350967407, -0.0001621842384338379, -0.0001390203833580017, -0.00011585652828216553, -9.269267320632935e-05, -6.952881813049316e-05, -4.636496305465698e-05, -2.32011079788208e-05, -3.725290298461914e-08, 2.3126602172851562e-05, 4.6290457248687744e-05, 6.945431232452393e-05, 9.261816740036011e-05, 0.00011578202247619629, 0.00013894587755203247, 0.00016210973262786865, 0.00018527358770370483, 0.00020843744277954102, 0.0002316012978553772, 0.0002547651529312134, 0.00027792900800704956, 0.00030109286308288574, 0.0003242567181587219, 0.0003474205732345581, 0.0003705844283103943, 0.00039374828338623047, 0.00041691213846206665, 0.00044007599353790283, 0.000463239848613739, 0.0004864037036895752, 0.0005095675587654114, 0.0005327314138412476, 0.0005558952689170837, 0.0005790591239929199, 0.0006022229790687561, 0.0006253868341445923, 0.0006485506892204285, 0.0006717145442962646, 0.0006948783993721008, 0.000718042254447937, 0.0007412061095237732, 0.0007643699645996094]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.bias": {"_type": "histogram", "values": [9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 16.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 38.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 888.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 40.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.300366759300232e-07, -2.2165477275848389e-07, -2.1327286958694458e-07, -2.0489096641540527e-07, -1.9650906324386597e-07, -1.8812716007232666e-07, -1.7974525690078735e-07, -1.7136335372924805e-07, -1.6298145055770874e-07, -1.5459954738616943e-07, -1.4621764421463013e-07, -1.3783574104309082e-07, -1.2945383787155151e-07, -1.210719347000122e-07, -1.126900315284729e-07, -1.043081283569336e-07, -9.592622518539429e-08, -8.754432201385498e-08, -7.916241884231567e-08, -7.078051567077637e-08, -6.239861249923706e-08, -5.4016709327697754e-08, -4.563480615615845e-08, -3.725290298461914e-08, -2.8870999813079834e-08, -2.0489096641540527e-08, -1.210719347000122e-08, -3.725290298461914e-09, 4.6566128730773926e-09, 1.30385160446167e-08, 2.1420419216156006e-08, 2.9802322387695312e-08, 3.818422555923462e-08, 4.6566128730773926e-08, 5.494803190231323e-08, 6.332993507385254e-08, 7.171183824539185e-08, 8.009374141693115e-08, 8.847564458847046e-08, 9.685754776000977e-08, 1.0523945093154907e-07, 1.1362135410308838e-07, 1.2200325727462769e-07, 1.30385160446167e-07, 1.387670636177063e-07, 1.471489667892456e-07, 1.555308699607849e-07, 1.6391277313232422e-07, 1.7229467630386353e-07, 1.8067657947540283e-07, 1.8905848264694214e-07, 1.9744038581848145e-07, 2.0582228899002075e-07, 2.1420419216156006e-07, 2.2258609533309937e-07, 2.3096799850463867e-07, 2.39349901676178e-07, 2.477318048477173e-07, 2.561137080192566e-07, 2.644956111907959e-07, 2.728775143623352e-07, 2.812594175338745e-07, 2.896413207054138e-07, 2.980232238769531e-07]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 4.0, 1.0, 0.0, 11.0, 0.0, 1.0, 4.0, 12.0, 0.0, 12.0, 19.0, 26.0, 25.0, 39.0, 68.0, 0.0, 60.0, 122.0, 242.0, 457.0, 788.0, 0.0, 1804.0, 3484.0, 6270.0, 12684.0, 27200.0, 0.0, 941901.0, 27444.0, 12574.0, 6188.0, 3338.0, 1734.0, 0.0, 881.0, 494.0, 260.0, 117.0, 59.0, 0.0, 81.0, 50.0, 21.0, 44.0, 15.0, 10.0, 0.0, 10.0, 5.0, 0.0, 0.0, 7.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.6093254089355469e-06, -1.559033989906311e-06, -1.5087425708770752e-06, -1.4584511518478394e-06, -1.4081597328186035e-06, -1.3578683137893677e-06, -1.3075768947601318e-06, -1.257285475730896e-06, -1.2069940567016602e-06, -1.1567026376724243e-06, -1.1064112186431885e-06, -1.0561197996139526e-06, -1.0058283805847168e-06, -9.55536961555481e-07, -9.052455425262451e-07, -8.549541234970093e-07, -8.046627044677734e-07, -7.543712854385376e-07, -7.040798664093018e-07, -6.537884473800659e-07, -6.034970283508301e-07, -5.532056093215942e-07, -5.029141902923584e-07, -4.5262277126312256e-07, -4.023313522338867e-07, -3.520399332046509e-07, -3.0174851417541504e-07, -2.514570951461792e-07, -2.0116567611694336e-07, -1.5087425708770752e-07, -1.0058283805847168e-07, -5.029141902923584e-08, 0.0, 5.029141902923584e-08, 1.0058283805847168e-07, 1.5087425708770752e-07, 2.0116567611694336e-07, 2.514570951461792e-07, 3.0174851417541504e-07, 3.520399332046509e-07, 4.023313522338867e-07, 4.5262277126312256e-07, 5.029141902923584e-07, 5.532056093215942e-07, 6.034970283508301e-07, 6.537884473800659e-07, 7.040798664093018e-07, 7.543712854385376e-07, 8.046627044677734e-07, 8.549541234970093e-07, 9.052455425262451e-07, 9.55536961555481e-07, 1.0058283805847168e-06, 1.0561197996139526e-06, 1.1064112186431885e-06, 1.1567026376724243e-06, 1.2069940567016602e-06, 1.257285475730896e-06, 1.3075768947601318e-06, 1.3578683137893677e-06, 1.4081597328186035e-06, 1.4584511518478394e-06, 1.5087425708770752e-06, 1.559033989906311e-06, 1.6093254089355469e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.weight": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 6.0, 5.0, 8.0, 11.0, 6.0, 21.0, 23.0, 45.0, 44.0, 74.0, 83.0, 135.0, 71.0, 70.0, 92.0, 57.0, 51.0, 38.0, 33.0, 26.0, 24.0, 14.0, 9.0, 8.0, 12.0, 5.0, 8.0, 4.0, 5.0, 4.0, 6.0, 1.0, 1.0, 2.0, 0.0, 2.0, 3.0, 4.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.8805424651400244e-07, -3.6195365282765124e-07, -3.3585305914130004e-07, -3.0975246545494883e-07, -2.8365187176859763e-07, -2.5755127808224643e-07, -2.314506701850405e-07, -2.053500764986893e-07, -1.792494828123381e-07, -1.531488891259869e-07, -1.270482954396357e-07, -1.0094769464785713e-07, -7.484710096150593e-08, -4.874650016972737e-08, -2.2645906483376166e-08, 3.4546872029750375e-09, 2.955528088932624e-08, 5.5655874575677444e-08, 8.175646826202865e-08, 1.0785706905380721e-07, 1.3395765563473105e-07, 1.6005826353193697e-07, 1.8615885721828818e-07, 2.1225945090463938e-07, 2.3836004459099058e-07, 2.644606524881965e-07, 2.905612461745477e-07, 3.166618398608989e-07, 3.427624335472501e-07, 3.688630272336013e-07, 3.949636209199525e-07, 4.210642146063037e-07, 4.4716483671436436e-07, 4.7326543040071556e-07, 4.993660240870668e-07, 5.254666461951274e-07, 5.515672114597692e-07, 5.776678335678298e-07, 6.037683988324716e-07, 6.298690209405322e-07, 6.55969586205174e-07, 6.820702083132346e-07, 7.081707735778764e-07, 7.34271395685937e-07, 7.603719609505788e-07, 7.864725830586394e-07, 8.125731483232812e-07, 8.386737704313418e-07, 8.647743925394025e-07, 8.908750146474631e-07, 9.169755799121049e-07, 9.430762020201655e-07, 9.691767672848073e-07, 9.95277332549449e-07, 1.0213780115009286e-06, 1.0474785767655703e-06, 1.073579142030212e-06, 1.0996797072948539e-06, 1.1257803862463334e-06, 1.1518809515109751e-06, 1.177981516775617e-06, 1.2040820820402587e-06, 1.2301827609917382e-06, 1.25628332625638e-06, 1.2823838915210217e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 7.0, 0.0, 0.0, 20.0, 0.0, 0.0, 26.0, 0.0, 0.0, 42.0, 0.0, 0.0, 0.0, 66.0, 0.0, 0.0, 86.0, 0.0, 0.0, 100.0, 0.0, 0.0, 109.0, 0.0, 0.0, 131.0, 0.0, 0.0, 0.0, 107.0, 0.0, 0.0, 83.0, 0.0, 0.0, 59.0, 0.0, 0.0, 79.0, 0.0, 0.0, 41.0, 0.0, 0.0, 0.0, 37.0, 0.0, 0.0, 15.0, 0.0, 0.0, 10.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-5.364418029785156e-07, -5.178153514862061e-07, -4.991888999938965e-07, -4.805624485015869e-07, -4.6193599700927734e-07, -4.4330954551696777e-07, -4.246830940246582e-07, -4.0605664253234863e-07, -3.8743019104003906e-07, -3.688037395477295e-07, -3.501772880554199e-07, -3.3155083656311035e-07, -3.129243850708008e-07, -2.942979335784912e-07, -2.7567148208618164e-07, -2.5704503059387207e-07, -2.384185791015625e-07, -2.1979212760925293e-07, -2.0116567611694336e-07, -1.825392246246338e-07, -1.6391277313232422e-07, -1.4528632164001465e-07, -1.2665987014770508e-07, -1.0803341865539551e-07, -8.940696716308594e-08, -7.078051567077637e-08, -5.21540641784668e-08, -3.3527612686157227e-08, -1.4901161193847656e-08, 3.725290298461914e-09, 2.2351741790771484e-08, 4.0978193283081055e-08, 5.960464477539063e-08, 7.82310962677002e-08, 9.685754776000977e-08, 1.1548399925231934e-07, 1.341104507446289e-07, 1.5273690223693848e-07, 1.7136335372924805e-07, 1.8998980522155762e-07, 2.086162567138672e-07, 2.2724270820617676e-07, 2.4586915969848633e-07, 2.644956111907959e-07, 2.8312206268310547e-07, 3.0174851417541504e-07, 3.203749656677246e-07, 3.390014171600342e-07, 3.5762786865234375e-07, 3.762543201446533e-07, 3.948807716369629e-07, 4.1350722312927246e-07, 4.3213367462158203e-07, 4.507601261138916e-07, 4.6938657760620117e-07, 4.880130290985107e-07, 5.066394805908203e-07, 5.252659320831299e-07, 5.438923835754395e-07, 5.62518835067749e-07, 5.811452865600586e-07, 5.997717380523682e-07, 6.183981895446777e-07, 6.370246410369873e-07, 6.556510925292969e-07]}, "gradients/decoder.transformer.h.0.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 4.0, 9.0, 8.0, 8.0, 10.0, 18.0, 17.0, 22.0, 22.0, 35.0, 41.0, 26.0, 37.0, 47.0, 37.0, 51.0, 41.0, 57.0, 49.0, 51.0, 63.0, 53.0, 46.0, 28.0, 27.0, 36.0, 26.0, 22.0, 17.0, 19.0, 14.0, 11.0, 17.0, 5.0, 7.0, 3.0, 6.0, 5.0, 3.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.123046875, -1.09100341796875, -1.0589599609375, -1.02691650390625, -0.994873046875, -0.96282958984375, -0.9307861328125, -0.89874267578125, -0.86669921875, -0.83465576171875, -0.8026123046875, -0.77056884765625, -0.738525390625, -0.70648193359375, -0.6744384765625, -0.64239501953125, -0.6103515625, -0.57830810546875, -0.5462646484375, -0.51422119140625, -0.482177734375, -0.45013427734375, -0.4180908203125, -0.38604736328125, -0.35400390625, -0.32196044921875, -0.2899169921875, -0.25787353515625, -0.225830078125, -0.19378662109375, -0.1617431640625, -0.12969970703125, -0.09765625, -0.06561279296875, -0.0335693359375, -0.00152587890625, 0.030517578125, 0.06256103515625, 0.0946044921875, 0.12664794921875, 0.15869140625, 0.19073486328125, 0.2227783203125, 0.25482177734375, 0.286865234375, 0.31890869140625, 0.3509521484375, 0.38299560546875, 0.4150390625, 0.44708251953125, 0.4791259765625, 0.51116943359375, 0.543212890625, 0.57525634765625, 0.6072998046875, 0.63934326171875, 0.67138671875, 0.70343017578125, 0.7354736328125, 0.76751708984375, 0.799560546875, 0.83160400390625, 0.8636474609375, 0.89569091796875, 0.927734375]}, "gradients/decoder.transformer.h.0.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 3.0, 12.0, 6.0, 10.0, 12.0, 21.0, 19.0, 26.0, 36.0, 53.0, 77.0, 81.0, 133.0, 270.0, 674.0, 2203.0, 15770.0, 174828.0, 655108.0, 179478.0, 15965.0, 2331.0, 659.0, 282.0, 155.0, 85.0, 49.0, 47.0, 43.0, 22.0, 20.0, 19.0, 15.0, 6.0, 10.0, 7.0, 4.0, 8.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17529296875, -0.1700611114501953, -0.16482925415039062, -0.15959739685058594, -0.15436553955078125, -0.14913368225097656, -0.14390182495117188, -0.1386699676513672, -0.1334381103515625, -0.1282062530517578, -0.12297439575195312, -0.11774253845214844, -0.11251068115234375, -0.10727882385253906, -0.10204696655273438, -0.09681510925292969, -0.091583251953125, -0.08635139465332031, -0.08111953735351562, -0.07588768005371094, -0.07065582275390625, -0.06542396545410156, -0.060192108154296875, -0.05496025085449219, -0.0497283935546875, -0.04449653625488281, -0.039264678955078125, -0.03403282165527344, -0.02880096435546875, -0.023569107055664062, -0.018337249755859375, -0.013105392456054688, -0.00787353515625, -0.0026416778564453125, 0.002590179443359375, 0.007822036743164062, 0.01305389404296875, 0.018285751342773438, 0.023517608642578125, 0.028749465942382812, 0.0339813232421875, 0.03921318054199219, 0.044445037841796875, 0.04967689514160156, 0.05490875244140625, 0.06014060974121094, 0.06537246704101562, 0.07060432434082031, 0.075836181640625, 0.08106803894042969, 0.08629989624023438, 0.09153175354003906, 0.09676361083984375, 0.10199546813964844, 0.10722732543945312, 0.11245918273925781, 0.1176910400390625, 0.12292289733886719, 0.12815475463867188, 0.13338661193847656, 0.13861846923828125, 0.14385032653808594, 0.14908218383789062, 0.1543140411376953, 0.1595458984375]}, "gradients/decoder.transformer.h.0.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 6.0, 11.0, 17.0, 21.0, 20.0, 23.0, 53.0, 52.0, 62.0, 81.0, 80.0, 293.0, 1922.0, 90.0, 85.0, 60.0, 48.0, 46.0, 24.0, 17.0, 14.0, 14.0, 8.0, 10.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.416015625, -2.342864990234375, -2.26971435546875, -2.196563720703125, -2.1234130859375, -2.050262451171875, -1.97711181640625, -1.903961181640625, -1.830810546875, -1.757659912109375, -1.68450927734375, -1.611358642578125, -1.5382080078125, -1.465057373046875, -1.39190673828125, -1.318756103515625, -1.24560546875, -1.172454833984375, -1.09930419921875, -1.026153564453125, -0.9530029296875, -0.879852294921875, -0.80670166015625, -0.733551025390625, -0.660400390625, -0.587249755859375, -0.51409912109375, -0.440948486328125, -0.3677978515625, -0.294647216796875, -0.22149658203125, -0.148345947265625, -0.0751953125, -0.002044677734375, 0.07110595703125, 0.144256591796875, 0.2174072265625, 0.290557861328125, 0.36370849609375, 0.436859130859375, 0.510009765625, 0.583160400390625, 0.65631103515625, 0.729461669921875, 0.8026123046875, 0.875762939453125, 0.94891357421875, 1.022064208984375, 1.09521484375, 1.168365478515625, 1.24151611328125, 1.314666748046875, 1.3878173828125, 1.460968017578125, 1.53411865234375, 1.607269287109375, 1.680419921875, 1.753570556640625, 1.82672119140625, 1.899871826171875, 1.9730224609375, 2.046173095703125, 2.11932373046875, 2.192474365234375, 2.265625]}, "gradients/decoder.transformer.h.0.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 5.0, 10.0, 17.0, 21.0, 33.0, 34.0, 73.0, 112.0, 197.0, 373.0, 860.0, 2176.0, 7360.0, 54329.0, 2796572.0, 255429.0, 21240.0, 4191.0, 1379.0, 608.0, 281.0, 175.0, 100.0, 51.0, 32.0, 17.0, 12.0, 10.0, 11.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11962890625, -0.114990234375, -0.1103515625, -0.105712890625, -0.10107421875, -0.096435546875, -0.091796875, -0.087158203125, -0.08251953125, -0.077880859375, -0.0732421875, -0.068603515625, -0.06396484375, -0.059326171875, -0.0546875, -0.050048828125, -0.04541015625, -0.040771484375, -0.0361328125, -0.031494140625, -0.02685546875, -0.022216796875, -0.017578125, -0.012939453125, -0.00830078125, -0.003662109375, 0.0009765625, 0.005615234375, 0.01025390625, 0.014892578125, 0.01953125, 0.024169921875, 0.02880859375, 0.033447265625, 0.0380859375, 0.042724609375, 0.04736328125, 0.052001953125, 0.056640625, 0.061279296875, 0.06591796875, 0.070556640625, 0.0751953125, 0.079833984375, 0.08447265625, 0.089111328125, 0.09375, 0.098388671875, 0.10302734375, 0.107666015625, 0.1123046875, 0.116943359375, 0.12158203125, 0.126220703125, 0.130859375, 0.135498046875, 0.14013671875, 0.144775390625, 0.1494140625, 0.154052734375, 0.15869140625, 0.163330078125, 0.16796875, 0.172607421875, 0.17724609375]}, "gradients/decoder.transformer.h.0.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 9.0, 7.0, 7.0, 20.0, 23.0, 39.0, 55.0, 93.0, 123.0, 183.0, 140.0, 93.0, 73.0, 45.0, 27.0, 17.0, 15.0, 14.0, 3.0, 4.0, 4.0, 5.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7100367546081543, -2.6249492168426514, -2.5398616790771484, -2.4547741413116455, -2.3696866035461426, -2.2845990657806396, -2.1995115280151367, -2.114424228668213, -2.029336452484131, -1.944248914718628, -1.859161376953125, -1.774073839187622, -1.6889863014221191, -1.6038987636566162, -1.5188113451004028, -1.4337238073349, -1.3486363887786865, -1.2635488510131836, -1.1784613132476807, -1.0933737754821777, -1.0082862377166748, -0.9231987595558167, -0.8381112813949585, -0.7530237436294556, -0.6679362058639526, -0.5828486680984497, -0.49776116013526917, -0.4126736521720886, -0.3275861144065857, -0.24249857664108276, -0.1574110984802246, -0.07232356071472168, 0.01276397705078125, 0.09785149991512299, 0.18293902277946472, 0.26802653074264526, 0.3531140685081482, 0.4382016062736511, 0.5232890844345093, 0.6083766222000122, 0.6934641599655151, 0.7785516977310181, 0.863639235496521, 0.9487267136573792, 1.0338141918182373, 1.1189017295837402, 1.2039892673492432, 1.289076805114746, 1.374164342880249, 1.459251880645752, 1.5443394184112549, 1.6294269561767578, 1.7145144939422607, 1.7996020317077637, 1.884689450263977, 1.96977698802948, 2.0548644065856934, 2.1399519443511963, 2.225039482116699, 2.310127019882202, 2.395214557647705, 2.480302095413208, 2.565389633178711, 2.6504769325256348, 2.735564708709717]}, "gradients/decoder.transformer.h.0.ln_1.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 1.0, 1.0, 2.0, 9.0, 4.0, 8.0, 6.0, 8.0, 16.0, 12.0, 16.0, 21.0, 21.0, 30.0, 37.0, 32.0, 37.0, 29.0, 52.0, 56.0, 50.0, 36.0, 46.0, 51.0, 64.0, 41.0, 36.0, 32.0, 32.0, 33.0, 24.0, 31.0, 18.0, 24.0, 13.0, 17.0, 8.0, 11.0, 5.0, 10.0, 11.0, 6.0, 3.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-2.715703010559082, -2.629316806793213, -2.5429306030273438, -2.4565443992614746, -2.3701581954956055, -2.2837719917297363, -2.197385787963867, -2.110999584197998, -2.024613380432129, -1.9382271766662598, -1.8518409729003906, -1.7654547691345215, -1.6790685653686523, -1.5926823616027832, -1.5062960386276245, -1.4199098348617554, -1.3335235118865967, -1.2471373081207275, -1.1607511043548584, -1.0743649005889893, -0.9879786372184753, -0.9015924334526062, -0.8152061700820923, -0.7288199663162231, -0.642433762550354, -0.5560475587844849, -0.46966132521629333, -0.3832750916481018, -0.29688888788223267, -0.21050268411636353, -0.12411642074584961, -0.03773021697998047, 0.04865598678588867, 0.135042205452919, 0.22142842411994934, 0.30781465768814087, 0.39420086145401, 0.48058706521987915, 0.5669733285903931, 0.6533595323562622, 0.7397457361221313, 0.8261319398880005, 0.9125181436538696, 0.9989044070243835, 1.0852906703948975, 1.1716768741607666, 1.2580630779266357, 1.3444492816925049, 1.430835485458374, 1.5172216892242432, 1.6036078929901123, 1.6899940967559814, 1.7763803005218506, 1.8627665042877197, 1.9491528272628784, 2.035539150238037, 2.1219253540039062, 2.2083115577697754, 2.2946977615356445, 2.3810839653015137, 2.467470169067383, 2.553856372833252, 2.640242576599121, 2.7266287803649902, 2.8130149841308594]}, "gradients/decoder.transformer.wpe.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 5.0, 8.0, 11.0, 14.0, 12.0, 21.0, 22.0, 30.0, 39.0, 55.0, 75.0, 108.0, 119.0, 111.0, 189.0, 216.0, 297.0, 326.0, 398.0, 483.0, 634.0, 807.0, 1039805.0, 1201.0, 697.0, 473.0, 457.0, 382.0, 346.0, 265.0, 208.0, 167.0, 117.0, 99.0, 89.0, 68.0, 54.0, 44.0, 30.0, 27.0, 17.0, 8.0, 9.0, 6.0, 8.0, 2.0, 4.0, 1.0, 4.0, 0.0, 1.0], "bins": [-0.5221946239471436, -0.5076136589050293, -0.49303263425827026, -0.4784516394138336, -0.463870644569397, -0.4492896497249603, -0.4347086548805237, -0.4201276898384094, -0.4055466651916504, -0.39096567034721375, -0.3763846755027771, -0.36180368065834045, -0.3472226858139038, -0.33264169096946716, -0.3180606961250305, -0.30347973108291626, -0.2888987362384796, -0.27431774139404297, -0.2597367465496063, -0.24515575170516968, -0.23057475686073303, -0.2159937620162964, -0.20141278207302094, -0.1868317872285843, -0.17225079238414764, -0.157669797539711, -0.14308880269527435, -0.1285078227519989, -0.11392682045698166, -0.09934582561254501, -0.08476483821868896, -0.07018384337425232, -0.055602848529815674, -0.04102185368537903, -0.02644086256623268, -0.011859871447086334, 0.0027211233973503113, 0.017302118241786957, 0.031883105635643005, 0.04646410048007965, 0.061045095324516296, 0.07562609016895294, 0.09020708501338959, 0.10478807240724564, 0.11936906725168228, 0.13395005464553833, 0.14853104948997498, 0.16311204433441162, 0.17769303917884827, 0.1922740340232849, 0.20685502886772156, 0.2214360237121582, 0.23601701855659485, 0.2505980134010315, 0.26517897844314575, 0.2797600030899048, 0.29434096813201904, 0.3089219629764557, 0.32350295782089233, 0.338083952665329, 0.3526649475097656, 0.36724594235420227, 0.3818269371986389, 0.3964079022407532, 0.4109889268875122]}, "gradients/decoder.transformer.wte.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 3.0, 1.0, 0.0, 6.0, 4.0, 5.0, 4.0, 5.0, 15.0, 13.0, 17.0, 36.0, 70.0, 234.0, 13346.0, 51448904.0, 330.0, 74.0, 39.0, 20.0, 15.0, 13.0, 4.0, 4.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-25.196674346923828, -24.650405883789062, -24.10413932800293, -23.557870864868164, -23.0116024017334, -22.465335845947266, -21.9190673828125, -21.372798919677734, -20.82653045654297, -20.280261993408203, -19.73399543762207, -19.187726974487305, -18.64145851135254, -18.095191955566406, -17.54892349243164, -17.002655029296875, -16.456388473510742, -15.910120964050293, -15.363852500915527, -14.817584991455078, -14.271316528320312, -13.725049018859863, -13.178781509399414, -12.632513046264648, -12.0862455368042, -11.53997802734375, -10.993709564208984, -10.447442054748535, -9.901174545288086, -9.35490608215332, -8.808638572692871, -8.262371063232422, -7.716104507446289, -7.169836521148682, -6.623568534851074, -6.077301025390625, -5.531033039093018, -4.98476505279541, -4.438497543334961, -3.8922295570373535, -3.345961570739746, -2.7996935844421387, -2.2534258365631104, -1.7071579694747925, -1.1608901023864746, -0.6146221160888672, -0.06835436820983887, 0.47791337966918945, 1.0241813659667969, 1.5704492330551147, 2.1167171001434326, 2.662984848022461, 3.2092528343200684, 3.755520820617676, 4.301788330078125, 4.848056316375732, 5.39432430267334, 5.940592288970947, 6.486860275268555, 7.033127784729004, 7.579395771026611, 8.125663757324219, 8.671931266784668, 9.218198776245117, 9.764467239379883]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [2.0, 0.0, 6.0, 3.0, 4.0, 5.0, 4.0, 5.0, 3.0, 3.0, 7.0, 9.0, 12.0, 15.0, 13.0, 19.0, 23.0, 33.0, 31.0, 62.0, 83.0, 81.0, 135.0, 218.0, 491.0, 1494.0, 10037.0, 6267568.0, 8149.0, 1480.0, 565.0, 256.0, 150.0, 125.0, 65.0, 42.0, 39.0, 39.0, 27.0, 20.0, 15.0, 16.0, 12.0, 13.0, 10.0, 6.0, 13.0, 11.0, 5.0, 9.0, 4.0, 4.0, 1.0, 3.0, 5.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0004622936248779297, -0.0004454590380191803, -0.0004286244511604309, -0.0004117898643016815, -0.00039495527744293213, -0.00037812069058418274, -0.00036128610372543335, -0.00034445151686668396, -0.00032761693000793457, -0.0003107823431491852, -0.0002939477562904358, -0.0002771131694316864, -0.000260278582572937, -0.00024344399571418762, -0.00022660940885543823, -0.00020977482199668884, -0.00019294023513793945, -0.00017610564827919006, -0.00015927106142044067, -0.00014243647456169128, -0.0001256018877029419, -0.0001087673008441925, -9.193271398544312e-05, -7.509812712669373e-05, -5.8263540267944336e-05, -4.1428953409194946e-05, -2.4594366550445557e-05, -7.759779691696167e-06, 9.074807167053223e-06, 2.5909394025802612e-05, 4.2743980884552e-05, 5.957856774330139e-05, 7.641315460205078e-05, 9.324774146080017e-05, 0.00011008232831954956, 0.00012691691517829895, 0.00014375150203704834, 0.00016058608889579773, 0.00017742067575454712, 0.0001942552626132965, 0.0002110898494720459, 0.0002279244363307953, 0.0002447590231895447, 0.00026159361004829407, 0.00027842819690704346, 0.00029526278376579285, 0.00031209737062454224, 0.0003289319574832916, 0.000345766544342041, 0.0003626011312007904, 0.0003794357180595398, 0.0003962703049182892, 0.0004131048917770386, 0.00042993947863578796, 0.00044677406549453735, 0.00046360865235328674, 0.00048044323921203613, 0.0004972778260707855, 0.0005141124129295349, 0.0005309469997882843, 0.0005477815866470337, 0.0005646161735057831, 0.0005814507603645325, 0.0005982853472232819, 0.0006151199340820312]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 6.0, 5.0, 6.0, 11.0, 37.0, 1151.0, 764.0, 29.0, 11.0, 8.0, 5.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00023686885833740234, -0.0002319328486919403, -0.00022699683904647827, -0.00022206082940101624, -0.0002171248197555542, -0.00021218881011009216, -0.00020725280046463013, -0.0002023167908191681, -0.00019738078117370605, -0.00019244477152824402, -0.00018750876188278198, -0.00018257275223731995, -0.0001776367425918579, -0.00017270073294639587, -0.00016776472330093384, -0.0001628287136554718, -0.00015789270401000977, -0.00015295669436454773, -0.0001480206847190857, -0.00014308467507362366, -0.00013814866542816162, -0.00013321265578269958, -0.00012827664613723755, -0.0001233406364917755, -0.00011840462684631348, -0.00011346861720085144, -0.0001085326075553894, -0.00010359659790992737, -9.866058826446533e-05, -9.37245786190033e-05, -8.878856897354126e-05, -8.385255932807922e-05, -7.891654968261719e-05, -7.398054003715515e-05, -6.904453039169312e-05, -6.410852074623108e-05, -5.917251110076904e-05, -5.423650145530701e-05, -4.930049180984497e-05, -4.4364482164382935e-05, -3.94284725189209e-05, -3.449246287345886e-05, -2.9556453227996826e-05, -2.462044358253479e-05, -1.9684433937072754e-05, -1.4748424291610718e-05, -9.812414646148682e-06, -4.8764050006866455e-06, 5.960464477539063e-08, 4.995614290237427e-06, 9.931623935699463e-06, 1.4867633581161499e-05, 1.9803643226623535e-05, 2.473965287208557e-05, 2.9675662517547607e-05, 3.4611672163009644e-05, 3.954768180847168e-05, 4.4483691453933716e-05, 4.941970109939575e-05, 5.435571074485779e-05, 5.9291720390319824e-05, 6.422773003578186e-05, 6.91637396812439e-05, 7.409974932670593e-05, 7.903575897216797e-05]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 3.0, 1.0, 1.0, 2.0, 7.0, 8.0, 7.0, 8.0, 17.0, 20.0, 32.0, 51.0, 74.0, 155.0, 349.0, 1509.0, 15885.0, 6188411.0, 80388.0, 3398.0, 683.0, 203.0, 78.0, 55.0, 28.0, 19.0, 20.0, 8.0, 7.0, 5.0, 2.0, 5.0, 2.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.113550186157227e-05, -8.865166455507278e-05, -8.61678272485733e-05, -8.368398994207382e-05, -8.120015263557434e-05, -7.871631532907486e-05, -7.623247802257538e-05, -7.37486407160759e-05, -7.126480340957642e-05, -6.878096610307693e-05, -6.629712879657745e-05, -6.381329149007797e-05, -6.132945418357849e-05, -5.884561687707901e-05, -5.636177957057953e-05, -5.387794226408005e-05, -5.1394104957580566e-05, -4.8910267651081085e-05, -4.6426430344581604e-05, -4.394259303808212e-05, -4.145875573158264e-05, -3.897491842508316e-05, -3.649108111858368e-05, -3.40072438120842e-05, -3.152340650558472e-05, -2.9039569199085236e-05, -2.6555731892585754e-05, -2.4071894586086273e-05, -2.1588057279586792e-05, -1.910421997308731e-05, -1.662038266658783e-05, -1.4136545360088348e-05, -1.1652708053588867e-05, -9.168870747089386e-06, -6.685033440589905e-06, -4.201196134090424e-06, -1.7173588275909424e-06, 7.664784789085388e-07, 3.25031578540802e-06, 5.734153091907501e-06, 8.217990398406982e-06, 1.0701827704906464e-05, 1.3185665011405945e-05, 1.5669502317905426e-05, 1.8153339624404907e-05, 2.063717693090439e-05, 2.312101423740387e-05, 2.560485154390335e-05, 2.8088688850402832e-05, 3.057252615690231e-05, 3.3056363463401794e-05, 3.5540200769901276e-05, 3.802403807640076e-05, 4.050787538290024e-05, 4.299171268939972e-05, 4.54755499958992e-05, 4.795938730239868e-05, 5.044322460889816e-05, 5.2927061915397644e-05, 5.5410899221897125e-05, 5.7894736528396606e-05, 6.037857383489609e-05, 6.286241114139557e-05, 6.534624844789505e-05, 6.783008575439453e-05]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 0.0, 1.0, 3.0, 3.0, 7.0, 3.0, 4.0, 10.0, 9.0, 8.0, 14.0, 18.0, 12.0, 28.0, 27.0, 47.0, 72.0, 117.0, 262.0, 709.0, 263.0, 136.0, 70.0, 72.0, 38.0, 22.0, 22.0, 7.0, 12.0, 8.0, 7.0, 1.0, 5.0, 1.0, 4.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.717443466186523e-05, -6.525963544845581e-05, -6.334483623504639e-05, -6.143003702163696e-05, -5.951523780822754e-05, -5.7600438594818115e-05, -5.568563938140869e-05, -5.377084016799927e-05, -5.1856040954589844e-05, -4.994124174118042e-05, -4.8026442527770996e-05, -4.611164331436157e-05, -4.419684410095215e-05, -4.2282044887542725e-05, -4.03672456741333e-05, -3.845244646072388e-05, -3.653764724731445e-05, -3.462284803390503e-05, -3.2708048820495605e-05, -3.079324960708618e-05, -2.8878450393676758e-05, -2.6963651180267334e-05, -2.504885196685791e-05, -2.3134052753448486e-05, -2.1219253540039062e-05, -1.930445432662964e-05, -1.7389655113220215e-05, -1.547485589981079e-05, -1.3560056686401367e-05, -1.1645257472991943e-05, -9.73045825958252e-06, -7.815659046173096e-06, -5.900859832763672e-06, -3.986060619354248e-06, -2.0712614059448242e-06, -1.564621925354004e-07, 1.7583370208740234e-06, 3.6731362342834473e-06, 5.587935447692871e-06, 7.502734661102295e-06, 9.417533874511719e-06, 1.1332333087921143e-05, 1.3247132301330566e-05, 1.516193151473999e-05, 1.7076730728149414e-05, 1.8991529941558838e-05, 2.0906329154968262e-05, 2.2821128368377686e-05, 2.473592758178711e-05, 2.6650726795196533e-05, 2.8565526008605957e-05, 3.048032522201538e-05, 3.2395124435424805e-05, 3.430992364883423e-05, 3.622472286224365e-05, 3.8139522075653076e-05, 4.00543212890625e-05, 4.1969120502471924e-05, 4.388391971588135e-05, 4.579871892929077e-05, 4.7713518142700195e-05, 4.962831735610962e-05, 5.154311656951904e-05, 5.345791578292847e-05, 5.537271499633789e-05]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 5.0, 6.0, 9.0, 8.0, 15.0, 15.0, 33.0, 88.0, 125.0, 262.0, 511.0, 1027.0, 2015.0, 5504.0, 24640.0, 5784935.0, 444141.0, 19691.0, 4635.0, 1828.0, 885.0, 513.0, 236.0, 121.0, 71.0, 45.0, 18.0, 11.0, 2.0, 8.0, 4.0, 4.0, 10.0, 2.0, 3.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-6.747245788574219e-05, -6.52894377708435e-05, -6.310641765594482e-05, -6.092339754104614e-05, -5.874037742614746e-05, -5.655735731124878e-05, -5.43743371963501e-05, -5.2191317081451416e-05, -5.0008296966552734e-05, -4.782527685165405e-05, -4.564225673675537e-05, -4.345923662185669e-05, -4.127621650695801e-05, -3.9093196392059326e-05, -3.6910176277160645e-05, -3.472715616226196e-05, -3.254413604736328e-05, -3.03611159324646e-05, -2.8178095817565918e-05, -2.5995075702667236e-05, -2.3812055587768555e-05, -2.1629035472869873e-05, -1.944601535797119e-05, -1.726299524307251e-05, -1.5079975128173828e-05, -1.2896955013275146e-05, -1.0713934898376465e-05, -8.530914783477783e-06, -6.3478946685791016e-06, -4.16487455368042e-06, -1.9818544387817383e-06, 2.0116567611694336e-07, 2.384185791015625e-06, 4.567205905914307e-06, 6.750226020812988e-06, 8.93324613571167e-06, 1.1116266250610352e-05, 1.3299286365509033e-05, 1.5482306480407715e-05, 1.7665326595306396e-05, 1.9848346710205078e-05, 2.203136682510376e-05, 2.421438694000244e-05, 2.6397407054901123e-05, 2.8580427169799805e-05, 3.0763447284698486e-05, 3.294646739959717e-05, 3.512948751449585e-05, 3.731250762939453e-05, 3.949552774429321e-05, 4.1678547859191895e-05, 4.3861567974090576e-05, 4.604458808898926e-05, 4.822760820388794e-05, 5.041062831878662e-05, 5.25936484336853e-05, 5.4776668548583984e-05, 5.6959688663482666e-05, 5.914270877838135e-05, 6.132572889328003e-05, 6.350874900817871e-05, 6.569176912307739e-05, 6.787478923797607e-05, 7.005780935287476e-05, 7.224082946777344e-05]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 2.0, 6.0, 10.0, 7.0, 23.0, 18.0, 21.0, 19.0, 22.0, 18.0, 36.0, 50.0, 117.0, 489.0, 481.0, 281.0, 113.0, 53.0, 53.0, 48.0, 43.0, 48.0, 29.0, 21.0, 8.0, 9.0, 5.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.612041473388672e-05, -3.410503268241882e-05, -3.208965063095093e-05, -3.0074268579483032e-05, -2.8058886528015137e-05, -2.604350447654724e-05, -2.4028122425079346e-05, -2.201274037361145e-05, -1.9997358322143555e-05, -1.798197627067566e-05, -1.5966594219207764e-05, -1.3951212167739868e-05, -1.1935830116271973e-05, -9.920448064804077e-06, -7.905066013336182e-06, -5.889683961868286e-06, -3.874301910400391e-06, -1.8589198589324951e-06, 1.564621925354004e-07, 2.171844244003296e-06, 4.187226295471191e-06, 6.202608346939087e-06, 8.217990398406982e-06, 1.0233372449874878e-05, 1.2248754501342773e-05, 1.4264136552810669e-05, 1.6279518604278564e-05, 1.829490065574646e-05, 2.0310282707214355e-05, 2.232566475868225e-05, 2.4341046810150146e-05, 2.6356428861618042e-05, 2.8371810913085938e-05, 3.0387192964553833e-05, 3.240257501602173e-05, 3.4417957067489624e-05, 3.643333911895752e-05, 3.8448721170425415e-05, 4.046410322189331e-05, 4.2479485273361206e-05, 4.44948673248291e-05, 4.6510249376297e-05, 4.852563142776489e-05, 5.054101347923279e-05, 5.2556395530700684e-05, 5.457177758216858e-05, 5.6587159633636475e-05, 5.860254168510437e-05, 6.0617923736572266e-05, 6.263330578804016e-05, 6.464868783950806e-05, 6.666406989097595e-05, 6.867945194244385e-05, 7.069483399391174e-05, 7.271021604537964e-05, 7.472559809684753e-05, 7.674098014831543e-05, 7.875636219978333e-05, 8.077174425125122e-05, 8.278712630271912e-05, 8.480250835418701e-05, 8.681789040565491e-05, 8.88332724571228e-05, 9.08486545085907e-05, 9.28640365600586e-05]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 4.0, 2.0, 4.0, 2.0, 3.0, 2.0, 2.0, 5.0, 8.0, 11.0, 11.0, 22.0, 27.0, 25.0, 30.0, 29.0, 34.0, 43.0, 63.0, 68.0, 82.0, 149.0, 63.0, 46.0, 36.0, 34.0, 26.0, 22.0, 22.0, 19.0, 20.0, 13.0, 13.0, 17.0, 13.0, 10.0, 8.0, 5.0, 4.0, 3.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0009005892788991332, -0.0008701018523424864, -0.0008396144257858396, -0.0008091269992291927, -0.0007786396308802068, -0.00074815220432356, -0.0007176647777669132, -0.0006871773512102664, -0.0006566899828612804, -0.0006262025563046336, -0.0005957151297479868, -0.00056522770319134, -0.0005347403348423541, -0.0005042529082857072, -0.0004737654817290604, -0.0004432780551724136, -0.00041279062861576676, -0.00038230320205911994, -0.00035181580460630357, -0.00032132837804965675, -0.0002908409805968404, -0.00026035355404019356, -0.00022986612748354673, -0.00019937871547881514, -0.00016889130347408354, -0.00013840389146935195, -0.00010791647218866274, -7.742905290797353e-05, -4.694164090324193e-05, -1.6454228898510337e-05, 1.4033197658136487e-05, 4.452060966286808e-05, 7.500802166759968e-05, 0.00010549543367233127, 0.00013598284567706287, 0.0001664702722337097, 0.0001969576842384413, 0.00022744509624317288, 0.0002579325227998197, 0.00028841994935646653, 0.0003189073468092829, 0.0003493947733659297, 0.0003798821708187461, 0.0004103695973753929, 0.00044085702393203974, 0.0004713444213848561, 0.0005018318770453334, 0.0005323192453943193, 0.0005628066719509661, 0.0005932940985076129, 0.0006237815250642598, 0.0006542688934132457, 0.0006847563199698925, 0.0007152437465265393, 0.0007457311730831861, 0.000776218599639833, 0.0008067060261964798, 0.0008371934527531266, 0.0008676808793097734, 0.0008981683058664203, 0.0009286556742154062, 0.000959143100772053, 0.0009896305855363607, 0.0010201178956776857, 0.0010506053222343326]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 3.0, 4.0, 5.0, 9.0, 4.0, 10.0, 7.0, 15.0, 19.0, 21.0, 25.0, 20.0, 28.0, 23.0, 31.0, 39.0, 48.0, 41.0, 49.0, 43.0, 48.0, 48.0, 47.0, 61.0, 50.0, 37.0, 29.0, 31.0, 30.0, 32.0, 32.0, 23.0, 17.0, 8.0, 21.0, 7.0, 8.0, 8.0, 8.0, 4.0, 3.0, 1.0, 5.0, 1.0, 3.0, 1.0, 1.0, 2.0, 1.0, 1.0], "bins": [-0.0009069442749023438, -0.0008809352293610573, -0.0008549261838197708, -0.0008289171382784843, -0.0008029080927371979, -0.0007768990471959114, -0.0007508900016546249, -0.0007248809561133385, -0.000698871910572052, -0.0006728628650307655, -0.0006468538194894791, -0.0006208447739481926, -0.0005948357284069061, -0.0005688266828656197, -0.0005428176373243332, -0.0005168085917830467, -0.0004907995462417603, -0.0004647905007004738, -0.0004387814551591873, -0.00041277240961790085, -0.0003867633640766144, -0.0003607543185353279, -0.00033474527299404144, -0.000308736227452755, -0.0002827271819114685, -0.00025671813637018204, -0.00023070909082889557, -0.0002047000452876091, -0.00017869099974632263, -0.00015268195420503616, -0.0001266729086637497, -0.00010066386312246323, -7.465481758117676e-05, -4.864577203989029e-05, -2.263672649860382e-05, 3.3723190426826477e-06, 2.9381364583969116e-05, 5.5390410125255585e-05, 8.139945566654205e-05, 0.00010740850120782852, 0.000133417546749115, 0.00015942659229040146, 0.00018543563783168793, 0.0002114446833729744, 0.00023745372891426086, 0.00026346277445554733, 0.0002894718199968338, 0.00031548086553812027, 0.00034148991107940674, 0.0003674989566206932, 0.0003935080021619797, 0.00041951704770326614, 0.0004455260932445526, 0.0004715351387858391, 0.0004975441843271255, 0.000523553229868412, 0.0005495622754096985, 0.000575571320950985, 0.0006015803664922714, 0.0006275894120335579, 0.0006535984575748444, 0.0006796075031161308, 0.0007056165486574173, 0.0007316255941987038, 0.0007576346397399902]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8388608.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 128.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 524288.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "eval/loss": 5.242259502410889, "eval/wer": 1.918048393494645, "eval/runtime": 938.3919, "eval/samples_per_second": 2.815, "eval/steps_per_second": 0.353}
\ No newline at end of file
+{"train/loss": 4.0566, "train/learning_rate": 7.78816199376947e-06, "train/epoch": 1.0, "train/global_step": 1784, "_runtime": 8711, "_timestamp": 1646277031, "_step": 1787, "gradients/decoder.transformer.ln_f.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 5.0, 5.0, 10.0, 160.0, 812.0, 10.0, 9.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-13.126051902770996, -12.847860336303711, -12.569668769836426, -12.291476249694824, -12.013284683227539, -11.735093116760254, -11.456901550292969, -11.178709983825684, -10.900518417358398, -10.622326850891113, -10.344135284423828, -10.065942764282227, -9.787751197814941, -9.509559631347656, -9.231368064880371, -8.953176498413086, -8.674983978271484, -8.3967924118042, -8.118600845336914, -7.840408802032471, -7.562216758728027, -7.284025192260742, -7.005833625793457, -6.727642059326172, -6.4494500160217285, -6.171258449554443, -5.89306640625, -5.614874839782715, -5.33668327331543, -5.058491230010986, -4.780299663543701, -4.502107620239258, -4.223916053771973, -3.9457242488861084, -3.667532444000244, -3.389340877532959, -3.1111490726470947, -2.8329572677612305, -2.5547657012939453, -2.276573896408081, -1.9983820915222168, -1.7201902866363525, -1.4419986009597778, -1.1638069152832031, -0.8856151103973389, -0.6074233055114746, -0.3292316198348999, -0.051039934158325195, 0.22715187072753906, 0.5053436160087585, 0.783535361289978, 1.0617270469665527, 1.339918851852417, 1.6181106567382812, 1.896302342414856, 2.1744940280914307, 2.452685832977295, 2.730877637863159, 3.0090694427490234, 3.2872610092163086, 3.565452814102173, 3.843644618988037, 4.121836185455322, 4.400028228759766, 4.678219795227051]}, "gradients/decoder.transformer.ln_f.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 4.0, 2.0, 0.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 2.0, 2.0, 4.0, 0.0, 3.0, 8.0, 13.0, 76.0, 187.0, 309.0, 225.0, 98.0, 36.0, 5.0, 3.0, 4.0, 7.0, 1.0, 1.0, 1.0, 1.0, 5.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0], "bins": [-11.441926956176758, -11.120713233947754, -10.799498558044434, -10.47828483581543, -10.15707015991211, -9.835856437683105, -9.514641761779785, -9.193428039550781, -8.872213363647461, -8.550999641418457, -8.229784965515137, -7.908570766448975, -7.5873565673828125, -7.266142845153809, -6.9449286460876465, -6.623714447021484, -6.3025007247924805, -5.981286525726318, -5.660072326660156, -5.338858127593994, -5.017643928527832, -4.696430206298828, -4.375216007232666, -4.054001808166504, -3.732787609100342, -3.4115734100341797, -3.0903592109680176, -2.7691452503204346, -2.4479310512542725, -2.1267168521881104, -1.8055027723312378, -1.4842886924743652, -1.1630754470825195, -0.8418613076210022, -0.5206471681594849, -0.19943302869796753, 0.1217811107635498, 0.4429953098297119, 0.7642093896865845, 1.085423469543457, 1.4066376686096191, 1.7278518676757812, 2.0490660667419434, 2.3702800273895264, 2.6914942264556885, 3.0127084255218506, 3.3339223861694336, 3.6551365852355957, 3.976350784301758, 4.29756498336792, 4.618779182434082, 4.939993381500244, 5.261207580566406, 5.58242130279541, 5.903635501861572, 6.224849700927734, 6.5460638999938965, 6.867278099060059, 7.188492298126221, 7.509706497192383, 7.830920219421387, 8.152134895324707, 8.473348617553711, 8.794563293457031, 9.115777015686035]}, "gradients/decoder.transformer.h.23.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 3.0, 0.0, 0.0, 3.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 4.0, 5.0, 12.0, 33.0, 74.0, 162.0, 241.0, 210.0, 125.0, 57.0, 30.0, 9.0, 2.0, 4.0, 5.0, 4.0, 1.0, 2.0, 1.0, 5.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-0.07373046875, -0.07167673110961914, -0.06962299346923828, -0.06756925582885742, -0.06551551818847656, -0.0634617805480957, -0.061408042907714844, -0.059354305267333984, -0.057300567626953125, -0.055246829986572266, -0.053193092346191406, -0.05113935470581055, -0.04908561706542969, -0.04703187942504883, -0.04497814178466797, -0.04292440414428711, -0.04087066650390625, -0.03881692886352539, -0.03676319122314453, -0.03470945358276367, -0.03265571594238281, -0.030601978302001953, -0.028548240661621094, -0.026494503021240234, -0.024440765380859375, -0.022387027740478516, -0.020333290100097656, -0.018279552459716797, -0.016225814819335938, -0.014172077178955078, -0.012118339538574219, -0.01006460189819336, -0.0080108642578125, -0.005957126617431641, -0.0039033889770507812, -0.0018496513366699219, 0.0002040863037109375, 0.002257823944091797, 0.004311561584472656, 0.006365299224853516, 0.008419036865234375, 0.010472774505615234, 0.012526512145996094, 0.014580249786376953, 0.016633987426757812, 0.018687725067138672, 0.02074146270751953, 0.02279520034790039, 0.02484893798828125, 0.02690267562866211, 0.02895641326904297, 0.031010150909423828, 0.03306388854980469, 0.03511762619018555, 0.037171363830566406, 0.039225101470947266, 0.041278839111328125, 0.043332576751708984, 0.045386314392089844, 0.0474400520324707, 0.04949378967285156, 0.05154752731323242, 0.05360126495361328, 0.05565500259399414, 0.057708740234375]}, "gradients/decoder.transformer.h.23.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 3.0, 2.0, 11.0, 6.0, 6.0, 5.0, 9.0, 13.0, 21.0, 24.0, 28.0, 43.0, 58.0, 55.0, 96.0, 127.0, 194.0, 321.0, 635.0, 1394.0, 5439.0, 404300.0, 3771311.0, 6609.0, 1718.0, 688.0, 393.0, 211.0, 159.0, 95.0, 78.0, 55.0, 35.0, 25.0, 33.0, 20.0, 16.0, 15.0, 10.0, 5.0, 5.0, 5.0, 2.0, 2.0, 4.0, 1.0, 3.0, 1.0, 2.0, 3.0], "bins": [-0.90576171875, -0.8806304931640625, -0.855499267578125, -0.8303680419921875, -0.80523681640625, -0.7801055908203125, -0.754974365234375, -0.7298431396484375, -0.7047119140625, -0.6795806884765625, -0.654449462890625, -0.6293182373046875, -0.60418701171875, -0.5790557861328125, -0.553924560546875, -0.5287933349609375, -0.503662109375, -0.4785308837890625, -0.453399658203125, -0.4282684326171875, -0.40313720703125, -0.3780059814453125, -0.352874755859375, -0.3277435302734375, -0.3026123046875, -0.2774810791015625, -0.252349853515625, -0.2272186279296875, -0.20208740234375, -0.1769561767578125, -0.151824951171875, -0.1266937255859375, -0.1015625, -0.0764312744140625, -0.051300048828125, -0.0261688232421875, -0.00103759765625, 0.0240936279296875, 0.049224853515625, 0.0743560791015625, 0.0994873046875, 0.1246185302734375, 0.149749755859375, 0.1748809814453125, 0.20001220703125, 0.2251434326171875, 0.250274658203125, 0.2754058837890625, 0.300537109375, 0.3256683349609375, 0.350799560546875, 0.3759307861328125, 0.40106201171875, 0.4261932373046875, 0.451324462890625, 0.4764556884765625, 0.5015869140625, 0.5267181396484375, 0.551849365234375, 0.5769805908203125, 0.60211181640625, 0.6272430419921875, 0.652374267578125, 0.6775054931640625, 0.70263671875]}, "gradients/decoder.transformer.h.23.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 2.0, 2.0, 2.0, 5.0, 4.0, 7.0, 8.0, 6.0, 15.0, 20.0, 23.0, 25.0, 27.0, 54.0, 61.0, 79.0, 123.0, 249.0, 672.0, 1372.0, 668.0, 226.0, 111.0, 89.0, 59.0, 35.0, 33.0, 26.0, 23.0, 12.0, 14.0, 9.0, 9.0, 4.0, 4.0, 0.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.183837890625, -0.17758941650390625, -0.1713409423828125, -0.16509246826171875, -0.158843994140625, -0.15259552001953125, -0.1463470458984375, -0.14009857177734375, -0.13385009765625, -0.12760162353515625, -0.1213531494140625, -0.11510467529296875, -0.108856201171875, -0.10260772705078125, -0.0963592529296875, -0.09011077880859375, -0.0838623046875, -0.07761383056640625, -0.0713653564453125, -0.06511688232421875, -0.058868408203125, -0.05261993408203125, -0.0463714599609375, -0.04012298583984375, -0.03387451171875, -0.02762603759765625, -0.0213775634765625, -0.01512908935546875, -0.008880615234375, -0.00263214111328125, 0.0036163330078125, 0.00986480712890625, 0.01611328125, 0.02236175537109375, 0.0286102294921875, 0.03485870361328125, 0.041107177734375, 0.04735565185546875, 0.0536041259765625, 0.05985260009765625, 0.06610107421875, 0.07234954833984375, 0.0785980224609375, 0.08484649658203125, 0.091094970703125, 0.09734344482421875, 0.1035919189453125, 0.10984039306640625, 0.1160888671875, 0.12233734130859375, 0.1285858154296875, 0.13483428955078125, 0.141082763671875, 0.14733123779296875, 0.1535797119140625, 0.15982818603515625, 0.16607666015625, 0.17232513427734375, 0.1785736083984375, 0.18482208251953125, 0.191070556640625, 0.19731903076171875, 0.2035675048828125, 0.20981597900390625, 0.216064453125]}, "gradients/decoder.transformer.h.23.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 1.0, 5.0, 7.0, 9.0, 9.0, 27.0, 24.0, 32.0, 49.0, 67.0, 89.0, 169.0, 264.0, 585.0, 2373.0, 43764.0, 4111863.0, 31672.0, 2027.0, 509.0, 289.0, 139.0, 108.0, 58.0, 39.0, 29.0, 25.0, 14.0, 5.0, 10.0, 7.0, 5.0, 6.0, 2.0, 2.0, 3.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.7001953125, -0.6798782348632812, -0.6595611572265625, -0.6392440795898438, -0.618927001953125, -0.5986099243164062, -0.5782928466796875, -0.5579757690429688, -0.53765869140625, -0.5173416137695312, -0.4970245361328125, -0.47670745849609375, -0.456390380859375, -0.43607330322265625, -0.4157562255859375, -0.39543914794921875, -0.3751220703125, -0.35480499267578125, -0.3344879150390625, -0.31417083740234375, -0.293853759765625, -0.27353668212890625, -0.2532196044921875, -0.23290252685546875, -0.21258544921875, -0.19226837158203125, -0.1719512939453125, -0.15163421630859375, -0.131317138671875, -0.11100006103515625, -0.0906829833984375, -0.07036590576171875, -0.050048828125, -0.02973175048828125, -0.0094146728515625, 0.01090240478515625, 0.031219482421875, 0.05153656005859375, 0.0718536376953125, 0.09217071533203125, 0.11248779296875, 0.13280487060546875, 0.1531219482421875, 0.17343902587890625, 0.193756103515625, 0.21407318115234375, 0.2343902587890625, 0.25470733642578125, 0.2750244140625, 0.29534149169921875, 0.3156585693359375, 0.33597564697265625, 0.356292724609375, 0.37660980224609375, 0.3969268798828125, 0.41724395751953125, 0.43756103515625, 0.45787811279296875, 0.4781951904296875, 0.49851226806640625, 0.518829345703125, 0.5391464233398438, 0.5594635009765625, 0.5797805786132812, 0.60009765625]}, "gradients/decoder.transformer.h.23.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 4.0, 3.0, 8.0, 9.0, 8.0, 38.0, 84.0, 284.0, 374.0, 110.0, 43.0, 15.0, 5.0, 6.0, 4.0, 3.0, 1.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.7276255488395691, -0.6974514722824097, -0.6672773361206055, -0.637103259563446, -0.6069291234016418, -0.5767550468444824, -0.5465809106826782, -0.5164068341255188, -0.486232727766037, -0.4560586214065552, -0.42588451504707336, -0.39571040868759155, -0.36553633213043213, -0.33536219596862793, -0.3051881194114685, -0.2750140130519867, -0.24483990669250488, -0.21466580033302307, -0.18449169397354126, -0.15431760251522064, -0.12414349615573883, -0.09396938979625702, -0.0637952983379364, -0.03362119197845459, -0.0034470856189727783, 0.026727017015218735, 0.05690111964941025, 0.08707521855831146, 0.11724932491779327, 0.14742343127727509, 0.1775975227355957, 0.20777162909507751, 0.23794567584991455, 0.26811978220939636, 0.2982938885688782, 0.3284679651260376, 0.3586421012878418, 0.3888161778450012, 0.41899028420448303, 0.44916439056396484, 0.47933849692344666, 0.5095126032829285, 0.5396866798400879, 0.5698608160018921, 0.6000348925590515, 0.6302090287208557, 0.6603831052780151, 0.6905572414398193, 0.7207313179969788, 0.7509053945541382, 0.7810795307159424, 0.8112536072731018, 0.841427743434906, 0.8716018199920654, 0.9017759561538696, 0.931950032711029, 0.9621241092681885, 0.9922981858253479, 1.0224722623825073, 1.0526463985443115, 1.0828205347061157, 1.11299467086792, 1.1431686878204346, 1.1733428239822388, 1.203516960144043]}, "gradients/decoder.transformer.h.23.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 3.0, 0.0, 0.0, 3.0, 2.0, 1.0, 2.0, 3.0, 2.0, 1.0, 3.0, 1.0, 3.0, 8.0, 18.0, 29.0, 36.0, 80.0, 115.0, 152.0, 139.0, 135.0, 99.0, 75.0, 36.0, 18.0, 12.0, 10.0, 6.0, 1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.3165903091430664, -2.240321636199951, -2.164053201675415, -2.0877845287323, -2.0115158557891846, -1.9352473020553589, -1.8589787483215332, -1.782710075378418, -1.7064415216445923, -1.6301729679107666, -1.5539042949676514, -1.4776357412338257, -1.4013671875, -1.3250985145568848, -1.248829960823059, -1.1725614070892334, -1.0962927341461182, -1.0200241804122925, -0.9437555074691772, -0.8674869537353516, -0.7912183403968811, -0.7149497270584106, -0.638681173324585, -0.5624125599861145, -0.48614394664764404, -0.4098753333091736, -0.3336067497730255, -0.25733816623687744, -0.18106955289840698, -0.10480093955993652, -0.028532356023788452, 0.04773622751235962, 0.12400460243225098, 0.20027320086956024, 0.2765417993068695, 0.3528103828430176, 0.42907899618148804, 0.5053476095199585, 0.5816161632537842, 0.6578847765922546, 0.7341533899307251, 0.8104220032691956, 0.886690616607666, 0.9629591703414917, 1.0392277240753174, 1.1154963970184326, 1.1917649507522583, 1.268033504486084, 1.3443021774291992, 1.420570731163025, 1.4968394041061401, 1.5731079578399658, 1.649376630783081, 1.7256451845169067, 1.8019137382507324, 1.8781824111938477, 1.9544509649276733, 2.030719518661499, 2.1069881916046143, 2.1832568645477295, 2.2595252990722656, 2.335793972015381, 2.412062644958496, 2.4883310794830322, 2.5645997524261475]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 7.0, 25.0, 44.0, 87.0, 141.0, 188.0, 199.0, 121.0, 78.0, 36.0, 26.0, 7.0, 5.0, 6.0, 4.0, 1.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.059478759765625, -0.057779788970947266, -0.05608081817626953, -0.0543818473815918, -0.05268287658691406, -0.05098390579223633, -0.049284934997558594, -0.04758596420288086, -0.045886993408203125, -0.04418802261352539, -0.042489051818847656, -0.04079008102416992, -0.03909111022949219, -0.03739213943481445, -0.03569316864013672, -0.033994197845458984, -0.03229522705078125, -0.030596256256103516, -0.02889728546142578, -0.027198314666748047, -0.025499343872070312, -0.023800373077392578, -0.022101402282714844, -0.02040243148803711, -0.018703460693359375, -0.01700448989868164, -0.015305519104003906, -0.013606548309326172, -0.011907577514648438, -0.010208606719970703, -0.008509635925292969, -0.006810665130615234, -0.0051116943359375, -0.0034127235412597656, -0.0017137527465820312, -1.4781951904296875e-05, 0.0016841888427734375, 0.003383159637451172, 0.005082130432128906, 0.006781101226806641, 0.008480072021484375, 0.01017904281616211, 0.011878013610839844, 0.013576984405517578, 0.015275955200195312, 0.016974925994873047, 0.01867389678955078, 0.020372867584228516, 0.02207183837890625, 0.023770809173583984, 0.02546977996826172, 0.027168750762939453, 0.028867721557617188, 0.030566692352294922, 0.032265663146972656, 0.03396463394165039, 0.035663604736328125, 0.03736257553100586, 0.039061546325683594, 0.04076051712036133, 0.04245948791503906, 0.0441584587097168, 0.04585742950439453, 0.047556400299072266, 0.04925537109375]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 0.0, 3.0, 4.0, 7.0, 11.0, 20.0, 27.0, 28.0, 41.0, 65.0, 98.0, 116.0, 174.0, 262.0, 357.0, 508.0, 706.0, 1040.0, 1438.0, 2300.0, 3835.0, 8478.0, 34666.0, 435998.0, 502616.0, 36051.0, 8694.0, 3741.0, 2267.0, 1523.0, 1029.0, 731.0, 516.0, 354.0, 241.0, 181.0, 142.0, 80.0, 65.0, 47.0, 24.0, 20.0, 14.0, 9.0, 9.0, 8.0, 5.0, 8.0, 3.0, 3.0, 1.0, 0.0, 2.0], "bins": [-0.0005421638488769531, -0.000526677817106247, -0.0005111917853355408, -0.0004957057535648346, -0.0004802197217941284, -0.00046473369002342224, -0.00044924765825271606, -0.0004337616264820099, -0.0004182755947113037, -0.00040278956294059753, -0.00038730353116989136, -0.0003718174993991852, -0.000356331467628479, -0.00034084543585777283, -0.00032535940408706665, -0.0003098733723163605, -0.0002943873405456543, -0.0002789013087749481, -0.00026341527700424194, -0.00024792924523353577, -0.0002324432134628296, -0.0002169571816921234, -0.00020147114992141724, -0.00018598511815071106, -0.00017049908638000488, -0.0001550130546092987, -0.00013952702283859253, -0.00012404099106788635, -0.00010855495929718018, -9.3068927526474e-05, -7.758289575576782e-05, -6.209686398506165e-05, -4.661083221435547e-05, -3.112480044364929e-05, -1.5638768672943115e-05, -1.5273690223693848e-07, 1.5333294868469238e-05, 3.0819326639175415e-05, 4.630535840988159e-05, 6.179139018058777e-05, 7.727742195129395e-05, 9.276345372200012e-05, 0.0001082494854927063, 0.00012373551726341248, 0.00013922154903411865, 0.00015470758080482483, 0.000170193612575531, 0.00018567964434623718, 0.00020116567611694336, 0.00021665170788764954, 0.0002321377396583557, 0.0002476237714290619, 0.00026310980319976807, 0.00027859583497047424, 0.0002940818667411804, 0.0003095678985118866, 0.0003250539302825928, 0.00034053996205329895, 0.0003560259938240051, 0.0003715120255947113, 0.0003869980573654175, 0.00040248408913612366, 0.00041797012090682983, 0.000433456152677536, 0.0004489421844482422]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 6.0, 1.0, 4.0, 2.0, 9.0, 6.0, 12.0, 6.0, 10.0, 16.0, 18.0, 21.0, 20.0, 20.0, 24.0, 25.0, 34.0, 30.0, 29.0, 27.0, 31.0, 26.0, 22.0, 32.0, 18.0, 22.0, 29.0, 16.0, 1044.0, 19.0, 18.0, 23.0, 21.0, 27.0, 20.0, 33.0, 25.0, 22.0, 29.0, 24.0, 23.0, 27.0, 25.0, 23.0, 19.0, 20.0, 13.0, 17.0, 14.0, 10.0, 6.0, 6.0, 5.0, 4.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.054718017578125, -0.05299568176269531, -0.051273345947265625, -0.04955101013183594, -0.04782867431640625, -0.04610633850097656, -0.044384002685546875, -0.04266166687011719, -0.0409393310546875, -0.03921699523925781, -0.037494659423828125, -0.03577232360839844, -0.03404998779296875, -0.03232765197753906, -0.030605316162109375, -0.028882980346679688, -0.02716064453125, -0.025438308715820312, -0.023715972900390625, -0.021993637084960938, -0.02027130126953125, -0.018548965454101562, -0.016826629638671875, -0.015104293823242188, -0.0133819580078125, -0.011659622192382812, -0.009937286376953125, -0.008214950561523438, -0.00649261474609375, -0.0047702789306640625, -0.003047943115234375, -0.0013256072998046875, 0.000396728515625, 0.0021190643310546875, 0.003841400146484375, 0.0055637359619140625, 0.00728607177734375, 0.009008407592773438, 0.010730743408203125, 0.012453079223632812, 0.0141754150390625, 0.015897750854492188, 0.017620086669921875, 0.019342422485351562, 0.02106475830078125, 0.022787094116210938, 0.024509429931640625, 0.026231765747070312, 0.0279541015625, 0.029676437377929688, 0.031398773193359375, 0.03312110900878906, 0.03484344482421875, 0.03656578063964844, 0.038288116455078125, 0.04001045227050781, 0.0417327880859375, 0.04345512390136719, 0.045177459716796875, 0.04689979553222656, 0.04862213134765625, 0.05034446716308594, 0.052066802978515625, 0.05378913879394531, 0.055511474609375]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 3.0, 3.0, 6.0, 4.0, 8.0, 10.0, 11.0, 19.0, 13.0, 21.0, 19.0, 16.0, 33.0, 25.0, 20.0, 26.0, 30.0, 24.0, 24.0, 35.0, 34.0, 110.0, 274.0, 774.0, 3583.0, 28643.0, 2052702.0, 8037.0, 1588.0, 411.0, 150.0, 76.0, 30.0, 28.0, 30.0, 29.0, 29.0, 28.0, 35.0, 22.0, 25.0, 20.0, 23.0, 20.0, 18.0, 16.0, 8.0, 7.0, 14.0, 3.0, 11.0, 1.0, 4.0, 1.0, 6.0, 0.0, 1.0, 1.0], "bins": [-5.9545040130615234e-05, -5.7697296142578125e-05, -5.5849552154541016e-05, -5.4001808166503906e-05, -5.21540641784668e-05, -5.030632019042969e-05, -4.845857620239258e-05, -4.661083221435547e-05, -4.476308822631836e-05, -4.291534423828125e-05, -4.106760025024414e-05, -3.921985626220703e-05, -3.737211227416992e-05, -3.552436828613281e-05, -3.36766242980957e-05, -3.1828880310058594e-05, -2.9981136322021484e-05, -2.8133392333984375e-05, -2.6285648345947266e-05, -2.4437904357910156e-05, -2.2590160369873047e-05, -2.0742416381835938e-05, -1.8894672393798828e-05, -1.704692840576172e-05, -1.519918441772461e-05, -1.33514404296875e-05, -1.150369644165039e-05, -9.655952453613281e-06, -7.808208465576172e-06, -5.9604644775390625e-06, -4.112720489501953e-06, -2.2649765014648438e-06, -4.172325134277344e-07, 1.430511474609375e-06, 3.2782554626464844e-06, 5.125999450683594e-06, 6.973743438720703e-06, 8.821487426757812e-06, 1.0669231414794922e-05, 1.2516975402832031e-05, 1.436471939086914e-05, 1.621246337890625e-05, 1.806020736694336e-05, 1.990795135498047e-05, 2.1755695343017578e-05, 2.3603439331054688e-05, 2.5451183319091797e-05, 2.7298927307128906e-05, 2.9146671295166016e-05, 3.0994415283203125e-05, 3.2842159271240234e-05, 3.4689903259277344e-05, 3.653764724731445e-05, 3.838539123535156e-05, 4.023313522338867e-05, 4.208087921142578e-05, 4.392862319946289e-05, 4.57763671875e-05, 4.762411117553711e-05, 4.947185516357422e-05, 5.131959915161133e-05, 5.316734313964844e-05, 5.501508712768555e-05, 5.6862831115722656e-05, 5.8710575103759766e-05]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 7.0, 25.0, 44.0, 87.0, 141.0, 188.0, 199.0, 121.0, 78.0, 36.0, 26.0, 7.0, 5.0, 6.0, 4.0, 1.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.059478759765625, -0.057779788970947266, -0.05608081817626953, -0.0543818473815918, -0.05268287658691406, -0.05098390579223633, -0.049284934997558594, -0.04758596420288086, -0.045886993408203125, -0.04418802261352539, -0.042489051818847656, -0.04079008102416992, -0.03909111022949219, -0.03739213943481445, -0.03569316864013672, -0.033994197845458984, -0.03229522705078125, -0.030596256256103516, -0.02889728546142578, -0.027198314666748047, -0.025499343872070312, -0.023800373077392578, -0.022101402282714844, -0.02040243148803711, -0.018703460693359375, -0.01700448989868164, -0.015305519104003906, -0.013606548309326172, -0.011907577514648438, -0.010208606719970703, -0.008509635925292969, -0.006810665130615234, -0.0051116943359375, -0.0034127235412597656, -0.0017137527465820312, -1.4781951904296875e-05, 0.0016841888427734375, 0.003383159637451172, 0.005082130432128906, 0.006781101226806641, 0.008480072021484375, 0.01017904281616211, 0.011878013610839844, 0.013576984405517578, 0.015275955200195312, 0.016974925994873047, 0.01867389678955078, 0.020372867584228516, 0.02207183837890625, 0.023770809173583984, 0.02546977996826172, 0.027168750762939453, 0.028867721557617188, 0.030566692352294922, 0.032265663146972656, 0.03396463394165039, 0.035663604736328125, 0.03736257553100586, 0.039061546325683594, 0.04076051712036133, 0.04245948791503906, 0.0441584587097168, 0.04585742950439453, 0.047556400299072266, 0.04925537109375]}, "gradients/decoder.transformer.h.23.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 1.0, 5.0, 1.0, 6.0, 2.0, 8.0, 7.0, 17.0, 13.0, 13.0, 29.0, 39.0, 36.0, 46.0, 58.0, 67.0, 90.0, 100.0, 151.0, 224.0, 300.0, 573.0, 1171.0, 3167.0, 12171.0, 983104.0, 37727.0, 5378.0, 1831.0, 796.0, 401.0, 256.0, 164.0, 126.0, 105.0, 74.0, 65.0, 46.0, 42.0, 33.0, 24.0, 22.0, 25.0, 14.0, 11.0, 9.0, 5.0, 8.0, 3.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6494140625, -0.6268081665039062, -0.6042022705078125, -0.5815963745117188, -0.558990478515625, -0.5363845825195312, -0.5137786865234375, -0.49117279052734375, -0.46856689453125, -0.44596099853515625, -0.4233551025390625, -0.40074920654296875, -0.378143310546875, -0.35553741455078125, -0.3329315185546875, -0.31032562255859375, -0.2877197265625, -0.26511383056640625, -0.2425079345703125, -0.21990203857421875, -0.197296142578125, -0.17469024658203125, -0.1520843505859375, -0.12947845458984375, -0.10687255859375, -0.08426666259765625, -0.0616607666015625, -0.03905487060546875, -0.016448974609375, 0.00615692138671875, 0.0287628173828125, 0.05136871337890625, 0.073974609375, 0.09658050537109375, 0.1191864013671875, 0.14179229736328125, 0.164398193359375, 0.18700408935546875, 0.2096099853515625, 0.23221588134765625, 0.25482177734375, 0.27742767333984375, 0.3000335693359375, 0.32263946533203125, 0.345245361328125, 0.36785125732421875, 0.3904571533203125, 0.41306304931640625, 0.4356689453125, 0.45827484130859375, 0.4808807373046875, 0.5034866333007812, 0.526092529296875, 0.5486984252929688, 0.5713043212890625, 0.5939102172851562, 0.61651611328125, 0.6391220092773438, 0.6617279052734375, 0.6843338012695312, 0.706939697265625, 0.7295455932617188, 0.7521514892578125, 0.7747573852539062, 0.79736328125]}, "gradients/decoder.transformer.h.23.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 1.0, 1.0, 3.0, 2.0, 4.0, 4.0, 4.0, 8.0, 10.0, 1.0, 11.0, 8.0, 17.0, 21.0, 21.0, 13.0, 25.0, 20.0, 32.0, 46.0, 38.0, 46.0, 45.0, 73.0, 84.0, 135.0, 1643.0, 194.0, 79.0, 72.0, 47.0, 35.0, 43.0, 41.0, 27.0, 20.0, 33.0, 23.0, 22.0, 22.0, 21.0, 13.0, 10.0, 9.0, 5.0, 5.0, 8.0, 4.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 1.0, 1.0], "bins": [-0.0732421875, -0.07100200653076172, -0.06876182556152344, -0.06652164459228516, -0.06428146362304688, -0.062041282653808594, -0.05980110168457031, -0.05756092071533203, -0.05532073974609375, -0.05308055877685547, -0.05084037780761719, -0.048600196838378906, -0.046360015869140625, -0.044119834899902344, -0.04187965393066406, -0.03963947296142578, -0.0373992919921875, -0.03515911102294922, -0.03291893005371094, -0.030678749084472656, -0.028438568115234375, -0.026198387145996094, -0.023958206176757812, -0.02171802520751953, -0.01947784423828125, -0.01723766326904297, -0.014997482299804688, -0.012757301330566406, -0.010517120361328125, -0.008276939392089844, -0.0060367584228515625, -0.0037965774536132812, -0.001556396484375, 0.0006837844848632812, 0.0029239654541015625, 0.005164146423339844, 0.007404327392578125, 0.009644508361816406, 0.011884689331054688, 0.014124870300292969, 0.01636505126953125, 0.01860523223876953, 0.020845413208007812, 0.023085594177246094, 0.025325775146484375, 0.027565956115722656, 0.029806137084960938, 0.03204631805419922, 0.0342864990234375, 0.03652667999267578, 0.03876686096191406, 0.041007041931152344, 0.043247222900390625, 0.045487403869628906, 0.04772758483886719, 0.04996776580810547, 0.05220794677734375, 0.05444812774658203, 0.05668830871582031, 0.058928489685058594, 0.061168670654296875, 0.06340885162353516, 0.06564903259277344, 0.06788921356201172, 0.07012939453125]}, "gradients/decoder.transformer.h.23.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 0.0, 3.0, 3.0, 2.0, 1.0, 5.0, 5.0, 4.0, 7.0, 6.0, 10.0, 19.0, 19.0, 34.0, 26.0, 33.0, 40.0, 48.0, 72.0, 98.0, 108.0, 203.0, 473.0, 1283.0, 11499.0, 2906858.0, 218443.0, 4636.0, 800.0, 331.0, 157.0, 92.0, 83.0, 58.0, 42.0, 32.0, 40.0, 27.0, 25.0, 21.0, 14.0, 11.0, 6.0, 8.0, 7.0, 5.0, 4.0, 4.0, 3.0, 2.0, 4.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.25341796875, -0.24545669555664062, -0.23749542236328125, -0.22953414916992188, -0.2215728759765625, -0.21361160278320312, -0.20565032958984375, -0.19768905639648438, -0.189727783203125, -0.18176651000976562, -0.17380523681640625, -0.16584396362304688, -0.1578826904296875, -0.14992141723632812, -0.14196014404296875, -0.13399887084960938, -0.12603759765625, -0.11807632446289062, -0.11011505126953125, -0.10215377807617188, -0.0941925048828125, -0.08623123168945312, -0.07826995849609375, -0.07030868530273438, -0.062347412109375, -0.054386138916015625, -0.04642486572265625, -0.038463592529296875, -0.0305023193359375, -0.022541046142578125, -0.01457977294921875, -0.006618499755859375, 0.0013427734375, 0.009304046630859375, 0.01726531982421875, 0.025226593017578125, 0.0331878662109375, 0.041149139404296875, 0.04911041259765625, 0.057071685791015625, 0.065032958984375, 0.07299423217773438, 0.08095550537109375, 0.08891677856445312, 0.0968780517578125, 0.10483932495117188, 0.11280059814453125, 0.12076187133789062, 0.12872314453125, 0.13668441772460938, 0.14464569091796875, 0.15260696411132812, 0.1605682373046875, 0.16852951049804688, 0.17649078369140625, 0.18445205688476562, 0.192413330078125, 0.20037460327148438, 0.20833587646484375, 0.21629714965820312, 0.2242584228515625, 0.23221969604492188, 0.24018096923828125, 0.24814224243164062, 0.256103515625]}, "gradients/decoder.transformer.h.23.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 394.0, 600.0, 18.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.20895493030548096, -0.16752566397190094, -0.12609639763832092, -0.0846671313047409, -0.04323786497116089, -0.0018085986375808716, 0.039620667695999146, 0.08104991912841797, 0.12247920036315918, 0.1639084666967392, 0.2053377330303192, 0.24676699936389923, 0.28819626569747925, 0.32962554693222046, 0.3710547983646393, 0.4124840497970581, 0.4539133310317993, 0.4953426122665405, 0.5367718935012817, 0.5782011151313782, 0.6196303963661194, 0.6610596776008606, 0.702488899230957, 0.7439181804656982, 0.7853474617004395, 0.8267767429351807, 0.8682060241699219, 0.9096352458000183, 0.9510645270347595, 0.9924938082695007, 1.0339230298995972, 1.0753523111343384, 1.11678147315979, 1.1582107543945312, 1.1996400356292725, 1.2410693168640137, 1.2824985980987549, 1.3239277601242065, 1.3653570413589478, 1.406786322593689, 1.4482156038284302, 1.4896448850631714, 1.5310741662979126, 1.5725034475326538, 1.6139326095581055, 1.6553618907928467, 1.696791172027588, 1.738220453262329, 1.7796497344970703, 1.8210790157318115, 1.8625082969665527, 1.903937578201294, 1.9453668594360352, 1.9867960214614868, 2.0282254219055176, 2.0696544647216797, 2.111083984375, 2.152513265609741, 2.1939425468444824, 2.2353718280792236, 2.276801109313965, 2.318230390548706, 2.3596596717834473, 2.4010887145996094, 2.4425179958343506]}, "gradients/decoder.transformer.h.23.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 4.0, 2.0, 6.0, 5.0, 8.0, 16.0, 18.0, 12.0, 14.0, 15.0, 20.0, 28.0, 37.0, 23.0, 32.0, 30.0, 32.0, 39.0, 49.0, 49.0, 53.0, 44.0, 36.0, 56.0, 36.0, 38.0, 40.0, 38.0, 26.0, 29.0, 37.0, 22.0, 22.0, 24.0, 20.0, 9.0, 11.0, 7.0, 8.0, 6.0, 5.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.35462403297424316, -0.3451504409313202, -0.33567681908607483, -0.32620322704315186, -0.3167296350002289, -0.3072560131549835, -0.29778242111206055, -0.2883087992668152, -0.2788352072238922, -0.26936161518096924, -0.2598879933357239, -0.2504144012928009, -0.24094079434871674, -0.23146718740463257, -0.2219935953617096, -0.21251998841762543, -0.20304639637470245, -0.1935727894306183, -0.1840991973876953, -0.17462559044361115, -0.16515198349952698, -0.155678391456604, -0.14620478451251984, -0.13673117756843567, -0.1272575855255127, -0.11778398603200912, -0.10831037908792496, -0.09883677959442139, -0.08936317265033722, -0.07988957315683365, -0.07041597366333008, -0.06094236671924591, -0.05146875977516174, -0.041995156556367874, -0.032521553337574005, -0.023047953844070435, -0.013574350625276566, -0.0041007474064826965, 0.005372852087020874, 0.014846459031105042, 0.024320058524608612, 0.03379366174340248, 0.04326726496219635, 0.05274086445569992, 0.06221446767449379, 0.07168807089328766, 0.08116167038679123, 0.0906352773308754, 0.10010887682437897, 0.10958247631788254, 0.1190560832619667, 0.12852968275547028, 0.13800328969955444, 0.14747688174247742, 0.15695048868656158, 0.16642409563064575, 0.17589768767356873, 0.1853712946176529, 0.19484488666057587, 0.20431849360466003, 0.2137921005487442, 0.22326570749282837, 0.23273929953575134, 0.2422129064798355, 0.2516865134239197]}, "gradients/decoder.transformer.h.22.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 2.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 3.0, 3.0, 3.0, 10.0, 21.0, 43.0, 90.0, 137.0, 194.0, 186.0, 123.0, 79.0, 39.0, 27.0, 8.0, 6.0, 5.0, 5.0, 1.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.058837890625, -0.057158470153808594, -0.05547904968261719, -0.05379962921142578, -0.052120208740234375, -0.05044078826904297, -0.04876136779785156, -0.047081947326660156, -0.04540252685546875, -0.043723106384277344, -0.04204368591308594, -0.04036426544189453, -0.038684844970703125, -0.03700542449951172, -0.03532600402832031, -0.033646583557128906, -0.0319671630859375, -0.030287742614746094, -0.028608322143554688, -0.02692890167236328, -0.025249481201171875, -0.02357006072998047, -0.021890640258789062, -0.020211219787597656, -0.01853179931640625, -0.016852378845214844, -0.015172958374023438, -0.013493537902832031, -0.011814117431640625, -0.010134696960449219, -0.008455276489257812, -0.006775856018066406, -0.005096435546875, -0.0034170150756835938, -0.0017375946044921875, -5.817413330078125e-05, 0.001621246337890625, 0.0033006668090820312, 0.0049800872802734375, 0.006659507751464844, 0.00833892822265625, 0.010018348693847656, 0.011697769165039062, 0.013377189636230469, 0.015056610107421875, 0.01673603057861328, 0.018415451049804688, 0.020094871520996094, 0.0217742919921875, 0.023453712463378906, 0.025133132934570312, 0.02681255340576172, 0.028491973876953125, 0.03017139434814453, 0.03185081481933594, 0.033530235290527344, 0.03520965576171875, 0.036889076232910156, 0.03856849670410156, 0.04024791717529297, 0.041927337646484375, 0.04360675811767578, 0.04528617858886719, 0.046965599060058594, 0.04864501953125]}, "gradients/decoder.transformer.h.22.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 4.0, 2.0, 6.0, 9.0, 8.0, 14.0, 17.0, 23.0, 41.0, 69.0, 87.0, 200.0, 434.0, 927.0, 3000.0, 54495.0, 4124930.0, 7041.0, 1648.0, 636.0, 306.0, 165.0, 65.0, 47.0, 28.0, 17.0, 18.0, 14.0, 11.0, 6.0, 5.0, 4.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.69775390625, -0.677947998046875, -0.65814208984375, -0.638336181640625, -0.6185302734375, -0.598724365234375, -0.57891845703125, -0.559112548828125, -0.539306640625, -0.519500732421875, -0.49969482421875, -0.479888916015625, -0.4600830078125, -0.440277099609375, -0.42047119140625, -0.400665283203125, -0.380859375, -0.361053466796875, -0.34124755859375, -0.321441650390625, -0.3016357421875, -0.281829833984375, -0.26202392578125, -0.242218017578125, -0.222412109375, -0.202606201171875, -0.18280029296875, -0.162994384765625, -0.1431884765625, -0.123382568359375, -0.10357666015625, -0.083770751953125, -0.06396484375, -0.044158935546875, -0.02435302734375, -0.004547119140625, 0.0152587890625, 0.035064697265625, 0.05487060546875, 0.074676513671875, 0.094482421875, 0.114288330078125, 0.13409423828125, 0.153900146484375, 0.1737060546875, 0.193511962890625, 0.21331787109375, 0.233123779296875, 0.2529296875, 0.272735595703125, 0.29254150390625, 0.312347412109375, 0.3321533203125, 0.351959228515625, 0.37176513671875, 0.391571044921875, 0.411376953125, 0.431182861328125, 0.45098876953125, 0.470794677734375, 0.4906005859375, 0.510406494140625, 0.53021240234375, 0.550018310546875, 0.56982421875]}, "gradients/decoder.transformer.h.22.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 2.0, 7.0, 8.0, 15.0, 11.0, 18.0, 28.0, 54.0, 75.0, 170.0, 491.0, 1483.0, 1033.0, 286.0, 142.0, 68.0, 55.0, 26.0, 22.0, 32.0, 13.0, 13.0, 7.0, 10.0, 4.0, 5.0, 3.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17919921875, -0.17337608337402344, -0.16755294799804688, -0.1617298126220703, -0.15590667724609375, -0.1500835418701172, -0.14426040649414062, -0.13843727111816406, -0.1326141357421875, -0.12679100036621094, -0.12096786499023438, -0.11514472961425781, -0.10932159423828125, -0.10349845886230469, -0.09767532348632812, -0.09185218811035156, -0.086029052734375, -0.08020591735839844, -0.07438278198242188, -0.06855964660644531, -0.06273651123046875, -0.05691337585449219, -0.051090240478515625, -0.04526710510253906, -0.0394439697265625, -0.03362083435058594, -0.027797698974609375, -0.021974563598632812, -0.01615142822265625, -0.010328292846679688, -0.004505157470703125, 0.0013179779052734375, 0.00714111328125, 0.012964248657226562, 0.018787384033203125, 0.024610519409179688, 0.03043365478515625, 0.03625679016113281, 0.042079925537109375, 0.04790306091308594, 0.0537261962890625, 0.05954933166503906, 0.06537246704101562, 0.07119560241699219, 0.07701873779296875, 0.08284187316894531, 0.08866500854492188, 0.09448814392089844, 0.100311279296875, 0.10613441467285156, 0.11195755004882812, 0.11778068542480469, 0.12360382080078125, 0.1294269561767578, 0.13525009155273438, 0.14107322692871094, 0.1468963623046875, 0.15271949768066406, 0.15854263305664062, 0.1643657684326172, 0.17018890380859375, 0.1760120391845703, 0.18183517456054688, 0.18765830993652344, 0.1934814453125]}, "gradients/decoder.transformer.h.22.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 3.0, 2.0, 1.0, 7.0, 16.0, 16.0, 19.0, 39.0, 67.0, 128.0, 227.0, 536.0, 1395.0, 4251.0, 17730.0, 158817.0, 3900417.0, 92151.0, 13197.0, 3342.0, 1028.0, 428.0, 169.0, 109.0, 58.0, 33.0, 26.0, 16.0, 19.0, 8.0, 10.0, 7.0, 6.0, 4.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.42724609375, -0.4161224365234375, -0.404998779296875, -0.3938751220703125, -0.38275146484375, -0.3716278076171875, -0.360504150390625, -0.3493804931640625, -0.3382568359375, -0.3271331787109375, -0.316009521484375, -0.3048858642578125, -0.29376220703125, -0.2826385498046875, -0.271514892578125, -0.2603912353515625, -0.249267578125, -0.2381439208984375, -0.227020263671875, -0.2158966064453125, -0.20477294921875, -0.1936492919921875, -0.182525634765625, -0.1714019775390625, -0.1602783203125, -0.1491546630859375, -0.138031005859375, -0.1269073486328125, -0.11578369140625, -0.1046600341796875, -0.093536376953125, -0.0824127197265625, -0.0712890625, -0.0601654052734375, -0.049041748046875, -0.0379180908203125, -0.02679443359375, -0.0156707763671875, -0.004547119140625, 0.0065765380859375, 0.0177001953125, 0.0288238525390625, 0.039947509765625, 0.0510711669921875, 0.06219482421875, 0.0733184814453125, 0.084442138671875, 0.0955657958984375, 0.106689453125, 0.1178131103515625, 0.128936767578125, 0.1400604248046875, 0.15118408203125, 0.1623077392578125, 0.173431396484375, 0.1845550537109375, 0.1956787109375, 0.2068023681640625, 0.217926025390625, 0.2290496826171875, 0.24017333984375, 0.2512969970703125, 0.262420654296875, 0.2735443115234375, 0.28466796875]}, "gradients/decoder.transformer.h.22.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 6.0, 22.0, 44.0, 255.0, 439.0, 161.0, 44.0, 20.0, 13.0, 1.0, 4.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.3898820877075195, -2.344151258468628, -2.2984204292297363, -2.2526895999908447, -2.206958770751953, -2.1612279415130615, -2.11549711227417, -2.069766044616699, -2.0240352153778076, -1.978304386138916, -1.9325735569000244, -1.8868427276611328, -1.8411117792129517, -1.79538094997406, -1.7496501207351685, -1.7039192914962769, -1.6581885814666748, -1.6124577522277832, -1.5667269229888916, -1.52099609375, -1.4752651453018188, -1.4295343160629272, -1.3838034868240356, -1.338072657585144, -1.292341709136963, -1.2466108798980713, -1.2008800506591797, -1.155149221420288, -1.109418272972107, -1.0636874437332153, -1.0179566144943237, -0.9722257852554321, -0.9264948964118958, -0.8807640671730042, -0.8350331783294678, -0.7893023490905762, -0.7435715198516846, -0.697840690612793, -0.6521098017692566, -0.606378972530365, -0.5606480836868286, -0.514917254447937, -0.469186395406723, -0.42345553636550903, -0.37772470712661743, -0.33199384808540344, -0.28626298904418945, -0.24053215980529785, -0.19480133056640625, -0.14907048642635345, -0.10333963483572006, -0.05760878324508667, -0.011877939105033875, 0.03385290503501892, 0.07958376407623291, 0.1253145933151245, 0.1710454523563385, 0.2167762964963913, 0.2625071406364441, 0.3082379996776581, 0.35396885871887207, 0.39969968795776367, 0.44543054699897766, 0.49116137623786926, 0.5368922352790833]}, "gradients/decoder.transformer.h.22.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 3.0, 6.0, 7.0, 7.0, 8.0, 18.0, 13.0, 39.0, 40.0, 52.0, 76.0, 78.0, 74.0, 80.0, 91.0, 82.0, 69.0, 62.0, 43.0, 45.0, 30.0, 27.0, 17.0, 10.0, 6.0, 2.0, 2.0, 5.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.7874457836151123, -0.760729193687439, -0.7340126633644104, -0.7072960734367371, -0.6805795431137085, -0.6538629531860352, -0.6271463632583618, -0.6004298329353333, -0.5737133026123047, -0.5469967126846313, -0.5202801823616028, -0.49356359243392944, -0.4668470621109009, -0.44013047218322754, -0.4134139120578766, -0.38669735193252563, -0.3599807620048523, -0.33326420187950134, -0.3065476417541504, -0.27983105182647705, -0.2531145215034485, -0.22639794647693634, -0.1996813714504242, -0.17296481132507324, -0.1462482511997223, -0.11953169107437134, -0.09281512349843979, -0.06609855592250824, -0.03938199579715729, -0.012665435671806335, 0.01405113935470581, 0.04076769948005676, 0.06748425960540771, 0.09420081973075867, 0.12091738730669022, 0.14763395488262177, 0.17435051500797272, 0.20106707513332367, 0.22778365015983582, 0.25450021028518677, 0.2812167704105377, 0.30793333053588867, 0.3346498906612396, 0.3613664507865906, 0.3880830407142639, 0.4147995710372925, 0.4415161609649658, 0.4682327210903168, 0.4949492812156677, 0.5216658711433411, 0.5483824014663696, 0.575098991394043, 0.6018155217170715, 0.6285321116447449, 0.6552486419677734, 0.6819652318954468, 0.7086818218231201, 0.7353984117507935, 0.762114942073822, 0.7888315320014954, 0.8155480623245239, 0.8422646522521973, 0.8689812421798706, 0.8956977725028992, 0.9224143028259277]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 5.0, 0.0, 3.0, 0.0, 2.0, 2.0, 7.0, 7.0, 25.0, 28.0, 56.0, 82.0, 113.0, 138.0, 141.0, 128.0, 79.0, 75.0, 40.0, 33.0, 10.0, 5.0, 8.0, 3.0, 2.0, 1.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.046661376953125, -0.04533863067626953, -0.04401588439941406, -0.042693138122558594, -0.041370391845703125, -0.040047645568847656, -0.03872489929199219, -0.03740215301513672, -0.03607940673828125, -0.03475666046142578, -0.03343391418457031, -0.032111167907714844, -0.030788421630859375, -0.029465675354003906, -0.028142929077148438, -0.02682018280029297, -0.0254974365234375, -0.02417469024658203, -0.022851943969726562, -0.021529197692871094, -0.020206451416015625, -0.018883705139160156, -0.017560958862304688, -0.01623821258544922, -0.01491546630859375, -0.013592720031738281, -0.012269973754882812, -0.010947227478027344, -0.009624481201171875, -0.008301734924316406, -0.0069789886474609375, -0.005656242370605469, -0.00433349609375, -0.0030107498168945312, -0.0016880035400390625, -0.00036525726318359375, 0.000957489013671875, 0.0022802352905273438, 0.0036029815673828125, 0.004925727844238281, 0.00624847412109375, 0.007571220397949219, 0.008893966674804688, 0.010216712951660156, 0.011539459228515625, 0.012862205505371094, 0.014184951782226562, 0.015507698059082031, 0.0168304443359375, 0.01815319061279297, 0.019475936889648438, 0.020798683166503906, 0.022121429443359375, 0.023444175720214844, 0.024766921997070312, 0.02608966827392578, 0.02741241455078125, 0.02873516082763672, 0.030057907104492188, 0.031380653381347656, 0.032703399658203125, 0.034026145935058594, 0.03534889221191406, 0.03667163848876953, 0.037994384765625]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 0.0, 0.0, 2.0, 6.0, 8.0, 9.0, 10.0, 12.0, 22.0, 38.0, 50.0, 63.0, 92.0, 127.0, 157.0, 251.0, 328.0, 491.0, 734.0, 1077.0, 1644.0, 2795.0, 5984.0, 16946.0, 76013.0, 702311.0, 189492.0, 30917.0, 8939.0, 3885.0, 2102.0, 1274.0, 822.0, 580.0, 394.0, 291.0, 203.0, 143.0, 108.0, 76.0, 48.0, 38.0, 27.0, 18.0, 10.0, 13.0, 6.0, 5.0, 2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00044608116149902344, -0.0004305504262447357, -0.000415019690990448, -0.0003994889557361603, -0.00038395822048187256, -0.00036842748522758484, -0.0003528967499732971, -0.0003373660147190094, -0.0003218352794647217, -0.00030630454421043396, -0.00029077380895614624, -0.0002752430737018585, -0.0002597123384475708, -0.0002441816031932831, -0.00022865086793899536, -0.00021312013268470764, -0.00019758939743041992, -0.0001820586621761322, -0.00016652792692184448, -0.00015099719166755676, -0.00013546645641326904, -0.00011993572115898132, -0.0001044049859046936, -8.887425065040588e-05, -7.334351539611816e-05, -5.7812780141830444e-05, -4.2282044887542725e-05, -2.6751309633255005e-05, -1.1220574378967285e-05, 4.3101608753204346e-06, 1.9840896129608154e-05, 3.5371631383895874e-05, 5.0902366638183594e-05, 6.643310189247131e-05, 8.196383714675903e-05, 9.749457240104675e-05, 0.00011302530765533447, 0.0001285560429096222, 0.0001440867781639099, 0.00015961751341819763, 0.00017514824867248535, 0.00019067898392677307, 0.0002062097191810608, 0.0002217404544353485, 0.00023727118968963623, 0.00025280192494392395, 0.00026833266019821167, 0.0002838633954524994, 0.0002993941307067871, 0.00031492486596107483, 0.00033045560121536255, 0.00034598633646965027, 0.000361517071723938, 0.0003770478069782257, 0.00039257854223251343, 0.00040810927748680115, 0.00042364001274108887, 0.0004391707479953766, 0.0004547014832496643, 0.000470232218503952, 0.00048576295375823975, 0.0005012936890125275, 0.0005168244242668152, 0.0005323551595211029, 0.0005478858947753906]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 6.0, 5.0, 7.0, 13.0, 16.0, 13.0, 25.0, 12.0, 16.0, 29.0, 30.0, 26.0, 29.0, 25.0, 22.0, 28.0, 28.0, 26.0, 30.0, 26.0, 27.0, 38.0, 16.0, 1043.0, 18.0, 18.0, 22.0, 16.0, 23.0, 28.0, 29.0, 35.0, 31.0, 47.0, 31.0, 35.0, 21.0, 26.0, 24.0, 17.0, 15.0, 18.0, 11.0, 10.0, 6.0, 5.0, 9.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.04852294921875, -0.047091007232666016, -0.04565906524658203, -0.04422712326049805, -0.04279518127441406, -0.04136323928833008, -0.039931297302246094, -0.03849935531616211, -0.037067413330078125, -0.03563547134399414, -0.034203529357910156, -0.03277158737182617, -0.03133964538574219, -0.029907703399658203, -0.02847576141357422, -0.027043819427490234, -0.02561187744140625, -0.024179935455322266, -0.02274799346923828, -0.021316051483154297, -0.019884109497070312, -0.018452167510986328, -0.017020225524902344, -0.01558828353881836, -0.014156341552734375, -0.01272439956665039, -0.011292457580566406, -0.009860515594482422, -0.008428573608398438, -0.006996631622314453, -0.005564689636230469, -0.004132747650146484, -0.0027008056640625, -0.0012688636779785156, 0.00016307830810546875, 0.0015950202941894531, 0.0030269622802734375, 0.004458904266357422, 0.005890846252441406, 0.007322788238525391, 0.008754730224609375, 0.01018667221069336, 0.011618614196777344, 0.013050556182861328, 0.014482498168945312, 0.015914440155029297, 0.01734638214111328, 0.018778324127197266, 0.02021026611328125, 0.021642208099365234, 0.02307415008544922, 0.024506092071533203, 0.025938034057617188, 0.027369976043701172, 0.028801918029785156, 0.03023386001586914, 0.031665802001953125, 0.03309774398803711, 0.034529685974121094, 0.03596162796020508, 0.03739356994628906, 0.03882551193237305, 0.04025745391845703, 0.041689395904541016, 0.043121337890625]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 5.0, 10.0, 5.0, 4.0, 11.0, 10.0, 17.0, 18.0, 16.0, 22.0, 28.0, 20.0, 35.0, 31.0, 45.0, 31.0, 35.0, 34.0, 33.0, 75.0, 237.0, 695.0, 3399.0, 38060.0, 2045743.0, 6489.0, 1171.0, 330.0, 127.0, 45.0, 28.0, 31.0, 27.0, 21.0, 25.0, 28.0, 27.0, 32.0, 29.0, 15.0, 13.0, 21.0, 19.0, 11.0, 16.0, 7.0, 4.0, 6.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.6253204345703125e-05, -4.472024738788605e-05, -4.318729043006897e-05, -4.165433347225189e-05, -4.0121376514434814e-05, -3.858841955661774e-05, -3.705546259880066e-05, -3.552250564098358e-05, -3.3989548683166504e-05, -3.2456591725349426e-05, -3.092363476753235e-05, -2.939067780971527e-05, -2.7857720851898193e-05, -2.6324763894081116e-05, -2.4791806936264038e-05, -2.325884997844696e-05, -2.1725893020629883e-05, -2.0192936062812805e-05, -1.8659979104995728e-05, -1.712702214717865e-05, -1.5594065189361572e-05, -1.4061108231544495e-05, -1.2528151273727417e-05, -1.099519431591034e-05, -9.462237358093262e-06, -7.929280400276184e-06, -6.3963234424591064e-06, -4.863366484642029e-06, -3.330409526824951e-06, -1.7974525690078735e-06, -2.644956111907959e-07, 1.2684613466262817e-06, 2.8014183044433594e-06, 4.334375262260437e-06, 5.867332220077515e-06, 7.400289177894592e-06, 8.93324613571167e-06, 1.0466203093528748e-05, 1.1999160051345825e-05, 1.3532117009162903e-05, 1.506507396697998e-05, 1.6598030924797058e-05, 1.8130987882614136e-05, 1.9663944840431213e-05, 2.119690179824829e-05, 2.272985875606537e-05, 2.4262815713882446e-05, 2.5795772671699524e-05, 2.73287296295166e-05, 2.886168658733368e-05, 3.0394643545150757e-05, 3.1927600502967834e-05, 3.346055746078491e-05, 3.499351441860199e-05, 3.652647137641907e-05, 3.8059428334236145e-05, 3.959238529205322e-05, 4.11253422498703e-05, 4.265829920768738e-05, 4.4191256165504456e-05, 4.572421312332153e-05, 4.725717008113861e-05, 4.879012703895569e-05, 5.0323083996772766e-05, 5.1856040954589844e-05]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 5.0, 0.0, 3.0, 0.0, 2.0, 2.0, 7.0, 7.0, 25.0, 28.0, 56.0, 82.0, 113.0, 138.0, 141.0, 128.0, 79.0, 75.0, 40.0, 33.0, 10.0, 5.0, 8.0, 3.0, 2.0, 1.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.046661376953125, -0.04533863067626953, -0.04401588439941406, -0.042693138122558594, -0.041370391845703125, -0.040047645568847656, -0.03872489929199219, -0.03740215301513672, -0.03607940673828125, -0.03475666046142578, -0.03343391418457031, -0.032111167907714844, -0.030788421630859375, -0.029465675354003906, -0.028142929077148438, -0.02682018280029297, -0.0254974365234375, -0.02417469024658203, -0.022851943969726562, -0.021529197692871094, -0.020206451416015625, -0.018883705139160156, -0.017560958862304688, -0.01623821258544922, -0.01491546630859375, -0.013592720031738281, -0.012269973754882812, -0.010947227478027344, -0.009624481201171875, -0.008301734924316406, -0.0069789886474609375, -0.005656242370605469, -0.00433349609375, -0.0030107498168945312, -0.0016880035400390625, -0.00036525726318359375, 0.000957489013671875, 0.0022802352905273438, 0.0036029815673828125, 0.004925727844238281, 0.00624847412109375, 0.007571220397949219, 0.008893966674804688, 0.010216712951660156, 0.011539459228515625, 0.012862205505371094, 0.014184951782226562, 0.015507698059082031, 0.0168304443359375, 0.01815319061279297, 0.019475936889648438, 0.020798683166503906, 0.022121429443359375, 0.023444175720214844, 0.024766921997070312, 0.02608966827392578, 0.02741241455078125, 0.02873516082763672, 0.030057907104492188, 0.031380653381347656, 0.032703399658203125, 0.034026145935058594, 0.03534889221191406, 0.03667163848876953, 0.037994384765625]}, "gradients/decoder.transformer.h.22.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 3.0, 1.0, 0.0, 1.0, 6.0, 3.0, 3.0, 6.0, 7.0, 9.0, 9.0, 16.0, 15.0, 28.0, 36.0, 50.0, 56.0, 95.0, 138.0, 184.0, 313.0, 473.0, 864.0, 1582.0, 4978.0, 78839.0, 937547.0, 17417.0, 2794.0, 1210.0, 661.0, 402.0, 222.0, 190.0, 103.0, 82.0, 56.0, 39.0, 29.0, 20.0, 25.0, 15.0, 11.0, 10.0, 6.0, 6.0, 1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1317138671875, -0.1273651123046875, -0.123016357421875, -0.1186676025390625, -0.11431884765625, -0.1099700927734375, -0.105621337890625, -0.1012725830078125, -0.096923828125, -0.0925750732421875, -0.088226318359375, -0.0838775634765625, -0.07952880859375, -0.0751800537109375, -0.070831298828125, -0.0664825439453125, -0.0621337890625, -0.0577850341796875, -0.053436279296875, -0.0490875244140625, -0.04473876953125, -0.0403900146484375, -0.036041259765625, -0.0316925048828125, -0.02734375, -0.0229949951171875, -0.018646240234375, -0.0142974853515625, -0.00994873046875, -0.0055999755859375, -0.001251220703125, 0.0030975341796875, 0.0074462890625, 0.0117950439453125, 0.016143798828125, 0.0204925537109375, 0.02484130859375, 0.0291900634765625, 0.033538818359375, 0.0378875732421875, 0.042236328125, 0.0465850830078125, 0.050933837890625, 0.0552825927734375, 0.05963134765625, 0.0639801025390625, 0.068328857421875, 0.0726776123046875, 0.0770263671875, 0.0813751220703125, 0.085723876953125, 0.0900726318359375, 0.09442138671875, 0.0987701416015625, 0.103118896484375, 0.1074676513671875, 0.11181640625, 0.1161651611328125, 0.120513916015625, 0.1248626708984375, 0.12921142578125, 0.1335601806640625, 0.137908935546875, 0.1422576904296875, 0.1466064453125]}, "gradients/decoder.transformer.h.22.attn.c_attn.bias": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 4.0, 4.0, 4.0, 7.0, 3.0, 7.0, 9.0, 10.0, 14.0, 4.0, 14.0, 23.0, 23.0, 18.0, 26.0, 26.0, 31.0, 33.0, 27.0, 46.0, 44.0, 44.0, 57.0, 70.0, 183.0, 1740.0, 115.0, 52.0, 48.0, 50.0, 43.0, 35.0, 33.0, 34.0, 30.0, 15.0, 19.0, 19.0, 15.0, 14.0, 10.0, 10.0, 9.0, 6.0, 6.0, 9.0, 3.0, 2.0, 0.0, 4.0, 1.0, 1.0, 4.0, 2.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.062744140625, -0.060532569885253906, -0.05832099914550781, -0.05610942840576172, -0.053897857666015625, -0.05168628692626953, -0.04947471618652344, -0.047263145446777344, -0.04505157470703125, -0.042840003967285156, -0.04062843322753906, -0.03841686248779297, -0.036205291748046875, -0.03399372100830078, -0.03178215026855469, -0.029570579528808594, -0.0273590087890625, -0.025147438049316406, -0.022935867309570312, -0.02072429656982422, -0.018512725830078125, -0.01630115509033203, -0.014089584350585938, -0.011878013610839844, -0.00966644287109375, -0.007454872131347656, -0.0052433013916015625, -0.0030317306518554688, -0.000820159912109375, 0.0013914108276367188, 0.0036029815673828125, 0.005814552307128906, 0.008026123046875, 0.010237693786621094, 0.012449264526367188, 0.014660835266113281, 0.016872406005859375, 0.01908397674560547, 0.021295547485351562, 0.023507118225097656, 0.02571868896484375, 0.027930259704589844, 0.030141830444335938, 0.03235340118408203, 0.034564971923828125, 0.03677654266357422, 0.03898811340332031, 0.041199684143066406, 0.0434112548828125, 0.045622825622558594, 0.04783439636230469, 0.05004596710205078, 0.052257537841796875, 0.05446910858154297, 0.05668067932128906, 0.058892250061035156, 0.06110382080078125, 0.06331539154052734, 0.06552696228027344, 0.06773853302001953, 0.06995010375976562, 0.07216167449951172, 0.07437324523925781, 0.0765848159790039, 0.07879638671875]}, "gradients/decoder.transformer.h.22.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 6.0, 5.0, 4.0, 7.0, 7.0, 9.0, 7.0, 14.0, 20.0, 18.0, 27.0, 31.0, 52.0, 68.0, 112.0, 182.0, 357.0, 851.0, 3055.0, 13780.0, 135603.0, 2924950.0, 54815.0, 8232.0, 1966.0, 635.0, 330.0, 175.0, 89.0, 66.0, 52.0, 35.0, 20.0, 23.0, 23.0, 22.0, 10.0, 9.0, 7.0, 9.0, 4.0, 6.0, 2.0, 5.0, 1.0, 3.0, 3.0, 1.0, 0.0, 2.0], "bins": [-0.1763916015625, -0.1714000701904297, -0.16640853881835938, -0.16141700744628906, -0.15642547607421875, -0.15143394470214844, -0.14644241333007812, -0.1414508819580078, -0.1364593505859375, -0.1314678192138672, -0.12647628784179688, -0.12148475646972656, -0.11649322509765625, -0.11150169372558594, -0.10651016235351562, -0.10151863098144531, -0.096527099609375, -0.09153556823730469, -0.08654403686523438, -0.08155250549316406, -0.07656097412109375, -0.07156944274902344, -0.06657791137695312, -0.06158638000488281, -0.0565948486328125, -0.05160331726074219, -0.046611785888671875, -0.04162025451660156, -0.03662872314453125, -0.03163719177246094, -0.026645660400390625, -0.021654129028320312, -0.01666259765625, -0.011671066284179688, -0.006679534912109375, -0.0016880035400390625, 0.00330352783203125, 0.008295059204101562, 0.013286590576171875, 0.018278121948242188, 0.0232696533203125, 0.028261184692382812, 0.033252716064453125, 0.03824424743652344, 0.04323577880859375, 0.04822731018066406, 0.053218841552734375, 0.05821037292480469, 0.063201904296875, 0.06819343566894531, 0.07318496704101562, 0.07817649841308594, 0.08316802978515625, 0.08815956115722656, 0.09315109252929688, 0.09814262390136719, 0.1031341552734375, 0.10812568664550781, 0.11311721801757812, 0.11810874938964844, 0.12310028076171875, 0.12809181213378906, 0.13308334350585938, 0.1380748748779297, 0.14306640625]}, "gradients/decoder.transformer.h.22.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 38.0, 504.0, 446.0, 25.0, 1.0], "bins": [-2.045153856277466, -2.011596202850342, -1.9780385494232178, -1.9444808959960938, -1.9109232425689697, -1.8773655891418457, -1.8438079357147217, -1.8102502822875977, -1.7766926288604736, -1.7431349754333496, -1.7095773220062256, -1.6760196685791016, -1.6424620151519775, -1.6089043617248535, -1.5753467082977295, -1.5417890548706055, -1.5082314014434814, -1.4746737480163574, -1.4411160945892334, -1.4075584411621094, -1.3740007877349854, -1.3404431343078613, -1.3068854808807373, -1.2733278274536133, -1.2397702932357788, -1.2062126398086548, -1.1726549863815308, -1.1390973329544067, -1.1055396795272827, -1.0719820261001587, -1.0384243726730347, -1.0048667192459106, -0.9713090658187866, -0.9377514123916626, -0.9041937589645386, -0.8706361055374146, -0.8370784521102905, -0.8035207986831665, -0.7699631452560425, -0.7364054918289185, -0.7028478384017944, -0.6692901849746704, -0.6357325315475464, -0.6021748781204224, -0.5686172246932983, -0.5350595712661743, -0.5015019178390503, -0.46794429421424866, -0.434386670589447, -0.400829017162323, -0.367271363735199, -0.33371371030807495, -0.3001560568809509, -0.2665984034538269, -0.23304077982902527, -0.19948312640190125, -0.16592547297477722, -0.1323678195476532, -0.09881017357110977, -0.06525252759456635, -0.03169487416744232, 0.0018627792596817017, 0.03542041778564453, 0.06897807121276855, 0.10253573209047318]}, "gradients/decoder.transformer.h.22.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 3.0, 5.0, 2.0, 9.0, 7.0, 14.0, 10.0, 23.0, 17.0, 21.0, 28.0, 32.0, 33.0, 40.0, 37.0, 37.0, 42.0, 46.0, 51.0, 30.0, 47.0, 41.0, 50.0, 37.0, 43.0, 31.0, 32.0, 34.0, 34.0, 32.0, 26.0, 27.0, 14.0, 18.0, 12.0, 6.0, 13.0, 7.0, 9.0, 1.0, 3.0, 3.0, 3.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.34410780668258667, -0.33344322443008423, -0.3227786719799042, -0.3121141195297241, -0.3014495372772217, -0.29078495502471924, -0.2801204025745392, -0.26945585012435913, -0.2587912678718567, -0.24812670052051544, -0.2374621331691742, -0.22679756581783295, -0.2161329984664917, -0.20546843111515045, -0.1948038637638092, -0.18413929641246796, -0.1734747290611267, -0.16281016170978546, -0.1521455943584442, -0.14148102700710297, -0.13081645965576172, -0.12015189230442047, -0.10948732495307922, -0.09882275760173798, -0.08815819025039673, -0.07749362289905548, -0.06682905554771423, -0.056164488196372986, -0.04549992084503174, -0.03483535349369049, -0.024170786142349243, -0.013506218791007996, -0.002841651439666748, 0.0078229159116745, 0.018487483263015747, 0.029152050614356995, 0.03981661796569824, 0.05048118531703949, 0.06114575266838074, 0.07181032001972198, 0.08247488737106323, 0.09313945472240448, 0.10380402207374573, 0.11446858942508698, 0.12513315677642822, 0.13579772412776947, 0.14646229147911072, 0.15712685883045197, 0.1677914261817932, 0.17845599353313446, 0.1891205608844757, 0.19978512823581696, 0.2104496955871582, 0.22111426293849945, 0.2317788302898407, 0.24244339764118195, 0.2531079649925232, 0.26377254724502563, 0.2744370996952057, 0.28510165214538574, 0.2957662343978882, 0.3064308166503906, 0.3170953691005707, 0.32775992155075073, 0.3384245038032532]}, "gradients/decoder.transformer.h.21.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 1.0, 2.0, 1.0, 5.0, 11.0, 18.0, 20.0, 45.0, 67.0, 94.0, 127.0, 130.0, 120.0, 107.0, 81.0, 64.0, 37.0, 26.0, 14.0, 5.0, 6.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.044403076171875, -0.04313087463378906, -0.041858673095703125, -0.04058647155761719, -0.03931427001953125, -0.03804206848144531, -0.036769866943359375, -0.03549766540527344, -0.0342254638671875, -0.03295326232910156, -0.031681060791015625, -0.030408859252929688, -0.02913665771484375, -0.027864456176757812, -0.026592254638671875, -0.025320053100585938, -0.0240478515625, -0.022775650024414062, -0.021503448486328125, -0.020231246948242188, -0.01895904541015625, -0.017686843872070312, -0.016414642333984375, -0.015142440795898438, -0.0138702392578125, -0.012598037719726562, -0.011325836181640625, -0.010053634643554688, -0.00878143310546875, -0.0075092315673828125, -0.006237030029296875, -0.0049648284912109375, -0.003692626953125, -0.0024204254150390625, -0.001148223876953125, 0.0001239776611328125, 0.00139617919921875, 0.0026683807373046875, 0.003940582275390625, 0.0052127838134765625, 0.0064849853515625, 0.0077571868896484375, 0.009029388427734375, 0.010301589965820312, 0.01157379150390625, 0.012845993041992188, 0.014118194580078125, 0.015390396118164062, 0.01666259765625, 0.017934799194335938, 0.019207000732421875, 0.020479202270507812, 0.02175140380859375, 0.023023605346679688, 0.024295806884765625, 0.025568008422851562, 0.0268402099609375, 0.028112411499023438, 0.029384613037109375, 0.030656814575195312, 0.03192901611328125, 0.03320121765136719, 0.034473419189453125, 0.03574562072753906, 0.037017822265625]}, "gradients/decoder.transformer.h.21.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 2.0, 1.0, 4.0, 6.0, 4.0, 6.0, 8.0, 9.0, 8.0, 25.0, 22.0, 32.0, 23.0, 50.0, 58.0, 86.0, 107.0, 147.0, 225.0, 361.0, 588.0, 984.0, 1766.0, 3848.0, 19067.0, 3491750.0, 656107.0, 11252.0, 3326.0, 1638.0, 959.0, 590.0, 349.0, 261.0, 149.0, 115.0, 78.0, 70.0, 41.0, 33.0, 17.0, 31.0, 15.0, 14.0, 19.0, 8.0, 5.0, 6.0, 4.0, 7.0, 7.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.248779296875, -0.24164772033691406, -0.23451614379882812, -0.2273845672607422, -0.22025299072265625, -0.2131214141845703, -0.20598983764648438, -0.19885826110839844, -0.1917266845703125, -0.18459510803222656, -0.17746353149414062, -0.1703319549560547, -0.16320037841796875, -0.1560688018798828, -0.14893722534179688, -0.14180564880371094, -0.134674072265625, -0.12754249572753906, -0.12041091918945312, -0.11327934265136719, -0.10614776611328125, -0.09901618957519531, -0.09188461303710938, -0.08475303649902344, -0.0776214599609375, -0.07048988342285156, -0.06335830688476562, -0.05622673034667969, -0.04909515380859375, -0.04196357727050781, -0.034832000732421875, -0.027700424194335938, -0.02056884765625, -0.013437271118164062, -0.006305694580078125, 0.0008258819580078125, 0.00795745849609375, 0.015089035034179688, 0.022220611572265625, 0.029352188110351562, 0.0364837646484375, 0.04361534118652344, 0.050746917724609375, 0.05787849426269531, 0.06501007080078125, 0.07214164733886719, 0.07927322387695312, 0.08640480041503906, 0.093536376953125, 0.10066795349121094, 0.10779953002929688, 0.11493110656738281, 0.12206268310546875, 0.1291942596435547, 0.13632583618164062, 0.14345741271972656, 0.1505889892578125, 0.15772056579589844, 0.16485214233398438, 0.1719837188720703, 0.17911529541015625, 0.1862468719482422, 0.19337844848632812, 0.20051002502441406, 0.2076416015625]}, "gradients/decoder.transformer.h.21.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 0.0, 1.0, 3.0, 2.0, 2.0, 12.0, 12.0, 8.0, 19.0, 24.0, 19.0, 32.0, 65.0, 89.0, 148.0, 248.0, 568.0, 1018.0, 828.0, 415.0, 216.0, 122.0, 74.0, 36.0, 41.0, 25.0, 15.0, 13.0, 3.0, 6.0, 7.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0955810546875, -0.09201431274414062, -0.08844757080078125, -0.08488082885742188, -0.0813140869140625, -0.07774734497070312, -0.07418060302734375, -0.07061386108398438, -0.067047119140625, -0.06348037719726562, -0.05991363525390625, -0.056346893310546875, -0.0527801513671875, -0.049213409423828125, -0.04564666748046875, -0.042079925537109375, -0.03851318359375, -0.034946441650390625, -0.03137969970703125, -0.027812957763671875, -0.0242462158203125, -0.020679473876953125, -0.01711273193359375, -0.013545989990234375, -0.009979248046875, -0.006412506103515625, -0.00284576416015625, 0.000720977783203125, 0.0042877197265625, 0.007854461669921875, 0.01142120361328125, 0.014987945556640625, 0.0185546875, 0.022121429443359375, 0.02568817138671875, 0.029254913330078125, 0.0328216552734375, 0.036388397216796875, 0.03995513916015625, 0.043521881103515625, 0.047088623046875, 0.050655364990234375, 0.05422210693359375, 0.057788848876953125, 0.0613555908203125, 0.06492233276367188, 0.06848907470703125, 0.07205581665039062, 0.07562255859375, 0.07918930053710938, 0.08275604248046875, 0.08632278442382812, 0.0898895263671875, 0.09345626831054688, 0.09702301025390625, 0.10058975219726562, 0.104156494140625, 0.10772323608398438, 0.11128997802734375, 0.11485671997070312, 0.1184234619140625, 0.12199020385742188, 0.12555694580078125, 0.12912368774414062, 0.1326904296875]}, "gradients/decoder.transformer.h.21.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 6.0, 5.0, 1.0, 3.0, 11.0, 12.0, 9.0, 13.0, 33.0, 35.0, 45.0, 87.0, 129.0, 229.0, 414.0, 829.0, 1963.0, 5444.0, 19276.0, 138123.0, 3617202.0, 366812.0, 31100.0, 7559.0, 2686.0, 1096.0, 477.0, 257.0, 157.0, 79.0, 66.0, 54.0, 32.0, 11.0, 7.0, 11.0, 5.0, 3.0, 3.0, 5.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.240234375, -0.2330951690673828, -0.22595596313476562, -0.21881675720214844, -0.21167755126953125, -0.20453834533691406, -0.19739913940429688, -0.1902599334716797, -0.1831207275390625, -0.1759815216064453, -0.16884231567382812, -0.16170310974121094, -0.15456390380859375, -0.14742469787597656, -0.14028549194335938, -0.1331462860107422, -0.126007080078125, -0.11886787414550781, -0.11172866821289062, -0.10458946228027344, -0.09745025634765625, -0.09031105041503906, -0.08317184448242188, -0.07603263854980469, -0.0688934326171875, -0.06175422668457031, -0.054615020751953125, -0.04747581481933594, -0.04033660888671875, -0.03319740295410156, -0.026058197021484375, -0.018918991088867188, -0.01177978515625, -0.0046405792236328125, 0.002498626708984375, 0.009637832641601562, 0.01677703857421875, 0.023916244506835938, 0.031055450439453125, 0.03819465637207031, 0.0453338623046875, 0.05247306823730469, 0.059612274169921875, 0.06675148010253906, 0.07389068603515625, 0.08102989196777344, 0.08816909790039062, 0.09530830383300781, 0.102447509765625, 0.10958671569824219, 0.11672592163085938, 0.12386512756347656, 0.13100433349609375, 0.13814353942871094, 0.14528274536132812, 0.1524219512939453, 0.1595611572265625, 0.1667003631591797, 0.17383956909179688, 0.18097877502441406, 0.18811798095703125, 0.19525718688964844, 0.20239639282226562, 0.2095355987548828, 0.2166748046875]}, "gradients/decoder.transformer.h.21.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 4.0, 6.0, 20.0, 52.0, 214.0, 366.0, 251.0, 61.0, 25.0, 7.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.365075707435608, -1.3243950605392456, -1.2837142944335938, -1.2430336475372314, -1.2023528814315796, -1.1616722345352173, -1.1209914684295654, -1.0803108215332031, -1.0396300554275513, -0.9989493489265442, -0.9582686424255371, -0.91758793592453, -0.876907229423523, -0.8362265229225159, -0.7955458164215088, -0.7548651695251465, -0.7141844630241394, -0.6735037565231323, -0.6328230500221252, -0.5921423435211182, -0.5514616370201111, -0.510780930519104, -0.4701002538204193, -0.42941954731941223, -0.38873884081840515, -0.34805813431739807, -0.307377427816391, -0.2666967511177063, -0.22601602971553802, -0.18533532321453094, -0.14465463161468506, -0.10397392511367798, -0.0632932186126709, -0.022612515836954117, 0.018068186938762665, 0.05874888598918915, 0.09942959249019623, 0.1401102989912033, 0.1807909905910492, 0.22147169709205627, 0.26215240359306335, 0.30283311009407043, 0.3435138165950775, 0.3841944932937622, 0.4248751997947693, 0.46555590629577637, 0.5062366127967834, 0.5469173192977905, 0.5875980257987976, 0.6282787322998047, 0.6689594388008118, 0.7096401453018188, 0.7503208518028259, 0.791001558303833, 0.8316822052001953, 0.8723629713058472, 0.9130436182022095, 0.9537243247032166, 0.9944050312042236, 1.035085678100586, 1.0757664442062378, 1.1164470911026, 1.157127857208252, 1.1978085041046143, 1.2384892702102661]}, "gradients/decoder.transformer.h.21.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 4.0, 5.0, 4.0, 6.0, 11.0, 12.0, 15.0, 22.0, 29.0, 46.0, 42.0, 63.0, 63.0, 67.0, 69.0, 79.0, 80.0, 77.0, 65.0, 51.0, 44.0, 43.0, 33.0, 19.0, 11.0, 16.0, 12.0, 6.0, 5.0, 4.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.564264714717865, -0.5474962592124939, -0.5307278037071228, -0.5139593482017517, -0.4971908628940582, -0.48042240738868713, -0.46365392208099365, -0.44688546657562256, -0.43011701107025146, -0.41334855556488037, -0.3965801000595093, -0.3798116147518158, -0.3630431592464447, -0.3462747037410736, -0.3295062184333801, -0.31273776292800903, -0.29596930742263794, -0.27920085191726685, -0.26243239641189575, -0.24566391110420227, -0.22889545559883118, -0.21212700009346008, -0.1953585296869278, -0.1785900592803955, -0.16182160377502441, -0.14505314826965332, -0.12828467786312103, -0.11151621490716934, -0.09474775195121765, -0.07797928899526596, -0.06121082603931427, -0.04444236308336258, -0.027673959732055664, -0.010905496776103973, 0.005862966179847717, 0.022631429135799408, 0.0393998920917511, 0.05616835504770279, 0.07293681800365448, 0.08970528095960617, 0.10647374391555786, 0.12324220687150955, 0.14001066982746124, 0.15677914023399353, 0.17354759573936462, 0.19031605124473572, 0.207084521651268, 0.2238529920578003, 0.2406214475631714, 0.2573899030685425, 0.2741583585739136, 0.29092684388160706, 0.30769529938697815, 0.32446375489234924, 0.3412322402000427, 0.3580006957054138, 0.3747691512107849, 0.391537606716156, 0.4083060622215271, 0.4250745475292206, 0.4418430030345917, 0.45861145853996277, 0.47537994384765625, 0.49214839935302734, 0.5089168548583984]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 8.0, 12.0, 13.0, 27.0, 49.0, 50.0, 71.0, 103.0, 97.0, 114.0, 80.0, 86.0, 80.0, 63.0, 41.0, 34.0, 21.0, 10.0, 8.0, 4.0, 5.0, 6.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.03656005859375, -0.03550577163696289, -0.03445148468017578, -0.03339719772338867, -0.03234291076660156, -0.03128862380981445, -0.030234336853027344, -0.029180049896240234, -0.028125762939453125, -0.027071475982666016, -0.026017189025878906, -0.024962902069091797, -0.023908615112304688, -0.022854328155517578, -0.02180004119873047, -0.02074575424194336, -0.01969146728515625, -0.01863718032836914, -0.01758289337158203, -0.016528606414794922, -0.015474319458007812, -0.014420032501220703, -0.013365745544433594, -0.012311458587646484, -0.011257171630859375, -0.010202884674072266, -0.009148597717285156, -0.008094310760498047, -0.0070400238037109375, -0.005985736846923828, -0.004931449890136719, -0.0038771629333496094, -0.0028228759765625, -0.0017685890197753906, -0.0007143020629882812, 0.0003399848937988281, 0.0013942718505859375, 0.002448558807373047, 0.0035028457641601562, 0.004557132720947266, 0.005611419677734375, 0.006665706634521484, 0.007719993591308594, 0.008774280548095703, 0.009828567504882812, 0.010882854461669922, 0.011937141418457031, 0.01299142837524414, 0.01404571533203125, 0.01510000228881836, 0.01615428924560547, 0.017208576202392578, 0.018262863159179688, 0.019317150115966797, 0.020371437072753906, 0.021425724029541016, 0.022480010986328125, 0.023534297943115234, 0.024588584899902344, 0.025642871856689453, 0.026697158813476562, 0.027751445770263672, 0.02880573272705078, 0.02986001968383789, 0.030914306640625]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 1.0, 4.0, 3.0, 3.0, 10.0, 12.0, 13.0, 18.0, 33.0, 50.0, 71.0, 91.0, 108.0, 163.0, 223.0, 332.0, 459.0, 696.0, 1164.0, 1897.0, 3744.0, 8269.0, 22945.0, 92319.0, 661107.0, 193095.0, 38161.0, 12185.0, 4940.0, 2432.0, 1427.0, 849.0, 529.0, 342.0, 254.0, 166.0, 116.0, 88.0, 72.0, 54.0, 35.0, 22.0, 20.0, 12.0, 12.0, 7.0, 3.0, 1.0, 4.0, 4.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003097057342529297, -0.0002992786467075348, -0.0002888515591621399, -0.000278424471616745, -0.0002679973840713501, -0.0002575702965259552, -0.0002471432089805603, -0.0002367161214351654, -0.0002262890338897705, -0.0002158619463443756, -0.0002054348587989807, -0.00019500777125358582, -0.00018458068370819092, -0.00017415359616279602, -0.00016372650861740112, -0.00015329942107200623, -0.00014287233352661133, -0.00013244524598121643, -0.00012201815843582153, -0.00011159107089042664, -0.00010116398334503174, -9.073689579963684e-05, -8.030980825424194e-05, -6.988272070884705e-05, -5.945563316345215e-05, -4.902854561805725e-05, -3.8601458072662354e-05, -2.8174370527267456e-05, -1.774728298187256e-05, -7.320195436477661e-06, 3.1068921089172363e-06, 1.3533979654312134e-05, 2.396106719970703e-05, 3.438815474510193e-05, 4.4815242290496826e-05, 5.5242329835891724e-05, 6.566941738128662e-05, 7.609650492668152e-05, 8.652359247207642e-05, 9.695068001747131e-05, 0.00010737776756286621, 0.00011780485510826111, 0.000128231942653656, 0.0001386590301990509, 0.0001490861177444458, 0.0001595132052898407, 0.0001699402928352356, 0.0001803673803806305, 0.0001907944679260254, 0.0002012215554714203, 0.00021164864301681519, 0.00022207573056221008, 0.00023250281810760498, 0.00024292990565299988, 0.0002533569931983948, 0.00026378408074378967, 0.00027421116828918457, 0.00028463825583457947, 0.00029506534337997437, 0.00030549243092536926, 0.00031591951847076416, 0.00032634660601615906, 0.00033677369356155396, 0.00034720078110694885, 0.00035762786865234375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 4.0, 2.0, 14.0, 11.0, 5.0, 9.0, 14.0, 13.0, 15.0, 19.0, 19.0, 23.0, 22.0, 40.0, 24.0, 29.0, 27.0, 22.0, 29.0, 19.0, 21.0, 21.0, 17.0, 27.0, 20.0, 1045.0, 23.0, 26.0, 20.0, 25.0, 25.0, 34.0, 28.0, 25.0, 22.0, 30.0, 23.0, 26.0, 35.0, 23.0, 21.0, 17.0, 23.0, 16.0, 16.0, 16.0, 11.0, 8.0, 8.0, 7.0, 2.0, 4.0, 6.0, 4.0, 1.0, 0.0, 2.0, 2.0], "bins": [-0.03314208984375, -0.0321040153503418, -0.031065940856933594, -0.03002786636352539, -0.028989791870117188, -0.027951717376708984, -0.02691364288330078, -0.025875568389892578, -0.024837493896484375, -0.023799419403076172, -0.02276134490966797, -0.021723270416259766, -0.020685195922851562, -0.01964712142944336, -0.018609046936035156, -0.017570972442626953, -0.01653289794921875, -0.015494823455810547, -0.014456748962402344, -0.01341867446899414, -0.012380599975585938, -0.011342525482177734, -0.010304450988769531, -0.009266376495361328, -0.008228302001953125, -0.007190227508544922, -0.006152153015136719, -0.005114078521728516, -0.0040760040283203125, -0.0030379295349121094, -0.0019998550415039062, -0.0009617805480957031, 7.62939453125e-05, 0.0011143684387207031, 0.0021524429321289062, 0.0031905174255371094, 0.0042285919189453125, 0.005266666412353516, 0.006304740905761719, 0.007342815399169922, 0.008380889892578125, 0.009418964385986328, 0.010457038879394531, 0.011495113372802734, 0.012533187866210938, 0.01357126235961914, 0.014609336853027344, 0.015647411346435547, 0.01668548583984375, 0.017723560333251953, 0.018761634826660156, 0.01979970932006836, 0.020837783813476562, 0.021875858306884766, 0.02291393280029297, 0.023952007293701172, 0.024990081787109375, 0.026028156280517578, 0.02706623077392578, 0.028104305267333984, 0.029142379760742188, 0.03018045425415039, 0.031218528747558594, 0.0322566032409668, 0.033294677734375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 4.0, 5.0, 4.0, 3.0, 6.0, 8.0, 6.0, 16.0, 14.0, 16.0, 16.0, 22.0, 18.0, 18.0, 23.0, 34.0, 27.0, 25.0, 29.0, 22.0, 26.0, 30.0, 60.0, 138.0, 270.0, 947.0, 4113.0, 52808.0, 2029723.0, 6369.0, 1388.0, 367.0, 148.0, 68.0, 28.0, 27.0, 21.0, 25.0, 32.0, 21.0, 41.0, 21.0, 25.0, 18.0, 20.0, 13.0, 15.0, 14.0, 10.0, 5.0, 10.0, 13.0, 5.0, 3.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0], "bins": [-3.5643577575683594e-05, -3.453437238931656e-05, -3.3425167202949524e-05, -3.231596201658249e-05, -3.1206756830215454e-05, -3.009755164384842e-05, -2.8988346457481384e-05, -2.787914127111435e-05, -2.6769936084747314e-05, -2.566073089838028e-05, -2.4551525712013245e-05, -2.344232052564621e-05, -2.2333115339279175e-05, -2.122391015291214e-05, -2.0114704966545105e-05, -1.900549978017807e-05, -1.7896294593811035e-05, -1.6787089407444e-05, -1.5677884221076965e-05, -1.456867903470993e-05, -1.3459473848342896e-05, -1.235026866197586e-05, -1.1241063475608826e-05, -1.013185828924179e-05, -9.022653102874756e-06, -7.913447916507721e-06, -6.804242730140686e-06, -5.695037543773651e-06, -4.585832357406616e-06, -3.4766271710395813e-06, -2.3674219846725464e-06, -1.2582167983055115e-06, -1.4901161193847656e-07, 9.601935744285583e-07, 2.0693987607955933e-06, 3.178603947162628e-06, 4.287809133529663e-06, 5.397014319896698e-06, 6.506219506263733e-06, 7.615424692630768e-06, 8.724629878997803e-06, 9.833835065364838e-06, 1.0943040251731873e-05, 1.2052245438098907e-05, 1.3161450624465942e-05, 1.4270655810832977e-05, 1.5379860997200012e-05, 1.6489066183567047e-05, 1.7598271369934082e-05, 1.8707476556301117e-05, 1.9816681742668152e-05, 2.0925886929035187e-05, 2.203509211540222e-05, 2.3144297301769257e-05, 2.425350248813629e-05, 2.5362707674503326e-05, 2.647191286087036e-05, 2.7581118047237396e-05, 2.869032323360443e-05, 2.9799528419971466e-05, 3.09087336063385e-05, 3.2017938792705536e-05, 3.312714397907257e-05, 3.4236349165439606e-05, 3.534555435180664e-05]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 8.0, 12.0, 13.0, 27.0, 49.0, 50.0, 71.0, 103.0, 97.0, 114.0, 80.0, 86.0, 80.0, 63.0, 41.0, 34.0, 21.0, 10.0, 8.0, 4.0, 5.0, 6.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.03656005859375, -0.03550577163696289, -0.03445148468017578, -0.03339719772338867, -0.03234291076660156, -0.03128862380981445, -0.030234336853027344, -0.029180049896240234, -0.028125762939453125, -0.027071475982666016, -0.026017189025878906, -0.024962902069091797, -0.023908615112304688, -0.022854328155517578, -0.02180004119873047, -0.02074575424194336, -0.01969146728515625, -0.01863718032836914, -0.01758289337158203, -0.016528606414794922, -0.015474319458007812, -0.014420032501220703, -0.013365745544433594, -0.012311458587646484, -0.011257171630859375, -0.010202884674072266, -0.009148597717285156, -0.008094310760498047, -0.0070400238037109375, -0.005985736846923828, -0.004931449890136719, -0.0038771629333496094, -0.0028228759765625, -0.0017685890197753906, -0.0007143020629882812, 0.0003399848937988281, 0.0013942718505859375, 0.002448558807373047, 0.0035028457641601562, 0.004557132720947266, 0.005611419677734375, 0.006665706634521484, 0.007719993591308594, 0.008774280548095703, 0.009828567504882812, 0.010882854461669922, 0.011937141418457031, 0.01299142837524414, 0.01404571533203125, 0.01510000228881836, 0.01615428924560547, 0.017208576202392578, 0.018262863159179688, 0.019317150115966797, 0.020371437072753906, 0.021425724029541016, 0.022480010986328125, 0.023534297943115234, 0.024588584899902344, 0.025642871856689453, 0.026697158813476562, 0.027751445770263672, 0.02880573272705078, 0.02986001968383789, 0.030914306640625]}, "gradients/decoder.transformer.h.21.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 5.0, 3.0, 1.0, 2.0, 4.0, 7.0, 7.0, 10.0, 16.0, 19.0, 29.0, 24.0, 55.0, 74.0, 107.0, 165.0, 287.0, 410.0, 781.0, 1821.0, 7558.0, 618658.0, 407736.0, 6951.0, 1827.0, 773.0, 432.0, 271.0, 162.0, 127.0, 68.0, 47.0, 38.0, 20.0, 17.0, 16.0, 12.0, 5.0, 3.0, 5.0, 5.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.166015625, -0.1604785919189453, -0.15494155883789062, -0.14940452575683594, -0.14386749267578125, -0.13833045959472656, -0.13279342651367188, -0.1272563934326172, -0.1217193603515625, -0.11618232727050781, -0.11064529418945312, -0.10510826110839844, -0.09957122802734375, -0.09403419494628906, -0.08849716186523438, -0.08296012878417969, -0.077423095703125, -0.07188606262207031, -0.06634902954101562, -0.06081199645996094, -0.05527496337890625, -0.04973793029785156, -0.044200897216796875, -0.03866386413574219, -0.0331268310546875, -0.027589797973632812, -0.022052764892578125, -0.016515731811523438, -0.01097869873046875, -0.0054416656494140625, 9.5367431640625e-05, 0.0056324005126953125, 0.01116943359375, 0.016706466674804688, 0.022243499755859375, 0.027780532836914062, 0.03331756591796875, 0.03885459899902344, 0.044391632080078125, 0.04992866516113281, 0.0554656982421875, 0.06100273132324219, 0.06653976440429688, 0.07207679748535156, 0.07761383056640625, 0.08315086364746094, 0.08868789672851562, 0.09422492980957031, 0.099761962890625, 0.10529899597167969, 0.11083602905273438, 0.11637306213378906, 0.12191009521484375, 0.12744712829589844, 0.13298416137695312, 0.1385211944580078, 0.1440582275390625, 0.1495952606201172, 0.15513229370117188, 0.16066932678222656, 0.16620635986328125, 0.17174339294433594, 0.17728042602539062, 0.1828174591064453, 0.1883544921875]}, "gradients/decoder.transformer.h.21.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 5.0, 2.0, 2.0, 7.0, 4.0, 5.0, 5.0, 7.0, 11.0, 14.0, 15.0, 14.0, 16.0, 19.0, 20.0, 35.0, 24.0, 50.0, 43.0, 61.0, 82.0, 124.0, 272.0, 1546.0, 151.0, 92.0, 73.0, 44.0, 31.0, 46.0, 35.0, 34.0, 25.0, 24.0, 21.0, 19.0, 21.0, 9.0, 16.0, 6.0, 6.0, 8.0, 6.0, 5.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07220458984375, -0.06981658935546875, -0.0674285888671875, -0.06504058837890625, -0.062652587890625, -0.06026458740234375, -0.0578765869140625, -0.05548858642578125, -0.0531005859375, -0.05071258544921875, -0.0483245849609375, -0.04593658447265625, -0.043548583984375, -0.04116058349609375, -0.0387725830078125, -0.03638458251953125, -0.03399658203125, -0.03160858154296875, -0.0292205810546875, -0.02683258056640625, -0.024444580078125, -0.02205657958984375, -0.0196685791015625, -0.01728057861328125, -0.014892578125, -0.01250457763671875, -0.0101165771484375, -0.00772857666015625, -0.005340576171875, -0.00295257568359375, -0.0005645751953125, 0.00182342529296875, 0.00421142578125, 0.00659942626953125, 0.0089874267578125, 0.01137542724609375, 0.013763427734375, 0.01615142822265625, 0.0185394287109375, 0.02092742919921875, 0.0233154296875, 0.02570343017578125, 0.0280914306640625, 0.03047943115234375, 0.032867431640625, 0.03525543212890625, 0.0376434326171875, 0.04003143310546875, 0.04241943359375, 0.04480743408203125, 0.0471954345703125, 0.04958343505859375, 0.051971435546875, 0.05435943603515625, 0.0567474365234375, 0.05913543701171875, 0.0615234375, 0.06391143798828125, 0.0662994384765625, 0.06868743896484375, 0.071075439453125, 0.07346343994140625, 0.0758514404296875, 0.07823944091796875, 0.08062744140625]}, "gradients/decoder.transformer.h.21.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 0.0, 4.0, 3.0, 1.0, 6.0, 7.0, 6.0, 9.0, 7.0, 18.0, 24.0, 18.0, 34.0, 37.0, 53.0, 55.0, 112.0, 172.0, 397.0, 847.0, 2886.0, 13768.0, 235430.0, 2841747.0, 41407.0, 5885.0, 1548.0, 548.0, 235.0, 149.0, 87.0, 56.0, 31.0, 26.0, 27.0, 16.0, 9.0, 15.0, 9.0, 5.0, 3.0, 5.0, 4.0, 4.0, 3.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1607666015625, -0.15607261657714844, -0.15137863159179688, -0.1466846466064453, -0.14199066162109375, -0.1372966766357422, -0.13260269165039062, -0.12790870666503906, -0.1232147216796875, -0.11852073669433594, -0.11382675170898438, -0.10913276672363281, -0.10443878173828125, -0.09974479675292969, -0.09505081176757812, -0.09035682678222656, -0.085662841796875, -0.08096885681152344, -0.07627487182617188, -0.07158088684082031, -0.06688690185546875, -0.06219291687011719, -0.057498931884765625, -0.05280494689941406, -0.0481109619140625, -0.04341697692871094, -0.038722991943359375, -0.03402900695800781, -0.02933502197265625, -0.024641036987304688, -0.019947052001953125, -0.015253067016601562, -0.01055908203125, -0.0058650970458984375, -0.001171112060546875, 0.0035228729248046875, 0.00821685791015625, 0.012910842895507812, 0.017604827880859375, 0.022298812866210938, 0.0269927978515625, 0.03168678283691406, 0.036380767822265625, 0.04107475280761719, 0.04576873779296875, 0.05046272277832031, 0.055156707763671875, 0.05985069274902344, 0.064544677734375, 0.06923866271972656, 0.07393264770507812, 0.07862663269042969, 0.08332061767578125, 0.08801460266113281, 0.09270858764648438, 0.09740257263183594, 0.1020965576171875, 0.10679054260253906, 0.11148452758789062, 0.11617851257324219, 0.12087249755859375, 0.1255664825439453, 0.13026046752929688, 0.13495445251464844, 0.1396484375]}, "gradients/decoder.transformer.h.21.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 61.0, 943.0, 14.0], "bins": [-4.520432472229004, -4.447926044464111, -4.375420093536377, -4.302913665771484, -4.23040771484375, -4.157901287078857, -4.085394859313965, -4.0128889083862305, -3.940382480621338, -3.8678762912750244, -3.795370101928711, -3.7228636741638184, -3.650357484817505, -3.5778512954711914, -3.505344867706299, -3.4328386783599854, -3.360332489013672, -3.2878262996673584, -3.215320110321045, -3.1428136825561523, -3.070307493209839, -2.9978013038635254, -2.925294876098633, -2.8527886867523193, -2.780282497406006, -2.7077763080596924, -2.635270118713379, -2.5627636909484863, -2.490257501602173, -2.4177513122558594, -2.345244884490967, -2.2727386951446533, -2.20023250579834, -2.1277263164520264, -2.055220127105713, -1.9827136993408203, -1.9102075099945068, -1.8377013206481934, -1.7651950120925903, -1.6926887035369873, -1.6201825141906738, -1.5476763248443604, -1.4751700162887573, -1.4026637077331543, -1.3301575183868408, -1.2576513290405273, -1.1851450204849243, -1.1126387119293213, -1.0401325225830078, -0.9676262736320496, -0.8951200246810913, -0.8226137757301331, -0.7501075267791748, -0.6776012778282166, -0.6050950288772583, -0.5325887799263, -0.4600825905799866, -0.3875763416290283, -0.31507009267807007, -0.24256384372711182, -0.17005759477615356, -0.09755134582519531, -0.02504509687423706, 0.04746115207672119, 0.11996741592884064]}, "gradients/decoder.transformer.h.21.ln_1.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 3.0, 6.0, 4.0, 4.0, 8.0, 13.0, 12.0, 13.0, 13.0, 25.0, 26.0, 25.0, 24.0, 20.0, 44.0, 28.0, 36.0, 39.0, 45.0, 39.0, 37.0, 57.0, 39.0, 29.0, 40.0, 42.0, 47.0, 38.0, 45.0, 29.0, 32.0, 28.0, 20.0, 19.0, 14.0, 8.0, 18.0, 6.0, 7.0, 6.0, 4.0, 4.0, 2.0, 3.0, 2.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2855440378189087, -0.2760198712348938, -0.2664957046508789, -0.2569715678691864, -0.2474474012851715, -0.23792323470115662, -0.22839906811714172, -0.21887490153312683, -0.20935074985027313, -0.19982658326625824, -0.19030243158340454, -0.18077826499938965, -0.17125409841537476, -0.16172994673252106, -0.15220578014850616, -0.14268162846565247, -0.13315746188163757, -0.12363330274820328, -0.11410914361476898, -0.10458497703075409, -0.0950608178973198, -0.0855366587638855, -0.0760124921798706, -0.06648833304643631, -0.056964173913002014, -0.04744001477956772, -0.037915851920843124, -0.02839169092476368, -0.018867529928684235, -0.009343370795249939, 0.00018079206347465515, 0.00970495492219925, 0.019229114055633545, 0.02875327505171299, 0.038277436047792435, 0.04780159890651703, 0.057325758039951324, 0.06684991717338562, 0.07637408375740051, 0.08589824289083481, 0.0954224020242691, 0.1049465611577034, 0.1144707202911377, 0.12399488687515259, 0.13351905345916748, 0.14304320514202118, 0.15256737172603607, 0.16209152340888977, 0.17161568999290466, 0.18113985657691956, 0.19066400825977325, 0.20018817484378815, 0.20971232652664185, 0.21923649311065674, 0.22876065969467163, 0.23828482627868652, 0.24780897796154022, 0.2573331296443939, 0.2668572962284088, 0.2763814628124237, 0.2859056293964386, 0.2954297661781311, 0.304953932762146, 0.3144780993461609, 0.3240022659301758]}, "gradients/decoder.transformer.h.20.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 1.0, 1.0, 1.0, 4.0, 1.0, 2.0, 7.0, 10.0, 10.0, 16.0, 37.0, 38.0, 49.0, 69.0, 81.0, 111.0, 99.0, 86.0, 78.0, 82.0, 56.0, 55.0, 32.0, 23.0, 18.0, 13.0, 2.0, 4.0, 4.0, 5.0, 5.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0], "bins": [-0.035430908203125, -0.03441357612609863, -0.033396244049072266, -0.0323789119720459, -0.03136157989501953, -0.030344247817993164, -0.029326915740966797, -0.02830958366394043, -0.027292251586914062, -0.026274919509887695, -0.025257587432861328, -0.02424025535583496, -0.023222923278808594, -0.022205591201782227, -0.02118825912475586, -0.020170927047729492, -0.019153594970703125, -0.018136262893676758, -0.01711893081665039, -0.016101598739624023, -0.015084266662597656, -0.014066934585571289, -0.013049602508544922, -0.012032270431518555, -0.011014938354492188, -0.00999760627746582, -0.008980274200439453, -0.007962942123413086, -0.006945610046386719, -0.0059282779693603516, -0.004910945892333984, -0.003893613815307617, -0.00287628173828125, -0.0018589496612548828, -0.0008416175842285156, 0.00017571449279785156, 0.0011930465698242188, 0.002210378646850586, 0.003227710723876953, 0.00424504280090332, 0.0052623748779296875, 0.006279706954956055, 0.007297039031982422, 0.008314371109008789, 0.009331703186035156, 0.010349035263061523, 0.01136636734008789, 0.012383699417114258, 0.013401031494140625, 0.014418363571166992, 0.01543569564819336, 0.016453027725219727, 0.017470359802246094, 0.01848769187927246, 0.019505023956298828, 0.020522356033325195, 0.021539688110351562, 0.02255702018737793, 0.023574352264404297, 0.024591684341430664, 0.02560901641845703, 0.0266263484954834, 0.027643680572509766, 0.028661012649536133, 0.0296783447265625]}, "gradients/decoder.transformer.h.20.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 4.0, 4.0, 5.0, 10.0, 5.0, 21.0, 15.0, 25.0, 25.0, 53.0, 76.0, 112.0, 213.0, 260.0, 482.0, 754.0, 1320.0, 2835.0, 11107.0, 430842.0, 3705019.0, 31911.0, 4553.0, 1807.0, 1029.0, 615.0, 414.0, 236.0, 181.0, 115.0, 71.0, 47.0, 36.0, 25.0, 17.0, 10.0, 6.0, 7.0, 6.0, 1.0, 2.0, 4.0, 3.0, 3.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0], "bins": [-0.202392578125, -0.19647598266601562, -0.19055938720703125, -0.18464279174804688, -0.1787261962890625, -0.17280960083007812, -0.16689300537109375, -0.16097640991210938, -0.155059814453125, -0.14914321899414062, -0.14322662353515625, -0.13731002807617188, -0.1313934326171875, -0.12547683715820312, -0.11956024169921875, -0.11364364624023438, -0.10772705078125, -0.10181045532226562, -0.09589385986328125, -0.08997726440429688, -0.0840606689453125, -0.07814407348632812, -0.07222747802734375, -0.06631088256835938, -0.060394287109375, -0.054477691650390625, -0.04856109619140625, -0.042644500732421875, -0.0367279052734375, -0.030811309814453125, -0.02489471435546875, -0.018978118896484375, -0.0130615234375, -0.007144927978515625, -0.00122833251953125, 0.004688262939453125, 0.0106048583984375, 0.016521453857421875, 0.02243804931640625, 0.028354644775390625, 0.034271240234375, 0.040187835693359375, 0.04610443115234375, 0.052021026611328125, 0.0579376220703125, 0.06385421752929688, 0.06977081298828125, 0.07568740844726562, 0.08160400390625, 0.08752059936523438, 0.09343719482421875, 0.09935379028320312, 0.1052703857421875, 0.11118698120117188, 0.11710357666015625, 0.12302017211914062, 0.128936767578125, 0.13485336303710938, 0.14076995849609375, 0.14668655395507812, 0.1526031494140625, 0.15851974487304688, 0.16443634033203125, 0.17035293579101562, 0.17626953125]}, "gradients/decoder.transformer.h.20.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 6.0, 3.0, 1.0, 4.0, 7.0, 9.0, 11.0, 11.0, 11.0, 19.0, 24.0, 29.0, 44.0, 56.0, 89.0, 153.0, 228.0, 335.0, 531.0, 730.0, 611.0, 404.0, 240.0, 143.0, 86.0, 76.0, 46.0, 36.0, 34.0, 13.0, 21.0, 14.0, 11.0, 8.0, 9.0, 3.0, 3.0, 3.0, 3.0, 4.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.06787109375, -0.06549930572509766, -0.06312751770019531, -0.06075572967529297, -0.058383941650390625, -0.05601215362548828, -0.05364036560058594, -0.051268577575683594, -0.04889678955078125, -0.046525001525878906, -0.04415321350097656, -0.04178142547607422, -0.039409637451171875, -0.03703784942626953, -0.03466606140136719, -0.032294273376464844, -0.0299224853515625, -0.027550697326660156, -0.025178909301757812, -0.02280712127685547, -0.020435333251953125, -0.01806354522705078, -0.015691757202148438, -0.013319969177246094, -0.01094818115234375, -0.008576393127441406, -0.0062046051025390625, -0.0038328170776367188, -0.001461029052734375, 0.0009107589721679688, 0.0032825469970703125, 0.005654335021972656, 0.008026123046875, 0.010397911071777344, 0.012769699096679688, 0.015141487121582031, 0.017513275146484375, 0.01988506317138672, 0.022256851196289062, 0.024628639221191406, 0.02700042724609375, 0.029372215270996094, 0.03174400329589844, 0.03411579132080078, 0.036487579345703125, 0.03885936737060547, 0.04123115539550781, 0.043602943420410156, 0.0459747314453125, 0.048346519470214844, 0.05071830749511719, 0.05309009552001953, 0.055461883544921875, 0.05783367156982422, 0.06020545959472656, 0.0625772476196289, 0.06494903564453125, 0.0673208236694336, 0.06969261169433594, 0.07206439971923828, 0.07443618774414062, 0.07680797576904297, 0.07917976379394531, 0.08155155181884766, 0.08392333984375]}, "gradients/decoder.transformer.h.20.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 3.0, 5.0, 4.0, 1.0, 6.0, 10.0, 17.0, 13.0, 21.0, 29.0, 45.0, 87.0, 140.0, 237.0, 479.0, 1074.0, 2843.0, 8666.0, 40357.0, 688608.0, 3320365.0, 107650.0, 15930.0, 4537.0, 1660.0, 705.0, 340.0, 161.0, 104.0, 54.0, 37.0, 23.0, 18.0, 12.0, 13.0, 9.0, 3.0, 4.0, 4.0, 4.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.2137451171875, -0.20731163024902344, -0.20087814331054688, -0.1944446563720703, -0.18801116943359375, -0.1815776824951172, -0.17514419555664062, -0.16871070861816406, -0.1622772216796875, -0.15584373474121094, -0.14941024780273438, -0.1429767608642578, -0.13654327392578125, -0.1301097869873047, -0.12367630004882812, -0.11724281311035156, -0.110809326171875, -0.10437583923339844, -0.09794235229492188, -0.09150886535644531, -0.08507537841796875, -0.07864189147949219, -0.07220840454101562, -0.06577491760253906, -0.0593414306640625, -0.05290794372558594, -0.046474456787109375, -0.04004096984863281, -0.03360748291015625, -0.027173995971679688, -0.020740509033203125, -0.014307022094726562, -0.00787353515625, -0.0014400482177734375, 0.004993438720703125, 0.011426925659179688, 0.01786041259765625, 0.024293899536132812, 0.030727386474609375, 0.03716087341308594, 0.0435943603515625, 0.05002784729003906, 0.056461334228515625, 0.06289482116699219, 0.06932830810546875, 0.07576179504394531, 0.08219528198242188, 0.08862876892089844, 0.095062255859375, 0.10149574279785156, 0.10792922973632812, 0.11436271667480469, 0.12079620361328125, 0.1272296905517578, 0.13366317749023438, 0.14009666442871094, 0.1465301513671875, 0.15296363830566406, 0.15939712524414062, 0.1658306121826172, 0.17226409912109375, 0.1786975860595703, 0.18513107299804688, 0.19156455993652344, 0.197998046875]}, "gradients/decoder.transformer.h.20.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 5.0, 7.0, 20.0, 54.0, 150.0, 237.0, 284.0, 140.0, 76.0, 22.0, 14.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.902773380279541, -0.8762985467910767, -0.8498237133026123, -0.823348879814148, -0.7968740463256836, -0.7703992128372192, -0.7439243197441101, -0.7174494862556458, -0.6909746527671814, -0.664499819278717, -0.6380249857902527, -0.6115501523017883, -0.5850752592086792, -0.5586004257202148, -0.5321255922317505, -0.5056507587432861, -0.4791759252548218, -0.4527010917663574, -0.42622625827789307, -0.3997513949871063, -0.37327656149864197, -0.3468017280101776, -0.32032686471939087, -0.2938520312309265, -0.26737719774246216, -0.2409023642539978, -0.21442751586437225, -0.1879526674747467, -0.16147783398628235, -0.135003000497818, -0.10852815210819244, -0.0820533037185669, -0.05557847023010254, -0.029103629291057587, -0.0026287883520126343, 0.023846052587032318, 0.05032089352607727, 0.07679572701454163, 0.10327057540416718, 0.12974542379379272, 0.15622025728225708, 0.18269509077072144, 0.20916993916034698, 0.23564478754997253, 0.2621196210384369, 0.28859445452690125, 0.315069317817688, 0.34154415130615234, 0.3680189847946167, 0.39449381828308105, 0.4209686517715454, 0.44744351506233215, 0.4739183485507965, 0.5003931522369385, 0.5268680453300476, 0.553342878818512, 0.5798177123069763, 0.6062925457954407, 0.632767379283905, 0.6592422127723694, 0.6857171058654785, 0.7121919393539429, 0.7386667728424072, 0.7651416063308716, 0.7916164398193359]}, "gradients/decoder.transformer.h.20.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 6.0, 5.0, 9.0, 13.0, 9.0, 12.0, 18.0, 21.0, 19.0, 36.0, 41.0, 44.0, 38.0, 52.0, 68.0, 54.0, 47.0, 48.0, 55.0, 50.0, 47.0, 51.0, 60.0, 39.0, 27.0, 32.0, 23.0, 22.0, 15.0, 15.0, 7.0, 8.0, 5.0, 4.0, 4.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.3686976432800293, -0.3579976558685303, -0.34729769825935364, -0.336597740650177, -0.325897753238678, -0.31519776582717896, -0.3044978082180023, -0.2937978506088257, -0.28309786319732666, -0.27239787578582764, -0.261697918176651, -0.25099796056747437, -0.24029797315597534, -0.2295980006456375, -0.21889802813529968, -0.20819805562496185, -0.19749808311462402, -0.1867981106042862, -0.17609813809394836, -0.16539816558361053, -0.1546981930732727, -0.14399822056293488, -0.13329824805259705, -0.12259827554225922, -0.11189830303192139, -0.10119833052158356, -0.09049835801124573, -0.0797983855009079, -0.06909841299057007, -0.05839844048023224, -0.04769846796989441, -0.03699849545955658, -0.02629852294921875, -0.01559855043888092, -0.004898577928543091, 0.005801394581794739, 0.01650136709213257, 0.027201339602470398, 0.03790131211280823, 0.04860128462314606, 0.05930125713348389, 0.07000122964382172, 0.08070120215415955, 0.09140117466449738, 0.1021011471748352, 0.11280111968517303, 0.12350109219551086, 0.1342010647058487, 0.14490103721618652, 0.15560100972652435, 0.16630098223686218, 0.1770009547472, 0.18770092725753784, 0.19840089976787567, 0.2091008722782135, 0.21980084478855133, 0.23050081729888916, 0.241200789809227, 0.2519007623195648, 0.26260071992874146, 0.2733007073402405, 0.2840006947517395, 0.29470065236091614, 0.3054006099700928, 0.3161005973815918]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 2.0, 7.0, 3.0, 3.0, 17.0, 9.0, 17.0, 29.0, 40.0, 40.0, 55.0, 69.0, 80.0, 75.0, 77.0, 91.0, 73.0, 68.0, 61.0, 45.0, 32.0, 34.0, 13.0, 12.0, 18.0, 7.0, 7.0, 2.0, 5.0, 3.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.029876708984375, -0.02899026870727539, -0.02810382843017578, -0.027217388153076172, -0.026330947875976562, -0.025444507598876953, -0.024558067321777344, -0.023671627044677734, -0.022785186767578125, -0.021898746490478516, -0.021012306213378906, -0.020125865936279297, -0.019239425659179688, -0.018352985382080078, -0.01746654510498047, -0.01658010482788086, -0.01569366455078125, -0.01480722427368164, -0.013920783996582031, -0.013034343719482422, -0.012147903442382812, -0.011261463165283203, -0.010375022888183594, -0.009488582611083984, -0.008602142333984375, -0.007715702056884766, -0.006829261779785156, -0.005942821502685547, -0.0050563812255859375, -0.004169940948486328, -0.0032835006713867188, -0.0023970603942871094, -0.0015106201171875, -0.0006241798400878906, 0.00026226043701171875, 0.0011487007141113281, 0.0020351409912109375, 0.002921581268310547, 0.0038080215454101562, 0.004694461822509766, 0.005580902099609375, 0.006467342376708984, 0.007353782653808594, 0.008240222930908203, 0.009126663208007812, 0.010013103485107422, 0.010899543762207031, 0.01178598403930664, 0.01267242431640625, 0.01355886459350586, 0.014445304870605469, 0.015331745147705078, 0.016218185424804688, 0.017104625701904297, 0.017991065979003906, 0.018877506256103516, 0.019763946533203125, 0.020650386810302734, 0.021536827087402344, 0.022423267364501953, 0.023309707641601562, 0.024196147918701172, 0.02508258819580078, 0.02596902847290039, 0.02685546875]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 3.0, 5.0, 7.0, 16.0, 10.0, 16.0, 18.0, 32.0, 65.0, 70.0, 87.0, 128.0, 187.0, 288.0, 384.0, 588.0, 888.0, 1405.0, 2451.0, 4574.0, 9174.0, 20805.0, 55968.0, 207194.0, 564574.0, 112298.0, 36594.0, 14925.0, 6854.0, 3436.0, 2040.0, 1136.0, 754.0, 445.0, 330.0, 221.0, 160.0, 118.0, 92.0, 69.0, 50.0, 38.0, 13.0, 21.0, 12.0, 9.0, 3.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00020563602447509766, -0.00019884854555130005, -0.00019206106662750244, -0.00018527358770370483, -0.00017848610877990723, -0.00017169862985610962, -0.000164911150932312, -0.0001581236720085144, -0.0001513361930847168, -0.0001445487141609192, -0.00013776123523712158, -0.00013097375631332397, -0.00012418627738952637, -0.00011739879846572876, -0.00011061131954193115, -0.00010382384061813354, -9.703636169433594e-05, -9.024888277053833e-05, -8.346140384674072e-05, -7.667392492294312e-05, -6.988644599914551e-05, -6.30989670753479e-05, -5.631148815155029e-05, -4.9524009227752686e-05, -4.273653030395508e-05, -3.594905138015747e-05, -2.9161572456359863e-05, -2.2374093532562256e-05, -1.558661460876465e-05, -8.799135684967041e-06, -2.0116567611694336e-06, 4.775822162628174e-06, 1.1563301086425781e-05, 1.835078001022339e-05, 2.5138258934020996e-05, 3.1925737857818604e-05, 3.871321678161621e-05, 4.550069570541382e-05, 5.2288174629211426e-05, 5.907565355300903e-05, 6.586313247680664e-05, 7.265061140060425e-05, 7.943809032440186e-05, 8.622556924819946e-05, 9.301304817199707e-05, 9.980052709579468e-05, 0.00010658800601959229, 0.00011337548494338989, 0.0001201629638671875, 0.0001269504427909851, 0.00013373792171478271, 0.00014052540063858032, 0.00014731287956237793, 0.00015410035848617554, 0.00016088783740997314, 0.00016767531633377075, 0.00017446279525756836, 0.00018125027418136597, 0.00018803775310516357, 0.00019482523202896118, 0.0002016127109527588, 0.0002084001898765564, 0.000215187668800354, 0.0002219751477241516, 0.00022876262664794922]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 4.0, 10.0, 5.0, 11.0, 10.0, 22.0, 15.0, 7.0, 29.0, 19.0, 24.0, 21.0, 20.0, 27.0, 21.0, 32.0, 23.0, 26.0, 34.0, 23.0, 20.0, 29.0, 29.0, 21.0, 1042.0, 23.0, 28.0, 25.0, 32.0, 32.0, 27.0, 33.0, 26.0, 21.0, 29.0, 22.0, 27.0, 29.0, 36.0, 21.0, 19.0, 25.0, 12.0, 9.0, 14.0, 4.0, 7.0, 3.0, 4.0, 2.0, 1.0, 3.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0281219482421875, -0.027252674102783203, -0.026383399963378906, -0.02551412582397461, -0.024644851684570312, -0.023775577545166016, -0.02290630340576172, -0.022037029266357422, -0.021167755126953125, -0.020298480987548828, -0.01942920684814453, -0.018559932708740234, -0.017690658569335938, -0.01682138442993164, -0.015952110290527344, -0.015082836151123047, -0.01421356201171875, -0.013344287872314453, -0.012475013732910156, -0.01160573959350586, -0.010736465454101562, -0.009867191314697266, -0.008997917175292969, -0.008128643035888672, -0.007259368896484375, -0.006390094757080078, -0.005520820617675781, -0.004651546478271484, -0.0037822723388671875, -0.0029129981994628906, -0.0020437240600585938, -0.0011744499206542969, -0.00030517578125, 0.0005640983581542969, 0.0014333724975585938, 0.0023026466369628906, 0.0031719207763671875, 0.004041194915771484, 0.004910469055175781, 0.005779743194580078, 0.006649017333984375, 0.007518291473388672, 0.008387565612792969, 0.009256839752197266, 0.010126113891601562, 0.01099538803100586, 0.011864662170410156, 0.012733936309814453, 0.01360321044921875, 0.014472484588623047, 0.015341758728027344, 0.01621103286743164, 0.017080307006835938, 0.017949581146240234, 0.01881885528564453, 0.019688129425048828, 0.020557403564453125, 0.021426677703857422, 0.02229595184326172, 0.023165225982666016, 0.024034500122070312, 0.02490377426147461, 0.025773048400878906, 0.026642322540283203, 0.0275115966796875]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 3.0, 4.0, 4.0, 5.0, 8.0, 11.0, 12.0, 16.0, 26.0, 19.0, 19.0, 38.0, 25.0, 26.0, 25.0, 29.0, 20.0, 29.0, 31.0, 38.0, 65.0, 237.0, 586.0, 2886.0, 18017.0, 2063749.0, 8728.0, 1516.0, 405.0, 155.0, 53.0, 34.0, 26.0, 26.0, 24.0, 24.0, 33.0, 14.0, 23.0, 23.0, 24.0, 18.0, 12.0, 19.0, 17.0, 11.0, 7.0, 6.0, 10.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.9325485229492188e-05, -2.838950604200363e-05, -2.7453526854515076e-05, -2.651754766702652e-05, -2.5581568479537964e-05, -2.4645589292049408e-05, -2.3709610104560852e-05, -2.2773630917072296e-05, -2.183765172958374e-05, -2.0901672542095184e-05, -1.996569335460663e-05, -1.9029714167118073e-05, -1.8093734979629517e-05, -1.715775579214096e-05, -1.6221776604652405e-05, -1.528579741716385e-05, -1.4349818229675293e-05, -1.3413839042186737e-05, -1.2477859854698181e-05, -1.1541880667209625e-05, -1.060590147972107e-05, -9.669922292232513e-06, -8.733943104743958e-06, -7.797963917255402e-06, -6.861984729766846e-06, -5.92600554227829e-06, -4.990026354789734e-06, -4.054047167301178e-06, -3.118067979812622e-06, -2.182088792324066e-06, -1.2461096048355103e-06, -3.1013041734695435e-07, 6.258487701416016e-07, 1.5618279576301575e-06, 2.4978071451187134e-06, 3.4337863326072693e-06, 4.369765520095825e-06, 5.305744707584381e-06, 6.241723895072937e-06, 7.177703082561493e-06, 8.113682270050049e-06, 9.049661457538605e-06, 9.98564064502716e-06, 1.0921619832515717e-05, 1.1857599020004272e-05, 1.2793578207492828e-05, 1.3729557394981384e-05, 1.466553658246994e-05, 1.5601515769958496e-05, 1.6537494957447052e-05, 1.7473474144935608e-05, 1.8409453332424164e-05, 1.934543251991272e-05, 2.0281411707401276e-05, 2.121739089488983e-05, 2.2153370082378387e-05, 2.3089349269866943e-05, 2.40253284573555e-05, 2.4961307644844055e-05, 2.589728683233261e-05, 2.6833266019821167e-05, 2.7769245207309723e-05, 2.870522439479828e-05, 2.9641203582286835e-05, 3.057718276977539e-05]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 2.0, 7.0, 3.0, 3.0, 17.0, 9.0, 17.0, 29.0, 40.0, 40.0, 55.0, 69.0, 80.0, 75.0, 77.0, 91.0, 73.0, 68.0, 61.0, 45.0, 32.0, 34.0, 13.0, 12.0, 18.0, 7.0, 7.0, 2.0, 5.0, 3.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.029876708984375, -0.02899026870727539, -0.02810382843017578, -0.027217388153076172, -0.026330947875976562, -0.025444507598876953, -0.024558067321777344, -0.023671627044677734, -0.022785186767578125, -0.021898746490478516, -0.021012306213378906, -0.020125865936279297, -0.019239425659179688, -0.018352985382080078, -0.01746654510498047, -0.01658010482788086, -0.01569366455078125, -0.01480722427368164, -0.013920783996582031, -0.013034343719482422, -0.012147903442382812, -0.011261463165283203, -0.010375022888183594, -0.009488582611083984, -0.008602142333984375, -0.007715702056884766, -0.006829261779785156, -0.005942821502685547, -0.0050563812255859375, -0.004169940948486328, -0.0032835006713867188, -0.0023970603942871094, -0.0015106201171875, -0.0006241798400878906, 0.00026226043701171875, 0.0011487007141113281, 0.0020351409912109375, 0.002921581268310547, 0.0038080215454101562, 0.004694461822509766, 0.005580902099609375, 0.006467342376708984, 0.007353782653808594, 0.008240222930908203, 0.009126663208007812, 0.010013103485107422, 0.010899543762207031, 0.01178598403930664, 0.01267242431640625, 0.01355886459350586, 0.014445304870605469, 0.015331745147705078, 0.016218185424804688, 0.017104625701904297, 0.017991065979003906, 0.018877506256103516, 0.019763946533203125, 0.020650386810302734, 0.021536827087402344, 0.022423267364501953, 0.023309707641601562, 0.024196147918701172, 0.02508258819580078, 0.02596902847290039, 0.02685546875]}, "gradients/decoder.transformer.h.20.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 5.0, 0.0, 5.0, 2.0, 8.0, 10.0, 6.0, 21.0, 27.0, 39.0, 62.0, 79.0, 105.0, 160.0, 258.0, 364.0, 569.0, 1118.0, 3141.0, 15562.0, 270986.0, 723019.0, 25504.0, 4235.0, 1393.0, 674.0, 402.0, 238.0, 186.0, 132.0, 71.0, 52.0, 43.0, 29.0, 21.0, 11.0, 9.0, 4.0, 4.0, 8.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09027099609375, -0.08736991882324219, -0.08446884155273438, -0.08156776428222656, -0.07866668701171875, -0.07576560974121094, -0.07286453247070312, -0.06996345520019531, -0.0670623779296875, -0.06416130065917969, -0.061260223388671875, -0.05835914611816406, -0.05545806884765625, -0.05255699157714844, -0.049655914306640625, -0.04675483703613281, -0.043853759765625, -0.04095268249511719, -0.038051605224609375, -0.03515052795410156, -0.03224945068359375, -0.029348373413085938, -0.026447296142578125, -0.023546218872070312, -0.0206451416015625, -0.017744064331054688, -0.014842987060546875, -0.011941909790039062, -0.00904083251953125, -0.0061397552490234375, -0.003238677978515625, -0.0003376007080078125, 0.0025634765625, 0.0054645538330078125, 0.008365631103515625, 0.011266708374023438, 0.01416778564453125, 0.017068862915039062, 0.019969940185546875, 0.022871017456054688, 0.0257720947265625, 0.028673171997070312, 0.031574249267578125, 0.03447532653808594, 0.03737640380859375, 0.04027748107910156, 0.043178558349609375, 0.04607963562011719, 0.048980712890625, 0.05188179016113281, 0.054782867431640625, 0.05768394470214844, 0.06058502197265625, 0.06348609924316406, 0.06638717651367188, 0.06928825378417969, 0.0721893310546875, 0.07509040832519531, 0.07799148559570312, 0.08089256286621094, 0.08379364013671875, 0.08669471740722656, 0.08959579467773438, 0.09249687194824219, 0.09539794921875]}, "gradients/decoder.transformer.h.20.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 5.0, 9.0, 3.0, 10.0, 3.0, 11.0, 9.0, 10.0, 19.0, 17.0, 16.0, 14.0, 20.0, 31.0, 31.0, 29.0, 26.0, 44.0, 44.0, 59.0, 71.0, 118.0, 388.0, 1466.0, 115.0, 68.0, 62.0, 37.0, 29.0, 37.0, 33.0, 24.0, 27.0, 27.0, 22.0, 19.0, 23.0, 14.0, 22.0, 7.0, 7.0, 11.0, 4.0, 5.0, 3.0, 3.0, 3.0, 1.0, 2.0, 4.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.06622314453125, -0.06415557861328125, -0.0620880126953125, -0.06002044677734375, -0.057952880859375, -0.05588531494140625, -0.0538177490234375, -0.05175018310546875, -0.0496826171875, -0.04761505126953125, -0.0455474853515625, -0.04347991943359375, -0.041412353515625, -0.03934478759765625, -0.0372772216796875, -0.03520965576171875, -0.03314208984375, -0.03107452392578125, -0.0290069580078125, -0.02693939208984375, -0.024871826171875, -0.02280426025390625, -0.0207366943359375, -0.01866912841796875, -0.0166015625, -0.01453399658203125, -0.0124664306640625, -0.01039886474609375, -0.008331298828125, -0.00626373291015625, -0.0041961669921875, -0.00212860107421875, -6.103515625e-05, 0.00200653076171875, 0.0040740966796875, 0.00614166259765625, 0.008209228515625, 0.01027679443359375, 0.0123443603515625, 0.01441192626953125, 0.0164794921875, 0.01854705810546875, 0.0206146240234375, 0.02268218994140625, 0.024749755859375, 0.02681732177734375, 0.0288848876953125, 0.03095245361328125, 0.03302001953125, 0.03508758544921875, 0.0371551513671875, 0.03922271728515625, 0.041290283203125, 0.04335784912109375, 0.0454254150390625, 0.04749298095703125, 0.049560546875, 0.05162811279296875, 0.0536956787109375, 0.05576324462890625, 0.057830810546875, 0.05989837646484375, 0.0619659423828125, 0.06403350830078125, 0.06610107421875]}, "gradients/decoder.transformer.h.20.attn.c_attn.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 3.0, 1.0, 6.0, 3.0, 8.0, 11.0, 15.0, 10.0, 19.0, 17.0, 27.0, 34.0, 54.0, 62.0, 87.0, 137.0, 256.0, 480.0, 899.0, 2217.0, 5760.0, 19301.0, 101941.0, 2704723.0, 263998.0, 31558.0, 8606.0, 2854.0, 1236.0, 550.0, 291.0, 159.0, 95.0, 68.0, 50.0, 32.0, 30.0, 13.0, 17.0, 14.0, 12.0, 12.0, 5.0, 5.0, 8.0, 3.0, 5.0, 7.0, 5.0, 3.0, 0.0, 2.0, 3.0], "bins": [-0.096923828125, -0.09412860870361328, -0.09133338928222656, -0.08853816986083984, -0.08574295043945312, -0.0829477310180664, -0.08015251159667969, -0.07735729217529297, -0.07456207275390625, -0.07176685333251953, -0.06897163391113281, -0.0661764144897461, -0.06338119506835938, -0.060585975646972656, -0.05779075622558594, -0.05499553680419922, -0.0522003173828125, -0.04940509796142578, -0.04660987854003906, -0.043814659118652344, -0.041019439697265625, -0.038224220275878906, -0.03542900085449219, -0.03263378143310547, -0.02983856201171875, -0.02704334259033203, -0.024248123168945312, -0.021452903747558594, -0.018657684326171875, -0.015862464904785156, -0.013067245483398438, -0.010272026062011719, -0.007476806640625, -0.004681587219238281, -0.0018863677978515625, 0.0009088516235351562, 0.003704071044921875, 0.006499290466308594, 0.009294509887695312, 0.012089729309082031, 0.01488494873046875, 0.01768016815185547, 0.020475387573242188, 0.023270606994628906, 0.026065826416015625, 0.028861045837402344, 0.03165626525878906, 0.03445148468017578, 0.0372467041015625, 0.04004192352294922, 0.04283714294433594, 0.045632362365722656, 0.048427581787109375, 0.051222801208496094, 0.05401802062988281, 0.05681324005126953, 0.05960845947265625, 0.06240367889404297, 0.06519889831542969, 0.0679941177368164, 0.07078933715820312, 0.07358455657958984, 0.07637977600097656, 0.07917499542236328, 0.08197021484375]}, "gradients/decoder.transformer.h.20.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 31.0, 883.0, 102.0], "bins": [-3.94873046875, -3.8856749534606934, -3.8226191997528076, -3.759563684463501, -3.6965079307556152, -3.6334524154663086, -3.570396661758423, -3.507341146469116, -3.4442853927612305, -3.381229877471924, -3.318174123764038, -3.2551186084747314, -3.1920628547668457, -3.129007339477539, -3.0659515857696533, -3.0028960704803467, -2.939840316772461, -2.8767848014831543, -2.8137290477752686, -2.750673532485962, -2.687617778778076, -2.6245622634887695, -2.561506509780884, -2.498450994491577, -2.4353954792022705, -2.372339963912964, -2.309284210205078, -2.2462286949157715, -2.1831729412078857, -2.120117425918579, -2.0570616722106934, -1.9940061569213867, -1.9309502840042114, -1.8678946495056152, -1.804839015007019, -1.7417833805084229, -1.6787277460098267, -1.6156721115112305, -1.5526165962219238, -1.489560842514038, -1.426505208015442, -1.3634495735168457, -1.3003939390182495, -1.2373383045196533, -1.1742826700210571, -1.111227035522461, -1.0481715202331543, -0.9851158261299133, -0.9220602512359619, -0.8590046167373657, -0.7959489822387695, -0.7328933477401733, -0.6698377132415771, -0.606782078742981, -0.5437265038490295, -0.48067086935043335, -0.41761523485183716, -0.35455960035324097, -0.2915039658546448, -0.22844836115837097, -0.16539272665977478, -0.10233709216117859, -0.039281487464904785, 0.023774147033691406, 0.0868297889828682]}, "gradients/decoder.transformer.h.20.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 1.0, 0.0, 4.0, 2.0, 7.0, 6.0, 8.0, 8.0, 11.0, 18.0, 10.0, 20.0, 22.0, 22.0, 22.0, 30.0, 26.0, 31.0, 31.0, 39.0, 26.0, 45.0, 43.0, 39.0, 42.0, 33.0, 37.0, 47.0, 41.0, 36.0, 18.0, 23.0, 32.0, 33.0, 38.0, 20.0, 16.0, 21.0, 17.0, 16.0, 16.0, 11.0, 12.0, 11.0, 5.0, 3.0, 3.0, 4.0, 5.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.2946447730064392, -0.2864413261413574, -0.27823787927627563, -0.27003443241119385, -0.26183098554611206, -0.2536275386810303, -0.2454240769147873, -0.2372206300497055, -0.22901718318462372, -0.22081373631954193, -0.21261028945446014, -0.20440684258937836, -0.19620338082313538, -0.1879999339580536, -0.1797964870929718, -0.17159304022789001, -0.16338959336280823, -0.15518614649772644, -0.14698269963264465, -0.13877925276756287, -0.13057580590248108, -0.1223723515868187, -0.11416889727115631, -0.10596545040607452, -0.09776200354099274, -0.08955855667591095, -0.08135510981082916, -0.07315165549516678, -0.06494820863008499, -0.056744761765003204, -0.04854131117463112, -0.04033786058425903, -0.032134413719177246, -0.02393096499145031, -0.015727516263723373, -0.007524067535996437, 0.0006793811917304993, 0.008882828056812286, 0.017086278647184372, 0.025289729237556458, 0.033493176102638245, 0.04169662296772003, 0.04990007355809212, 0.0581035241484642, 0.06630697101354599, 0.07451041787862778, 0.08271387219429016, 0.09091731905937195, 0.09912076592445374, 0.10732421278953552, 0.11552765965461731, 0.1237311139702797, 0.13193455338478088, 0.14013800024986267, 0.14834146201610565, 0.15654490888118744, 0.16474835574626923, 0.172951802611351, 0.1811552494764328, 0.1893586963415146, 0.19756215810775757, 0.20576560497283936, 0.21396905183792114, 0.22217249870300293, 0.23037594556808472]}, "gradients/decoder.transformer.h.19.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 1.0, 4.0, 9.0, 11.0, 9.0, 11.0, 26.0, 39.0, 33.0, 42.0, 49.0, 80.0, 68.0, 76.0, 79.0, 83.0, 64.0, 61.0, 59.0, 54.0, 28.0, 33.0, 18.0, 10.0, 16.0, 10.0, 6.0, 6.0, 3.0, 3.0, 4.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0291748046875, -0.0283052921295166, -0.027435779571533203, -0.026566267013549805, -0.025696754455566406, -0.024827241897583008, -0.02395772933959961, -0.02308821678161621, -0.022218704223632812, -0.021349191665649414, -0.020479679107666016, -0.019610166549682617, -0.01874065399169922, -0.01787114143371582, -0.017001628875732422, -0.016132116317749023, -0.015262603759765625, -0.014393091201782227, -0.013523578643798828, -0.01265406608581543, -0.011784553527832031, -0.010915040969848633, -0.010045528411865234, -0.009176015853881836, -0.008306503295898438, -0.007436990737915039, -0.006567478179931641, -0.005697965621948242, -0.004828453063964844, -0.003958940505981445, -0.003089427947998047, -0.0022199153900146484, -0.00135040283203125, -0.00048089027404785156, 0.0003886222839355469, 0.0012581348419189453, 0.0021276473999023438, 0.002997159957885742, 0.0038666725158691406, 0.004736185073852539, 0.0056056976318359375, 0.006475210189819336, 0.007344722747802734, 0.008214235305786133, 0.009083747863769531, 0.00995326042175293, 0.010822772979736328, 0.011692285537719727, 0.012561798095703125, 0.013431310653686523, 0.014300823211669922, 0.01517033576965332, 0.01603984832763672, 0.016909360885620117, 0.017778873443603516, 0.018648386001586914, 0.019517898559570312, 0.02038741111755371, 0.02125692367553711, 0.022126436233520508, 0.022995948791503906, 0.023865461349487305, 0.024734973907470703, 0.0256044864654541, 0.0264739990234375]}, "gradients/decoder.transformer.h.19.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 4.0, 0.0, 3.0, 2.0, 5.0, 5.0, 14.0, 18.0, 33.0, 31.0, 93.0, 188.0, 354.0, 740.0, 1891.0, 9492.0, 1825706.0, 2341674.0, 10105.0, 2114.0, 879.0, 444.0, 214.0, 111.0, 66.0, 32.0, 25.0, 12.0, 6.0, 4.0, 4.0, 6.0, 2.0, 1.0, 4.0, 2.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.2423095703125, -0.2349700927734375, -0.227630615234375, -0.2202911376953125, -0.21295166015625, -0.2056121826171875, -0.198272705078125, -0.1909332275390625, -0.18359375, -0.1762542724609375, -0.168914794921875, -0.1615753173828125, -0.15423583984375, -0.1468963623046875, -0.139556884765625, -0.1322174072265625, -0.1248779296875, -0.1175384521484375, -0.110198974609375, -0.1028594970703125, -0.09552001953125, -0.0881805419921875, -0.080841064453125, -0.0735015869140625, -0.066162109375, -0.0588226318359375, -0.051483154296875, -0.0441436767578125, -0.03680419921875, -0.0294647216796875, -0.022125244140625, -0.0147857666015625, -0.0074462890625, -0.0001068115234375, 0.007232666015625, 0.0145721435546875, 0.02191162109375, 0.0292510986328125, 0.036590576171875, 0.0439300537109375, 0.05126953125, 0.0586090087890625, 0.065948486328125, 0.0732879638671875, 0.08062744140625, 0.0879669189453125, 0.095306396484375, 0.1026458740234375, 0.1099853515625, 0.1173248291015625, 0.124664306640625, 0.1320037841796875, 0.13934326171875, 0.1466827392578125, 0.154022216796875, 0.1613616943359375, 0.168701171875, 0.1760406494140625, 0.183380126953125, 0.1907196044921875, 0.19805908203125, 0.2053985595703125, 0.212738037109375, 0.2200775146484375, 0.2274169921875]}, "gradients/decoder.transformer.h.19.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 3.0, 8.0, 5.0, 14.0, 14.0, 13.0, 22.0, 25.0, 47.0, 51.0, 95.0, 124.0, 212.0, 331.0, 521.0, 755.0, 645.0, 430.0, 258.0, 175.0, 105.0, 53.0, 51.0, 28.0, 26.0, 18.0, 16.0, 7.0, 5.0, 4.0, 2.0, 4.0, 5.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.084716796875, -0.08212947845458984, -0.07954216003417969, -0.07695484161376953, -0.07436752319335938, -0.07178020477294922, -0.06919288635253906, -0.0666055679321289, -0.06401824951171875, -0.061430931091308594, -0.05884361267089844, -0.05625629425048828, -0.053668975830078125, -0.05108165740966797, -0.04849433898925781, -0.045907020568847656, -0.0433197021484375, -0.040732383728027344, -0.03814506530761719, -0.03555774688720703, -0.032970428466796875, -0.03038311004638672, -0.027795791625976562, -0.025208473205566406, -0.02262115478515625, -0.020033836364746094, -0.017446517944335938, -0.014859199523925781, -0.012271881103515625, -0.009684562683105469, -0.0070972442626953125, -0.004509925842285156, -0.001922607421875, 0.0006647109985351562, 0.0032520294189453125, 0.005839347839355469, 0.008426666259765625, 0.011013984680175781, 0.013601303100585938, 0.016188621520996094, 0.01877593994140625, 0.021363258361816406, 0.023950576782226562, 0.02653789520263672, 0.029125213623046875, 0.03171253204345703, 0.03429985046386719, 0.036887168884277344, 0.0394744873046875, 0.042061805725097656, 0.04464912414550781, 0.04723644256591797, 0.049823760986328125, 0.05241107940673828, 0.05499839782714844, 0.057585716247558594, 0.06017303466796875, 0.0627603530883789, 0.06534767150878906, 0.06793498992919922, 0.07052230834960938, 0.07310962677001953, 0.07569694519042969, 0.07828426361083984, 0.08087158203125]}, "gradients/decoder.transformer.h.19.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 4.0, 7.0, 10.0, 5.0, 21.0, 16.0, 55.0, 83.0, 155.0, 276.0, 527.0, 1097.0, 2624.0, 6831.0, 22602.0, 123298.0, 2050765.0, 1838988.0, 114075.0, 21533.0, 6549.0, 2567.0, 1090.0, 534.0, 236.0, 124.0, 69.0, 62.0, 35.0, 15.0, 8.0, 6.0, 4.0, 6.0, 3.0, 2.0, 2.0, 1.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.130126953125, -0.12563705444335938, -0.12114715576171875, -0.11665725708007812, -0.1121673583984375, -0.10767745971679688, -0.10318756103515625, -0.09869766235351562, -0.094207763671875, -0.08971786499023438, -0.08522796630859375, -0.08073806762695312, -0.0762481689453125, -0.07175827026367188, -0.06726837158203125, -0.06277847290039062, -0.05828857421875, -0.053798675537109375, -0.04930877685546875, -0.044818878173828125, -0.0403289794921875, -0.035839080810546875, -0.03134918212890625, -0.026859283447265625, -0.022369384765625, -0.017879486083984375, -0.01338958740234375, -0.008899688720703125, -0.0044097900390625, 8.0108642578125e-05, 0.00457000732421875, 0.009059906005859375, 0.0135498046875, 0.018039703369140625, 0.02252960205078125, 0.027019500732421875, 0.0315093994140625, 0.035999298095703125, 0.04048919677734375, 0.044979095458984375, 0.049468994140625, 0.053958892822265625, 0.05844879150390625, 0.06293869018554688, 0.0674285888671875, 0.07191848754882812, 0.07640838623046875, 0.08089828491210938, 0.08538818359375, 0.08987808227539062, 0.09436798095703125, 0.09885787963867188, 0.1033477783203125, 0.10783767700195312, 0.11232757568359375, 0.11681747436523438, 0.121307373046875, 0.12579727172851562, 0.13028717041015625, 0.13477706909179688, 0.1392669677734375, 0.14375686645507812, 0.14824676513671875, 0.15273666381835938, 0.1572265625]}, "gradients/decoder.transformer.h.19.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 4.0, 3.0, 9.0, 6.0, 17.0, 20.0, 42.0, 66.0, 76.0, 131.0, 131.0, 152.0, 108.0, 101.0, 50.0, 41.0, 17.0, 16.0, 5.0, 4.0, 2.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.5751733779907227, -0.5603972673416138, -0.5456212162971497, -0.5308451056480408, -0.5160689949989319, -0.5012929439544678, -0.4865168333053589, -0.47174072265625, -0.4569646418094635, -0.442188560962677, -0.4274124503135681, -0.4126363694667816, -0.3978602886199951, -0.38308417797088623, -0.36830809712409973, -0.35353201627731323, -0.33875590562820435, -0.32397982478141785, -0.30920371413230896, -0.29442763328552246, -0.2796515226364136, -0.2648754417896271, -0.2500993609428406, -0.23532326519489288, -0.2205471694469452, -0.2057710736989975, -0.1909949779510498, -0.1762188971042633, -0.1614428013563156, -0.14666670560836792, -0.13189062476158142, -0.11711452901363373, -0.10233846306800842, -0.08756236732006073, -0.07278627902269363, -0.05801018700003624, -0.043234094977378845, -0.028457999229431152, -0.013681910932064056, 0.0010941773653030396, 0.015870273113250732, 0.030646365135908127, 0.04542245715856552, 0.060198549181222916, 0.07497464120388031, 0.089750736951828, 0.1045268252491951, 0.1193029135465622, 0.1340790092945099, 0.14885510504245758, 0.16363120079040527, 0.17840728163719177, 0.19318337738513947, 0.20795947313308716, 0.22273555397987366, 0.23751164972782135, 0.25228774547576904, 0.26706382632255554, 0.28183993697166443, 0.2966160178184509, 0.3113921284675598, 0.3261682093143463, 0.3409442901611328, 0.3557204008102417, 0.3704964816570282]}, "gradients/decoder.transformer.h.19.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 2.0, 2.0, 4.0, 5.0, 5.0, 14.0, 13.0, 25.0, 21.0, 17.0, 21.0, 29.0, 29.0, 30.0, 36.0, 32.0, 38.0, 35.0, 40.0, 44.0, 52.0, 45.0, 54.0, 47.0, 49.0, 51.0, 40.0, 37.0, 27.0, 28.0, 24.0, 16.0, 16.0, 21.0, 10.0, 14.0, 6.0, 8.0, 3.0, 5.0, 6.0, 3.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.258716344833374, -0.24984242022037506, -0.2409684956073761, -0.23209457099437714, -0.22322064638137817, -0.2143467217683792, -0.20547279715538025, -0.19659888744354248, -0.18772494792938232, -0.17885102331638336, -0.1699770987033844, -0.16110317409038544, -0.15222924947738647, -0.1433553248643875, -0.13448140025138855, -0.12560749053955078, -0.11673356592655182, -0.10785964131355286, -0.0989857167005539, -0.09011179208755493, -0.08123786747455597, -0.072363942861557, -0.06349002569913864, -0.05461610108613968, -0.04574217647314072, -0.036868251860141754, -0.02799432910978794, -0.019120406359434128, -0.010246481746435165, -0.001372557133436203, 0.007501363754272461, 0.016375288367271423, 0.025249212980270386, 0.03412313759326935, 0.04299706220626831, 0.051870983093976974, 0.06074490770697594, 0.0696188360452652, 0.07849275320768356, 0.08736667782068253, 0.09624060243368149, 0.10511452704668045, 0.11398845165967941, 0.12286236882209778, 0.13173629343509674, 0.1406102180480957, 0.14948414266109467, 0.15835806727409363, 0.1672319918870926, 0.17610591650009155, 0.18497984111309052, 0.19385376572608948, 0.20272769033908844, 0.2116016149520874, 0.22047552466392517, 0.22934946417808533, 0.2382233738899231, 0.24709729850292206, 0.255971223115921, 0.2648451328277588, 0.27371907234191895, 0.2825929820537567, 0.29146692156791687, 0.30034083127975464, 0.3092147707939148]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 2.0, 3.0, 6.0, 6.0, 7.0, 10.0, 12.0, 12.0, 29.0, 25.0, 32.0, 39.0, 58.0, 52.0, 60.0, 56.0, 62.0, 68.0, 63.0, 55.0, 59.0, 48.0, 47.0, 36.0, 41.0, 29.0, 15.0, 15.0, 10.0, 14.0, 8.0, 10.0, 1.0, 5.0, 1.0, 4.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.023834228515625, -0.023079633712768555, -0.02232503890991211, -0.021570444107055664, -0.02081584930419922, -0.020061254501342773, -0.019306659698486328, -0.018552064895629883, -0.017797470092773438, -0.017042875289916992, -0.016288280487060547, -0.015533685684204102, -0.014779090881347656, -0.014024496078491211, -0.013269901275634766, -0.01251530647277832, -0.011760711669921875, -0.01100611686706543, -0.010251522064208984, -0.009496927261352539, -0.008742332458496094, -0.007987737655639648, -0.007233142852783203, -0.006478548049926758, -0.0057239532470703125, -0.004969358444213867, -0.004214763641357422, -0.0034601688385009766, -0.0027055740356445312, -0.001950979232788086, -0.0011963844299316406, -0.0004417896270751953, 0.00031280517578125, 0.0010673999786376953, 0.0018219947814941406, 0.002576589584350586, 0.0033311843872070312, 0.0040857791900634766, 0.004840373992919922, 0.005594968795776367, 0.0063495635986328125, 0.007104158401489258, 0.007858753204345703, 0.008613348007202148, 0.009367942810058594, 0.010122537612915039, 0.010877132415771484, 0.01163172721862793, 0.012386322021484375, 0.01314091682434082, 0.013895511627197266, 0.014650106430053711, 0.015404701232910156, 0.0161592960357666, 0.016913890838623047, 0.017668485641479492, 0.018423080444335938, 0.019177675247192383, 0.019932270050048828, 0.020686864852905273, 0.02144145965576172, 0.022196054458618164, 0.02295064926147461, 0.023705244064331055, 0.0244598388671875]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 5.0, 3.0, 4.0, 6.0, 5.0, 3.0, 12.0, 14.0, 26.0, 27.0, 33.0, 45.0, 59.0, 85.0, 132.0, 148.0, 256.0, 333.0, 502.0, 709.0, 1102.0, 1751.0, 2851.0, 4705.0, 8306.0, 15682.0, 31050.0, 68883.0, 179546.0, 460915.0, 150889.0, 59597.0, 27461.0, 13990.0, 7585.0, 4247.0, 2567.0, 1669.0, 1074.0, 676.0, 452.0, 337.0, 228.0, 163.0, 115.0, 86.0, 63.0, 41.0, 33.0, 29.0, 25.0, 13.0, 4.0, 7.0, 4.0, 3.0, 7.0, 5.0, 2.0, 0.0, 2.0], "bins": [-0.00019943714141845703, -0.00019328482449054718, -0.00018713250756263733, -0.00018098019063472748, -0.00017482787370681763, -0.00016867555677890778, -0.00016252323985099792, -0.00015637092292308807, -0.00015021860599517822, -0.00014406628906726837, -0.00013791397213935852, -0.00013176165521144867, -0.00012560933828353882, -0.00011945702135562897, -0.00011330470442771912, -0.00010715238749980927, -0.00010100007057189941, -9.484775364398956e-05, -8.869543671607971e-05, -8.254311978816986e-05, -7.639080286026001e-05, -7.023848593235016e-05, -6.408616900444031e-05, -5.7933852076530457e-05, -5.1781535148620605e-05, -4.5629218220710754e-05, -3.94769012928009e-05, -3.332458436489105e-05, -2.71722674369812e-05, -2.101995050907135e-05, -1.4867633581161499e-05, -8.715316653251648e-06, -2.562999725341797e-06, 3.589317202568054e-06, 9.741634130477905e-06, 1.5893951058387756e-05, 2.2046267986297607e-05, 2.819858491420746e-05, 3.435090184211731e-05, 4.050321877002716e-05, 4.665553569793701e-05, 5.280785262584686e-05, 5.8960169553756714e-05, 6.511248648166656e-05, 7.126480340957642e-05, 7.741712033748627e-05, 8.356943726539612e-05, 8.972175419330597e-05, 9.587407112121582e-05, 0.00010202638804912567, 0.00010817870497703552, 0.00011433102190494537, 0.00012048333883285522, 0.00012663565576076508, 0.00013278797268867493, 0.00013894028961658478, 0.00014509260654449463, 0.00015124492347240448, 0.00015739724040031433, 0.00016354955732822418, 0.00016970187425613403, 0.00017585419118404388, 0.00018200650811195374, 0.00018815882503986359, 0.00019431114196777344]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 3.0, 3.0, 1.0, 6.0, 7.0, 8.0, 12.0, 17.0, 16.0, 7.0, 21.0, 24.0, 17.0, 27.0, 21.0, 32.0, 29.0, 26.0, 34.0, 21.0, 28.0, 21.0, 31.0, 25.0, 28.0, 1052.0, 21.0, 28.0, 21.0, 24.0, 29.0, 32.0, 31.0, 25.0, 28.0, 30.0, 35.0, 25.0, 34.0, 24.0, 18.0, 24.0, 23.0, 16.0, 4.0, 8.0, 10.0, 8.0, 5.0, 7.0, 5.0, 4.0, 3.0, 1.0, 0.0, 1.0], "bins": [-0.0265655517578125, -0.025783300399780273, -0.025001049041748047, -0.02421879768371582, -0.023436546325683594, -0.022654294967651367, -0.02187204360961914, -0.021089792251586914, -0.020307540893554688, -0.01952528953552246, -0.018743038177490234, -0.017960786819458008, -0.01717853546142578, -0.016396284103393555, -0.015614032745361328, -0.014831781387329102, -0.014049530029296875, -0.013267278671264648, -0.012485027313232422, -0.011702775955200195, -0.010920524597167969, -0.010138273239135742, -0.009356021881103516, -0.008573770523071289, -0.0077915191650390625, -0.007009267807006836, -0.006227016448974609, -0.005444765090942383, -0.004662513732910156, -0.0038802623748779297, -0.003098011016845703, -0.0023157596588134766, -0.00153350830078125, -0.0007512569427490234, 3.0994415283203125e-05, 0.0008132457733154297, 0.0015954971313476562, 0.002377748489379883, 0.0031599998474121094, 0.003942251205444336, 0.0047245025634765625, 0.005506753921508789, 0.006289005279541016, 0.007071256637573242, 0.007853507995605469, 0.008635759353637695, 0.009418010711669922, 0.010200262069702148, 0.010982513427734375, 0.011764764785766602, 0.012547016143798828, 0.013329267501831055, 0.014111518859863281, 0.014893770217895508, 0.015676021575927734, 0.01645827293395996, 0.017240524291992188, 0.018022775650024414, 0.01880502700805664, 0.019587278366088867, 0.020369529724121094, 0.02115178108215332, 0.021934032440185547, 0.022716283798217773, 0.02349853515625]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 3.0, 2.0, 7.0, 6.0, 7.0, 7.0, 10.0, 7.0, 9.0, 17.0, 29.0, 22.0, 15.0, 31.0, 31.0, 31.0, 34.0, 29.0, 29.0, 28.0, 43.0, 86.0, 194.0, 577.0, 2765.0, 26183.0, 2057325.0, 7346.0, 1412.0, 319.0, 153.0, 47.0, 26.0, 29.0, 34.0, 22.0, 37.0, 19.0, 31.0, 18.0, 23.0, 15.0, 11.0, 13.0, 19.0, 12.0, 10.0, 8.0, 3.0, 2.0, 3.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6106834411621094e-05, -2.524442970752716e-05, -2.4382025003433228e-05, -2.3519620299339294e-05, -2.265721559524536e-05, -2.1794810891151428e-05, -2.0932406187057495e-05, -2.0070001482963562e-05, -1.920759677886963e-05, -1.8345192074775696e-05, -1.7482787370681763e-05, -1.662038266658783e-05, -1.5757977962493896e-05, -1.4895573258399963e-05, -1.403316855430603e-05, -1.3170763850212097e-05, -1.2308359146118164e-05, -1.1445954442024231e-05, -1.0583549737930298e-05, -9.721145033836365e-06, -8.858740329742432e-06, -7.996335625648499e-06, -7.1339309215545654e-06, -6.271526217460632e-06, -5.409121513366699e-06, -4.546716809272766e-06, -3.684312105178833e-06, -2.8219074010849e-06, -1.959502696990967e-06, -1.0970979928970337e-06, -2.3469328880310059e-07, 6.277114152908325e-07, 1.4901161193847656e-06, 2.3525208234786987e-06, 3.214925527572632e-06, 4.077330231666565e-06, 4.939734935760498e-06, 5.802139639854431e-06, 6.664544343948364e-06, 7.526949048042297e-06, 8.38935375213623e-06, 9.251758456230164e-06, 1.0114163160324097e-05, 1.097656786441803e-05, 1.1838972568511963e-05, 1.2701377272605896e-05, 1.3563781976699829e-05, 1.4426186680793762e-05, 1.5288591384887695e-05, 1.615099608898163e-05, 1.701340079307556e-05, 1.7875805497169495e-05, 1.8738210201263428e-05, 1.960061490535736e-05, 2.0463019609451294e-05, 2.1325424313545227e-05, 2.218782901763916e-05, 2.3050233721733093e-05, 2.3912638425827026e-05, 2.477504312992096e-05, 2.5637447834014893e-05, 2.6499852538108826e-05, 2.736225724220276e-05, 2.8224661946296692e-05, 2.9087066650390625e-05]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.bias": {"_type": "histogram", "values": [1023.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [0.0, 9.313225746154785e-10, 1.862645149230957e-09, 2.7939677238464355e-09, 3.725290298461914e-09, 4.6566128730773926e-09, 5.587935447692871e-09, 6.51925802230835e-09, 7.450580596923828e-09, 8.381903171539307e-09, 9.313225746154785e-09, 1.0244548320770264e-08, 1.1175870895385742e-08, 1.210719347000122e-08, 1.30385160446167e-08, 1.3969838619232178e-08, 1.4901161193847656e-08, 1.5832483768463135e-08, 1.6763806343078613e-08, 1.7695128917694092e-08, 1.862645149230957e-08, 1.955777406692505e-08, 2.0489096641540527e-08, 2.1420419216156006e-08, 2.2351741790771484e-08, 2.3283064365386963e-08, 2.421438694000244e-08, 2.514570951461792e-08, 2.60770320892334e-08, 2.7008354663848877e-08, 2.7939677238464355e-08, 2.8870999813079834e-08, 2.9802322387695312e-08, 3.073364496231079e-08, 3.166496753692627e-08, 3.259629011154175e-08, 3.3527612686157227e-08, 3.4458935260772705e-08, 3.5390257835388184e-08, 3.632158041000366e-08, 3.725290298461914e-08, 3.818422555923462e-08, 3.91155481338501e-08, 4.0046870708465576e-08, 4.0978193283081055e-08, 4.190951585769653e-08, 4.284083843231201e-08, 4.377216100692749e-08, 4.470348358154297e-08, 4.563480615615845e-08, 4.6566128730773926e-08, 4.7497451305389404e-08, 4.842877388000488e-08, 4.936009645462036e-08, 5.029141902923584e-08, 5.122274160385132e-08, 5.21540641784668e-08, 5.3085386753082275e-08, 5.4016709327697754e-08, 5.494803190231323e-08, 5.587935447692871e-08, 5.681067705154419e-08, 5.774199962615967e-08, 5.8673322200775146e-08, 5.960464477539063e-08]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 10.0, 0.0, 201.0, 0.0, 1048147.0, 0.0, 200.0, 0.0, 0.0, 9.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-9.5367431640625e-07, -9.275972843170166e-07, -9.015202522277832e-07, -8.754432201385498e-07, -8.493661880493164e-07, -8.23289155960083e-07, -7.972121238708496e-07, -7.711350917816162e-07, -7.450580596923828e-07, -7.189810276031494e-07, -6.92903995513916e-07, -6.668269634246826e-07, -6.407499313354492e-07, -6.146728992462158e-07, -5.885958671569824e-07, -5.62518835067749e-07, -5.364418029785156e-07, -5.103647708892822e-07, -4.842877388000488e-07, -4.5821070671081543e-07, -4.3213367462158203e-07, -4.0605664253234863e-07, -3.7997961044311523e-07, -3.5390257835388184e-07, -3.2782554626464844e-07, -3.0174851417541504e-07, -2.7567148208618164e-07, -2.4959444999694824e-07, -2.2351741790771484e-07, -1.9744038581848145e-07, -1.7136335372924805e-07, -1.4528632164001465e-07, -1.1920928955078125e-07, -9.313225746154785e-08, -6.705522537231445e-08, -4.0978193283081055e-08, -1.4901161193847656e-08, 1.1175870895385742e-08, 3.725290298461914e-08, 6.332993507385254e-08, 8.940696716308594e-08, 1.1548399925231934e-07, 1.4156103134155273e-07, 1.6763806343078613e-07, 1.9371509552001953e-07, 2.1979212760925293e-07, 2.4586915969848633e-07, 2.7194619178771973e-07, 2.980232238769531e-07, 3.241002559661865e-07, 3.501772880554199e-07, 3.762543201446533e-07, 4.023313522338867e-07, 4.284083843231201e-07, 4.544854164123535e-07, 4.805624485015869e-07, 5.066394805908203e-07, 5.327165126800537e-07, 5.587935447692871e-07, 5.848705768585205e-07, 6.109476089477539e-07, 6.370246410369873e-07, 6.631016731262207e-07, 6.891787052154541e-07, 7.152557373046875e-07]}, "gradients/decoder.transformer.h.19.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 2.0, 3.0, 6.0, 6.0, 7.0, 10.0, 12.0, 12.0, 29.0, 25.0, 32.0, 39.0, 58.0, 52.0, 60.0, 56.0, 62.0, 68.0, 63.0, 55.0, 59.0, 48.0, 47.0, 36.0, 41.0, 29.0, 15.0, 15.0, 10.0, 14.0, 8.0, 10.0, 1.0, 5.0, 1.0, 4.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.023834228515625, -0.023079633712768555, -0.02232503890991211, -0.021570444107055664, -0.02081584930419922, -0.020061254501342773, -0.019306659698486328, -0.018552064895629883, -0.017797470092773438, -0.017042875289916992, -0.016288280487060547, -0.015533685684204102, -0.014779090881347656, -0.014024496078491211, -0.013269901275634766, -0.01251530647277832, -0.011760711669921875, -0.01100611686706543, -0.010251522064208984, -0.009496927261352539, -0.008742332458496094, -0.007987737655639648, -0.007233142852783203, -0.006478548049926758, -0.0057239532470703125, -0.004969358444213867, -0.004214763641357422, -0.0034601688385009766, -0.0027055740356445312, -0.001950979232788086, -0.0011963844299316406, -0.0004417896270751953, 0.00031280517578125, 0.0010673999786376953, 0.0018219947814941406, 0.002576589584350586, 0.0033311843872070312, 0.0040857791900634766, 0.004840373992919922, 0.005594968795776367, 0.0063495635986328125, 0.007104158401489258, 0.007858753204345703, 0.008613348007202148, 0.009367942810058594, 0.010122537612915039, 0.010877132415771484, 0.01163172721862793, 0.012386322021484375, 0.01314091682434082, 0.013895511627197266, 0.014650106430053711, 0.015404701232910156, 0.0161592960357666, 0.016913890838623047, 0.017668485641479492, 0.018423080444335938, 0.019177675247192383, 0.019932270050048828, 0.020686864852905273, 0.02144145965576172, 0.022196054458618164, 0.02295064926147461, 0.023705244064331055, 0.0244598388671875]}, "gradients/decoder.transformer.h.19.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 5.0, 2.0, 11.0, 7.0, 12.0, 23.0, 14.0, 29.0, 45.0, 65.0, 90.0, 126.0, 192.0, 247.0, 386.0, 652.0, 1090.0, 1999.0, 4922.0, 18491.0, 117799.0, 766782.0, 108220.0, 17650.0, 4806.0, 1931.0, 1082.0, 648.0, 392.0, 255.0, 175.0, 126.0, 88.0, 57.0, 45.0, 25.0, 19.0, 17.0, 11.0, 10.0, 2.0, 8.0, 4.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.08544921875, -0.08273506164550781, -0.08002090454101562, -0.07730674743652344, -0.07459259033203125, -0.07187843322753906, -0.06916427612304688, -0.06645011901855469, -0.0637359619140625, -0.06102180480957031, -0.058307647705078125, -0.05559349060058594, -0.05287933349609375, -0.05016517639160156, -0.047451019287109375, -0.04473686218261719, -0.042022705078125, -0.03930854797363281, -0.036594390869140625, -0.03388023376464844, -0.03116607666015625, -0.028451919555664062, -0.025737762451171875, -0.023023605346679688, -0.0203094482421875, -0.017595291137695312, -0.014881134033203125, -0.012166976928710938, -0.00945281982421875, -0.0067386627197265625, -0.004024505615234375, -0.0013103485107421875, 0.00140380859375, 0.0041179656982421875, 0.006832122802734375, 0.009546279907226562, 0.01226043701171875, 0.014974594116210938, 0.017688751220703125, 0.020402908325195312, 0.0231170654296875, 0.025831222534179688, 0.028545379638671875, 0.03125953674316406, 0.03397369384765625, 0.03668785095214844, 0.039402008056640625, 0.04211616516113281, 0.044830322265625, 0.04754447937011719, 0.050258636474609375, 0.05297279357910156, 0.05568695068359375, 0.05840110778808594, 0.061115264892578125, 0.06382942199707031, 0.0665435791015625, 0.06925773620605469, 0.07197189331054688, 0.07468605041503906, 0.07740020751953125, 0.08011436462402344, 0.08282852172851562, 0.08554267883300781, 0.0882568359375]}, "gradients/decoder.transformer.h.19.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 3.0, 4.0, 1.0, 2.0, 8.0, 4.0, 8.0, 6.0, 10.0, 4.0, 13.0, 6.0, 15.0, 19.0, 21.0, 30.0, 23.0, 30.0, 30.0, 40.0, 44.0, 50.0, 67.0, 75.0, 119.0, 258.0, 1372.0, 176.0, 115.0, 67.0, 58.0, 53.0, 38.0, 30.0, 28.0, 31.0, 34.0, 33.0, 16.0, 16.0, 17.0, 17.0, 11.0, 8.0, 11.0, 10.0, 7.0, 8.0, 4.0, 3.0, 2.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0], "bins": [-0.06707763671875, -0.06506061553955078, -0.06304359436035156, -0.061026573181152344, -0.059009552001953125, -0.056992530822753906, -0.05497550964355469, -0.05295848846435547, -0.05094146728515625, -0.04892444610595703, -0.04690742492675781, -0.044890403747558594, -0.042873382568359375, -0.040856361389160156, -0.03883934020996094, -0.03682231903076172, -0.0348052978515625, -0.03278827667236328, -0.030771255493164062, -0.028754234313964844, -0.026737213134765625, -0.024720191955566406, -0.022703170776367188, -0.02068614959716797, -0.01866912841796875, -0.01665210723876953, -0.014635086059570312, -0.012618064880371094, -0.010601043701171875, -0.008584022521972656, -0.0065670013427734375, -0.004549980163574219, -0.002532958984375, -0.0005159378051757812, 0.0015010833740234375, 0.0035181045532226562, 0.005535125732421875, 0.007552146911621094, 0.009569168090820312, 0.011586189270019531, 0.01360321044921875, 0.015620231628417969, 0.017637252807617188, 0.019654273986816406, 0.021671295166015625, 0.023688316345214844, 0.025705337524414062, 0.02772235870361328, 0.0297393798828125, 0.03175640106201172, 0.03377342224121094, 0.035790443420410156, 0.037807464599609375, 0.039824485778808594, 0.04184150695800781, 0.04385852813720703, 0.04587554931640625, 0.04789257049560547, 0.04990959167480469, 0.051926612854003906, 0.053943634033203125, 0.055960655212402344, 0.05797767639160156, 0.05999469757080078, 0.06201171875]}, "gradients/decoder.transformer.h.19.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 4.0, 4.0, 9.0, 6.0, 7.0, 7.0, 15.0, 22.0, 15.0, 24.0, 16.0, 42.0, 66.0, 74.0, 111.0, 184.0, 316.0, 568.0, 1303.0, 3185.0, 10082.0, 43381.0, 343637.0, 2517879.0, 183486.0, 29145.0, 7397.0, 2403.0, 1045.0, 468.0, 270.0, 162.0, 103.0, 66.0, 47.0, 42.0, 29.0, 19.0, 9.0, 14.0, 12.0, 11.0, 4.0, 7.0, 4.0, 4.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.0908203125, -0.0878305435180664, -0.08484077453613281, -0.08185100555419922, -0.07886123657226562, -0.07587146759033203, -0.07288169860839844, -0.06989192962646484, -0.06690216064453125, -0.06391239166259766, -0.06092262268066406, -0.05793285369873047, -0.054943084716796875, -0.05195331573486328, -0.04896354675292969, -0.045973777770996094, -0.0429840087890625, -0.039994239807128906, -0.03700447082519531, -0.03401470184326172, -0.031024932861328125, -0.02803516387939453, -0.025045394897460938, -0.022055625915527344, -0.01906585693359375, -0.016076087951660156, -0.013086318969726562, -0.010096549987792969, -0.007106781005859375, -0.004117012023925781, -0.0011272430419921875, 0.0018625259399414062, 0.004852294921875, 0.007842063903808594, 0.010831832885742188, 0.013821601867675781, 0.016811370849609375, 0.01980113983154297, 0.022790908813476562, 0.025780677795410156, 0.02877044677734375, 0.031760215759277344, 0.03474998474121094, 0.03773975372314453, 0.040729522705078125, 0.04371929168701172, 0.04670906066894531, 0.049698829650878906, 0.0526885986328125, 0.055678367614746094, 0.05866813659667969, 0.06165790557861328, 0.06464767456054688, 0.06763744354248047, 0.07062721252441406, 0.07361698150634766, 0.07660675048828125, 0.07959651947021484, 0.08258628845214844, 0.08557605743408203, 0.08856582641601562, 0.09155559539794922, 0.09454536437988281, 0.0975351333618164, 0.10052490234375]}, "gradients/decoder.transformer.h.19.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 33.0, 187.0, 422.0, 286.0, 69.0, 12.0, 4.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0225926637649536, -0.9961286187171936, -0.9696646332740784, -0.9432005882263184, -0.9167365431785583, -0.8902724981307983, -0.8638085126876831, -0.8373444676399231, -0.8108804225921631, -0.7844163775444031, -0.7579523921012878, -0.7314883470535278, -0.7050243020057678, -0.6785602569580078, -0.6520962715148926, -0.6256322264671326, -0.5991682410240173, -0.5727041959762573, -0.5462402105331421, -0.5197761654853821, -0.49331212043762207, -0.46684810519218445, -0.4403840899467468, -0.4139200448989868, -0.3874560296535492, -0.3609920144081116, -0.33452796936035156, -0.30806395411491394, -0.2815999388694763, -0.2551358938217163, -0.2286718785762787, -0.20220784842967987, -0.17574387788772583, -0.14927984774112701, -0.1228158250451088, -0.09635180234909058, -0.06988777220249176, -0.043423742055892944, -0.016959726810455322, 0.009504303336143494, 0.03596833348274231, 0.06243235990405083, 0.08889638632535934, 0.11536040902137756, 0.14182443916797638, 0.1682884693145752, 0.19475248456001282, 0.22121651470661163, 0.24768054485321045, 0.27414456009864807, 0.3006086051464081, 0.3270726203918457, 0.3535366654396057, 0.38000068068504333, 0.40646469593048096, 0.43292874097824097, 0.4593927562236786, 0.4858567714691162, 0.5123208165168762, 0.5387848615646362, 0.5652488470077515, 0.5917128920555115, 0.6181769371032715, 0.6446409225463867, 0.6711049675941467]}, "gradients/decoder.transformer.h.19.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 6.0, 10.0, 6.0, 4.0, 11.0, 17.0, 15.0, 9.0, 23.0, 21.0, 27.0, 23.0, 23.0, 31.0, 33.0, 36.0, 49.0, 33.0, 53.0, 43.0, 38.0, 40.0, 42.0, 32.0, 41.0, 29.0, 36.0, 37.0, 38.0, 33.0, 27.0, 24.0, 18.0, 17.0, 12.0, 16.0, 18.0, 9.0, 6.0, 4.0, 6.0, 6.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2657018303871155, -0.2571311295032501, -0.24856042861938477, -0.2399897426366806, -0.23141904175281525, -0.2228483408689499, -0.21427765488624573, -0.20570695400238037, -0.19713625311851501, -0.18856555223464966, -0.1799948513507843, -0.17142416536808014, -0.16285346448421478, -0.15428276360034943, -0.14571207761764526, -0.1371413767337799, -0.12857067584991455, -0.1199999749660492, -0.11142928153276443, -0.10285858809947968, -0.09428788721561432, -0.08571718633174896, -0.0771464928984642, -0.06857579946517944, -0.06000509858131409, -0.05143440142273903, -0.04286370426416397, -0.03429300710558891, -0.025722309947013855, -0.017151612788438797, -0.008580915629863739, -1.021847128868103e-05, 0.008560478687286377, 0.017131175845861435, 0.025701873004436493, 0.03427257016301155, 0.04284326732158661, 0.05141396448016167, 0.059984661638736725, 0.06855535507202148, 0.07712605595588684, 0.0856967568397522, 0.09426745027303696, 0.10283814370632172, 0.11140884459018707, 0.11997954547405243, 0.1285502314567566, 0.13712093234062195, 0.1456916332244873, 0.15426233410835266, 0.16283303499221802, 0.17140372097492218, 0.17997442185878754, 0.1885451227426529, 0.19711580872535706, 0.2056865096092224, 0.21425721049308777, 0.22282791137695312, 0.23139861226081848, 0.23996929824352264, 0.248539999127388, 0.25711068511009216, 0.2656813859939575, 0.2742520868778229, 0.28282278776168823]}, "gradients/decoder.transformer.h.18.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 4.0, 3.0, 1.0, 6.0, 8.0, 6.0, 9.0, 20.0, 11.0, 24.0, 30.0, 35.0, 40.0, 48.0, 58.0, 61.0, 72.0, 65.0, 67.0, 53.0, 55.0, 49.0, 47.0, 44.0, 39.0, 40.0, 27.0, 15.0, 16.0, 14.0, 9.0, 14.0, 4.0, 3.0, 4.0, 3.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0242462158203125, -0.02347254753112793, -0.02269887924194336, -0.02192521095275879, -0.02115154266357422, -0.02037787437438965, -0.019604206085205078, -0.018830537796020508, -0.018056869506835938, -0.017283201217651367, -0.016509532928466797, -0.015735864639282227, -0.014962196350097656, -0.014188528060913086, -0.013414859771728516, -0.012641191482543945, -0.011867523193359375, -0.011093854904174805, -0.010320186614990234, -0.009546518325805664, -0.008772850036621094, -0.007999181747436523, -0.007225513458251953, -0.006451845169067383, -0.0056781768798828125, -0.004904508590698242, -0.004130840301513672, -0.0033571720123291016, -0.0025835037231445312, -0.001809835433959961, -0.0010361671447753906, -0.0002624988555908203, 0.00051116943359375, 0.0012848377227783203, 0.0020585060119628906, 0.002832174301147461, 0.0036058425903320312, 0.0043795108795166016, 0.005153179168701172, 0.005926847457885742, 0.0067005157470703125, 0.007474184036254883, 0.008247852325439453, 0.009021520614624023, 0.009795188903808594, 0.010568857192993164, 0.011342525482177734, 0.012116193771362305, 0.012889862060546875, 0.013663530349731445, 0.014437198638916016, 0.015210866928100586, 0.015984535217285156, 0.016758203506469727, 0.017531871795654297, 0.018305540084838867, 0.019079208374023438, 0.019852876663208008, 0.020626544952392578, 0.02140021324157715, 0.02217388153076172, 0.02294754981994629, 0.02372121810913086, 0.02449488639831543, 0.0252685546875]}, "gradients/decoder.transformer.h.18.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 7.0, 7.0, 7.0, 16.0, 17.0, 22.0, 35.0, 40.0, 84.0, 99.0, 178.0, 262.0, 421.0, 783.0, 1581.0, 4059.0, 20104.0, 357202.0, 3626837.0, 163097.0, 12668.0, 3219.0, 1363.0, 785.0, 459.0, 308.0, 192.0, 127.0, 92.0, 57.0, 41.0, 31.0, 22.0, 14.0, 8.0, 7.0, 10.0, 7.0, 5.0, 5.0, 1.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.11676025390625, -0.11304092407226562, -0.10932159423828125, -0.10560226440429688, -0.1018829345703125, -0.09816360473632812, -0.09444427490234375, -0.09072494506835938, -0.087005615234375, -0.08328628540039062, -0.07956695556640625, -0.07584762573242188, -0.0721282958984375, -0.06840896606445312, -0.06468963623046875, -0.060970306396484375, -0.0572509765625, -0.053531646728515625, -0.04981231689453125, -0.046092987060546875, -0.0423736572265625, -0.038654327392578125, -0.03493499755859375, -0.031215667724609375, -0.027496337890625, -0.023777008056640625, -0.02005767822265625, -0.016338348388671875, -0.0126190185546875, -0.008899688720703125, -0.00518035888671875, -0.001461029052734375, 0.00225830078125, 0.005977630615234375, 0.00969696044921875, 0.013416290283203125, 0.0171356201171875, 0.020854949951171875, 0.02457427978515625, 0.028293609619140625, 0.032012939453125, 0.035732269287109375, 0.03945159912109375, 0.043170928955078125, 0.0468902587890625, 0.050609588623046875, 0.05432891845703125, 0.058048248291015625, 0.061767578125, 0.06548690795898438, 0.06920623779296875, 0.07292556762695312, 0.0766448974609375, 0.08036422729492188, 0.08408355712890625, 0.08780288696289062, 0.091522216796875, 0.09524154663085938, 0.09896087646484375, 0.10268020629882812, 0.1063995361328125, 0.11011886596679688, 0.11383819580078125, 0.11755752563476562, 0.12127685546875]}, "gradients/decoder.transformer.h.18.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 7.0, 12.0, 11.0, 7.0, 9.0, 13.0, 14.0, 35.0, 29.0, 60.0, 65.0, 82.0, 109.0, 159.0, 240.0, 345.0, 422.0, 531.0, 467.0, 390.0, 303.0, 216.0, 152.0, 94.0, 67.0, 58.0, 43.0, 29.0, 19.0, 12.0, 16.0, 7.0, 10.0, 10.0, 1.0, 4.0, 5.0, 7.0, 4.0, 0.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.058319091796875, -0.056586265563964844, -0.05485343933105469, -0.05312061309814453, -0.051387786865234375, -0.04965496063232422, -0.04792213439941406, -0.046189308166503906, -0.04445648193359375, -0.042723655700683594, -0.04099082946777344, -0.03925800323486328, -0.037525177001953125, -0.03579235076904297, -0.03405952453613281, -0.032326698303222656, -0.0305938720703125, -0.028861045837402344, -0.027128219604492188, -0.02539539337158203, -0.023662567138671875, -0.02192974090576172, -0.020196914672851562, -0.018464088439941406, -0.01673126220703125, -0.014998435974121094, -0.013265609741210938, -0.011532783508300781, -0.009799957275390625, -0.008067131042480469, -0.0063343048095703125, -0.004601478576660156, -0.00286865234375, -0.0011358261108398438, 0.0005970001220703125, 0.0023298263549804688, 0.004062652587890625, 0.005795478820800781, 0.0075283050537109375, 0.009261131286621094, 0.01099395751953125, 0.012726783752441406, 0.014459609985351562, 0.01619243621826172, 0.017925262451171875, 0.01965808868408203, 0.021390914916992188, 0.023123741149902344, 0.0248565673828125, 0.026589393615722656, 0.028322219848632812, 0.03005504608154297, 0.031787872314453125, 0.03352069854736328, 0.03525352478027344, 0.036986351013183594, 0.03871917724609375, 0.040452003479003906, 0.04218482971191406, 0.04391765594482422, 0.045650482177734375, 0.04738330841064453, 0.04911613464355469, 0.050848960876464844, 0.052581787109375]}, "gradients/decoder.transformer.h.18.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 12.0, 7.0, 8.0, 23.0, 35.0, 40.0, 73.0, 110.0, 213.0, 333.0, 625.0, 1285.0, 2598.0, 5920.0, 15427.0, 54321.0, 308347.0, 2570911.0, 1057634.0, 129596.0, 29147.0, 9679.0, 3974.0, 1886.0, 921.0, 473.0, 276.0, 151.0, 82.0, 67.0, 35.0, 23.0, 15.0, 10.0, 9.0, 6.0, 2.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0927734375, -0.08954906463623047, -0.08632469177246094, -0.0831003189086914, -0.07987594604492188, -0.07665157318115234, -0.07342720031738281, -0.07020282745361328, -0.06697845458984375, -0.06375408172607422, -0.06052970886230469, -0.057305335998535156, -0.054080963134765625, -0.050856590270996094, -0.04763221740722656, -0.04440784454345703, -0.0411834716796875, -0.03795909881591797, -0.03473472595214844, -0.031510353088378906, -0.028285980224609375, -0.025061607360839844, -0.021837234497070312, -0.01861286163330078, -0.01538848876953125, -0.012164115905761719, -0.008939743041992188, -0.005715370178222656, -0.002490997314453125, 0.0007333755493164062, 0.0039577484130859375, 0.007182121276855469, 0.010406494140625, 0.013630867004394531, 0.016855239868164062, 0.020079612731933594, 0.023303985595703125, 0.026528358459472656, 0.029752731323242188, 0.03297710418701172, 0.03620147705078125, 0.03942584991455078, 0.04265022277832031, 0.045874595642089844, 0.049098968505859375, 0.052323341369628906, 0.05554771423339844, 0.05877208709716797, 0.0619964599609375, 0.06522083282470703, 0.06844520568847656, 0.0716695785522461, 0.07489395141601562, 0.07811832427978516, 0.08134269714355469, 0.08456707000732422, 0.08779144287109375, 0.09101581573486328, 0.09424018859863281, 0.09746456146240234, 0.10068893432617188, 0.1039133071899414, 0.10713768005371094, 0.11036205291748047, 0.11358642578125]}, "gradients/decoder.transformer.h.18.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 8.0, 9.0, 43.0, 118.0, 251.0, 289.0, 198.0, 70.0, 21.0, 8.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0983195304870605, -1.0679928064346313, -1.0376660823822021, -1.0073392391204834, -0.9770125150680542, -0.946685791015625, -0.916359007358551, -0.886032223701477, -0.8557054996490479, -0.8253787755966187, -0.7950519919395447, -0.7647252082824707, -0.7343984842300415, -0.7040717601776123, -0.6737449765205383, -0.6434181928634644, -0.6130914688110352, -0.582764744758606, -0.552437961101532, -0.522111177444458, -0.4917844533920288, -0.4614576995372772, -0.43113094568252563, -0.40080419182777405, -0.37047743797302246, -0.3401506841182709, -0.3098239302635193, -0.2794971764087677, -0.2491704225540161, -0.21884366869926453, -0.18851691484451294, -0.15819016098976135, -0.12786340713500977, -0.09753665328025818, -0.06720989942550659, -0.036883145570755005, -0.006556391716003418, 0.02377036213874817, 0.054097115993499756, 0.08442386984825134, 0.11475062370300293, 0.14507737755775452, 0.1754041314125061, 0.2057308852672577, 0.23605763912200928, 0.26638439297676086, 0.29671114683151245, 0.32703790068626404, 0.3573646545410156, 0.3876914083957672, 0.4180181622505188, 0.4483449161052704, 0.478671669960022, 0.5089983940124512, 0.5393251776695251, 0.5696519613265991, 0.5999786853790283, 0.6303054094314575, 0.6606321930885315, 0.6909589767456055, 0.7212857007980347, 0.7516124248504639, 0.7819392085075378, 0.8122659921646118, 0.842592716217041]}, "gradients/decoder.transformer.h.18.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 4.0, 7.0, 4.0, 13.0, 5.0, 10.0, 17.0, 16.0, 20.0, 19.0, 38.0, 29.0, 25.0, 35.0, 30.0, 36.0, 48.0, 38.0, 39.0, 50.0, 48.0, 42.0, 50.0, 47.0, 45.0, 36.0, 40.0, 36.0, 33.0, 22.0, 22.0, 14.0, 13.0, 17.0, 14.0, 7.0, 11.0, 6.0, 12.0, 3.0, 5.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.23634248971939087, -0.22932204604148865, -0.22230160236358643, -0.2152811586856842, -0.20826071500778198, -0.20124027132987976, -0.19421982765197754, -0.18719938397407532, -0.1801789402961731, -0.17315849661827087, -0.16613805294036865, -0.15911760926246643, -0.1520971655845642, -0.145076721906662, -0.13805627822875977, -0.13103583455085754, -0.12401539087295532, -0.1169949471950531, -0.10997450351715088, -0.10295405983924866, -0.09593361616134644, -0.08891317248344421, -0.08189272880554199, -0.07487228512763977, -0.06785184144973755, -0.06083139777183533, -0.053810954093933105, -0.046790510416030884, -0.03977006673812866, -0.03274962306022644, -0.02572917938232422, -0.018708735704421997, -0.011688292026519775, -0.004667848348617554, 0.002352595329284668, 0.00937303900718689, 0.01639348268508911, 0.023413926362991333, 0.030434370040893555, 0.037454813718795776, 0.044475257396698, 0.05149570107460022, 0.05851614475250244, 0.06553658843040466, 0.07255703210830688, 0.0795774757862091, 0.08659791946411133, 0.09361836314201355, 0.10063880681991577, 0.107659250497818, 0.11467969417572021, 0.12170013785362244, 0.12872058153152466, 0.13574102520942688, 0.1427614688873291, 0.14978191256523132, 0.15680235624313354, 0.16382279992103577, 0.170843243598938, 0.1778636872768402, 0.18488413095474243, 0.19190457463264465, 0.19892501831054688, 0.2059454619884491, 0.21296590566635132]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 3.0, 3.0, 1.0, 2.0, 1.0, 7.0, 7.0, 7.0, 8.0, 16.0, 16.0, 20.0, 16.0, 29.0, 32.0, 45.0, 38.0, 48.0, 55.0, 49.0, 56.0, 55.0, 47.0, 51.0, 45.0, 46.0, 58.0, 32.0, 31.0, 35.0, 28.0, 24.0, 13.0, 18.0, 13.0, 14.0, 6.0, 12.0, 8.0, 2.0, 5.0, 4.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0202789306640625, -0.019606590270996094, -0.018934249877929688, -0.01826190948486328, -0.017589569091796875, -0.01691722869873047, -0.016244888305664062, -0.015572547912597656, -0.01490020751953125, -0.014227867126464844, -0.013555526733398438, -0.012883186340332031, -0.012210845947265625, -0.011538505554199219, -0.010866165161132812, -0.010193824768066406, -0.009521484375, -0.008849143981933594, -0.008176803588867188, -0.007504463195800781, -0.006832122802734375, -0.006159782409667969, -0.0054874420166015625, -0.004815101623535156, -0.00414276123046875, -0.0034704208374023438, -0.0027980804443359375, -0.0021257400512695312, -0.001453399658203125, -0.0007810592651367188, -0.0001087188720703125, 0.0005636215209960938, 0.0012359619140625, 0.0019083023071289062, 0.0025806427001953125, 0.0032529830932617188, 0.003925323486328125, 0.004597663879394531, 0.0052700042724609375, 0.005942344665527344, 0.00661468505859375, 0.007287025451660156, 0.007959365844726562, 0.008631706237792969, 0.009304046630859375, 0.009976387023925781, 0.010648727416992188, 0.011321067810058594, 0.011993408203125, 0.012665748596191406, 0.013338088989257812, 0.014010429382324219, 0.014682769775390625, 0.015355110168457031, 0.016027450561523438, 0.016699790954589844, 0.01737213134765625, 0.018044471740722656, 0.018716812133789062, 0.01938915252685547, 0.020061492919921875, 0.02073383331298828, 0.021406173706054688, 0.022078514099121094, 0.0227508544921875]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 5.0, 1.0, 0.0, 6.0, 6.0, 7.0, 9.0, 14.0, 25.0, 42.0, 35.0, 45.0, 71.0, 102.0, 157.0, 233.0, 339.0, 482.0, 726.0, 1090.0, 1701.0, 2636.0, 4231.0, 6990.0, 11823.0, 20699.0, 37317.0, 73620.0, 163336.0, 402184.0, 160050.0, 72503.0, 37316.0, 20338.0, 11681.0, 6923.0, 4173.0, 2671.0, 1629.0, 1067.0, 714.0, 482.0, 323.0, 227.0, 161.0, 117.0, 66.0, 62.0, 39.0, 25.0, 17.0, 11.0, 14.0, 7.0, 9.0, 5.0, 2.0, 4.0, 0.0, 0.0, 0.0, 4.0], "bins": [-0.0001983642578125, -0.0001920647919178009, -0.0001857653260231018, -0.0001794658601284027, -0.0001731663942337036, -0.00016686692833900452, -0.00016056746244430542, -0.00015426799654960632, -0.00014796853065490723, -0.00014166906476020813, -0.00013536959886550903, -0.00012907013297080994, -0.00012277066707611084, -0.00011647120118141174, -0.00011017173528671265, -0.00010387226939201355, -9.757280349731445e-05, -9.127333760261536e-05, -8.497387170791626e-05, -7.867440581321716e-05, -7.237493991851807e-05, -6.607547402381897e-05, -5.977600812911987e-05, -5.3476542234420776e-05, -4.717707633972168e-05, -4.087761044502258e-05, -3.4578144550323486e-05, -2.827867865562439e-05, -2.1979212760925293e-05, -1.5679746866226196e-05, -9.3802809715271e-06, -3.080815076828003e-06, 3.2186508178710938e-06, 9.51811671257019e-06, 1.5817582607269287e-05, 2.2117048501968384e-05, 2.841651439666748e-05, 3.471598029136658e-05, 4.1015446186065674e-05, 4.731491208076477e-05, 5.361437797546387e-05, 5.9913843870162964e-05, 6.621330976486206e-05, 7.251277565956116e-05, 7.881224155426025e-05, 8.511170744895935e-05, 9.141117334365845e-05, 9.771063923835754e-05, 0.00010401010513305664, 0.00011030957102775574, 0.00011660903692245483, 0.00012290850281715393, 0.00012920796871185303, 0.00013550743460655212, 0.00014180690050125122, 0.00014810636639595032, 0.00015440583229064941, 0.0001607052981853485, 0.0001670047640800476, 0.0001733042299747467, 0.0001796036958694458, 0.0001859031617641449, 0.000192202627658844, 0.0001985020935535431, 0.0002048015594482422]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 3.0, 4.0, 4.0, 12.0, 13.0, 13.0, 17.0, 21.0, 12.0, 14.0, 25.0, 15.0, 18.0, 21.0, 20.0, 22.0, 23.0, 30.0, 36.0, 24.0, 26.0, 30.0, 29.0, 39.0, 21.0, 1051.0, 28.0, 27.0, 33.0, 31.0, 33.0, 24.0, 32.0, 31.0, 26.0, 26.0, 29.0, 25.0, 14.0, 15.0, 16.0, 12.0, 14.0, 15.0, 14.0, 10.0, 10.0, 5.0, 5.0, 7.0, 5.0, 6.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.018707275390625, -0.018071889877319336, -0.017436504364013672, -0.016801118850708008, -0.016165733337402344, -0.01553034782409668, -0.014894962310791016, -0.014259576797485352, -0.013624191284179688, -0.012988805770874023, -0.01235342025756836, -0.011718034744262695, -0.011082649230957031, -0.010447263717651367, -0.009811878204345703, -0.009176492691040039, -0.008541107177734375, -0.007905721664428711, -0.007270336151123047, -0.006634950637817383, -0.005999565124511719, -0.005364179611206055, -0.004728794097900391, -0.0040934085845947266, -0.0034580230712890625, -0.0028226375579833984, -0.0021872520446777344, -0.0015518665313720703, -0.0009164810180664062, -0.0002810955047607422, 0.0003542900085449219, 0.000989675521850586, 0.00162506103515625, 0.002260446548461914, 0.002895832061767578, 0.003531217575073242, 0.004166603088378906, 0.00480198860168457, 0.005437374114990234, 0.0060727596282958984, 0.0067081451416015625, 0.0073435306549072266, 0.00797891616821289, 0.008614301681518555, 0.009249687194824219, 0.009885072708129883, 0.010520458221435547, 0.011155843734741211, 0.011791229248046875, 0.012426614761352539, 0.013062000274658203, 0.013697385787963867, 0.014332771301269531, 0.014968156814575195, 0.01560354232788086, 0.016238927841186523, 0.016874313354492188, 0.01750969886779785, 0.018145084381103516, 0.01878046989440918, 0.019415855407714844, 0.020051240921020508, 0.020686626434326172, 0.021322011947631836, 0.0219573974609375]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 5.0, 4.0, 10.0, 3.0, 8.0, 8.0, 10.0, 9.0, 14.0, 16.0, 15.0, 14.0, 13.0, 16.0, 29.0, 24.0, 27.0, 30.0, 30.0, 26.0, 36.0, 82.0, 181.0, 470.0, 2014.0, 9965.0, 2068530.0, 12405.0, 2056.0, 455.0, 194.0, 82.0, 37.0, 39.0, 28.0, 27.0, 17.0, 21.0, 21.0, 17.0, 16.0, 23.0, 14.0, 16.0, 17.0, 17.0, 15.0, 10.0, 11.0, 5.0, 4.0, 2.0, 6.0, 0.0, 1.0, 1.0], "bins": [-2.396106719970703e-05, -2.32672318816185e-05, -2.2573396563529968e-05, -2.1879561245441437e-05, -2.1185725927352905e-05, -2.0491890609264374e-05, -1.9798055291175842e-05, -1.910421997308731e-05, -1.841038465499878e-05, -1.7716549336910248e-05, -1.7022714018821716e-05, -1.6328878700733185e-05, -1.5635043382644653e-05, -1.4941208064556122e-05, -1.424737274646759e-05, -1.3553537428379059e-05, -1.2859702110290527e-05, -1.2165866792201996e-05, -1.1472031474113464e-05, -1.0778196156024933e-05, -1.0084360837936401e-05, -9.39052551984787e-06, -8.696690201759338e-06, -8.002854883670807e-06, -7.309019565582275e-06, -6.615184247493744e-06, -5.921348929405212e-06, -5.227513611316681e-06, -4.533678293228149e-06, -3.839842975139618e-06, -3.1460076570510864e-06, -2.452172338962555e-06, -1.7583370208740234e-06, -1.064501702785492e-06, -3.7066638469696045e-07, 3.2316893339157104e-07, 1.0170042514801025e-06, 1.710839569568634e-06, 2.4046748876571655e-06, 3.098510205745697e-06, 3.7923455238342285e-06, 4.48618084192276e-06, 5.1800161600112915e-06, 5.873851478099823e-06, 6.5676867961883545e-06, 7.261522114276886e-06, 7.955357432365417e-06, 8.649192750453949e-06, 9.34302806854248e-06, 1.0036863386631012e-05, 1.0730698704719543e-05, 1.1424534022808075e-05, 1.2118369340896606e-05, 1.2812204658985138e-05, 1.350603997707367e-05, 1.4199875295162201e-05, 1.4893710613250732e-05, 1.5587545931339264e-05, 1.6281381249427795e-05, 1.6975216567516327e-05, 1.766905188560486e-05, 1.836288720369339e-05, 1.905672252178192e-05, 1.9750557839870453e-05, 2.0444393157958984e-05]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 3.0, 3.0, 1.0, 2.0, 1.0, 7.0, 7.0, 7.0, 8.0, 16.0, 16.0, 20.0, 16.0, 29.0, 32.0, 45.0, 38.0, 48.0, 55.0, 49.0, 56.0, 55.0, 47.0, 51.0, 45.0, 46.0, 58.0, 32.0, 31.0, 35.0, 28.0, 24.0, 13.0, 18.0, 13.0, 14.0, 6.0, 12.0, 8.0, 2.0, 5.0, 4.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0202789306640625, -0.019606590270996094, -0.018934249877929688, -0.01826190948486328, -0.017589569091796875, -0.01691722869873047, -0.016244888305664062, -0.015572547912597656, -0.01490020751953125, -0.014227867126464844, -0.013555526733398438, -0.012883186340332031, -0.012210845947265625, -0.011538505554199219, -0.010866165161132812, -0.010193824768066406, -0.009521484375, -0.008849143981933594, -0.008176803588867188, -0.007504463195800781, -0.006832122802734375, -0.006159782409667969, -0.0054874420166015625, -0.004815101623535156, -0.00414276123046875, -0.0034704208374023438, -0.0027980804443359375, -0.0021257400512695312, -0.001453399658203125, -0.0007810592651367188, -0.0001087188720703125, 0.0005636215209960938, 0.0012359619140625, 0.0019083023071289062, 0.0025806427001953125, 0.0032529830932617188, 0.003925323486328125, 0.004597663879394531, 0.0052700042724609375, 0.005942344665527344, 0.00661468505859375, 0.007287025451660156, 0.007959365844726562, 0.008631706237792969, 0.009304046630859375, 0.009976387023925781, 0.010648727416992188, 0.011321067810058594, 0.011993408203125, 0.012665748596191406, 0.013338088989257812, 0.014010429382324219, 0.014682769775390625, 0.015355110168457031, 0.016027450561523438, 0.016699790954589844, 0.01737213134765625, 0.018044471740722656, 0.018716812133789062, 0.01938915252685547, 0.020061492919921875, 0.02073383331298828, 0.021406173706054688, 0.022078514099121094, 0.0227508544921875]}, "gradients/decoder.transformer.h.18.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 8.0, 3.0, 7.0, 7.0, 11.0, 12.0, 18.0, 19.0, 30.0, 27.0, 59.0, 66.0, 93.0, 109.0, 210.0, 244.0, 408.0, 636.0, 1150.0, 2527.0, 6070.0, 18157.0, 69998.0, 599459.0, 279287.0, 47090.0, 13323.0, 4734.0, 2028.0, 1032.0, 542.0, 349.0, 222.0, 155.0, 112.0, 87.0, 61.0, 59.0, 35.0, 19.0, 20.0, 26.0, 13.0, 9.0, 7.0, 3.0, 5.0, 4.0, 3.0, 2.0, 0.0, 2.0, 2.0, 0.0, 3.0], "bins": [-0.068359375, -0.06627941131591797, -0.06419944763183594, -0.062119483947753906, -0.060039520263671875, -0.057959556579589844, -0.05587959289550781, -0.05379962921142578, -0.05171966552734375, -0.04963970184326172, -0.04755973815917969, -0.045479774475097656, -0.043399810791015625, -0.041319847106933594, -0.03923988342285156, -0.03715991973876953, -0.0350799560546875, -0.03299999237060547, -0.030920028686523438, -0.028840065002441406, -0.026760101318359375, -0.024680137634277344, -0.022600173950195312, -0.02052021026611328, -0.01844024658203125, -0.01636028289794922, -0.014280319213867188, -0.012200355529785156, -0.010120391845703125, -0.008040428161621094, -0.0059604644775390625, -0.0038805007934570312, -0.001800537109375, 0.00027942657470703125, 0.0023593902587890625, 0.004439353942871094, 0.006519317626953125, 0.008599281311035156, 0.010679244995117188, 0.012759208679199219, 0.01483917236328125, 0.01691913604736328, 0.018999099731445312, 0.021079063415527344, 0.023159027099609375, 0.025238990783691406, 0.027318954467773438, 0.02939891815185547, 0.0314788818359375, 0.03355884552001953, 0.03563880920410156, 0.037718772888183594, 0.039798736572265625, 0.041878700256347656, 0.04395866394042969, 0.04603862762451172, 0.04811859130859375, 0.05019855499267578, 0.05227851867675781, 0.054358482360839844, 0.056438446044921875, 0.058518409729003906, 0.06059837341308594, 0.06267833709716797, 0.06475830078125]}, "gradients/decoder.transformer.h.18.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 5.0, 3.0, 9.0, 6.0, 7.0, 14.0, 14.0, 11.0, 17.0, 18.0, 22.0, 35.0, 37.0, 39.0, 55.0, 47.0, 59.0, 83.0, 151.0, 1598.0, 280.0, 100.0, 62.0, 69.0, 59.0, 37.0, 41.0, 35.0, 37.0, 21.0, 15.0, 14.0, 18.0, 11.0, 14.0, 7.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0], "bins": [-0.093994140625, -0.09143733978271484, -0.08888053894042969, -0.08632373809814453, -0.08376693725585938, -0.08121013641357422, -0.07865333557128906, -0.0760965347290039, -0.07353973388671875, -0.0709829330444336, -0.06842613220214844, -0.06586933135986328, -0.06331253051757812, -0.06075572967529297, -0.05819892883300781, -0.055642127990722656, -0.0530853271484375, -0.050528526306152344, -0.04797172546386719, -0.04541492462158203, -0.042858123779296875, -0.04030132293701172, -0.03774452209472656, -0.035187721252441406, -0.03263092041015625, -0.030074119567871094, -0.027517318725585938, -0.02496051788330078, -0.022403717041015625, -0.01984691619873047, -0.017290115356445312, -0.014733314514160156, -0.012176513671875, -0.009619712829589844, -0.0070629119873046875, -0.004506111145019531, -0.001949310302734375, 0.0006074905395507812, 0.0031642913818359375, 0.005721092224121094, 0.00827789306640625, 0.010834693908691406, 0.013391494750976562, 0.01594829559326172, 0.018505096435546875, 0.02106189727783203, 0.023618698120117188, 0.026175498962402344, 0.0287322998046875, 0.031289100646972656, 0.03384590148925781, 0.03640270233154297, 0.038959503173828125, 0.04151630401611328, 0.04407310485839844, 0.046629905700683594, 0.04918670654296875, 0.051743507385253906, 0.05430030822753906, 0.05685710906982422, 0.059413909912109375, 0.06197071075439453, 0.06452751159667969, 0.06708431243896484, 0.06964111328125]}, "gradients/decoder.transformer.h.18.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 6.0, 8.0, 12.0, 9.0, 19.0, 18.0, 25.0, 48.0, 69.0, 95.0, 128.0, 293.0, 749.0, 2971.0, 20156.0, 521212.0, 2558790.0, 34899.0, 4355.0, 953.0, 374.0, 180.0, 103.0, 65.0, 47.0, 21.0, 25.0, 14.0, 14.0, 12.0, 13.0, 9.0, 6.0, 9.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1328125, -0.1279144287109375, -0.123016357421875, -0.1181182861328125, -0.11322021484375, -0.1083221435546875, -0.103424072265625, -0.0985260009765625, -0.0936279296875, -0.0887298583984375, -0.083831787109375, -0.0789337158203125, -0.07403564453125, -0.0691375732421875, -0.064239501953125, -0.0593414306640625, -0.054443359375, -0.0495452880859375, -0.044647216796875, -0.0397491455078125, -0.03485107421875, -0.0299530029296875, -0.025054931640625, -0.0201568603515625, -0.0152587890625, -0.0103607177734375, -0.005462646484375, -0.0005645751953125, 0.00433349609375, 0.0092315673828125, 0.014129638671875, 0.0190277099609375, 0.02392578125, 0.0288238525390625, 0.033721923828125, 0.0386199951171875, 0.04351806640625, 0.0484161376953125, 0.053314208984375, 0.0582122802734375, 0.0631103515625, 0.0680084228515625, 0.072906494140625, 0.0778045654296875, 0.08270263671875, 0.0876007080078125, 0.092498779296875, 0.0973968505859375, 0.102294921875, 0.1071929931640625, 0.112091064453125, 0.1169891357421875, 0.12188720703125, 0.1267852783203125, 0.131683349609375, 0.1365814208984375, 0.1414794921875, 0.1463775634765625, 0.151275634765625, 0.1561737060546875, 0.16107177734375, 0.1659698486328125, 0.170867919921875, 0.1757659912109375, 0.1806640625]}, "gradients/decoder.transformer.h.18.ln_1.weight": {"_type": "histogram", "values": [2.0, 2.0, 9.0, 13.0, 49.0, 93.0, 186.0, 238.0, 244.0, 105.0, 45.0, 16.0, 9.0, 7.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10366681963205338, -0.09019280225038528, -0.0767187774181366, -0.0632447600364685, -0.049770742654800415, -0.036296725273132324, -0.022822700440883636, -0.009348683059215546, 0.004125334322452545, 0.017599353566765785, 0.031073372811079025, 0.044547393918037415, 0.058021411299705505, 0.0714954286813736, 0.08496945351362228, 0.09844347089529037, 0.11191748827695847, 0.12539151310920715, 0.13886553049087524, 0.15233954787254333, 0.16581356525421143, 0.17928758263587952, 0.1927616000175476, 0.2062356173992157, 0.2197096347808838, 0.23318365216255188, 0.24665766954421997, 0.26013168692588806, 0.27360570430755615, 0.28707972168922424, 0.30055373907089233, 0.3140277862548828, 0.3275017738342285, 0.3409757912158966, 0.3544498085975647, 0.3679238259792328, 0.3813978433609009, 0.39487186074256897, 0.40834587812423706, 0.42181992530822754, 0.43529391288757324, 0.44876793026924133, 0.4622419476509094, 0.4757159650325775, 0.4891899824142456, 0.5026640295982361, 0.5161380171775818, 0.5296120643615723, 0.543086051940918, 0.5565600991249084, 0.5700340867042542, 0.5835081338882446, 0.5969821214675903, 0.6104561686515808, 0.6239301562309265, 0.637404203414917, 0.6508782505989075, 0.664352297782898, 0.6778262853622437, 0.6913003325462341, 0.7047743201255798, 0.7182483673095703, 0.731722354888916, 0.7451964020729065, 0.7586703896522522]}, "gradients/decoder.transformer.h.18.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 3.0, 4.0, 2.0, 3.0, 3.0, 9.0, 7.0, 14.0, 8.0, 17.0, 13.0, 16.0, 9.0, 16.0, 22.0, 22.0, 27.0, 22.0, 26.0, 29.0, 32.0, 48.0, 36.0, 49.0, 41.0, 42.0, 41.0, 40.0, 43.0, 34.0, 40.0, 35.0, 31.0, 22.0, 22.0, 29.0, 14.0, 23.0, 25.0, 12.0, 15.0, 4.0, 13.0, 8.0, 9.0, 8.0, 7.0, 3.0, 2.0, 3.0, 4.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0], "bins": [-0.23962193727493286, -0.23234041035175323, -0.2250588834285736, -0.21777737140655518, -0.21049584448337555, -0.20321431756019592, -0.1959327906370163, -0.18865126371383667, -0.18136975169181824, -0.1740882247686386, -0.16680669784545898, -0.15952518582344055, -0.15224365890026093, -0.1449621319770813, -0.13768060505390167, -0.13039907813072205, -0.12311755120754242, -0.11583602428436279, -0.10855450481176376, -0.10127297788858414, -0.09399145841598511, -0.08670993149280548, -0.07942840456962585, -0.07214687764644623, -0.0648653581738472, -0.05758383497595787, -0.05030231177806854, -0.043020784854888916, -0.03573926165699959, -0.02845773845911026, -0.021176211535930634, -0.013894688338041306, -0.0066131651401519775, 0.0006683589890599251, 0.007949883118271828, 0.015231408178806305, 0.022512931376695633, 0.02979445457458496, 0.03707598149776459, 0.044357504695653915, 0.05163902789354324, 0.05892055109143257, 0.0662020742893219, 0.07348360121250153, 0.08076512813568115, 0.08804664760828018, 0.09532817453145981, 0.10260969400405884, 0.10989122092723846, 0.11717274785041809, 0.12445426732301712, 0.13173580169677734, 0.13901731371879578, 0.1462988406419754, 0.15358036756515503, 0.16086189448833466, 0.16814342141151428, 0.1754249483346939, 0.18270647525787354, 0.18998798727989197, 0.1972695142030716, 0.20455104112625122, 0.21183256804943085, 0.21911409497261047, 0.2263956069946289]}, "gradients/decoder.transformer.h.17.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 3.0, 2.0, 3.0, 2.0, 4.0, 6.0, 4.0, 9.0, 16.0, 16.0, 14.0, 23.0, 25.0, 33.0, 34.0, 44.0, 47.0, 39.0, 54.0, 54.0, 61.0, 54.0, 50.0, 40.0, 54.0, 42.0, 43.0, 33.0, 35.0, 23.0, 20.0, 24.0, 18.0, 20.0, 10.0, 12.0, 9.0, 8.0, 7.0, 5.0, 4.0, 2.0, 4.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.020843505859375, -0.02016139030456543, -0.01947927474975586, -0.01879715919494629, -0.01811504364013672, -0.01743292808532715, -0.016750812530517578, -0.016068696975708008, -0.015386581420898438, -0.014704465866088867, -0.014022350311279297, -0.013340234756469727, -0.012658119201660156, -0.011976003646850586, -0.011293888092041016, -0.010611772537231445, -0.009929656982421875, -0.009247541427612305, -0.008565425872802734, -0.007883310317993164, -0.007201194763183594, -0.0065190792083740234, -0.005836963653564453, -0.005154848098754883, -0.0044727325439453125, -0.003790616989135742, -0.003108501434326172, -0.0024263858795166016, -0.0017442703247070312, -0.001062154769897461, -0.0003800392150878906, 0.0003020763397216797, 0.00098419189453125, 0.0016663074493408203, 0.0023484230041503906, 0.003030538558959961, 0.0037126541137695312, 0.0043947696685791016, 0.005076885223388672, 0.005759000778198242, 0.0064411163330078125, 0.007123231887817383, 0.007805347442626953, 0.008487462997436523, 0.009169578552246094, 0.009851694107055664, 0.010533809661865234, 0.011215925216674805, 0.011898040771484375, 0.012580156326293945, 0.013262271881103516, 0.013944387435913086, 0.014626502990722656, 0.015308618545532227, 0.015990734100341797, 0.016672849655151367, 0.017354965209960938, 0.018037080764770508, 0.018719196319580078, 0.01940131187438965, 0.02008342742919922, 0.02076554298400879, 0.02144765853881836, 0.02212977409362793, 0.0228118896484375]}, "gradients/decoder.transformer.h.17.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 6.0, 10.0, 7.0, 20.0, 12.0, 30.0, 35.0, 56.0, 69.0, 126.0, 167.0, 261.0, 391.0, 671.0, 1121.0, 2319.0, 5944.0, 22062.0, 146034.0, 2200656.0, 1673311.0, 112387.0, 17895.0, 5203.0, 2148.0, 1188.0, 644.0, 460.0, 334.0, 205.0, 155.0, 106.0, 63.0, 52.0, 49.0, 23.0, 19.0, 16.0, 7.0, 10.0, 4.0, 5.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.07171630859375, -0.06923866271972656, -0.06676101684570312, -0.06428337097167969, -0.06180572509765625, -0.05932807922363281, -0.056850433349609375, -0.05437278747558594, -0.0518951416015625, -0.04941749572753906, -0.046939849853515625, -0.04446220397949219, -0.04198455810546875, -0.03950691223144531, -0.037029266357421875, -0.03455162048339844, -0.032073974609375, -0.029596328735351562, -0.027118682861328125, -0.024641036987304688, -0.02216339111328125, -0.019685745239257812, -0.017208099365234375, -0.014730453491210938, -0.0122528076171875, -0.009775161743164062, -0.007297515869140625, -0.0048198699951171875, -0.00234222412109375, 0.0001354217529296875, 0.002613067626953125, 0.0050907135009765625, 0.007568359375, 0.010046005249023438, 0.012523651123046875, 0.015001296997070312, 0.01747894287109375, 0.019956588745117188, 0.022434234619140625, 0.024911880493164062, 0.0273895263671875, 0.029867172241210938, 0.032344818115234375, 0.03482246398925781, 0.03730010986328125, 0.03977775573730469, 0.042255401611328125, 0.04473304748535156, 0.047210693359375, 0.04968833923339844, 0.052165985107421875, 0.05464363098144531, 0.05712127685546875, 0.05959892272949219, 0.062076568603515625, 0.06455421447753906, 0.0670318603515625, 0.06950950622558594, 0.07198715209960938, 0.07446479797363281, 0.07694244384765625, 0.07942008972167969, 0.08189773559570312, 0.08437538146972656, 0.08685302734375]}, "gradients/decoder.transformer.h.17.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 3.0, 8.0, 11.0, 10.0, 10.0, 30.0, 39.0, 54.0, 103.0, 165.0, 282.0, 465.0, 700.0, 860.0, 531.0, 303.0, 209.0, 112.0, 65.0, 42.0, 34.0, 18.0, 12.0, 7.0, 6.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10528564453125, -0.10245037078857422, -0.09961509704589844, -0.09677982330322266, -0.09394454956054688, -0.0911092758178711, -0.08827400207519531, -0.08543872833251953, -0.08260345458984375, -0.07976818084716797, -0.07693290710449219, -0.0740976333618164, -0.07126235961914062, -0.06842708587646484, -0.06559181213378906, -0.06275653839111328, -0.0599212646484375, -0.05708599090576172, -0.05425071716308594, -0.051415443420410156, -0.048580169677734375, -0.045744895935058594, -0.04290962219238281, -0.04007434844970703, -0.03723907470703125, -0.03440380096435547, -0.03156852722167969, -0.028733253479003906, -0.025897979736328125, -0.023062705993652344, -0.020227432250976562, -0.01739215850830078, -0.014556884765625, -0.011721611022949219, -0.008886337280273438, -0.006051063537597656, -0.003215789794921875, -0.00038051605224609375, 0.0024547576904296875, 0.005290031433105469, 0.00812530517578125, 0.010960578918457031, 0.013795852661132812, 0.016631126403808594, 0.019466400146484375, 0.022301673889160156, 0.025136947631835938, 0.02797222137451172, 0.0308074951171875, 0.03364276885986328, 0.03647804260253906, 0.039313316345214844, 0.042148590087890625, 0.044983863830566406, 0.04781913757324219, 0.05065441131591797, 0.05348968505859375, 0.05632495880126953, 0.05916023254394531, 0.061995506286621094, 0.06483078002929688, 0.06766605377197266, 0.07050132751464844, 0.07333660125732422, 0.076171875]}, "gradients/decoder.transformer.h.17.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 5.0, 4.0, 16.0, 12.0, 17.0, 28.0, 37.0, 55.0, 86.0, 152.0, 269.0, 508.0, 1222.0, 3250.0, 12159.0, 71101.0, 978666.0, 2899386.0, 194335.0, 24117.0, 5437.0, 1822.0, 707.0, 357.0, 190.0, 122.0, 78.0, 48.0, 25.0, 21.0, 23.0, 9.0, 5.0, 5.0, 4.0, 2.0, 5.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1075439453125, -0.10327911376953125, -0.0990142822265625, -0.09474945068359375, -0.090484619140625, -0.08621978759765625, -0.0819549560546875, -0.07769012451171875, -0.07342529296875, -0.06916046142578125, -0.0648956298828125, -0.06063079833984375, -0.056365966796875, -0.05210113525390625, -0.0478363037109375, -0.04357147216796875, -0.039306640625, -0.03504180908203125, -0.0307769775390625, -0.02651214599609375, -0.022247314453125, -0.01798248291015625, -0.0137176513671875, -0.00945281982421875, -0.00518798828125, -0.00092315673828125, 0.0033416748046875, 0.00760650634765625, 0.011871337890625, 0.01613616943359375, 0.0204010009765625, 0.02466583251953125, 0.0289306640625, 0.03319549560546875, 0.0374603271484375, 0.04172515869140625, 0.045989990234375, 0.05025482177734375, 0.0545196533203125, 0.05878448486328125, 0.06304931640625, 0.06731414794921875, 0.0715789794921875, 0.07584381103515625, 0.080108642578125, 0.08437347412109375, 0.0886383056640625, 0.09290313720703125, 0.09716796875, 0.10143280029296875, 0.1056976318359375, 0.10996246337890625, 0.114227294921875, 0.11849212646484375, 0.1227569580078125, 0.12702178955078125, 0.13128662109375, 0.13555145263671875, 0.1398162841796875, 0.14408111572265625, 0.148345947265625, 0.15261077880859375, 0.1568756103515625, 0.16114044189453125, 0.1654052734375]}, "gradients/decoder.transformer.h.17.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 3.0, 5.0, 10.0, 12.0, 16.0, 27.0, 43.0, 40.0, 64.0, 73.0, 106.0, 107.0, 102.0, 94.0, 78.0, 82.0, 42.0, 36.0, 23.0, 15.0, 14.0, 6.0, 4.0, 4.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.4603995978832245, -0.4501684904098511, -0.43993738293647766, -0.42970627546310425, -0.41947513818740845, -0.40924403071403503, -0.3990129232406616, -0.3887818157672882, -0.3785507082939148, -0.3683196008205414, -0.35808849334716797, -0.34785738587379456, -0.33762627840042114, -0.32739514112472534, -0.31716403365135193, -0.3069329261779785, -0.2967018187046051, -0.2864707112312317, -0.2762396037578583, -0.26600849628448486, -0.25577735900878906, -0.24554626643657684, -0.23531514406204224, -0.22508403658866882, -0.2148529291152954, -0.204621821641922, -0.19439071416854858, -0.18415959179401398, -0.17392848432064056, -0.16369737684726715, -0.15346625447273254, -0.14323514699935913, -0.1330040693283081, -0.12277296185493469, -0.11254184693098068, -0.10231073200702667, -0.09207962453365326, -0.08184851706027985, -0.07161740213632584, -0.061386287212371826, -0.05115517973899841, -0.0409240685403347, -0.03069295734167099, -0.02046184614300728, -0.010230734944343567, 3.762543201446533e-07, 0.010231487452983856, 0.020462602376937866, 0.03069370985031128, 0.04092482104897499, 0.0511559322476387, 0.061387043446302414, 0.07161815464496613, 0.08184926211833954, 0.09208037704229355, 0.10231149196624756, 0.11254259943962097, 0.12277370691299438, 0.1330048143863678, 0.1432359367609024, 0.15346704423427582, 0.16369815170764923, 0.17392927408218384, 0.18416038155555725, 0.19439148902893066]}, "gradients/decoder.transformer.h.17.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 0.0, 3.0, 1.0, 2.0, 5.0, 6.0, 10.0, 12.0, 17.0, 10.0, 17.0, 16.0, 23.0, 30.0, 25.0, 25.0, 33.0, 39.0, 42.0, 41.0, 57.0, 40.0, 45.0, 51.0, 46.0, 43.0, 47.0, 31.0, 47.0, 32.0, 26.0, 22.0, 20.0, 24.0, 20.0, 24.0, 12.0, 9.0, 16.0, 8.0, 8.0, 7.0, 2.0, 3.0, 5.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.21918004751205444, -0.21244901418685913, -0.20571796596050262, -0.1989869326353073, -0.1922558844089508, -0.1855248510837555, -0.17879381775856018, -0.17206276953220367, -0.16533172130584717, -0.15860068798065186, -0.15186963975429535, -0.14513860642910004, -0.13840755820274353, -0.13167652487754822, -0.12494548410177231, -0.1182144433259964, -0.11148341000080109, -0.10475236922502518, -0.09802132844924927, -0.09129029512405396, -0.08455924689769745, -0.07782821357250214, -0.07109717279672623, -0.06436613202095032, -0.05763509124517441, -0.0509040504693985, -0.04417300969362259, -0.03744197264313698, -0.03071093186736107, -0.02397989109158516, -0.01724885404109955, -0.010517813265323639, -0.0037867724895477295, 0.0029442673549056053, 0.00967530719935894, 0.0164063461124897, 0.02313738688826561, 0.02986842766404152, 0.03659946471452713, 0.04333050549030304, 0.05006154626607895, 0.05679258704185486, 0.06352362781763077, 0.07025466859340668, 0.07698570191860199, 0.0837167501449585, 0.09044778347015381, 0.09717882424592972, 0.10390986502170563, 0.11064090579748154, 0.11737194657325745, 0.12410297989845276, 0.13083402812480927, 0.13756506145000458, 0.14429610967636108, 0.1510271430015564, 0.1577581763267517, 0.16448920965194702, 0.17122025787830353, 0.17795129120349884, 0.18468233942985535, 0.19141337275505066, 0.19814440608024597, 0.20487545430660248, 0.21160650253295898]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 3.0, 3.0, 2.0, 2.0, 6.0, 5.0, 1.0, 6.0, 14.0, 9.0, 11.0, 11.0, 22.0, 23.0, 27.0, 36.0, 35.0, 44.0, 40.0, 48.0, 46.0, 60.0, 41.0, 49.0, 49.0, 44.0, 47.0, 42.0, 43.0, 33.0, 33.0, 29.0, 20.0, 18.0, 22.0, 15.0, 17.0, 10.0, 5.0, 13.0, 10.0, 6.0, 5.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0188751220703125, -0.018213272094726562, -0.017551422119140625, -0.016889572143554688, -0.01622772216796875, -0.015565872192382812, -0.014904022216796875, -0.014242172241210938, -0.013580322265625, -0.012918472290039062, -0.012256622314453125, -0.011594772338867188, -0.01093292236328125, -0.010271072387695312, -0.009609222412109375, -0.008947372436523438, -0.0082855224609375, -0.0076236724853515625, -0.006961822509765625, -0.0062999725341796875, -0.00563812255859375, -0.0049762725830078125, -0.004314422607421875, -0.0036525726318359375, -0.00299072265625, -0.0023288726806640625, -0.001667022705078125, -0.0010051727294921875, -0.00034332275390625, 0.0003185272216796875, 0.000980377197265625, 0.0016422271728515625, 0.0023040771484375, 0.0029659271240234375, 0.003627777099609375, 0.0042896270751953125, 0.00495147705078125, 0.0056133270263671875, 0.006275177001953125, 0.0069370269775390625, 0.007598876953125, 0.008260726928710938, 0.008922576904296875, 0.009584426879882812, 0.01024627685546875, 0.010908126831054688, 0.011569976806640625, 0.012231826782226562, 0.0128936767578125, 0.013555526733398438, 0.014217376708984375, 0.014879226684570312, 0.01554107666015625, 0.016202926635742188, 0.016864776611328125, 0.017526626586914062, 0.0181884765625, 0.018850326538085938, 0.019512176513671875, 0.020174026489257812, 0.02083587646484375, 0.021497726440429688, 0.022159576416015625, 0.022821426391601562, 0.0234832763671875]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 1.0, 4.0, 2.0, 10.0, 7.0, 15.0, 22.0, 29.0, 57.0, 77.0, 93.0, 142.0, 209.0, 266.0, 436.0, 625.0, 1003.0, 1511.0, 2329.0, 3770.0, 6161.0, 10480.0, 18132.0, 32519.0, 62215.0, 130149.0, 378724.0, 205535.0, 88684.0, 45587.0, 24579.0, 13825.0, 8052.0, 4725.0, 2932.0, 1849.0, 1234.0, 807.0, 548.0, 408.0, 249.0, 183.0, 123.0, 85.0, 50.0, 38.0, 30.0, 9.0, 15.0, 7.0, 9.0, 3.0, 4.0, 2.0, 4.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00015664100646972656, -0.00015137717127799988, -0.0001461133360862732, -0.0001408495008945465, -0.00013558566570281982, -0.00013032183051109314, -0.00012505799531936646, -0.00011979416012763977, -0.00011453032493591309, -0.0001092664897441864, -0.00010400265455245972, -9.873881936073303e-05, -9.347498416900635e-05, -8.821114897727966e-05, -8.294731378555298e-05, -7.76834785938263e-05, -7.241964340209961e-05, -6.715580821037292e-05, -6.189197301864624e-05, -5.6628137826919556e-05, -5.136430263519287e-05, -4.6100467443466187e-05, -4.08366322517395e-05, -3.557279706001282e-05, -3.0308961868286133e-05, -2.5045126676559448e-05, -1.9781291484832764e-05, -1.4517456293106079e-05, -9.253621101379395e-06, -3.98978590965271e-06, 1.2740492820739746e-06, 6.537884473800659e-06, 1.1801719665527344e-05, 1.706555485725403e-05, 2.2329390048980713e-05, 2.7593225240707397e-05, 3.285706043243408e-05, 3.8120895624160767e-05, 4.338473081588745e-05, 4.8648566007614136e-05, 5.391240119934082e-05, 5.9176236391067505e-05, 6.444007158279419e-05, 6.970390677452087e-05, 7.496774196624756e-05, 8.023157715797424e-05, 8.549541234970093e-05, 9.075924754142761e-05, 9.60230827331543e-05, 0.00010128691792488098, 0.00010655075311660767, 0.00011181458830833435, 0.00011707842350006104, 0.00012234225869178772, 0.0001276060938835144, 0.0001328699290752411, 0.00013813376426696777, 0.00014339759945869446, 0.00014866143465042114, 0.00015392526984214783, 0.0001591891050338745, 0.0001644529402256012, 0.00016971677541732788, 0.00017498061060905457, 0.00018024444580078125]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 1.0, 1.0, 3.0, 4.0, 16.0, 6.0, 10.0, 9.0, 16.0, 22.0, 25.0, 30.0, 22.0, 26.0, 21.0, 33.0, 37.0, 26.0, 34.0, 36.0, 41.0, 39.0, 1065.0, 34.0, 46.0, 34.0, 33.0, 48.0, 37.0, 31.0, 26.0, 30.0, 41.0, 20.0, 18.0, 21.0, 13.0, 20.0, 12.0, 10.0, 8.0, 9.0, 7.0, 3.0, 5.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0223846435546875, -0.021657228469848633, -0.020929813385009766, -0.0202023983001709, -0.01947498321533203, -0.018747568130493164, -0.018020153045654297, -0.01729273796081543, -0.016565322875976562, -0.015837907791137695, -0.015110492706298828, -0.014383077621459961, -0.013655662536621094, -0.012928247451782227, -0.01220083236694336, -0.011473417282104492, -0.010746002197265625, -0.010018587112426758, -0.00929117202758789, -0.008563756942749023, -0.007836341857910156, -0.007108926773071289, -0.006381511688232422, -0.005654096603393555, -0.0049266815185546875, -0.00419926643371582, -0.003471851348876953, -0.002744436264038086, -0.0020170211791992188, -0.0012896060943603516, -0.0005621910095214844, 0.0001652240753173828, 0.00089263916015625, 0.0016200542449951172, 0.0023474693298339844, 0.0030748844146728516, 0.0038022994995117188, 0.004529714584350586, 0.005257129669189453, 0.00598454475402832, 0.0067119598388671875, 0.007439374923706055, 0.008166790008544922, 0.008894205093383789, 0.009621620178222656, 0.010349035263061523, 0.01107645034790039, 0.011803865432739258, 0.012531280517578125, 0.013258695602416992, 0.01398611068725586, 0.014713525772094727, 0.015440940856933594, 0.01616835594177246, 0.016895771026611328, 0.017623186111450195, 0.018350601196289062, 0.01907801628112793, 0.019805431365966797, 0.020532846450805664, 0.02126026153564453, 0.0219876766204834, 0.022715091705322266, 0.023442506790161133, 0.024169921875]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 5.0, 3.0, 5.0, 10.0, 9.0, 10.0, 13.0, 15.0, 16.0, 21.0, 16.0, 25.0, 36.0, 29.0, 28.0, 36.0, 38.0, 74.0, 131.0, 424.0, 2029.0, 19450.0, 2068331.0, 4944.0, 813.0, 221.0, 80.0, 39.0, 39.0, 33.0, 21.0, 25.0, 21.0, 34.0, 21.0, 25.0, 11.0, 11.0, 11.0, 10.0, 9.0, 5.0, 4.0, 1.0, 1.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.6524066925048828e-05, -2.5725923478603363e-05, -2.4927780032157898e-05, -2.4129636585712433e-05, -2.3331493139266968e-05, -2.2533349692821503e-05, -2.1735206246376038e-05, -2.0937062799930573e-05, -2.0138919353485107e-05, -1.9340775907039642e-05, -1.8542632460594177e-05, -1.7744489014148712e-05, -1.6946345567703247e-05, -1.6148202121257782e-05, -1.5350058674812317e-05, -1.4551915228366852e-05, -1.3753771781921387e-05, -1.2955628335475922e-05, -1.2157484889030457e-05, -1.1359341442584991e-05, -1.0561197996139526e-05, -9.763054549694061e-06, -8.964911103248596e-06, -8.166767656803131e-06, -7.368624210357666e-06, -6.570480763912201e-06, -5.772337317466736e-06, -4.974193871021271e-06, -4.176050424575806e-06, -3.3779069781303406e-06, -2.5797635316848755e-06, -1.7816200852394104e-06, -9.834766387939453e-07, -1.8533319234848022e-07, 6.128102540969849e-07, 1.41095370054245e-06, 2.209097146987915e-06, 3.00724059343338e-06, 3.8053840398788452e-06, 4.60352748632431e-06, 5.401670932769775e-06, 6.1998143792152405e-06, 6.9979578256607056e-06, 7.79610127210617e-06, 8.594244718551636e-06, 9.3923881649971e-06, 1.0190531611442566e-05, 1.0988675057888031e-05, 1.1786818504333496e-05, 1.2584961950778961e-05, 1.3383105397224426e-05, 1.4181248843669891e-05, 1.4979392290115356e-05, 1.577753573656082e-05, 1.6575679183006287e-05, 1.7373822629451752e-05, 1.8171966075897217e-05, 1.8970109522342682e-05, 1.9768252968788147e-05, 2.0566396415233612e-05, 2.1364539861679077e-05, 2.2162683308124542e-05, 2.2960826754570007e-05, 2.3758970201015472e-05, 2.4557113647460938e-05]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 3.0, 3.0, 2.0, 2.0, 6.0, 5.0, 1.0, 6.0, 14.0, 9.0, 11.0, 11.0, 22.0, 23.0, 27.0, 36.0, 35.0, 44.0, 40.0, 48.0, 46.0, 60.0, 41.0, 49.0, 49.0, 44.0, 47.0, 42.0, 43.0, 33.0, 33.0, 29.0, 20.0, 18.0, 22.0, 15.0, 17.0, 10.0, 5.0, 13.0, 10.0, 6.0, 5.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0188751220703125, -0.018213272094726562, -0.017551422119140625, -0.016889572143554688, -0.01622772216796875, -0.015565872192382812, -0.014904022216796875, -0.014242172241210938, -0.013580322265625, -0.012918472290039062, -0.012256622314453125, -0.011594772338867188, -0.01093292236328125, -0.010271072387695312, -0.009609222412109375, -0.008947372436523438, -0.0082855224609375, -0.0076236724853515625, -0.006961822509765625, -0.0062999725341796875, -0.00563812255859375, -0.0049762725830078125, -0.004314422607421875, -0.0036525726318359375, -0.00299072265625, -0.0023288726806640625, -0.001667022705078125, -0.0010051727294921875, -0.00034332275390625, 0.0003185272216796875, 0.000980377197265625, 0.0016422271728515625, 0.0023040771484375, 0.0029659271240234375, 0.003627777099609375, 0.0042896270751953125, 0.00495147705078125, 0.0056133270263671875, 0.006275177001953125, 0.0069370269775390625, 0.007598876953125, 0.008260726928710938, 0.008922576904296875, 0.009584426879882812, 0.01024627685546875, 0.010908126831054688, 0.011569976806640625, 0.012231826782226562, 0.0128936767578125, 0.013555526733398438, 0.014217376708984375, 0.014879226684570312, 0.01554107666015625, 0.016202926635742188, 0.016864776611328125, 0.017526626586914062, 0.0181884765625, 0.018850326538085938, 0.019512176513671875, 0.020174026489257812, 0.02083587646484375, 0.021497726440429688, 0.022159576416015625, 0.022821426391601562, 0.0234832763671875]}, "gradients/decoder.transformer.h.17.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 6.0, 2.0, 2.0, 2.0, 11.0, 6.0, 7.0, 7.0, 16.0, 19.0, 18.0, 34.0, 48.0, 56.0, 76.0, 152.0, 211.0, 373.0, 731.0, 1717.0, 5117.0, 20073.0, 119188.0, 803219.0, 76009.0, 14497.0, 3960.0, 1364.0, 645.0, 363.0, 197.0, 121.0, 82.0, 50.0, 47.0, 29.0, 28.0, 15.0, 18.0, 10.0, 11.0, 3.0, 9.0, 3.0, 3.0, 4.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.08990478515625, -0.08729076385498047, -0.08467674255371094, -0.0820627212524414, -0.07944869995117188, -0.07683467864990234, -0.07422065734863281, -0.07160663604736328, -0.06899261474609375, -0.06637859344482422, -0.06376457214355469, -0.061150550842285156, -0.058536529541015625, -0.055922508239746094, -0.05330848693847656, -0.05069446563720703, -0.0480804443359375, -0.04546642303466797, -0.04285240173339844, -0.040238380432128906, -0.037624359130859375, -0.035010337829589844, -0.03239631652832031, -0.02978229522705078, -0.02716827392578125, -0.02455425262451172, -0.021940231323242188, -0.019326210021972656, -0.016712188720703125, -0.014098167419433594, -0.011484146118164062, -0.008870124816894531, -0.006256103515625, -0.0036420822143554688, -0.0010280609130859375, 0.0015859603881835938, 0.004199981689453125, 0.006814002990722656, 0.009428024291992188, 0.012042045593261719, 0.01465606689453125, 0.01727008819580078, 0.019884109497070312, 0.022498130798339844, 0.025112152099609375, 0.027726173400878906, 0.030340194702148438, 0.03295421600341797, 0.0355682373046875, 0.03818225860595703, 0.04079627990722656, 0.043410301208496094, 0.046024322509765625, 0.048638343811035156, 0.05125236511230469, 0.05386638641357422, 0.05648040771484375, 0.05909442901611328, 0.06170845031738281, 0.06432247161865234, 0.06693649291992188, 0.0695505142211914, 0.07216453552246094, 0.07477855682373047, 0.077392578125]}, "gradients/decoder.transformer.h.17.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 4.0, 3.0, 9.0, 7.0, 6.0, 9.0, 9.0, 18.0, 16.0, 19.0, 16.0, 23.0, 22.0, 20.0, 30.0, 27.0, 41.0, 46.0, 52.0, 79.0, 106.0, 339.0, 1517.0, 126.0, 82.0, 51.0, 48.0, 34.0, 24.0, 32.0, 29.0, 31.0, 20.0, 22.0, 24.0, 21.0, 13.0, 19.0, 12.0, 8.0, 10.0, 6.0, 4.0, 9.0, 3.0, 0.0, 5.0, 2.0, 3.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.06707763671875, -0.06505012512207031, -0.06302261352539062, -0.06099510192871094, -0.05896759033203125, -0.05694007873535156, -0.054912567138671875, -0.05288505554199219, -0.0508575439453125, -0.04883003234863281, -0.046802520751953125, -0.04477500915527344, -0.04274749755859375, -0.04071998596191406, -0.038692474365234375, -0.03666496276855469, -0.034637451171875, -0.03260993957519531, -0.030582427978515625, -0.028554916381835938, -0.02652740478515625, -0.024499893188476562, -0.022472381591796875, -0.020444869995117188, -0.0184173583984375, -0.016389846801757812, -0.014362335205078125, -0.012334823608398438, -0.01030731201171875, -0.008279800415039062, -0.006252288818359375, -0.0042247772216796875, -0.002197265625, -0.0001697540283203125, 0.001857757568359375, 0.0038852691650390625, 0.00591278076171875, 0.007940292358398438, 0.009967803955078125, 0.011995315551757812, 0.0140228271484375, 0.016050338745117188, 0.018077850341796875, 0.020105361938476562, 0.02213287353515625, 0.024160385131835938, 0.026187896728515625, 0.028215408325195312, 0.030242919921875, 0.03227043151855469, 0.034297943115234375, 0.03632545471191406, 0.03835296630859375, 0.04038047790527344, 0.042407989501953125, 0.04443550109863281, 0.0464630126953125, 0.04849052429199219, 0.050518035888671875, 0.05254554748535156, 0.05457305908203125, 0.05660057067871094, 0.058628082275390625, 0.06065559387207031, 0.06268310546875]}, "gradients/decoder.transformer.h.17.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 3.0, 7.0, 5.0, 8.0, 12.0, 8.0, 9.0, 16.0, 17.0, 19.0, 32.0, 35.0, 46.0, 56.0, 80.0, 88.0, 140.0, 187.0, 379.0, 860.0, 3762.0, 25766.0, 601832.0, 2462824.0, 41603.0, 5573.0, 1183.0, 428.0, 202.0, 124.0, 95.0, 67.0, 51.0, 41.0, 34.0, 23.0, 16.0, 18.0, 18.0, 10.0, 6.0, 5.0, 9.0, 6.0, 2.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.110595703125, -0.10692214965820312, -0.10324859619140625, -0.09957504272460938, -0.0959014892578125, -0.09222793579101562, -0.08855438232421875, -0.08488082885742188, -0.081207275390625, -0.07753372192382812, -0.07386016845703125, -0.07018661499023438, -0.0665130615234375, -0.06283950805664062, -0.05916595458984375, -0.055492401123046875, -0.05181884765625, -0.048145294189453125, -0.04447174072265625, -0.040798187255859375, -0.0371246337890625, -0.033451080322265625, -0.02977752685546875, -0.026103973388671875, -0.022430419921875, -0.018756866455078125, -0.01508331298828125, -0.011409759521484375, -0.0077362060546875, -0.004062652587890625, -0.00038909912109375, 0.003284454345703125, 0.0069580078125, 0.010631561279296875, 0.01430511474609375, 0.017978668212890625, 0.0216522216796875, 0.025325775146484375, 0.02899932861328125, 0.032672882080078125, 0.036346435546875, 0.040019989013671875, 0.04369354248046875, 0.047367095947265625, 0.0510406494140625, 0.054714202880859375, 0.05838775634765625, 0.062061309814453125, 0.06573486328125, 0.06940841674804688, 0.07308197021484375, 0.07675552368164062, 0.0804290771484375, 0.08410263061523438, 0.08777618408203125, 0.09144973754882812, 0.095123291015625, 0.09879684448242188, 0.10247039794921875, 0.10614395141601562, 0.1098175048828125, 0.11349105834960938, 0.11716461181640625, 0.12083816528320312, 0.12451171875]}, "gradients/decoder.transformer.h.17.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 20.0, 390.0, 567.0, 40.0, 2.0], "bins": [-2.2334580421447754, -2.196892499923706, -2.1603269577026367, -2.1237611770629883, -2.087195634841919, -2.0506300926208496, -2.0140645503997803, -1.9774988889694214, -1.940933346748352, -1.9043678045272827, -1.8678021430969238, -1.8312366008758545, -1.7946709394454956, -1.7581053972244263, -1.7215397357940674, -1.684974193572998, -1.6484086513519287, -1.6118431091308594, -1.5752774477005005, -1.5387119054794312, -1.5021462440490723, -1.465580701828003, -1.4290151596069336, -1.3924494981765747, -1.3558838367462158, -1.3193182945251465, -1.2827526330947876, -1.2461870908737183, -1.2096214294433594, -1.17305588722229, -1.1364903450012207, -1.0999246835708618, -1.063359022140503, -1.0267934799194336, -0.9902278184890747, -0.9536622762680054, -0.9170966744422913, -0.8805310726165771, -0.843965470790863, -0.8073998689651489, -0.7708343267440796, -0.7342687249183655, -0.6977031230926514, -0.661137580871582, -0.6245719790458679, -0.5880063772201538, -0.5514407753944397, -0.5148751735687256, -0.4783095717430115, -0.44174396991729736, -0.40517839789390564, -0.36861279606819153, -0.3320472240447998, -0.2954816222190857, -0.2589160203933716, -0.22235044836997986, -0.18578484654426575, -0.14921925961971283, -0.11265366524457932, -0.0760880708694458, -0.03952248394489288, -0.002956897020339966, 0.033608704805374146, 0.07017427682876587, 0.10673987120389938]}, "gradients/decoder.transformer.h.17.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 3.0, 1.0, 3.0, 7.0, 4.0, 6.0, 4.0, 16.0, 12.0, 14.0, 17.0, 24.0, 17.0, 32.0, 26.0, 32.0, 26.0, 28.0, 25.0, 24.0, 36.0, 43.0, 31.0, 38.0, 33.0, 29.0, 32.0, 49.0, 32.0, 43.0, 31.0, 31.0, 32.0, 29.0, 27.0, 15.0, 16.0, 21.0, 16.0, 17.0, 18.0, 10.0, 8.0, 7.0, 6.0, 9.0, 7.0, 3.0, 5.0, 2.0, 3.0, 4.0, 3.0, 1.0, 2.0, 2.0], "bins": [-0.19160425662994385, -0.18571051955223083, -0.17981676757335663, -0.17392301559448242, -0.1680292785167694, -0.1621355414390564, -0.1562417894601822, -0.15034803748130798, -0.14445430040359497, -0.13856056332588196, -0.13266681134700775, -0.12677305936813354, -0.12087932229042053, -0.11498557776212692, -0.10909183323383331, -0.1031980887055397, -0.0973043441772461, -0.09141059964895248, -0.08551685512065887, -0.07962311059236526, -0.07372936606407166, -0.06783562153577805, -0.061941877007484436, -0.056048132479190826, -0.05015438795089722, -0.04426064342260361, -0.03836689889431, -0.03247315436601639, -0.02657940983772278, -0.02068566530942917, -0.014791920781135559, -0.00889817625284195, -0.00300443172454834, 0.0028893128037452698, 0.00878305733203888, 0.014676801860332489, 0.0205705463886261, 0.026464290916919708, 0.03235803544521332, 0.03825177997350693, 0.04414552450180054, 0.05003926903009415, 0.055933013558387756, 0.061826758086681366, 0.06772050261497498, 0.07361424714326859, 0.0795079916715622, 0.0854017361998558, 0.09129548072814941, 0.09718922525644302, 0.10308296978473663, 0.10897671431303024, 0.11487045884132385, 0.12076420336961746, 0.12665794789791107, 0.13255169987678528, 0.1384454369544983, 0.1443391740322113, 0.1502329260110855, 0.15612667798995972, 0.16202041506767273, 0.16791415214538574, 0.17380790412425995, 0.17970165610313416, 0.18559539318084717]}, "gradients/decoder.transformer.h.16.mlp.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 3.0, 2.0, 3.0, 3.0, 1.0, 4.0, 2.0, 3.0, 5.0, 8.0, 13.0, 11.0, 13.0, 10.0, 17.0, 27.0, 34.0, 33.0, 23.0, 40.0, 39.0, 54.0, 53.0, 45.0, 49.0, 47.0, 38.0, 42.0, 38.0, 44.0, 41.0, 37.0, 33.0, 32.0, 16.0, 20.0, 22.0, 20.0, 14.0, 13.0, 13.0, 10.0, 10.0, 10.0, 5.0, 5.0, 5.0, 2.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0183868408203125, -0.017747879028320312, -0.017108917236328125, -0.016469955444335938, -0.01583099365234375, -0.015192031860351562, -0.014553070068359375, -0.013914108276367188, -0.013275146484375, -0.012636184692382812, -0.011997222900390625, -0.011358261108398438, -0.01071929931640625, -0.010080337524414062, -0.009441375732421875, -0.008802413940429688, -0.0081634521484375, -0.0075244903564453125, -0.006885528564453125, -0.0062465667724609375, -0.00560760498046875, -0.0049686431884765625, -0.004329681396484375, -0.0036907196044921875, -0.0030517578125, -0.0024127960205078125, -0.001773834228515625, -0.0011348724365234375, -0.00049591064453125, 0.0001430511474609375, 0.000782012939453125, 0.0014209747314453125, 0.0020599365234375, 0.0026988983154296875, 0.003337860107421875, 0.0039768218994140625, 0.00461578369140625, 0.0052547454833984375, 0.005893707275390625, 0.0065326690673828125, 0.007171630859375, 0.0078105926513671875, 0.008449554443359375, 0.009088516235351562, 0.00972747802734375, 0.010366439819335938, 0.011005401611328125, 0.011644363403320312, 0.0122833251953125, 0.012922286987304688, 0.013561248779296875, 0.014200210571289062, 0.01483917236328125, 0.015478134155273438, 0.016117095947265625, 0.016756057739257812, 0.01739501953125, 0.018033981323242188, 0.018672943115234375, 0.019311904907226562, 0.01995086669921875, 0.020589828491210938, 0.021228790283203125, 0.021867752075195312, 0.0225067138671875]}, "gradients/decoder.transformer.h.16.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 4.0, 3.0, 3.0, 2.0, 5.0, 15.0, 6.0, 14.0, 23.0, 22.0, 18.0, 36.0, 49.0, 99.0, 154.0, 239.0, 442.0, 897.0, 2006.0, 6335.0, 37782.0, 619649.0, 3306483.0, 194349.0, 18198.0, 4026.0, 1535.0, 738.0, 394.0, 272.0, 135.0, 99.0, 49.0, 67.0, 30.0, 25.0, 23.0, 10.0, 9.0, 9.0, 9.0, 12.0, 4.0, 1.0, 3.0, 3.0, 4.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.09393310546875, -0.0907297134399414, -0.08752632141113281, -0.08432292938232422, -0.08111953735351562, -0.07791614532470703, -0.07471275329589844, -0.07150936126708984, -0.06830596923828125, -0.06510257720947266, -0.06189918518066406, -0.05869579315185547, -0.055492401123046875, -0.05228900909423828, -0.04908561706542969, -0.045882225036621094, -0.0426788330078125, -0.039475440979003906, -0.03627204895019531, -0.03306865692138672, -0.029865264892578125, -0.02666187286376953, -0.023458480834960938, -0.020255088806152344, -0.01705169677734375, -0.013848304748535156, -0.010644912719726562, -0.007441520690917969, -0.004238128662109375, -0.0010347366333007812, 0.0021686553955078125, 0.005372047424316406, 0.008575439453125, 0.011778831481933594, 0.014982223510742188, 0.01818561553955078, 0.021389007568359375, 0.02459239959716797, 0.027795791625976562, 0.030999183654785156, 0.03420257568359375, 0.037405967712402344, 0.04060935974121094, 0.04381275177001953, 0.047016143798828125, 0.05021953582763672, 0.05342292785644531, 0.056626319885253906, 0.0598297119140625, 0.0630331039428711, 0.06623649597167969, 0.06943988800048828, 0.07264328002929688, 0.07584667205810547, 0.07905006408691406, 0.08225345611572266, 0.08545684814453125, 0.08866024017333984, 0.09186363220214844, 0.09506702423095703, 0.09827041625976562, 0.10147380828857422, 0.10467720031738281, 0.1078805923461914, 0.111083984375]}, "gradients/decoder.transformer.h.16.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 2.0, 4.0, 3.0, 8.0, 12.0, 12.0, 16.0, 28.0, 51.0, 62.0, 80.0, 145.0, 232.0, 336.0, 453.0, 619.0, 612.0, 448.0, 321.0, 196.0, 143.0, 100.0, 60.0, 49.0, 31.0, 22.0, 15.0, 10.0, 5.0, 3.0, 2.0, 2.0, 4.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08734130859375, -0.0850987434387207, -0.0828561782836914, -0.08061361312866211, -0.07837104797363281, -0.07612848281860352, -0.07388591766357422, -0.07164335250854492, -0.06940078735351562, -0.06715822219848633, -0.06491565704345703, -0.06267309188842773, -0.06043052673339844, -0.05818796157836914, -0.055945396423339844, -0.05370283126831055, -0.05146026611328125, -0.04921770095825195, -0.046975135803222656, -0.04473257064819336, -0.04249000549316406, -0.040247440338134766, -0.03800487518310547, -0.03576231002807617, -0.033519744873046875, -0.03127717971801758, -0.02903461456298828, -0.026792049407958984, -0.024549484252929688, -0.02230691909790039, -0.020064353942871094, -0.017821788787841797, -0.0155792236328125, -0.013336658477783203, -0.011094093322753906, -0.00885152816772461, -0.0066089630126953125, -0.004366397857666016, -0.0021238327026367188, 0.00011873245239257812, 0.002361297607421875, 0.004603862762451172, 0.006846427917480469, 0.009088993072509766, 0.011331558227539062, 0.01357412338256836, 0.015816688537597656, 0.018059253692626953, 0.02030181884765625, 0.022544384002685547, 0.024786949157714844, 0.02702951431274414, 0.029272079467773438, 0.031514644622802734, 0.03375720977783203, 0.03599977493286133, 0.038242340087890625, 0.04048490524291992, 0.04272747039794922, 0.044970035552978516, 0.04721260070800781, 0.04945516586303711, 0.051697731018066406, 0.0539402961730957, 0.056182861328125]}, "gradients/decoder.transformer.h.16.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 4.0, 3.0, 3.0, 14.0, 12.0, 10.0, 17.0, 33.0, 41.0, 57.0, 92.0, 148.0, 235.0, 474.0, 1057.0, 3323.0, 16341.0, 153590.0, 2811565.0, 1129927.0, 64600.0, 8950.0, 2165.0, 761.0, 335.0, 172.0, 117.0, 70.0, 49.0, 37.0, 20.0, 20.0, 7.0, 12.0, 9.0, 7.0, 5.0, 2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1298828125, -0.1252155303955078, -0.12054824829101562, -0.11588096618652344, -0.11121368408203125, -0.10654640197753906, -0.10187911987304688, -0.09721183776855469, -0.0925445556640625, -0.08787727355957031, -0.08320999145507812, -0.07854270935058594, -0.07387542724609375, -0.06920814514160156, -0.06454086303710938, -0.05987358093261719, -0.055206298828125, -0.05053901672363281, -0.045871734619140625, -0.04120445251464844, -0.03653717041015625, -0.03186988830566406, -0.027202606201171875, -0.022535324096679688, -0.0178680419921875, -0.013200759887695312, -0.008533477783203125, -0.0038661956787109375, 0.00080108642578125, 0.0054683685302734375, 0.010135650634765625, 0.014802932739257812, 0.01947021484375, 0.024137496948242188, 0.028804779052734375, 0.03347206115722656, 0.03813934326171875, 0.04280662536621094, 0.047473907470703125, 0.05214118957519531, 0.0568084716796875, 0.06147575378417969, 0.06614303588867188, 0.07081031799316406, 0.07547760009765625, 0.08014488220214844, 0.08481216430664062, 0.08947944641113281, 0.094146728515625, 0.09881401062011719, 0.10348129272460938, 0.10814857482910156, 0.11281585693359375, 0.11748313903808594, 0.12215042114257812, 0.1268177032470703, 0.1314849853515625, 0.1361522674560547, 0.14081954956054688, 0.14548683166503906, 0.15015411376953125, 0.15482139587402344, 0.15948867797851562, 0.1641559600830078, 0.1688232421875]}, "gradients/decoder.transformer.h.16.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 7.0, 13.0, 17.0, 43.0, 77.0, 116.0, 137.0, 154.0, 148.0, 130.0, 68.0, 45.0, 27.0, 11.0, 7.0, 10.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.44310566782951355, -0.4269859492778778, -0.41086623072624207, -0.3947465121746063, -0.3786267936229706, -0.36250707507133484, -0.3463873565196991, -0.33026763796806335, -0.3141479194164276, -0.29802820086479187, -0.28190848231315613, -0.2657887637615204, -0.24966904520988464, -0.2335493266582489, -0.21742960810661316, -0.20130988955497742, -0.18519017100334167, -0.16907045245170593, -0.1529507339000702, -0.13683101534843445, -0.1207112967967987, -0.10459157824516296, -0.08847185969352722, -0.07235214114189148, -0.05623242259025574, -0.040112704038619995, -0.023992985486984253, -0.00787326693534851, 0.008246451616287231, 0.024366170167922974, 0.040485888719558716, 0.05660560727119446, 0.07272535562515259, 0.08884507417678833, 0.10496479272842407, 0.12108451128005981, 0.13720422983169556, 0.1533239483833313, 0.16944366693496704, 0.18556338548660278, 0.20168310403823853, 0.21780282258987427, 0.23392254114151, 0.25004225969314575, 0.2661619782447815, 0.28228169679641724, 0.298401415348053, 0.3145211338996887, 0.33064085245132446, 0.3467605710029602, 0.36288028955459595, 0.3790000081062317, 0.39511972665786743, 0.4112394452095032, 0.4273591637611389, 0.44347888231277466, 0.4595986008644104, 0.47571831941604614, 0.4918380379676819, 0.5079577565193176, 0.5240774750709534, 0.5401971936225891, 0.5563169121742249, 0.5724366307258606, 0.5885563492774963]}, "gradients/decoder.transformer.h.16.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 3.0, 4.0, 4.0, 6.0, 16.0, 13.0, 7.0, 5.0, 20.0, 23.0, 16.0, 14.0, 30.0, 20.0, 28.0, 31.0, 18.0, 33.0, 39.0, 39.0, 28.0, 36.0, 36.0, 37.0, 28.0, 47.0, 37.0, 42.0, 30.0, 39.0, 22.0, 21.0, 21.0, 30.0, 24.0, 29.0, 20.0, 17.0, 14.0, 18.0, 13.0, 9.0, 7.0, 10.0, 8.0, 4.0, 6.0, 2.0, 4.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.18214499950408936, -0.17648553848266602, -0.17082609236240387, -0.16516663134098053, -0.15950718522071838, -0.15384772419929504, -0.1481882631778717, -0.14252880215644836, -0.13686935603618622, -0.13120989501476288, -0.12555044889450073, -0.11989098787307739, -0.11423153430223465, -0.1085720807313919, -0.10291261970996857, -0.09725316613912582, -0.09159371256828308, -0.08593425899744034, -0.0802748054265976, -0.07461534440517426, -0.06895589083433151, -0.06329643726348877, -0.05763697996735573, -0.05197752267122269, -0.046318069100379944, -0.0406586155295372, -0.03499915823340416, -0.029339702799916267, -0.023680247366428375, -0.018020791932940483, -0.012361336499452591, -0.0067018792033195496, -0.0010424256324768066, 0.0046170298010110855, 0.010276485234498978, 0.01593594066798687, 0.021595396101474762, 0.027254851534962654, 0.032914306968450546, 0.03857376426458359, 0.04423321783542633, 0.049892671406269073, 0.055552128702402115, 0.061211585998535156, 0.0668710395693779, 0.07253049314022064, 0.07818995416164398, 0.08384940773248672, 0.08950886130332947, 0.09516831487417221, 0.10082776844501495, 0.1064872294664383, 0.11214668303728104, 0.11780613660812378, 0.12346559762954712, 0.12912505865097046, 0.1347845047712326, 0.14044396579265594, 0.1461034119129181, 0.15176287293434143, 0.15742233395576477, 0.16308178007602692, 0.16874124109745026, 0.1744006872177124, 0.18006014823913574]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 6.0, 7.0, 5.0, 8.0, 12.0, 21.0, 13.0, 24.0, 20.0, 31.0, 30.0, 28.0, 42.0, 42.0, 36.0, 43.0, 52.0, 49.0, 45.0, 44.0, 33.0, 45.0, 39.0, 42.0, 39.0, 31.0, 17.0, 21.0, 25.0, 18.0, 27.0, 14.0, 9.0, 11.0, 14.0, 2.0, 12.0, 10.0, 9.0, 2.0, 3.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01959228515625, -0.01897287368774414, -0.01835346221923828, -0.017734050750732422, -0.017114639282226562, -0.016495227813720703, -0.015875816345214844, -0.015256404876708984, -0.014636993408203125, -0.014017581939697266, -0.013398170471191406, -0.012778759002685547, -0.012159347534179688, -0.011539936065673828, -0.010920524597167969, -0.01030111312866211, -0.00968170166015625, -0.00906229019165039, -0.008442878723144531, -0.007823467254638672, -0.0072040557861328125, -0.006584644317626953, -0.005965232849121094, -0.005345821380615234, -0.004726409912109375, -0.004106998443603516, -0.0034875869750976562, -0.002868175506591797, -0.0022487640380859375, -0.0016293525695800781, -0.0010099411010742188, -0.0003905296325683594, 0.0002288818359375, 0.0008482933044433594, 0.0014677047729492188, 0.002087116241455078, 0.0027065277099609375, 0.003325939178466797, 0.003945350646972656, 0.004564762115478516, 0.005184173583984375, 0.005803585052490234, 0.006422996520996094, 0.007042407989501953, 0.0076618194580078125, 0.008281230926513672, 0.008900642395019531, 0.00952005386352539, 0.01013946533203125, 0.01075887680053711, 0.011378288269042969, 0.011997699737548828, 0.012617111206054688, 0.013236522674560547, 0.013855934143066406, 0.014475345611572266, 0.015094757080078125, 0.015714168548583984, 0.016333580017089844, 0.016952991485595703, 0.017572402954101562, 0.018191814422607422, 0.01881122589111328, 0.01943063735961914, 0.020050048828125]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 4.0, 4.0, 6.0, 6.0, 10.0, 14.0, 22.0, 33.0, 33.0, 56.0, 92.0, 107.0, 149.0, 208.0, 311.0, 420.0, 658.0, 1008.0, 1451.0, 2060.0, 3088.0, 4709.0, 7138.0, 10710.0, 16679.0, 26946.0, 45639.0, 81978.0, 167677.0, 367332.0, 135270.0, 68367.0, 38819.0, 23572.0, 15161.0, 9717.0, 6289.0, 4189.0, 2704.0, 1834.0, 1219.0, 883.0, 621.0, 410.0, 281.0, 185.0, 153.0, 102.0, 76.0, 54.0, 33.0, 27.0, 16.0, 11.0, 4.0, 6.0, 5.0, 4.0, 3.0, 4.0, 4.0], "bins": [-0.0001442432403564453, -0.00013978593051433563, -0.00013532862067222595, -0.00013087131083011627, -0.0001264140009880066, -0.00012195669114589691, -0.00011749938130378723, -0.00011304207146167755, -0.00010858476161956787, -0.00010412745177745819, -9.967014193534851e-05, -9.521283209323883e-05, -9.075552225112915e-05, -8.629821240901947e-05, -8.184090256690979e-05, -7.738359272480011e-05, -7.292628288269043e-05, -6.846897304058075e-05, -6.401166319847107e-05, -5.955435335636139e-05, -5.509704351425171e-05, -5.063973367214203e-05, -4.618242383003235e-05, -4.172511398792267e-05, -3.726780414581299e-05, -3.281049430370331e-05, -2.8353184461593628e-05, -2.3895874619483948e-05, -1.9438564777374268e-05, -1.4981254935264587e-05, -1.0523945093154907e-05, -6.066635251045227e-06, -1.6093254089355469e-06, 2.8479844331741333e-06, 7.3052942752838135e-06, 1.1762604117393494e-05, 1.6219913959503174e-05, 2.0677223801612854e-05, 2.5134533643722534e-05, 2.9591843485832214e-05, 3.4049153327941895e-05, 3.8506463170051575e-05, 4.2963773012161255e-05, 4.7421082854270935e-05, 5.1878392696380615e-05, 5.6335702538490295e-05, 6.0793012380599976e-05, 6.525032222270966e-05, 6.970763206481934e-05, 7.416494190692902e-05, 7.86222517490387e-05, 8.307956159114838e-05, 8.753687143325806e-05, 9.199418127536774e-05, 9.645149111747742e-05, 0.0001009088009595871, 0.00010536611080169678, 0.00010982342064380646, 0.00011428073048591614, 0.00011873804032802582, 0.0001231953501701355, 0.00012765266001224518, 0.00013210996985435486, 0.00013656727969646454, 0.00014102458953857422]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 3.0, 4.0, 4.0, 6.0, 9.0, 9.0, 9.0, 19.0, 15.0, 18.0, 19.0, 15.0, 27.0, 23.0, 29.0, 26.0, 22.0, 33.0, 29.0, 37.0, 31.0, 31.0, 35.0, 33.0, 1048.0, 34.0, 25.0, 28.0, 37.0, 29.0, 29.0, 36.0, 30.0, 32.0, 28.0, 22.0, 25.0, 19.0, 26.0, 15.0, 12.0, 15.0, 10.0, 11.0, 9.0, 5.0, 7.0, 1.0, 6.0, 4.0, 4.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-0.019439697265625, -0.018823862075805664, -0.018208026885986328, -0.017592191696166992, -0.016976356506347656, -0.01636052131652832, -0.015744686126708984, -0.015128850936889648, -0.014513015747070312, -0.013897180557250977, -0.01328134536743164, -0.012665510177612305, -0.012049674987792969, -0.011433839797973633, -0.010818004608154297, -0.010202169418334961, -0.009586334228515625, -0.008970499038696289, -0.008354663848876953, -0.007738828659057617, -0.007122993469238281, -0.006507158279418945, -0.005891323089599609, -0.0052754878997802734, -0.0046596527099609375, -0.0040438175201416016, -0.0034279823303222656, -0.0028121471405029297, -0.0021963119506835938, -0.0015804767608642578, -0.0009646415710449219, -0.00034880638122558594, 0.00026702880859375, 0.0008828639984130859, 0.0014986991882324219, 0.002114534378051758, 0.0027303695678710938, 0.0033462047576904297, 0.003962039947509766, 0.0045778751373291016, 0.0051937103271484375, 0.0058095455169677734, 0.006425380706787109, 0.007041215896606445, 0.007657051086425781, 0.008272886276245117, 0.008888721466064453, 0.009504556655883789, 0.010120391845703125, 0.010736227035522461, 0.011352062225341797, 0.011967897415161133, 0.012583732604980469, 0.013199567794799805, 0.01381540298461914, 0.014431238174438477, 0.015047073364257812, 0.01566290855407715, 0.016278743743896484, 0.01689457893371582, 0.017510414123535156, 0.018126249313354492, 0.018742084503173828, 0.019357919692993164, 0.0199737548828125]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 3.0, 0.0, 0.0, 3.0, 5.0, 5.0, 3.0, 5.0, 7.0, 5.0, 14.0, 7.0, 14.0, 18.0, 13.0, 23.0, 23.0, 17.0, 27.0, 28.0, 27.0, 34.0, 38.0, 46.0, 70.0, 175.0, 492.0, 2101.0, 14130.0, 2070035.0, 7564.0, 1335.0, 351.0, 140.0, 57.0, 38.0, 34.0, 23.0, 25.0, 28.0, 27.0, 25.0, 14.0, 20.0, 17.0, 15.0, 16.0, 10.0, 10.0, 9.0, 4.0, 5.0, 2.0, 4.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-2.181529998779297e-05, -2.1141022443771362e-05, -2.0466744899749756e-05, -1.979246735572815e-05, -1.9118189811706543e-05, -1.8443912267684937e-05, -1.776963472366333e-05, -1.7095357179641724e-05, -1.6421079635620117e-05, -1.574680209159851e-05, -1.5072524547576904e-05, -1.4398247003555298e-05, -1.3723969459533691e-05, -1.3049691915512085e-05, -1.2375414371490479e-05, -1.1701136827468872e-05, -1.1026859283447266e-05, -1.035258173942566e-05, -9.678304195404053e-06, -9.004026651382446e-06, -8.32974910736084e-06, -7.655471563339233e-06, -6.981194019317627e-06, -6.3069164752960205e-06, -5.632638931274414e-06, -4.958361387252808e-06, -4.284083843231201e-06, -3.6098062992095947e-06, -2.9355287551879883e-06, -2.261251211166382e-06, -1.5869736671447754e-06, -9.126961231231689e-07, -2.384185791015625e-07, 4.3585896492004395e-07, 1.1101365089416504e-06, 1.7844140529632568e-06, 2.4586915969848633e-06, 3.1329691410064697e-06, 3.807246685028076e-06, 4.481524229049683e-06, 5.155801773071289e-06, 5.8300793170928955e-06, 6.504356861114502e-06, 7.178634405136108e-06, 7.852911949157715e-06, 8.527189493179321e-06, 9.201467037200928e-06, 9.875744581222534e-06, 1.055002212524414e-05, 1.1224299669265747e-05, 1.1898577213287354e-05, 1.257285475730896e-05, 1.3247132301330566e-05, 1.3921409845352173e-05, 1.459568738937378e-05, 1.5269964933395386e-05, 1.5944242477416992e-05, 1.66185200214386e-05, 1.7292797565460205e-05, 1.796707510948181e-05, 1.8641352653503418e-05, 1.9315630197525024e-05, 1.998990774154663e-05, 2.0664185285568237e-05, 2.1338462829589844e-05]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 6.0, 7.0, 5.0, 8.0, 12.0, 21.0, 13.0, 24.0, 20.0, 31.0, 30.0, 28.0, 42.0, 42.0, 36.0, 43.0, 52.0, 49.0, 45.0, 44.0, 33.0, 45.0, 39.0, 42.0, 39.0, 31.0, 17.0, 21.0, 25.0, 18.0, 27.0, 14.0, 9.0, 11.0, 14.0, 2.0, 12.0, 10.0, 9.0, 2.0, 3.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01959228515625, -0.01897287368774414, -0.01835346221923828, -0.017734050750732422, -0.017114639282226562, -0.016495227813720703, -0.015875816345214844, -0.015256404876708984, -0.014636993408203125, -0.014017581939697266, -0.013398170471191406, -0.012778759002685547, -0.012159347534179688, -0.011539936065673828, -0.010920524597167969, -0.01030111312866211, -0.00968170166015625, -0.00906229019165039, -0.008442878723144531, -0.007823467254638672, -0.0072040557861328125, -0.006584644317626953, -0.005965232849121094, -0.005345821380615234, -0.004726409912109375, -0.004106998443603516, -0.0034875869750976562, -0.002868175506591797, -0.0022487640380859375, -0.0016293525695800781, -0.0010099411010742188, -0.0003905296325683594, 0.0002288818359375, 0.0008482933044433594, 0.0014677047729492188, 0.002087116241455078, 0.0027065277099609375, 0.003325939178466797, 0.003945350646972656, 0.004564762115478516, 0.005184173583984375, 0.005803585052490234, 0.006422996520996094, 0.007042407989501953, 0.0076618194580078125, 0.008281230926513672, 0.008900642395019531, 0.00952005386352539, 0.01013946533203125, 0.01075887680053711, 0.011378288269042969, 0.011997699737548828, 0.012617111206054688, 0.013236522674560547, 0.013855934143066406, 0.014475345611572266, 0.015094757080078125, 0.015714168548583984, 0.016333580017089844, 0.016952991485595703, 0.017572402954101562, 0.018191814422607422, 0.01881122589111328, 0.01943063735961914, 0.020050048828125]}, "gradients/decoder.transformer.h.16.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 0.0, 3.0, 7.0, 1.0, 12.0, 9.0, 15.0, 16.0, 16.0, 24.0, 34.0, 55.0, 61.0, 82.0, 117.0, 190.0, 341.0, 603.0, 1399.0, 3318.0, 9507.0, 29593.0, 99384.0, 714340.0, 133385.0, 36881.0, 11766.0, 4028.0, 1617.0, 686.0, 397.0, 181.0, 140.0, 94.0, 70.0, 55.0, 32.0, 22.0, 22.0, 21.0, 12.0, 6.0, 9.0, 1.0, 4.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 3.0], "bins": [-0.078125, -0.07593011856079102, -0.07373523712158203, -0.07154035568237305, -0.06934547424316406, -0.06715059280395508, -0.0649557113647461, -0.06276082992553711, -0.060565948486328125, -0.05837106704711914, -0.056176185607910156, -0.05398130416870117, -0.05178642272949219, -0.0495915412902832, -0.04739665985107422, -0.045201778411865234, -0.04300689697265625, -0.040812015533447266, -0.03861713409423828, -0.0364222526550293, -0.03422737121582031, -0.03203248977661133, -0.029837608337402344, -0.02764272689819336, -0.025447845458984375, -0.02325296401977539, -0.021058082580566406, -0.018863201141357422, -0.016668319702148438, -0.014473438262939453, -0.012278556823730469, -0.010083675384521484, -0.0078887939453125, -0.005693912506103516, -0.0034990310668945312, -0.0013041496276855469, 0.0008907318115234375, 0.003085613250732422, 0.005280494689941406, 0.007475376129150391, 0.009670257568359375, 0.01186513900756836, 0.014060020446777344, 0.016254901885986328, 0.018449783325195312, 0.020644664764404297, 0.02283954620361328, 0.025034427642822266, 0.02722930908203125, 0.029424190521240234, 0.03161907196044922, 0.0338139533996582, 0.03600883483886719, 0.03820371627807617, 0.040398597717285156, 0.04259347915649414, 0.044788360595703125, 0.04698324203491211, 0.049178123474121094, 0.05137300491333008, 0.05356788635253906, 0.05576276779174805, 0.05795764923095703, 0.060152530670166016, 0.062347412109375]}, "gradients/decoder.transformer.h.16.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 4.0, 2.0, 4.0, 5.0, 9.0, 16.0, 7.0, 12.0, 18.0, 13.0, 24.0, 22.0, 34.0, 46.0, 39.0, 46.0, 46.0, 68.0, 87.0, 203.0, 1489.0, 262.0, 129.0, 70.0, 66.0, 49.0, 49.0, 51.0, 29.0, 18.0, 25.0, 25.0, 17.0, 12.0, 13.0, 18.0, 8.0, 9.0, 7.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 3.0], "bins": [-0.09759521484375, -0.09507465362548828, -0.09255409240722656, -0.09003353118896484, -0.08751296997070312, -0.0849924087524414, -0.08247184753417969, -0.07995128631591797, -0.07743072509765625, -0.07491016387939453, -0.07238960266113281, -0.0698690414428711, -0.06734848022460938, -0.06482791900634766, -0.06230735778808594, -0.05978679656982422, -0.0572662353515625, -0.05474567413330078, -0.05222511291503906, -0.049704551696777344, -0.047183990478515625, -0.044663429260253906, -0.04214286804199219, -0.03962230682373047, -0.03710174560546875, -0.03458118438720703, -0.03206062316894531, -0.029540061950683594, -0.027019500732421875, -0.024498939514160156, -0.021978378295898438, -0.01945781707763672, -0.016937255859375, -0.014416694641113281, -0.011896133422851562, -0.009375572204589844, -0.006855010986328125, -0.004334449768066406, -0.0018138885498046875, 0.0007066726684570312, 0.00322723388671875, 0.005747795104980469, 0.008268356323242188, 0.010788917541503906, 0.013309478759765625, 0.015830039978027344, 0.018350601196289062, 0.02087116241455078, 0.0233917236328125, 0.02591228485107422, 0.028432846069335938, 0.030953407287597656, 0.033473968505859375, 0.035994529724121094, 0.03851509094238281, 0.04103565216064453, 0.04355621337890625, 0.04607677459716797, 0.04859733581542969, 0.051117897033691406, 0.053638458251953125, 0.056159019470214844, 0.05867958068847656, 0.06120014190673828, 0.063720703125]}, "gradients/decoder.transformer.h.16.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 1.0, 7.0, 7.0, 8.0, 23.0, 27.0, 66.0, 80.0, 141.0, 299.0, 868.0, 8948.0, 2243600.0, 883065.0, 7178.0, 783.0, 277.0, 133.0, 75.0, 49.0, 29.0, 18.0, 20.0, 5.0, 4.0, 1.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1959228515625, -0.1873912811279297, -0.17885971069335938, -0.17032814025878906, -0.16179656982421875, -0.15326499938964844, -0.14473342895507812, -0.1362018585205078, -0.1276702880859375, -0.11913871765136719, -0.11060714721679688, -0.10207557678222656, -0.09354400634765625, -0.08501243591308594, -0.07648086547851562, -0.06794929504394531, -0.059417724609375, -0.05088615417480469, -0.042354583740234375, -0.03382301330566406, -0.02529144287109375, -0.016759872436523438, -0.008228302001953125, 0.0003032684326171875, 0.0088348388671875, 0.017366409301757812, 0.025897979736328125, 0.03442955017089844, 0.04296112060546875, 0.05149269104003906, 0.060024261474609375, 0.06855583190917969, 0.07708740234375, 0.08561897277832031, 0.09415054321289062, 0.10268211364746094, 0.11121368408203125, 0.11974525451660156, 0.12827682495117188, 0.1368083953857422, 0.1453399658203125, 0.1538715362548828, 0.16240310668945312, 0.17093467712402344, 0.17946624755859375, 0.18799781799316406, 0.19652938842773438, 0.2050609588623047, 0.213592529296875, 0.2221240997314453, 0.23065567016601562, 0.23918724060058594, 0.24771881103515625, 0.25625038146972656, 0.2647819519042969, 0.2733135223388672, 0.2818450927734375, 0.2903766632080078, 0.2989082336425781, 0.30743980407714844, 0.31597137451171875, 0.32450294494628906, 0.3330345153808594, 0.3415660858154297, 0.35009765625]}, "gradients/decoder.transformer.h.16.ln_1.weight": {"_type": "histogram", "values": [1.0, 2.0, 29.0, 307.0, 525.0, 141.0, 12.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.16215606033802032, -0.12446756660938263, -0.08677906543016434, -0.049090564250946045, -0.01140207052230835, 0.026286423206329346, 0.06397493183612823, 0.10166342556476593, 0.13935191929340363, 0.17704041302204132, 0.2147289216518402, 0.2524174153804779, 0.2901059091091156, 0.3277944028377533, 0.3654829263687134, 0.4031714200973511, 0.44085991382598877, 0.47854840755462646, 0.5162369012832642, 0.5539253950119019, 0.5916138887405396, 0.6293023824691772, 0.6669908761978149, 0.7046793699264526, 0.7423678636550903, 0.780056357383728, 0.8177448511123657, 0.8554333448410034, 0.8931218385696411, 0.9308103322982788, 0.9684988260269165, 1.0061873197555542, 1.043875813484192, 1.0815643072128296, 1.1192528009414673, 1.156941294670105, 1.1946297883987427, 1.2323182821273804, 1.270006775856018, 1.3076952695846558, 1.3453837633132935, 1.3830722570419312, 1.4207607507705688, 1.4584492444992065, 1.4961377382278442, 1.533826231956482, 1.5715147256851196, 1.6092032194137573, 1.6468918323516846, 1.6845803260803223, 1.72226881980896, 1.7599573135375977, 1.7976458072662354, 1.835334300994873, 1.8730227947235107, 1.9107112884521484, 1.9483997821807861, 1.9860882759094238, 2.0237767696380615, 2.061465263366699, 2.099153757095337, 2.1368422508239746, 2.1745307445526123, 2.21221923828125, 2.2499077320098877]}, "gradients/decoder.transformer.h.16.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 0.0, 0.0, 3.0, 6.0, 2.0, 3.0, 4.0, 8.0, 7.0, 8.0, 14.0, 16.0, 16.0, 26.0, 18.0, 22.0, 19.0, 29.0, 30.0, 38.0, 31.0, 36.0, 34.0, 40.0, 36.0, 46.0, 34.0, 33.0, 30.0, 37.0, 51.0, 27.0, 49.0, 35.0, 30.0, 25.0, 21.0, 19.0, 21.0, 16.0, 18.0, 16.0, 16.0, 5.0, 7.0, 3.0, 6.0, 7.0, 3.0, 5.0, 1.0, 2.0, 3.0, 2.0], "bins": [-0.2579754590988159, -0.25080764293670654, -0.24363981187343597, -0.2364719957113266, -0.22930416464805603, -0.22213634848594666, -0.21496853232383728, -0.2078007161617279, -0.20063288509845734, -0.19346506893634796, -0.1862972378730774, -0.17912942171096802, -0.17196160554885864, -0.16479377448558807, -0.1576259583234787, -0.15045812726020813, -0.14329031109809875, -0.13612249493598938, -0.1289546638727188, -0.12178684771060944, -0.11461902409791946, -0.10745120048522949, -0.10028338432312012, -0.09311556071043015, -0.08594773709774017, -0.0787799134850502, -0.07161208987236023, -0.06444427371025085, -0.05727645009756088, -0.05010862648487091, -0.04294080659747124, -0.035772986710071564, -0.028605163097381592, -0.02143734134733677, -0.014269519597291946, -0.007101697847247124, 6.612390279769897e-05, 0.007233947515487671, 0.014401767402887344, 0.021569587290287018, 0.02873741090297699, 0.03590523451566696, 0.043073054403066635, 0.05024087429046631, 0.05740869790315628, 0.06457652151584625, 0.07174433767795563, 0.0789121612906456, 0.08607998490333557, 0.09324780851602554, 0.10041563212871552, 0.10758344829082489, 0.11475127190351486, 0.12191909551620483, 0.1290869116783142, 0.13625472784042358, 0.14342255890369415, 0.15059037506580353, 0.1577582061290741, 0.16492602229118347, 0.17209383845329285, 0.17926166951656342, 0.1864294856786728, 0.19359731674194336, 0.20076513290405273]}, "gradients/decoder.transformer.h.15.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 5.0, 3.0, 5.0, 5.0, 4.0, 4.0, 6.0, 5.0, 21.0, 17.0, 21.0, 16.0, 16.0, 29.0, 33.0, 38.0, 36.0, 31.0, 39.0, 52.0, 42.0, 42.0, 55.0, 43.0, 46.0, 36.0, 40.0, 45.0, 40.0, 25.0, 23.0, 21.0, 17.0, 29.0, 20.0, 12.0, 15.0, 10.0, 9.0, 14.0, 10.0, 9.0, 5.0, 6.0, 3.0, 5.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.02154541015625, -0.02089095115661621, -0.020236492156982422, -0.019582033157348633, -0.018927574157714844, -0.018273115158081055, -0.017618656158447266, -0.016964197158813477, -0.016309738159179688, -0.0156552791595459, -0.01500082015991211, -0.01434636116027832, -0.013691902160644531, -0.013037443161010742, -0.012382984161376953, -0.011728525161743164, -0.011074066162109375, -0.010419607162475586, -0.009765148162841797, -0.009110689163208008, -0.008456230163574219, -0.00780177116394043, -0.007147312164306641, -0.0064928531646728516, -0.0058383941650390625, -0.0051839351654052734, -0.004529476165771484, -0.0038750171661376953, -0.0032205581665039062, -0.002566099166870117, -0.0019116401672363281, -0.001257181167602539, -0.00060272216796875, 5.173683166503906e-05, 0.0007061958312988281, 0.0013606548309326172, 0.0020151138305664062, 0.0026695728302001953, 0.0033240318298339844, 0.0039784908294677734, 0.0046329498291015625, 0.0052874088287353516, 0.005941867828369141, 0.00659632682800293, 0.007250785827636719, 0.007905244827270508, 0.008559703826904297, 0.009214162826538086, 0.009868621826171875, 0.010523080825805664, 0.011177539825439453, 0.011831998825073242, 0.012486457824707031, 0.01314091682434082, 0.01379537582397461, 0.014449834823608398, 0.015104293823242188, 0.015758752822875977, 0.016413211822509766, 0.017067670822143555, 0.017722129821777344, 0.018376588821411133, 0.019031047821044922, 0.01968550682067871, 0.0203399658203125]}, "gradients/decoder.transformer.h.15.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 4.0, 5.0, 4.0, 2.0, 8.0, 10.0, 27.0, 28.0, 41.0, 95.0, 159.0, 269.0, 603.0, 1434.0, 4292.0, 20249.0, 194541.0, 3195471.0, 717997.0, 46909.0, 7875.0, 2305.0, 932.0, 427.0, 221.0, 126.0, 85.0, 53.0, 35.0, 18.0, 13.0, 6.0, 10.0, 8.0, 6.0, 4.0, 4.0, 0.0, 2.0, 2.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09002685546875, -0.08689117431640625, -0.0837554931640625, -0.08061981201171875, -0.077484130859375, -0.07434844970703125, -0.0712127685546875, -0.06807708740234375, -0.06494140625, -0.06180572509765625, -0.0586700439453125, -0.05553436279296875, -0.052398681640625, -0.04926300048828125, -0.0461273193359375, -0.04299163818359375, -0.03985595703125, -0.03672027587890625, -0.0335845947265625, -0.03044891357421875, -0.027313232421875, -0.02417755126953125, -0.0210418701171875, -0.01790618896484375, -0.0147705078125, -0.01163482666015625, -0.0084991455078125, -0.00536346435546875, -0.002227783203125, 0.00090789794921875, 0.0040435791015625, 0.00717926025390625, 0.01031494140625, 0.01345062255859375, 0.0165863037109375, 0.01972198486328125, 0.022857666015625, 0.02599334716796875, 0.0291290283203125, 0.03226470947265625, 0.035400390625, 0.03853607177734375, 0.0416717529296875, 0.04480743408203125, 0.047943115234375, 0.05107879638671875, 0.0542144775390625, 0.05735015869140625, 0.06048583984375, 0.06362152099609375, 0.0667572021484375, 0.06989288330078125, 0.073028564453125, 0.07616424560546875, 0.0792999267578125, 0.08243560791015625, 0.0855712890625, 0.08870697021484375, 0.0918426513671875, 0.09497833251953125, 0.098114013671875, 0.10124969482421875, 0.1043853759765625, 0.10752105712890625, 0.11065673828125]}, "gradients/decoder.transformer.h.15.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 2.0, 2.0, 4.0, 4.0, 2.0, 3.0, 4.0, 3.0, 13.0, 12.0, 21.0, 31.0, 44.0, 56.0, 82.0, 125.0, 165.0, 253.0, 325.0, 484.0, 562.0, 534.0, 393.0, 311.0, 199.0, 116.0, 89.0, 80.0, 52.0, 28.0, 30.0, 16.0, 12.0, 6.0, 5.0, 4.0, 4.0, 7.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.071044921875, -0.06911230087280273, -0.06717967987060547, -0.0652470588684082, -0.06331443786621094, -0.06138181686401367, -0.059449195861816406, -0.05751657485961914, -0.055583953857421875, -0.05365133285522461, -0.051718711853027344, -0.04978609085083008, -0.04785346984863281, -0.04592084884643555, -0.04398822784423828, -0.042055606842041016, -0.04012298583984375, -0.038190364837646484, -0.03625774383544922, -0.03432512283325195, -0.03239250183105469, -0.030459880828857422, -0.028527259826660156, -0.02659463882446289, -0.024662017822265625, -0.02272939682006836, -0.020796775817871094, -0.018864154815673828, -0.016931533813476562, -0.014998912811279297, -0.013066291809082031, -0.011133670806884766, -0.0092010498046875, -0.007268428802490234, -0.005335807800292969, -0.003403186798095703, -0.0014705657958984375, 0.0004620552062988281, 0.0023946762084960938, 0.004327297210693359, 0.006259918212890625, 0.00819253921508789, 0.010125160217285156, 0.012057781219482422, 0.013990402221679688, 0.015923023223876953, 0.01785564422607422, 0.019788265228271484, 0.02172088623046875, 0.023653507232666016, 0.02558612823486328, 0.027518749237060547, 0.029451370239257812, 0.03138399124145508, 0.033316612243652344, 0.03524923324584961, 0.037181854248046875, 0.03911447525024414, 0.041047096252441406, 0.04297971725463867, 0.04491233825683594, 0.0468449592590332, 0.04877758026123047, 0.050710201263427734, 0.052642822265625]}, "gradients/decoder.transformer.h.15.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 5.0, 6.0, 9.0, 6.0, 7.0, 15.0, 16.0, 23.0, 32.0, 59.0, 93.0, 144.0, 249.0, 491.0, 984.0, 2585.0, 8126.0, 35115.0, 220176.0, 2144236.0, 1579928.0, 163366.0, 27479.0, 6820.0, 2312.0, 929.0, 428.0, 215.0, 163.0, 81.0, 50.0, 36.0, 31.0, 16.0, 14.0, 6.0, 7.0, 7.0, 6.0, 6.0, 3.0, 3.0, 2.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08978271484375, -0.08656787872314453, -0.08335304260253906, -0.0801382064819336, -0.07692337036132812, -0.07370853424072266, -0.07049369812011719, -0.06727886199951172, -0.06406402587890625, -0.06084918975830078, -0.05763435363769531, -0.054419517517089844, -0.051204681396484375, -0.047989845275878906, -0.04477500915527344, -0.04156017303466797, -0.0383453369140625, -0.03513050079345703, -0.03191566467285156, -0.028700828552246094, -0.025485992431640625, -0.022271156311035156, -0.019056320190429688, -0.01584148406982422, -0.01262664794921875, -0.009411811828613281, -0.0061969757080078125, -0.0029821395874023438, 0.000232696533203125, 0.0034475326538085938, 0.0066623687744140625, 0.009877204895019531, 0.013092041015625, 0.01630687713623047, 0.019521713256835938, 0.022736549377441406, 0.025951385498046875, 0.029166221618652344, 0.03238105773925781, 0.03559589385986328, 0.03881072998046875, 0.04202556610107422, 0.04524040222167969, 0.048455238342285156, 0.051670074462890625, 0.054884910583496094, 0.05809974670410156, 0.06131458282470703, 0.0645294189453125, 0.06774425506591797, 0.07095909118652344, 0.0741739273071289, 0.07738876342773438, 0.08060359954833984, 0.08381843566894531, 0.08703327178955078, 0.09024810791015625, 0.09346294403076172, 0.09667778015136719, 0.09989261627197266, 0.10310745239257812, 0.1063222885131836, 0.10953712463378906, 0.11275196075439453, 0.115966796875]}, "gradients/decoder.transformer.h.15.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 8.0, 4.0, 10.0, 19.0, 26.0, 39.0, 56.0, 74.0, 86.0, 114.0, 115.0, 113.0, 90.0, 79.0, 61.0, 38.0, 35.0, 14.0, 8.0, 10.0, 8.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.43380752205848694, -0.4228914678096771, -0.4119754135608673, -0.4010593295097351, -0.3901432752609253, -0.3792272210121155, -0.36831116676330566, -0.35739511251449585, -0.34647902846336365, -0.33556297421455383, -0.324646919965744, -0.3137308359146118, -0.302814781665802, -0.2918987274169922, -0.2809826731681824, -0.27006661891937256, -0.25915056467056274, -0.24823451042175293, -0.23731844127178192, -0.2264023870229721, -0.2154863178730011, -0.20457026362419128, -0.19365420937538147, -0.18273814022541046, -0.17182207107543945, -0.16090601682662964, -0.14998994767665863, -0.13907389342784882, -0.1281578242778778, -0.117241770029068, -0.10632570832967758, -0.09540964663028717, -0.08449357748031616, -0.07357751578092575, -0.06266145408153534, -0.051745396107435226, -0.040829334408044815, -0.029913272708654404, -0.01899721473455429, -0.00808115303516388, 0.002834908664226532, 0.013750969432294369, 0.024667030200362206, 0.03558309003710747, 0.04649915173649788, 0.05741521343588829, 0.0683312714099884, 0.07924733310937881, 0.09016339480876923, 0.10107945650815964, 0.11199551820755005, 0.12291157245635986, 0.13382764160633087, 0.14474369585514069, 0.1556597650051117, 0.1665758192539215, 0.17749187350273132, 0.18840792775154114, 0.19932399690151215, 0.21024005115032196, 0.22115612030029297, 0.23207217454910278, 0.2429882287979126, 0.2539042830467224, 0.2648203670978546]}, "gradients/decoder.transformer.h.15.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 2.0, 5.0, 3.0, 3.0, 11.0, 5.0, 9.0, 10.0, 9.0, 10.0, 20.0, 19.0, 18.0, 26.0, 20.0, 31.0, 41.0, 31.0, 37.0, 36.0, 49.0, 35.0, 35.0, 38.0, 32.0, 39.0, 39.0, 52.0, 39.0, 38.0, 25.0, 36.0, 36.0, 20.0, 22.0, 17.0, 27.0, 16.0, 14.0, 9.0, 9.0, 9.0, 9.0, 4.0, 4.0, 1.0, 2.0, 3.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.19575464725494385, -0.1900361329317093, -0.18431761860847473, -0.17859910428524017, -0.17288058996200562, -0.16716207563877106, -0.1614435613155365, -0.15572506189346313, -0.15000653266906738, -0.14428801834583282, -0.13856950402259827, -0.1328509896993637, -0.12713247537612915, -0.12141396105289459, -0.11569545418024063, -0.10997693985700607, -0.10425843298435211, -0.09853991866111755, -0.092821404337883, -0.08710289001464844, -0.08138437569141388, -0.07566586136817932, -0.06994735449552536, -0.0642288401722908, -0.058510325849056244, -0.052791811525821686, -0.04707329720258713, -0.04135478660464287, -0.03563627228140831, -0.029917757958173752, -0.024199247360229492, -0.018480733036994934, -0.012762218713760376, -0.0070437053218483925, -0.001325191929936409, 0.004393320530653, 0.010111834853887558, 0.015830349177122116, 0.021548859775066376, 0.027267374098300934, 0.03298588842153549, 0.03870440274477005, 0.04442291706800461, 0.05014142766594887, 0.055859941989183426, 0.061578456312417984, 0.06729696691036224, 0.0730154812335968, 0.07873399555683136, 0.08445250988006592, 0.09017102420330048, 0.09588953852653503, 0.10160805284976959, 0.10732656717300415, 0.11304507404565811, 0.11876358836889267, 0.12448210269212723, 0.1302006095647812, 0.13591912388801575, 0.1416376382112503, 0.14735615253448486, 0.15307466685771942, 0.15879318118095398, 0.16451169550418854, 0.1702302098274231]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 2.0, 6.0, 7.0, 1.0, 5.0, 4.0, 13.0, 15.0, 17.0, 13.0, 22.0, 32.0, 30.0, 30.0, 35.0, 32.0, 49.0, 31.0, 57.0, 50.0, 57.0, 46.0, 51.0, 46.0, 46.0, 48.0, 31.0, 33.0, 32.0, 20.0, 18.0, 26.0, 16.0, 14.0, 13.0, 14.0, 7.0, 10.0, 9.0, 8.0, 6.0, 5.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0235748291015625, -0.022864818572998047, -0.022154808044433594, -0.02144479751586914, -0.020734786987304688, -0.020024776458740234, -0.01931476593017578, -0.018604755401611328, -0.017894744873046875, -0.017184734344482422, -0.01647472381591797, -0.015764713287353516, -0.015054702758789062, -0.01434469223022461, -0.013634681701660156, -0.012924671173095703, -0.01221466064453125, -0.011504650115966797, -0.010794639587402344, -0.01008462905883789, -0.009374618530273438, -0.008664608001708984, -0.007954597473144531, -0.007244586944580078, -0.006534576416015625, -0.005824565887451172, -0.005114555358886719, -0.004404544830322266, -0.0036945343017578125, -0.0029845237731933594, -0.0022745132446289062, -0.0015645027160644531, -0.0008544921875, -0.00014448165893554688, 0.0005655288696289062, 0.0012755393981933594, 0.0019855499267578125, 0.0026955604553222656, 0.0034055709838867188, 0.004115581512451172, 0.004825592041015625, 0.005535602569580078, 0.006245613098144531, 0.006955623626708984, 0.0076656341552734375, 0.00837564468383789, 0.009085655212402344, 0.009795665740966797, 0.01050567626953125, 0.011215686798095703, 0.011925697326660156, 0.01263570785522461, 0.013345718383789062, 0.014055728912353516, 0.014765739440917969, 0.015475749969482422, 0.016185760498046875, 0.016895771026611328, 0.01760578155517578, 0.018315792083740234, 0.019025802612304688, 0.01973581314086914, 0.020445823669433594, 0.021155834197998047, 0.0218658447265625]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 3.0, 7.0, 7.0, 11.0, 15.0, 40.0, 37.0, 59.0, 96.0, 148.0, 237.0, 356.0, 537.0, 900.0, 1347.0, 2212.0, 3454.0, 5535.0, 9076.0, 14480.0, 23728.0, 39538.0, 68924.0, 131766.0, 347203.0, 185540.0, 87958.0, 49580.0, 29156.0, 17823.0, 10712.0, 6656.0, 4313.0, 2515.0, 1628.0, 1050.0, 687.0, 435.0, 289.0, 167.0, 121.0, 60.0, 61.0, 31.0, 28.0, 12.0, 12.0, 5.0, 5.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00021660327911376953, -0.00020997971296310425, -0.00020335614681243896, -0.00019673258066177368, -0.0001901090145111084, -0.00018348544836044312, -0.00017686188220977783, -0.00017023831605911255, -0.00016361474990844727, -0.00015699118375778198, -0.0001503676176071167, -0.00014374405145645142, -0.00013712048530578613, -0.00013049691915512085, -0.00012387335300445557, -0.00011724978685379028, -0.000110626220703125, -0.00010400265455245972, -9.737908840179443e-05, -9.075552225112915e-05, -8.413195610046387e-05, -7.750838994979858e-05, -7.08848237991333e-05, -6.426125764846802e-05, -5.7637691497802734e-05, -5.101412534713745e-05, -4.439055919647217e-05, -3.7766993045806885e-05, -3.11434268951416e-05, -2.451986074447632e-05, -1.7896294593811035e-05, -1.1272728443145752e-05, -4.649162292480469e-06, 1.9744038581848145e-06, 8.597970008850098e-06, 1.5221536159515381e-05, 2.1845102310180664e-05, 2.8468668460845947e-05, 3.509223461151123e-05, 4.1715800762176514e-05, 4.83393669128418e-05, 5.496293306350708e-05, 6.158649921417236e-05, 6.821006536483765e-05, 7.483363151550293e-05, 8.145719766616821e-05, 8.80807638168335e-05, 9.470432996749878e-05, 0.00010132789611816406, 0.00010795146226882935, 0.00011457502841949463, 0.00012119859457015991, 0.0001278221607208252, 0.00013444572687149048, 0.00014106929302215576, 0.00014769285917282104, 0.00015431642532348633, 0.0001609399914741516, 0.0001675635576248169, 0.00017418712377548218, 0.00018081068992614746, 0.00018743425607681274, 0.00019405782222747803, 0.0002006813883781433, 0.0002073049545288086]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 2.0, 3.0, 6.0, 2.0, 7.0, 7.0, 4.0, 5.0, 10.0, 15.0, 21.0, 20.0, 18.0, 27.0, 22.0, 20.0, 26.0, 17.0, 28.0, 27.0, 25.0, 42.0, 34.0, 37.0, 25.0, 1067.0, 35.0, 25.0, 38.0, 48.0, 42.0, 26.0, 28.0, 34.0, 28.0, 22.0, 25.0, 20.0, 25.0, 25.0, 22.0, 18.0, 3.0, 16.0, 8.0, 7.0, 8.0, 7.0, 3.0, 3.0, 2.0, 0.0, 4.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0176849365234375, -0.01709437370300293, -0.01650381088256836, -0.01591324806213379, -0.015322685241699219, -0.014732122421264648, -0.014141559600830078, -0.013550996780395508, -0.012960433959960938, -0.012369871139526367, -0.011779308319091797, -0.011188745498657227, -0.010598182678222656, -0.010007619857788086, -0.009417057037353516, -0.008826494216918945, -0.008235931396484375, -0.007645368576049805, -0.007054805755615234, -0.006464242935180664, -0.005873680114746094, -0.0052831172943115234, -0.004692554473876953, -0.004101991653442383, -0.0035114288330078125, -0.002920866012573242, -0.002330303192138672, -0.0017397403717041016, -0.0011491775512695312, -0.0005586147308349609, 3.1948089599609375e-05, 0.0006225109100341797, 0.00121307373046875, 0.0018036365509033203, 0.0023941993713378906, 0.002984762191772461, 0.0035753250122070312, 0.0041658878326416016, 0.004756450653076172, 0.005347013473510742, 0.0059375762939453125, 0.006528139114379883, 0.007118701934814453, 0.0077092647552490234, 0.008299827575683594, 0.008890390396118164, 0.009480953216552734, 0.010071516036987305, 0.010662078857421875, 0.011252641677856445, 0.011843204498291016, 0.012433767318725586, 0.013024330139160156, 0.013614892959594727, 0.014205455780029297, 0.014796018600463867, 0.015386581420898438, 0.015977144241333008, 0.016567707061767578, 0.01715826988220215, 0.01774883270263672, 0.01833939552307129, 0.01892995834350586, 0.01952052116394043, 0.020111083984375]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 3.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 5.0, 7.0, 8.0, 8.0, 7.0, 10.0, 12.0, 13.0, 24.0, 24.0, 20.0, 24.0, 21.0, 26.0, 33.0, 36.0, 30.0, 48.0, 116.0, 286.0, 799.0, 4754.0, 2045580.0, 41189.0, 2895.0, 570.0, 191.0, 75.0, 46.0, 30.0, 22.0, 22.0, 21.0, 26.0, 23.0, 23.0, 16.0, 26.0, 11.0, 13.0, 12.0, 4.0, 5.0, 8.0, 4.0, 2.0, 8.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-2.205371856689453e-05, -2.1401792764663696e-05, -2.074986696243286e-05, -2.0097941160202026e-05, -1.944601535797119e-05, -1.8794089555740356e-05, -1.814216375350952e-05, -1.7490237951278687e-05, -1.683831214904785e-05, -1.6186386346817017e-05, -1.553446054458618e-05, -1.4882534742355347e-05, -1.4230608940124512e-05, -1.3578683137893677e-05, -1.2926757335662842e-05, -1.2274831533432007e-05, -1.1622905731201172e-05, -1.0970979928970337e-05, -1.0319054126739502e-05, -9.667128324508667e-06, -9.015202522277832e-06, -8.363276720046997e-06, -7.711350917816162e-06, -7.059425115585327e-06, -6.407499313354492e-06, -5.755573511123657e-06, -5.103647708892822e-06, -4.451721906661987e-06, -3.7997961044311523e-06, -3.1478703022003174e-06, -2.4959444999694824e-06, -1.8440186977386475e-06, -1.1920928955078125e-06, -5.401670932769775e-07, 1.1175870895385742e-07, 7.636845111846924e-07, 1.4156103134155273e-06, 2.0675361156463623e-06, 2.7194619178771973e-06, 3.3713877201080322e-06, 4.023313522338867e-06, 4.675239324569702e-06, 5.327165126800537e-06, 5.979090929031372e-06, 6.631016731262207e-06, 7.282942533493042e-06, 7.934868335723877e-06, 8.586794137954712e-06, 9.238719940185547e-06, 9.890645742416382e-06, 1.0542571544647217e-05, 1.1194497346878052e-05, 1.1846423149108887e-05, 1.2498348951339722e-05, 1.3150274753570557e-05, 1.3802200555801392e-05, 1.4454126358032227e-05, 1.5106052160263062e-05, 1.5757977962493896e-05, 1.640990376472473e-05, 1.7061829566955566e-05, 1.77137553691864e-05, 1.8365681171417236e-05, 1.901760697364807e-05, 1.9669532775878906e-05]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 2.0, 6.0, 7.0, 1.0, 5.0, 4.0, 13.0, 15.0, 17.0, 13.0, 22.0, 32.0, 30.0, 30.0, 35.0, 32.0, 49.0, 31.0, 57.0, 50.0, 57.0, 46.0, 51.0, 46.0, 46.0, 48.0, 31.0, 33.0, 32.0, 20.0, 18.0, 26.0, 16.0, 14.0, 13.0, 14.0, 7.0, 10.0, 9.0, 8.0, 6.0, 5.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0235748291015625, -0.022864818572998047, -0.022154808044433594, -0.02144479751586914, -0.020734786987304688, -0.020024776458740234, -0.01931476593017578, -0.018604755401611328, -0.017894744873046875, -0.017184734344482422, -0.01647472381591797, -0.015764713287353516, -0.015054702758789062, -0.01434469223022461, -0.013634681701660156, -0.012924671173095703, -0.01221466064453125, -0.011504650115966797, -0.010794639587402344, -0.01008462905883789, -0.009374618530273438, -0.008664608001708984, -0.007954597473144531, -0.007244586944580078, -0.006534576416015625, -0.005824565887451172, -0.005114555358886719, -0.004404544830322266, -0.0036945343017578125, -0.0029845237731933594, -0.0022745132446289062, -0.0015645027160644531, -0.0008544921875, -0.00014448165893554688, 0.0005655288696289062, 0.0012755393981933594, 0.0019855499267578125, 0.0026955604553222656, 0.0034055709838867188, 0.004115581512451172, 0.004825592041015625, 0.005535602569580078, 0.006245613098144531, 0.006955623626708984, 0.0076656341552734375, 0.00837564468383789, 0.009085655212402344, 0.009795665740966797, 0.01050567626953125, 0.011215686798095703, 0.011925697326660156, 0.01263570785522461, 0.013345718383789062, 0.014055728912353516, 0.014765739440917969, 0.015475749969482422, 0.016185760498046875, 0.016895771026611328, 0.01760578155517578, 0.018315792083740234, 0.019025802612304688, 0.01973581314086914, 0.020445823669433594, 0.021155834197998047, 0.0218658447265625]}, "gradients/decoder.transformer.h.15.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 4.0, 0.0, 3.0, 4.0, 0.0, 2.0, 7.0, 13.0, 13.0, 20.0, 25.0, 44.0, 53.0, 75.0, 139.0, 206.0, 355.0, 580.0, 1063.0, 2067.0, 4149.0, 9167.0, 21192.0, 51777.0, 146531.0, 493033.0, 204003.0, 65556.0, 26545.0, 11358.0, 5094.0, 2434.0, 1272.0, 689.0, 392.0, 234.0, 151.0, 87.0, 84.0, 50.0, 32.0, 21.0, 18.0, 9.0, 3.0, 6.0, 4.0, 3.0, 5.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0560302734375, -0.054139137268066406, -0.05224800109863281, -0.05035686492919922, -0.048465728759765625, -0.04657459259033203, -0.04468345642089844, -0.042792320251464844, -0.04090118408203125, -0.039010047912597656, -0.03711891174316406, -0.03522777557373047, -0.033336639404296875, -0.03144550323486328, -0.029554367065429688, -0.027663230895996094, -0.0257720947265625, -0.023880958557128906, -0.021989822387695312, -0.02009868621826172, -0.018207550048828125, -0.01631641387939453, -0.014425277709960938, -0.012534141540527344, -0.01064300537109375, -0.008751869201660156, -0.0068607330322265625, -0.004969596862792969, -0.003078460693359375, -0.0011873245239257812, 0.0007038116455078125, 0.0025949478149414062, 0.004486083984375, 0.006377220153808594, 0.008268356323242188, 0.010159492492675781, 0.012050628662109375, 0.013941764831542969, 0.015832901000976562, 0.017724037170410156, 0.01961517333984375, 0.021506309509277344, 0.023397445678710938, 0.02528858184814453, 0.027179718017578125, 0.02907085418701172, 0.030961990356445312, 0.032853126525878906, 0.0347442626953125, 0.036635398864746094, 0.03852653503417969, 0.04041767120361328, 0.042308807373046875, 0.04419994354248047, 0.04609107971191406, 0.047982215881347656, 0.04987335205078125, 0.051764488220214844, 0.05365562438964844, 0.05554676055908203, 0.057437896728515625, 0.05932903289794922, 0.06122016906738281, 0.0631113052368164, 0.06500244140625]}, "gradients/decoder.transformer.h.15.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 5.0, 6.0, 6.0, 5.0, 7.0, 5.0, 10.0, 10.0, 16.0, 19.0, 18.0, 22.0, 25.0, 38.0, 28.0, 36.0, 55.0, 57.0, 71.0, 98.0, 146.0, 251.0, 1313.0, 204.0, 128.0, 89.0, 59.0, 38.0, 51.0, 29.0, 31.0, 38.0, 19.0, 16.0, 19.0, 14.0, 10.0, 16.0, 12.0, 9.0, 10.0, 6.0, 6.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.07818603515625, -0.0757598876953125, -0.073333740234375, -0.0709075927734375, -0.0684814453125, -0.0660552978515625, -0.063629150390625, -0.0612030029296875, -0.05877685546875, -0.0563507080078125, -0.053924560546875, -0.0514984130859375, -0.049072265625, -0.0466461181640625, -0.044219970703125, -0.0417938232421875, -0.03936767578125, -0.0369415283203125, -0.034515380859375, -0.0320892333984375, -0.0296630859375, -0.0272369384765625, -0.024810791015625, -0.0223846435546875, -0.01995849609375, -0.0175323486328125, -0.015106201171875, -0.0126800537109375, -0.01025390625, -0.0078277587890625, -0.005401611328125, -0.0029754638671875, -0.00054931640625, 0.0018768310546875, 0.004302978515625, 0.0067291259765625, 0.0091552734375, 0.0115814208984375, 0.014007568359375, 0.0164337158203125, 0.01885986328125, 0.0212860107421875, 0.023712158203125, 0.0261383056640625, 0.028564453125, 0.0309906005859375, 0.033416748046875, 0.0358428955078125, 0.03826904296875, 0.0406951904296875, 0.043121337890625, 0.0455474853515625, 0.0479736328125, 0.0503997802734375, 0.052825927734375, 0.0552520751953125, 0.05767822265625, 0.0601043701171875, 0.062530517578125, 0.0649566650390625, 0.0673828125, 0.0698089599609375, 0.072235107421875, 0.0746612548828125, 0.07708740234375]}, "gradients/decoder.transformer.h.15.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 4.0, 6.0, 10.0, 9.0, 14.0, 21.0, 21.0, 22.0, 27.0, 39.0, 48.0, 81.0, 127.0, 96.0, 179.0, 313.0, 716.0, 2535.0, 12971.0, 93620.0, 2036336.0, 925791.0, 60317.0, 9061.0, 1830.0, 585.0, 281.0, 181.0, 125.0, 71.0, 66.0, 46.0, 39.0, 33.0, 23.0, 18.0, 15.0, 9.0, 2.0, 6.0, 9.0, 8.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1319580078125, -0.1276874542236328, -0.12341690063476562, -0.11914634704589844, -0.11487579345703125, -0.11060523986816406, -0.10633468627929688, -0.10206413269042969, -0.0977935791015625, -0.09352302551269531, -0.08925247192382812, -0.08498191833496094, -0.08071136474609375, -0.07644081115722656, -0.07217025756835938, -0.06789970397949219, -0.063629150390625, -0.05935859680175781, -0.055088043212890625, -0.05081748962402344, -0.04654693603515625, -0.04227638244628906, -0.038005828857421875, -0.03373527526855469, -0.0294647216796875, -0.025194168090820312, -0.020923614501953125, -0.016653060913085938, -0.01238250732421875, -0.008111953735351562, -0.003841400146484375, 0.0004291534423828125, 0.00469970703125, 0.008970260620117188, 0.013240814208984375, 0.017511367797851562, 0.02178192138671875, 0.026052474975585938, 0.030323028564453125, 0.03459358215332031, 0.0388641357421875, 0.04313468933105469, 0.047405242919921875, 0.05167579650878906, 0.05594635009765625, 0.06021690368652344, 0.06448745727539062, 0.06875801086425781, 0.073028564453125, 0.07729911804199219, 0.08156967163085938, 0.08584022521972656, 0.09011077880859375, 0.09438133239746094, 0.09865188598632812, 0.10292243957519531, 0.1071929931640625, 0.11146354675292969, 0.11573410034179688, 0.12000465393066406, 0.12427520751953125, 0.12854576110839844, 0.13281631469726562, 0.1370868682861328, 0.141357421875]}, "gradients/decoder.transformer.h.15.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 7.0, 32.0, 125.0, 280.0, 331.0, 181.0, 48.0, 10.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1880842000246048, -0.16207018494606018, -0.13605618476867676, -0.11004216969013214, -0.08402815461158752, -0.05801413953304291, -0.032000139355659485, -0.005986124277114868, 0.02002789080142975, 0.04604190215468407, 0.07205591350793839, 0.0980699211359024, 0.12408393621444702, 0.15009795129299164, 0.17611195147037506, 0.20212596654891968, 0.2281399816274643, 0.2541539967060089, 0.28016799688339233, 0.30618202686309814, 0.33219602704048157, 0.358210027217865, 0.3842240571975708, 0.4102380573749542, 0.43625205755233765, 0.46226605772972107, 0.4882800877094269, 0.5142940878868103, 0.5403081178665161, 0.5663220882415771, 0.592336118221283, 0.6183501482009888, 0.6443641185760498, 0.6703781485557556, 0.6963921189308167, 0.7224061489105225, 0.7484201788902283, 0.7744342088699341, 0.8004481792449951, 0.8264622092247009, 0.8524762392044067, 0.8784902691841125, 0.9045042395591736, 0.9305182695388794, 0.9565322995185852, 0.982546329498291, 1.008560299873352, 1.034574270248413, 1.0605883598327637, 1.0866023302078247, 1.1126164197921753, 1.1386303901672363, 1.1646443605422974, 1.190658450126648, 1.216672420501709, 1.24268639087677, 1.268700361251831, 1.294714331626892, 1.3207284212112427, 1.3467423915863037, 1.3727563619613647, 1.3987704515457153, 1.4247844219207764, 1.4507983922958374, 1.476812481880188]}, "gradients/decoder.transformer.h.15.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 4.0, 4.0, 1.0, 4.0, 3.0, 8.0, 7.0, 10.0, 10.0, 15.0, 14.0, 22.0, 28.0, 31.0, 35.0, 39.0, 37.0, 47.0, 33.0, 42.0, 45.0, 47.0, 48.0, 51.0, 64.0, 54.0, 35.0, 42.0, 28.0, 41.0, 36.0, 13.0, 27.0, 17.0, 13.0, 13.0, 8.0, 9.0, 11.0, 2.0, 6.0, 2.0, 0.0, 3.0, 4.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.2821810841560364, -0.27400457859039307, -0.26582804322242737, -0.25765153765678406, -0.24947500228881836, -0.24129848182201385, -0.23312196135520935, -0.22494545578956604, -0.21676892042160034, -0.20859239995479584, -0.20041587948799133, -0.19223935902118683, -0.18406283855438232, -0.17588631808757782, -0.16770979762077332, -0.15953329205513, -0.1513567715883255, -0.143180251121521, -0.1350037306547165, -0.126827210187912, -0.11865068972110748, -0.11047416925430298, -0.10229765623807907, -0.09412113577127457, -0.08594461530447006, -0.07776809483766556, -0.06959157437086105, -0.06141505762934685, -0.05323853716254234, -0.04506201669573784, -0.03688549995422363, -0.02870897948741913, -0.020532459020614624, -0.012355939485132694, -0.0041794199496507645, 0.003997098654508591, 0.012173619121313095, 0.0203501395881176, 0.028526656329631805, 0.03670317679643631, 0.044879697263240814, 0.05305621773004532, 0.06123273819684982, 0.06940925121307373, 0.07758577167987823, 0.08576229214668274, 0.09393881261348724, 0.10211533308029175, 0.11029185354709625, 0.11846837401390076, 0.12664489448070526, 0.13482141494750977, 0.14299793541431427, 0.15117445588111877, 0.15935096144676208, 0.16752749681472778, 0.1757040023803711, 0.1838805228471756, 0.1920570433139801, 0.2002335637807846, 0.2084100842475891, 0.21658660471439362, 0.22476312518119812, 0.23293963074684143, 0.24111616611480713]}, "gradients/decoder.transformer.h.14.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 2.0, 1.0, 5.0, 7.0, 6.0, 6.0, 9.0, 4.0, 14.0, 18.0, 19.0, 27.0, 31.0, 31.0, 31.0, 31.0, 26.0, 40.0, 43.0, 41.0, 55.0, 49.0, 53.0, 50.0, 42.0, 44.0, 45.0, 43.0, 33.0, 17.0, 29.0, 20.0, 21.0, 22.0, 17.0, 12.0, 9.0, 9.0, 8.0, 5.0, 13.0, 6.0, 3.0, 5.0, 5.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.0251922607421875, -0.02447652816772461, -0.02376079559326172, -0.023045063018798828, -0.022329330444335938, -0.021613597869873047, -0.020897865295410156, -0.020182132720947266, -0.019466400146484375, -0.018750667572021484, -0.018034934997558594, -0.017319202423095703, -0.016603469848632812, -0.015887737274169922, -0.015172004699707031, -0.01445627212524414, -0.01374053955078125, -0.01302480697631836, -0.012309074401855469, -0.011593341827392578, -0.010877609252929688, -0.010161876678466797, -0.009446144104003906, -0.008730411529541016, -0.008014678955078125, -0.007298946380615234, -0.006583213806152344, -0.005867481231689453, -0.0051517486572265625, -0.004436016082763672, -0.0037202835083007812, -0.0030045509338378906, -0.002288818359375, -0.0015730857849121094, -0.0008573532104492188, -0.00014162063598632812, 0.0005741119384765625, 0.0012898445129394531, 0.0020055770874023438, 0.0027213096618652344, 0.003437042236328125, 0.004152774810791016, 0.004868507385253906, 0.005584239959716797, 0.0062999725341796875, 0.007015705108642578, 0.007731437683105469, 0.00844717025756836, 0.00916290283203125, 0.00987863540649414, 0.010594367980957031, 0.011310100555419922, 0.012025833129882812, 0.012741565704345703, 0.013457298278808594, 0.014173030853271484, 0.014888763427734375, 0.015604496002197266, 0.016320228576660156, 0.017035961151123047, 0.017751693725585938, 0.018467426300048828, 0.01918315887451172, 0.01989889144897461, 0.0206146240234375]}, "gradients/decoder.transformer.h.14.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 3.0, 6.0, 8.0, 9.0, 3.0, 12.0, 15.0, 17.0, 28.0, 38.0, 64.0, 78.0, 87.0, 162.0, 276.0, 445.0, 836.0, 1925.0, 4532.0, 13594.0, 53482.0, 319520.0, 2475964.0, 1144897.0, 135536.0, 28259.0, 8172.0, 3079.0, 1366.0, 715.0, 389.0, 218.0, 147.0, 110.0, 70.0, 46.0, 42.0, 26.0, 24.0, 17.0, 19.0, 12.0, 7.0, 11.0, 8.0, 6.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.070556640625, -0.06846809387207031, -0.06637954711914062, -0.06429100036621094, -0.06220245361328125, -0.06011390686035156, -0.058025360107421875, -0.05593681335449219, -0.0538482666015625, -0.05175971984863281, -0.049671173095703125, -0.04758262634277344, -0.04549407958984375, -0.04340553283691406, -0.041316986083984375, -0.03922843933105469, -0.037139892578125, -0.03505134582519531, -0.032962799072265625, -0.030874252319335938, -0.02878570556640625, -0.026697158813476562, -0.024608612060546875, -0.022520065307617188, -0.0204315185546875, -0.018342971801757812, -0.016254425048828125, -0.014165878295898438, -0.01207733154296875, -0.009988784790039062, -0.007900238037109375, -0.0058116912841796875, -0.00372314453125, -0.0016345977783203125, 0.000453948974609375, 0.0025424957275390625, 0.00463104248046875, 0.0067195892333984375, 0.008808135986328125, 0.010896682739257812, 0.0129852294921875, 0.015073776245117188, 0.017162322998046875, 0.019250869750976562, 0.02133941650390625, 0.023427963256835938, 0.025516510009765625, 0.027605056762695312, 0.029693603515625, 0.03178215026855469, 0.033870697021484375, 0.03595924377441406, 0.03804779052734375, 0.04013633728027344, 0.042224884033203125, 0.04431343078613281, 0.0464019775390625, 0.04849052429199219, 0.050579071044921875, 0.05266761779785156, 0.05475616455078125, 0.05684471130371094, 0.058933258056640625, 0.06102180480957031, 0.0631103515625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 4.0, 2.0, 4.0, 5.0, 10.0, 10.0, 16.0, 28.0, 28.0, 56.0, 66.0, 87.0, 96.0, 155.0, 202.0, 312.0, 350.0, 473.0, 440.0, 435.0, 328.0, 278.0, 162.0, 152.0, 89.0, 80.0, 61.0, 45.0, 29.0, 20.0, 14.0, 12.0, 8.0, 5.0, 4.0, 3.0, 5.0, 3.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.049468994140625, -0.04777956008911133, -0.046090126037597656, -0.044400691986083984, -0.04271125793457031, -0.04102182388305664, -0.03933238983154297, -0.0376429557800293, -0.035953521728515625, -0.03426408767700195, -0.03257465362548828, -0.03088521957397461, -0.029195785522460938, -0.027506351470947266, -0.025816917419433594, -0.024127483367919922, -0.02243804931640625, -0.020748615264892578, -0.019059181213378906, -0.017369747161865234, -0.015680313110351562, -0.01399087905883789, -0.012301445007324219, -0.010612010955810547, -0.008922576904296875, -0.007233142852783203, -0.005543708801269531, -0.0038542747497558594, -0.0021648406982421875, -0.0004754066467285156, 0.0012140274047851562, 0.002903461456298828, 0.0045928955078125, 0.006282329559326172, 0.007971763610839844, 0.009661197662353516, 0.011350631713867188, 0.01304006576538086, 0.014729499816894531, 0.016418933868408203, 0.018108367919921875, 0.019797801971435547, 0.02148723602294922, 0.02317667007446289, 0.024866104125976562, 0.026555538177490234, 0.028244972229003906, 0.029934406280517578, 0.03162384033203125, 0.03331327438354492, 0.035002708435058594, 0.036692142486572266, 0.03838157653808594, 0.04007101058959961, 0.04176044464111328, 0.04344987869262695, 0.045139312744140625, 0.0468287467956543, 0.04851818084716797, 0.05020761489868164, 0.05189704895019531, 0.053586483001708984, 0.055275917053222656, 0.05696535110473633, 0.05865478515625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 4.0, 1.0, 3.0, 3.0, 2.0, 5.0, 5.0, 8.0, 11.0, 17.0, 25.0, 35.0, 59.0, 78.0, 135.0, 212.0, 317.0, 787.0, 1771.0, 5744.0, 27702.0, 213460.0, 2403429.0, 1392556.0, 122760.0, 18178.0, 4226.0, 1304.0, 581.0, 344.0, 173.0, 126.0, 62.0, 55.0, 26.0, 24.0, 15.0, 14.0, 7.0, 4.0, 3.0, 8.0, 3.0, 4.0, 4.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.1251220703125, -0.12163448333740234, -0.11814689636230469, -0.11465930938720703, -0.11117172241210938, -0.10768413543701172, -0.10419654846191406, -0.1007089614868164, -0.09722137451171875, -0.0937337875366211, -0.09024620056152344, -0.08675861358642578, -0.08327102661132812, -0.07978343963623047, -0.07629585266113281, -0.07280826568603516, -0.0693206787109375, -0.06583309173583984, -0.06234550476074219, -0.05885791778564453, -0.055370330810546875, -0.05188274383544922, -0.04839515686035156, -0.044907569885253906, -0.04141998291015625, -0.037932395935058594, -0.03444480895996094, -0.03095722198486328, -0.027469635009765625, -0.02398204803466797, -0.020494461059570312, -0.017006874084472656, -0.013519287109375, -0.010031700134277344, -0.0065441131591796875, -0.0030565261840820312, 0.000431060791015625, 0.003918647766113281, 0.0074062347412109375, 0.010893821716308594, 0.01438140869140625, 0.017868995666503906, 0.021356582641601562, 0.02484416961669922, 0.028331756591796875, 0.03181934356689453, 0.03530693054199219, 0.038794517517089844, 0.0422821044921875, 0.045769691467285156, 0.04925727844238281, 0.05274486541748047, 0.056232452392578125, 0.05972003936767578, 0.06320762634277344, 0.0666952133178711, 0.07018280029296875, 0.0736703872680664, 0.07715797424316406, 0.08064556121826172, 0.08413314819335938, 0.08762073516845703, 0.09110832214355469, 0.09459590911865234, 0.09808349609375]}, "gradients/decoder.transformer.h.14.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 4.0, 4.0, 9.0, 2.0, 14.0, 24.0, 35.0, 40.0, 40.0, 74.0, 70.0, 64.0, 75.0, 75.0, 64.0, 64.0, 65.0, 63.0, 55.0, 46.0, 32.0, 34.0, 16.0, 14.0, 11.0, 7.0, 6.0, 2.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.30235958099365234, -0.2950531542301178, -0.28774672746658325, -0.2804403007030487, -0.27313387393951416, -0.265827476978302, -0.25852105021476746, -0.2512146234512329, -0.24390819668769836, -0.23660176992416382, -0.22929534316062927, -0.22198893129825592, -0.21468250453472137, -0.20737607777118683, -0.20006965100765228, -0.19276323914527893, -0.18545681238174438, -0.17815038561820984, -0.1708439588546753, -0.16353754699230194, -0.1562311202287674, -0.14892469346523285, -0.1416182667016983, -0.13431185483932495, -0.1270054131746292, -0.11969898641109467, -0.11239256709814072, -0.10508614033460617, -0.09777972102165222, -0.09047329425811768, -0.08316686749458313, -0.07586044818162918, -0.06855402886867523, -0.061247605830430984, -0.05394118279218674, -0.04663475602865219, -0.03932833671569824, -0.032021909952163696, -0.02471548691391945, -0.0174090638756752, -0.010102640837430954, -0.0027962173335254192, 0.0045102061703801155, 0.011816630139946938, 0.019123053178191185, 0.02642947807908058, 0.03373590111732483, 0.04104232415556908, 0.048348747193813324, 0.05565517023205757, 0.06296159327030182, 0.07026802003383636, 0.07757443934679031, 0.08488086611032486, 0.09218728542327881, 0.09949371218681335, 0.1068001389503479, 0.11410656571388245, 0.1214129850268364, 0.12871940433979034, 0.1360258311033249, 0.14333225786685944, 0.15063868463039398, 0.15794509649276733, 0.16525152325630188]}, "gradients/decoder.transformer.h.14.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0, 4.0, 5.0, 9.0, 4.0, 11.0, 13.0, 16.0, 23.0, 23.0, 15.0, 28.0, 31.0, 36.0, 42.0, 40.0, 36.0, 40.0, 49.0, 47.0, 41.0, 48.0, 51.0, 39.0, 39.0, 21.0, 39.0, 41.0, 31.0, 31.0, 21.0, 17.0, 18.0, 16.0, 17.0, 11.0, 13.0, 6.0, 13.0, 7.0, 4.0, 1.0, 5.0, 2.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19719398021697998, -0.1909899264574051, -0.1847858726978302, -0.17858180403709412, -0.17237775027751923, -0.16617369651794434, -0.15996962785720825, -0.15376557409763336, -0.14756152033805847, -0.14135746657848358, -0.1351534128189087, -0.1289493441581726, -0.12274529039859772, -0.11654123663902283, -0.11033717542886734, -0.10413311421871185, -0.09792906045913696, -0.09172500669956207, -0.08552094548940659, -0.0793168842792511, -0.07311283051967621, -0.06690877676010132, -0.06070471554994583, -0.05450065806508064, -0.048296600580215454, -0.042092543095350266, -0.03588848561048508, -0.02968442812561989, -0.0234803706407547, -0.01727631315588951, -0.011072255671024323, -0.004868198186159134, 0.0013358592987060547, 0.007539916783571243, 0.013743974268436432, 0.01994803175330162, 0.02615208923816681, 0.032356146723032, 0.038560204207897186, 0.044764261692762375, 0.050968319177627563, 0.05717237666249275, 0.06337643414735794, 0.06958049535751343, 0.07578454911708832, 0.08198860287666321, 0.0881926640868187, 0.09439672529697418, 0.10060077905654907, 0.10680483281612396, 0.11300889402627945, 0.11921295523643494, 0.12541700899600983, 0.13162106275558472, 0.1378251314163208, 0.1440291851758957, 0.15023323893547058, 0.15643729269504547, 0.16264134645462036, 0.16884541511535645, 0.17504946887493134, 0.18125352263450623, 0.1874575912952423, 0.1936616450548172, 0.1998656988143921]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 7.0, 6.0, 11.0, 5.0, 12.0, 7.0, 16.0, 30.0, 23.0, 31.0, 30.0, 23.0, 47.0, 49.0, 45.0, 58.0, 50.0, 50.0, 47.0, 48.0, 56.0, 51.0, 36.0, 42.0, 29.0, 34.0, 21.0, 29.0, 18.0, 18.0, 15.0, 11.0, 7.0, 9.0, 12.0, 7.0, 3.0, 7.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0242156982421875, -0.02341318130493164, -0.02261066436767578, -0.021808147430419922, -0.021005630493164062, -0.020203113555908203, -0.019400596618652344, -0.018598079681396484, -0.017795562744140625, -0.016993045806884766, -0.016190528869628906, -0.015388011932373047, -0.014585494995117188, -0.013782978057861328, -0.012980461120605469, -0.01217794418334961, -0.01137542724609375, -0.01057291030883789, -0.009770393371582031, -0.008967876434326172, -0.008165359497070312, -0.007362842559814453, -0.006560325622558594, -0.005757808685302734, -0.004955291748046875, -0.004152774810791016, -0.0033502578735351562, -0.002547740936279297, -0.0017452239990234375, -0.0009427070617675781, -0.00014019012451171875, 0.0006623268127441406, 0.00146484375, 0.0022673606872558594, 0.0030698776245117188, 0.003872394561767578, 0.0046749114990234375, 0.005477428436279297, 0.006279945373535156, 0.007082462310791016, 0.007884979248046875, 0.008687496185302734, 0.009490013122558594, 0.010292530059814453, 0.011095046997070312, 0.011897563934326172, 0.012700080871582031, 0.01350259780883789, 0.01430511474609375, 0.01510763168334961, 0.01591014862060547, 0.016712665557861328, 0.017515182495117188, 0.018317699432373047, 0.019120216369628906, 0.019922733306884766, 0.020725250244140625, 0.021527767181396484, 0.022330284118652344, 0.023132801055908203, 0.023935317993164062, 0.024737834930419922, 0.02554035186767578, 0.02634286880493164, 0.0271453857421875]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 2.0, 5.0, 2.0, 4.0, 12.0, 11.0, 15.0, 24.0, 28.0, 60.0, 95.0, 129.0, 179.0, 292.0, 473.0, 686.0, 1168.0, 1745.0, 2694.0, 4239.0, 6887.0, 10973.0, 17912.0, 30477.0, 52316.0, 96050.0, 214129.0, 323270.0, 124834.0, 65715.0, 36897.0, 21939.0, 13264.0, 8021.0, 5103.0, 3209.0, 1995.0, 1298.0, 825.0, 547.0, 368.0, 232.0, 139.0, 106.0, 64.0, 36.0, 37.0, 24.0, 15.0, 8.0, 3.0, 5.0, 5.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00017154216766357422, -0.00016585923731327057, -0.00016017630696296692, -0.00015449337661266327, -0.00014881044626235962, -0.00014312751591205597, -0.00013744458556175232, -0.00013176165521144867, -0.00012607872486114502, -0.00012039579451084137, -0.00011471286416053772, -0.00010902993381023407, -0.00010334700345993042, -9.766407310962677e-05, -9.198114275932312e-05, -8.629821240901947e-05, -8.061528205871582e-05, -7.493235170841217e-05, -6.924942135810852e-05, -6.356649100780487e-05, -5.788356065750122e-05, -5.220063030719757e-05, -4.651769995689392e-05, -4.083476960659027e-05, -3.515183925628662e-05, -2.946890890598297e-05, -2.378597855567932e-05, -1.810304820537567e-05, -1.2420117855072021e-05, -6.737187504768372e-06, -1.0542571544647217e-06, 4.628673195838928e-06, 1.0311603546142578e-05, 1.5994533896446228e-05, 2.1677464246749878e-05, 2.7360394597053528e-05, 3.304332494735718e-05, 3.872625529766083e-05, 4.440918564796448e-05, 5.009211599826813e-05, 5.577504634857178e-05, 6.145797669887543e-05, 6.714090704917908e-05, 7.282383739948273e-05, 7.850676774978638e-05, 8.418969810009003e-05, 8.987262845039368e-05, 9.555555880069733e-05, 0.00010123848915100098, 0.00010692141950130463, 0.00011260434985160828, 0.00011828728020191193, 0.00012397021055221558, 0.00012965314090251923, 0.00013533607125282288, 0.00014101900160312653, 0.00014670193195343018, 0.00015238486230373383, 0.00015806779265403748, 0.00016375072300434113, 0.00016943365335464478, 0.00017511658370494843, 0.00018079951405525208, 0.00018648244440555573, 0.00019216537475585938]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 3.0, 5.0, 3.0, 5.0, 7.0, 8.0, 13.0, 16.0, 14.0, 14.0, 17.0, 14.0, 25.0, 20.0, 31.0, 47.0, 35.0, 34.0, 38.0, 34.0, 46.0, 42.0, 1070.0, 40.0, 43.0, 41.0, 42.0, 36.0, 33.0, 25.0, 36.0, 23.0, 28.0, 25.0, 22.0, 18.0, 18.0, 12.0, 9.0, 13.0, 6.0, 6.0, 7.0, 2.0, 5.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0167694091796875, -0.016142845153808594, -0.015516281127929688, -0.014889717102050781, -0.014263153076171875, -0.013636589050292969, -0.013010025024414062, -0.012383460998535156, -0.01175689697265625, -0.011130332946777344, -0.010503768920898438, -0.009877204895019531, -0.009250640869140625, -0.008624076843261719, -0.007997512817382812, -0.007370948791503906, -0.006744384765625, -0.006117820739746094, -0.0054912567138671875, -0.004864692687988281, -0.004238128662109375, -0.0036115646362304688, -0.0029850006103515625, -0.0023584365844726562, -0.00173187255859375, -0.0011053085327148438, -0.0004787445068359375, 0.00014781951904296875, 0.000774383544921875, 0.0014009475708007812, 0.0020275115966796875, 0.0026540756225585938, 0.0032806396484375, 0.003907203674316406, 0.0045337677001953125, 0.005160331726074219, 0.005786895751953125, 0.006413459777832031, 0.0070400238037109375, 0.007666587829589844, 0.00829315185546875, 0.008919715881347656, 0.009546279907226562, 0.010172843933105469, 0.010799407958984375, 0.011425971984863281, 0.012052536010742188, 0.012679100036621094, 0.0133056640625, 0.013932228088378906, 0.014558792114257812, 0.015185356140136719, 0.015811920166015625, 0.01643848419189453, 0.017065048217773438, 0.017691612243652344, 0.01831817626953125, 0.018944740295410156, 0.019571304321289062, 0.02019786834716797, 0.020824432373046875, 0.02145099639892578, 0.022077560424804688, 0.022704124450683594, 0.0233306884765625]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 5.0, 6.0, 2.0, 8.0, 7.0, 9.0, 5.0, 14.0, 16.0, 15.0, 18.0, 23.0, 30.0, 20.0, 39.0, 32.0, 28.0, 31.0, 85.0, 178.0, 664.0, 3547.0, 1989161.0, 99603.0, 2578.0, 455.0, 187.0, 59.0, 40.0, 45.0, 40.0, 22.0, 29.0, 20.0, 23.0, 11.0, 13.0, 14.0, 17.0, 11.0, 6.0, 9.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 2.0], "bins": [-2.4974346160888672e-05, -2.4298205971717834e-05, -2.3622065782546997e-05, -2.294592559337616e-05, -2.2269785404205322e-05, -2.1593645215034485e-05, -2.0917505025863647e-05, -2.024136483669281e-05, -1.9565224647521973e-05, -1.8889084458351135e-05, -1.8212944269180298e-05, -1.753680408000946e-05, -1.6860663890838623e-05, -1.6184523701667786e-05, -1.5508383512496948e-05, -1.483224332332611e-05, -1.4156103134155273e-05, -1.3479962944984436e-05, -1.2803822755813599e-05, -1.2127682566642761e-05, -1.1451542377471924e-05, -1.0775402188301086e-05, -1.0099261999130249e-05, -9.423121809959412e-06, -8.746981620788574e-06, -8.070841431617737e-06, -7.394701242446899e-06, -6.718561053276062e-06, -6.042420864105225e-06, -5.366280674934387e-06, -4.69014048576355e-06, -4.014000296592712e-06, -3.337860107421875e-06, -2.6617199182510376e-06, -1.9855797290802e-06, -1.3094395399093628e-06, -6.332993507385254e-07, 4.284083843231201e-08, 7.189810276031494e-07, 1.3951212167739868e-06, 2.0712614059448242e-06, 2.7474015951156616e-06, 3.423541784286499e-06, 4.0996819734573364e-06, 4.775822162628174e-06, 5.451962351799011e-06, 6.128102540969849e-06, 6.804242730140686e-06, 7.4803829193115234e-06, 8.15652310848236e-06, 8.832663297653198e-06, 9.508803486824036e-06, 1.0184943675994873e-05, 1.086108386516571e-05, 1.1537224054336548e-05, 1.2213364243507385e-05, 1.2889504432678223e-05, 1.356564462184906e-05, 1.4241784811019897e-05, 1.4917925000190735e-05, 1.5594065189361572e-05, 1.627020537853241e-05, 1.6946345567703247e-05, 1.7622485756874084e-05, 1.8298625946044922e-05]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 7.0, 6.0, 11.0, 5.0, 12.0, 7.0, 16.0, 30.0, 23.0, 31.0, 30.0, 23.0, 47.0, 49.0, 45.0, 58.0, 50.0, 50.0, 47.0, 48.0, 56.0, 51.0, 36.0, 42.0, 29.0, 34.0, 21.0, 29.0, 18.0, 18.0, 15.0, 11.0, 7.0, 9.0, 12.0, 7.0, 3.0, 7.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0242156982421875, -0.02341318130493164, -0.02261066436767578, -0.021808147430419922, -0.021005630493164062, -0.020203113555908203, -0.019400596618652344, -0.018598079681396484, -0.017795562744140625, -0.016993045806884766, -0.016190528869628906, -0.015388011932373047, -0.014585494995117188, -0.013782978057861328, -0.012980461120605469, -0.01217794418334961, -0.01137542724609375, -0.01057291030883789, -0.009770393371582031, -0.008967876434326172, -0.008165359497070312, -0.007362842559814453, -0.006560325622558594, -0.005757808685302734, -0.004955291748046875, -0.004152774810791016, -0.0033502578735351562, -0.002547740936279297, -0.0017452239990234375, -0.0009427070617675781, -0.00014019012451171875, 0.0006623268127441406, 0.00146484375, 0.0022673606872558594, 0.0030698776245117188, 0.003872394561767578, 0.0046749114990234375, 0.005477428436279297, 0.006279945373535156, 0.007082462310791016, 0.007884979248046875, 0.008687496185302734, 0.009490013122558594, 0.010292530059814453, 0.011095046997070312, 0.011897563934326172, 0.012700080871582031, 0.01350259780883789, 0.01430511474609375, 0.01510763168334961, 0.01591014862060547, 0.016712665557861328, 0.017515182495117188, 0.018317699432373047, 0.019120216369628906, 0.019922733306884766, 0.020725250244140625, 0.021527767181396484, 0.022330284118652344, 0.023132801055908203, 0.023935317993164062, 0.024737834930419922, 0.02554035186767578, 0.02634286880493164, 0.0271453857421875]}, "gradients/decoder.transformer.h.14.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 4.0, 6.0, 17.0, 5.0, 17.0, 20.0, 26.0, 35.0, 34.0, 49.0, 70.0, 111.0, 138.0, 212.0, 326.0, 522.0, 830.0, 1513.0, 2890.0, 5849.0, 12521.0, 29233.0, 73066.0, 199573.0, 473267.0, 147783.0, 56608.0, 23253.0, 9957.0, 4775.0, 2390.0, 1263.0, 780.0, 449.0, 293.0, 209.0, 131.0, 92.0, 60.0, 54.0, 32.0, 22.0, 26.0, 15.0, 12.0, 2.0, 6.0, 9.0, 3.0, 4.0, 0.0, 0.0, 3.0], "bins": [-0.0657958984375, -0.0639352798461914, -0.06207466125488281, -0.06021404266357422, -0.058353424072265625, -0.05649280548095703, -0.05463218688964844, -0.052771568298339844, -0.05091094970703125, -0.049050331115722656, -0.04718971252441406, -0.04532909393310547, -0.043468475341796875, -0.04160785675048828, -0.03974723815917969, -0.037886619567871094, -0.0360260009765625, -0.034165382385253906, -0.03230476379394531, -0.03044414520263672, -0.028583526611328125, -0.02672290802001953, -0.024862289428710938, -0.023001670837402344, -0.02114105224609375, -0.019280433654785156, -0.017419815063476562, -0.015559196472167969, -0.013698577880859375, -0.011837959289550781, -0.009977340698242188, -0.008116722106933594, -0.006256103515625, -0.004395484924316406, -0.0025348663330078125, -0.0006742477416992188, 0.001186370849609375, 0.0030469894409179688, 0.0049076080322265625, 0.006768226623535156, 0.00862884521484375, 0.010489463806152344, 0.012350082397460938, 0.014210700988769531, 0.016071319580078125, 0.01793193817138672, 0.019792556762695312, 0.021653175354003906, 0.0235137939453125, 0.025374412536621094, 0.027235031127929688, 0.02909564971923828, 0.030956268310546875, 0.03281688690185547, 0.03467750549316406, 0.036538124084472656, 0.03839874267578125, 0.040259361267089844, 0.04211997985839844, 0.04398059844970703, 0.045841217041015625, 0.04770183563232422, 0.04956245422363281, 0.051423072814941406, 0.05328369140625]}, "gradients/decoder.transformer.h.14.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 5.0, 1.0, 6.0, 4.0, 2.0, 9.0, 6.0, 9.0, 17.0, 13.0, 17.0, 12.0, 16.0, 15.0, 22.0, 24.0, 25.0, 45.0, 38.0, 52.0, 58.0, 75.0, 111.0, 139.0, 1409.0, 249.0, 141.0, 91.0, 66.0, 73.0, 40.0, 33.0, 29.0, 37.0, 25.0, 17.0, 20.0, 17.0, 16.0, 15.0, 17.0, 10.0, 7.0, 6.0, 4.0, 6.0, 6.0, 4.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.07403564453125, -0.07171440124511719, -0.06939315795898438, -0.06707191467285156, -0.06475067138671875, -0.06242942810058594, -0.060108184814453125, -0.05778694152832031, -0.0554656982421875, -0.05314445495605469, -0.050823211669921875, -0.04850196838378906, -0.04618072509765625, -0.04385948181152344, -0.041538238525390625, -0.03921699523925781, -0.036895751953125, -0.03457450866699219, -0.032253265380859375, -0.029932022094726562, -0.02761077880859375, -0.025289535522460938, -0.022968292236328125, -0.020647048950195312, -0.0183258056640625, -0.016004562377929688, -0.013683319091796875, -0.011362075805664062, -0.00904083251953125, -0.0067195892333984375, -0.004398345947265625, -0.0020771026611328125, 0.000244140625, 0.0025653839111328125, 0.004886627197265625, 0.0072078704833984375, 0.00952911376953125, 0.011850357055664062, 0.014171600341796875, 0.016492843627929688, 0.0188140869140625, 0.021135330200195312, 0.023456573486328125, 0.025777816772460938, 0.02809906005859375, 0.030420303344726562, 0.032741546630859375, 0.03506278991699219, 0.037384033203125, 0.03970527648925781, 0.042026519775390625, 0.04434776306152344, 0.04666900634765625, 0.04899024963378906, 0.051311492919921875, 0.05363273620605469, 0.0559539794921875, 0.05827522277832031, 0.060596466064453125, 0.06291770935058594, 0.06523895263671875, 0.06756019592285156, 0.06988143920898438, 0.07220268249511719, 0.07452392578125]}, "gradients/decoder.transformer.h.14.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 4.0, 2.0, 3.0, 5.0, 2.0, 8.0, 7.0, 12.0, 21.0, 12.0, 22.0, 29.0, 39.0, 62.0, 61.0, 79.0, 94.0, 120.0, 159.0, 271.0, 537.0, 1652.0, 8494.0, 69726.0, 2092063.0, 914976.0, 48256.0, 6246.0, 1324.0, 477.0, 243.0, 181.0, 110.0, 90.0, 61.0, 47.0, 41.0, 38.0, 28.0, 19.0, 14.0, 20.0, 8.0, 18.0, 13.0, 5.0, 3.0, 5.0, 3.0, 5.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.148681640625, -0.14402389526367188, -0.13936614990234375, -0.13470840454101562, -0.1300506591796875, -0.12539291381835938, -0.12073516845703125, -0.11607742309570312, -0.111419677734375, -0.10676193237304688, -0.10210418701171875, -0.09744644165039062, -0.0927886962890625, -0.08813095092773438, -0.08347320556640625, -0.07881546020507812, -0.07415771484375, -0.06949996948242188, -0.06484222412109375, -0.060184478759765625, -0.0555267333984375, -0.050868988037109375, -0.04621124267578125, -0.041553497314453125, -0.036895751953125, -0.032238006591796875, -0.02758026123046875, -0.022922515869140625, -0.0182647705078125, -0.013607025146484375, -0.00894927978515625, -0.004291534423828125, 0.0003662109375, 0.005023956298828125, 0.00968170166015625, 0.014339447021484375, 0.0189971923828125, 0.023654937744140625, 0.02831268310546875, 0.032970428466796875, 0.037628173828125, 0.042285919189453125, 0.04694366455078125, 0.051601409912109375, 0.0562591552734375, 0.060916900634765625, 0.06557464599609375, 0.07023239135742188, 0.07489013671875, 0.07954788208007812, 0.08420562744140625, 0.08886337280273438, 0.0935211181640625, 0.09817886352539062, 0.10283660888671875, 0.10749435424804688, 0.112152099609375, 0.11680984497070312, 0.12146759033203125, 0.12612533569335938, 0.1307830810546875, 0.13544082641601562, 0.14009857177734375, 0.14475631713867188, 0.1494140625]}, "gradients/decoder.transformer.h.14.ln_1.weight": {"_type": "histogram", "values": [1.0, 3.0, 556.0, 457.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2634018361568451, -0.17517739534378052, -0.08695296943187714, 0.0012714564800262451, 0.08949589729309082, 0.1777203381061554, 0.2659447491168976, 0.35416921973228455, 0.44239363074302673, 0.5306180715560913, 0.6188424825668335, 0.7070668935775757, 0.7952913641929626, 0.8835158348083496, 0.9717402458190918, 1.059964656829834, 1.1481890678405762, 1.2364134788513184, 1.3246378898620605, 1.4128623008728027, 1.5010868310928345, 1.5893112421035767, 1.6775356531143188, 1.7657601833343506, 1.8539845943450928, 1.942209005355835, 2.030433416366577, 2.1186578273773193, 2.2068822383880615, 2.295106887817383, 2.383331298828125, 2.471555709838867, 2.5597798824310303, 2.6480042934417725, 2.7362287044525146, 2.824453115463257, 2.912677526473999, 3.0009021759033203, 3.0891265869140625, 3.1773509979248047, 3.265575408935547, 3.353799819946289, 3.4420242309570312, 3.5302486419677734, 3.6184730529785156, 3.706697463989258, 3.794921875, 3.8831465244293213, 3.9713706970214844, 4.059595108032227, 4.147819519042969, 4.236043930053711, 4.324268341064453, 4.412492752075195, 4.5007171630859375, 4.58894157409668, 4.67716646194458, 4.765390872955322, 4.8536152839660645, 4.941839694976807, 5.030064105987549, 5.118288516998291, 5.206512928009033, 5.294737339019775, 5.382961750030518]}, "gradients/decoder.transformer.h.14.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 4.0, 2.0, 1.0, 6.0, 11.0, 4.0, 9.0, 4.0, 13.0, 20.0, 17.0, 17.0, 34.0, 18.0, 33.0, 21.0, 37.0, 26.0, 36.0, 40.0, 36.0, 38.0, 36.0, 30.0, 35.0, 41.0, 36.0, 42.0, 36.0, 32.0, 23.0, 31.0, 18.0, 25.0, 28.0, 27.0, 23.0, 12.0, 15.0, 20.0, 15.0, 7.0, 11.0, 5.0, 12.0, 3.0, 10.0, 6.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.2570219039916992, -0.24954509735107422, -0.24206827580928802, -0.23459145426750183, -0.22711464762687683, -0.21963784098625183, -0.21216101944446564, -0.20468419790267944, -0.19720739126205444, -0.18973058462142944, -0.18225376307964325, -0.17477694153785706, -0.16730013489723206, -0.15982332825660706, -0.15234650671482086, -0.14486968517303467, -0.13739287853240967, -0.12991607189178467, -0.12243925034999847, -0.11496243625879288, -0.10748562216758728, -0.10000880807638168, -0.09253199398517609, -0.08505517989397049, -0.07757836580276489, -0.0701015517115593, -0.0626247376203537, -0.0551479235291481, -0.047671109437942505, -0.04019429534673691, -0.03271748125553131, -0.025240667164325714, -0.017763853073120117, -0.01028703898191452, -0.0028102248907089233, 0.004666589200496674, 0.01214340329170227, 0.019620217382907867, 0.027097031474113464, 0.03457384556531906, 0.04205065965652466, 0.049527473747730255, 0.05700428783893585, 0.06448110193014145, 0.07195791602134705, 0.07943473011255264, 0.08691154420375824, 0.09438835829496384, 0.10186517238616943, 0.10934198647737503, 0.11681880056858063, 0.12429561465978622, 0.13177242875099182, 0.13924923539161682, 0.14672605693340302, 0.1542028784751892, 0.1616796851158142, 0.1691564917564392, 0.1766333132982254, 0.1841101348400116, 0.1915869414806366, 0.1990637481212616, 0.2065405696630478, 0.21401739120483398, 0.22149419784545898]}, "gradients/decoder.transformer.h.13.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 2.0, 2.0, 5.0, 9.0, 3.0, 9.0, 13.0, 8.0, 17.0, 14.0, 33.0, 26.0, 36.0, 30.0, 28.0, 50.0, 47.0, 49.0, 51.0, 62.0, 47.0, 41.0, 48.0, 50.0, 40.0, 49.0, 29.0, 32.0, 31.0, 23.0, 27.0, 18.0, 17.0, 15.0, 7.0, 10.0, 7.0, 6.0, 9.0, 2.0, 4.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0271148681640625, -0.026256322860717773, -0.025397777557373047, -0.02453923225402832, -0.023680686950683594, -0.022822141647338867, -0.02196359634399414, -0.021105051040649414, -0.020246505737304688, -0.01938796043395996, -0.018529415130615234, -0.017670869827270508, -0.01681232452392578, -0.015953779220581055, -0.015095233917236328, -0.014236688613891602, -0.013378143310546875, -0.012519598007202148, -0.011661052703857422, -0.010802507400512695, -0.009943962097167969, -0.009085416793823242, -0.008226871490478516, -0.007368326187133789, -0.0065097808837890625, -0.005651235580444336, -0.004792690277099609, -0.003934144973754883, -0.0030755996704101562, -0.0022170543670654297, -0.0013585090637207031, -0.0004999637603759766, 0.00035858154296875, 0.0012171268463134766, 0.002075672149658203, 0.0029342174530029297, 0.0037927627563476562, 0.004651308059692383, 0.005509853363037109, 0.006368398666381836, 0.0072269439697265625, 0.008085489273071289, 0.008944034576416016, 0.009802579879760742, 0.010661125183105469, 0.011519670486450195, 0.012378215789794922, 0.013236761093139648, 0.014095306396484375, 0.014953851699829102, 0.015812397003173828, 0.016670942306518555, 0.01752948760986328, 0.018388032913208008, 0.019246578216552734, 0.02010512351989746, 0.020963668823242188, 0.021822214126586914, 0.02268075942993164, 0.023539304733276367, 0.024397850036621094, 0.02525639533996582, 0.026114940643310547, 0.026973485946655273, 0.02783203125]}, "gradients/decoder.transformer.h.13.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 5.0, 0.0, 8.0, 6.0, 9.0, 12.0, 11.0, 21.0, 28.0, 22.0, 38.0, 76.0, 126.0, 208.0, 345.0, 619.0, 1383.0, 2921.0, 7698.0, 24210.0, 98400.0, 631494.0, 2617935.0, 667117.0, 102523.0, 24796.0, 8036.0, 3075.0, 1394.0, 732.0, 372.0, 208.0, 157.0, 104.0, 52.0, 33.0, 25.0, 23.0, 14.0, 19.0, 13.0, 9.0, 6.0, 5.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0614013671875, -0.05938911437988281, -0.057376861572265625, -0.05536460876464844, -0.05335235595703125, -0.05134010314941406, -0.049327850341796875, -0.04731559753417969, -0.0453033447265625, -0.04329109191894531, -0.041278839111328125, -0.03926658630371094, -0.03725433349609375, -0.03524208068847656, -0.033229827880859375, -0.031217575073242188, -0.029205322265625, -0.027193069458007812, -0.025180816650390625, -0.023168563842773438, -0.02115631103515625, -0.019144058227539062, -0.017131805419921875, -0.015119552612304688, -0.0131072998046875, -0.011095046997070312, -0.009082794189453125, -0.0070705413818359375, -0.00505828857421875, -0.0030460357666015625, -0.001033782958984375, 0.0009784698486328125, 0.00299072265625, 0.0050029754638671875, 0.007015228271484375, 0.009027481079101562, 0.01103973388671875, 0.013051986694335938, 0.015064239501953125, 0.017076492309570312, 0.0190887451171875, 0.021100997924804688, 0.023113250732421875, 0.025125503540039062, 0.02713775634765625, 0.029150009155273438, 0.031162261962890625, 0.03317451477050781, 0.035186767578125, 0.03719902038574219, 0.039211273193359375, 0.04122352600097656, 0.04323577880859375, 0.04524803161621094, 0.047260284423828125, 0.04927253723144531, 0.0512847900390625, 0.05329704284667969, 0.055309295654296875, 0.05732154846191406, 0.05933380126953125, 0.06134605407714844, 0.06335830688476562, 0.06537055969238281, 0.0673828125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 2.0, 3.0, 4.0, 5.0, 10.0, 8.0, 17.0, 26.0, 35.0, 49.0, 46.0, 82.0, 94.0, 125.0, 177.0, 225.0, 311.0, 431.0, 488.0, 504.0, 379.0, 272.0, 203.0, 162.0, 108.0, 96.0, 65.0, 40.0, 39.0, 18.0, 12.0, 12.0, 3.0, 10.0, 8.0, 4.0, 3.0, 5.0, 1.0, 2.0, 4.0, 1.0, 0.0, 1.0], "bins": [-0.06707763671875, -0.06534576416015625, -0.0636138916015625, -0.06188201904296875, -0.060150146484375, -0.05841827392578125, -0.0566864013671875, -0.05495452880859375, -0.05322265625, -0.05149078369140625, -0.0497589111328125, -0.04802703857421875, -0.046295166015625, -0.04456329345703125, -0.0428314208984375, -0.04109954833984375, -0.03936767578125, -0.03763580322265625, -0.0359039306640625, -0.03417205810546875, -0.032440185546875, -0.03070831298828125, -0.0289764404296875, -0.02724456787109375, -0.0255126953125, -0.02378082275390625, -0.0220489501953125, -0.02031707763671875, -0.018585205078125, -0.01685333251953125, -0.0151214599609375, -0.01338958740234375, -0.01165771484375, -0.00992584228515625, -0.0081939697265625, -0.00646209716796875, -0.004730224609375, -0.00299835205078125, -0.0012664794921875, 0.00046539306640625, 0.002197265625, 0.00392913818359375, 0.0056610107421875, 0.00739288330078125, 0.009124755859375, 0.01085662841796875, 0.0125885009765625, 0.01432037353515625, 0.01605224609375, 0.01778411865234375, 0.0195159912109375, 0.02124786376953125, 0.022979736328125, 0.02471160888671875, 0.0264434814453125, 0.02817535400390625, 0.0299072265625, 0.03163909912109375, 0.0333709716796875, 0.03510284423828125, 0.036834716796875, 0.03856658935546875, 0.0402984619140625, 0.04203033447265625, 0.04376220703125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 0.0, 4.0, 9.0, 3.0, 6.0, 2.0, 8.0, 9.0, 13.0, 12.0, 27.0, 34.0, 52.0, 69.0, 109.0, 146.0, 261.0, 403.0, 1053.0, 4581.0, 45723.0, 1264050.0, 2773215.0, 94337.0, 7413.0, 1402.0, 522.0, 235.0, 182.0, 114.0, 77.0, 77.0, 41.0, 23.0, 26.0, 17.0, 11.0, 5.0, 6.0, 9.0, 1.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1474609375, -0.14221763610839844, -0.13697433471679688, -0.1317310333251953, -0.12648773193359375, -0.12124443054199219, -0.11600112915039062, -0.11075782775878906, -0.1055145263671875, -0.10027122497558594, -0.09502792358398438, -0.08978462219238281, -0.08454132080078125, -0.07929801940917969, -0.07405471801757812, -0.06881141662597656, -0.063568115234375, -0.05832481384277344, -0.053081512451171875, -0.04783821105957031, -0.04259490966796875, -0.03735160827636719, -0.032108306884765625, -0.026865005493164062, -0.0216217041015625, -0.016378402709960938, -0.011135101318359375, -0.0058917999267578125, -0.00064849853515625, 0.0045948028564453125, 0.009838104248046875, 0.015081405639648438, 0.02032470703125, 0.025568008422851562, 0.030811309814453125, 0.03605461120605469, 0.04129791259765625, 0.04654121398925781, 0.051784515380859375, 0.05702781677246094, 0.0622711181640625, 0.06751441955566406, 0.07275772094726562, 0.07800102233886719, 0.08324432373046875, 0.08848762512207031, 0.09373092651367188, 0.09897422790527344, 0.104217529296875, 0.10946083068847656, 0.11470413208007812, 0.11994743347167969, 0.12519073486328125, 0.1304340362548828, 0.13567733764648438, 0.14092063903808594, 0.1461639404296875, 0.15140724182128906, 0.15665054321289062, 0.1618938446044922, 0.16713714599609375, 0.1723804473876953, 0.17762374877929688, 0.18286705017089844, 0.1881103515625]}, "gradients/decoder.transformer.h.13.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 7.0, 28.0, 77.0, 148.0, 221.0, 229.0, 147.0, 102.0, 42.0, 10.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6502172946929932, -0.6286511421203613, -0.6070850491523743, -0.5855188965797424, -0.5639528036117554, -0.5423866510391235, -0.5208204984664917, -0.49925437569618225, -0.4776882529258728, -0.45612213015556335, -0.4345560073852539, -0.41298985481262207, -0.3914237320423126, -0.3698576092720032, -0.34829145669937134, -0.3267253339290619, -0.30515921115875244, -0.283593088388443, -0.26202696561813354, -0.2404608130455017, -0.21889469027519226, -0.1973285675048828, -0.17576242983341217, -0.15419629216194153, -0.13263016939163208, -0.11106403917074203, -0.08949790894985199, -0.06793177872896194, -0.0463656485080719, -0.024799518287181854, -0.003233388066291809, 0.018332749605178833, 0.03989893198013306, 0.0614650622010231, 0.08303119242191315, 0.10459732264280319, 0.12616345286369324, 0.14772957563400269, 0.16929571330547333, 0.19086185097694397, 0.21242797374725342, 0.23399409651756287, 0.2555602192878723, 0.27712637186050415, 0.2986924946308136, 0.32025861740112305, 0.3418247699737549, 0.36339089274406433, 0.3849570155143738, 0.4065231382846832, 0.4280892610549927, 0.4496554136276245, 0.47122153639793396, 0.4927876591682434, 0.5143538117408752, 0.5359199047088623, 0.5574860572814941, 0.579052209854126, 0.600618302822113, 0.6221844553947449, 0.6437505483627319, 0.6653167009353638, 0.6868828535079956, 0.7084490060806274, 0.7300150990486145]}, "gradients/decoder.transformer.h.13.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 2.0, 1.0, 6.0, 2.0, 9.0, 7.0, 7.0, 13.0, 12.0, 14.0, 14.0, 19.0, 11.0, 15.0, 19.0, 31.0, 31.0, 40.0, 46.0, 34.0, 41.0, 51.0, 37.0, 32.0, 29.0, 45.0, 26.0, 44.0, 31.0, 42.0, 24.0, 45.0, 23.0, 41.0, 27.0, 18.0, 11.0, 17.0, 9.0, 13.0, 8.0, 12.0, 12.0, 5.0, 8.0, 4.0, 5.0, 5.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.17017292976379395, -0.16466975212097168, -0.15916657447814941, -0.15366339683532715, -0.14816021919250488, -0.1426570564508438, -0.13715387880802155, -0.13165070116519928, -0.12614752352237701, -0.12064434587955475, -0.11514116823673248, -0.10963799804449081, -0.10413482040166855, -0.09863164275884628, -0.09312847256660461, -0.08762529492378235, -0.08212211728096008, -0.07661893963813782, -0.07111576199531555, -0.06561259180307388, -0.06010941416025162, -0.05460623651742935, -0.049103062599897385, -0.04359988868236542, -0.03809671103954315, -0.032593533396720886, -0.02709035947918892, -0.021587183699011803, -0.016084007918834686, -0.01058083213865757, -0.0050776563584804535, 0.00042551755905151367, 0.005928695201873779, 0.011431870982050896, 0.016935046762228012, 0.02243822254240513, 0.027941398322582245, 0.03344457596540451, 0.03894774988293648, 0.044450923800468445, 0.04995410144329071, 0.055457279086112976, 0.06096045300364494, 0.06646362692117691, 0.07196680456399918, 0.07746998220682144, 0.08297315239906311, 0.08847633004188538, 0.09397950768470764, 0.09948268532752991, 0.10498586297035217, 0.11048903316259384, 0.11599221080541611, 0.12149538844823837, 0.12699855864048004, 0.1325017362833023, 0.13800491392612457, 0.14350809156894684, 0.1490112692117691, 0.15451444685459137, 0.16001760959625244, 0.1655207872390747, 0.17102396488189697, 0.17652714252471924, 0.1820303201675415]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 1.0, 6.0, 2.0, 5.0, 9.0, 10.0, 12.0, 14.0, 15.0, 27.0, 26.0, 38.0, 27.0, 20.0, 42.0, 45.0, 43.0, 63.0, 42.0, 62.0, 56.0, 36.0, 46.0, 43.0, 49.0, 38.0, 20.0, 32.0, 30.0, 29.0, 24.0, 20.0, 14.0, 10.0, 13.0, 7.0, 8.0, 5.0, 4.0, 3.0, 4.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027252197265625, -0.026406288146972656, -0.025560379028320312, -0.02471446990966797, -0.023868560791015625, -0.02302265167236328, -0.022176742553710938, -0.021330833435058594, -0.02048492431640625, -0.019639015197753906, -0.018793106079101562, -0.01794719696044922, -0.017101287841796875, -0.01625537872314453, -0.015409469604492188, -0.014563560485839844, -0.0137176513671875, -0.012871742248535156, -0.012025833129882812, -0.011179924011230469, -0.010334014892578125, -0.009488105773925781, -0.008642196655273438, -0.007796287536621094, -0.00695037841796875, -0.006104469299316406, -0.0052585601806640625, -0.004412651062011719, -0.003566741943359375, -0.0027208328247070312, -0.0018749237060546875, -0.0010290145874023438, -0.00018310546875, 0.0006628036499023438, 0.0015087127685546875, 0.0023546218872070312, 0.003200531005859375, 0.004046440124511719, 0.0048923492431640625, 0.005738258361816406, 0.00658416748046875, 0.007430076599121094, 0.008275985717773438, 0.009121894836425781, 0.009967803955078125, 0.010813713073730469, 0.011659622192382812, 0.012505531311035156, 0.0133514404296875, 0.014197349548339844, 0.015043258666992188, 0.01588916778564453, 0.016735076904296875, 0.01758098602294922, 0.018426895141601562, 0.019272804260253906, 0.02011871337890625, 0.020964622497558594, 0.021810531616210938, 0.02265644073486328, 0.023502349853515625, 0.02434825897216797, 0.025194168090820312, 0.026040077209472656, 0.026885986328125]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 6.0, 9.0, 12.0, 14.0, 20.0, 25.0, 46.0, 61.0, 92.0, 159.0, 173.0, 301.0, 464.0, 658.0, 1020.0, 1590.0, 2497.0, 3972.0, 6484.0, 10238.0, 17171.0, 28866.0, 48545.0, 89758.0, 202541.0, 359608.0, 121558.0, 61583.0, 35763.0, 21405.0, 12719.0, 7774.0, 4849.0, 3029.0, 1890.0, 1233.0, 786.0, 541.0, 376.0, 210.0, 170.0, 122.0, 71.0, 49.0, 33.0, 28.0, 17.0, 7.0, 9.0, 5.0, 3.0, 3.0, 4.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00020313262939453125, -0.00019682571291923523, -0.0001905187964439392, -0.0001842118799686432, -0.00017790496349334717, -0.00017159804701805115, -0.00016529113054275513, -0.0001589842140674591, -0.00015267729759216309, -0.00014637038111686707, -0.00014006346464157104, -0.00013375654816627502, -0.000127449631690979, -0.00012114271521568298, -0.00011483579874038696, -0.00010852888226509094, -0.00010222196578979492, -9.59150493144989e-05, -8.960813283920288e-05, -8.330121636390686e-05, -7.699429988861084e-05, -7.068738341331482e-05, -6.43804669380188e-05, -5.807355046272278e-05, -5.176663398742676e-05, -4.545971751213074e-05, -3.915280103683472e-05, -3.2845884561538696e-05, -2.6538968086242676e-05, -2.0232051610946655e-05, -1.3925135135650635e-05, -7.618218660354614e-06, -1.3113021850585938e-06, 4.995614290237427e-06, 1.1302530765533447e-05, 1.7609447240829468e-05, 2.3916363716125488e-05, 3.022328019142151e-05, 3.653019666671753e-05, 4.283711314201355e-05, 4.914402961730957e-05, 5.545094609260559e-05, 6.175786256790161e-05, 6.806477904319763e-05, 7.437169551849365e-05, 8.067861199378967e-05, 8.69855284690857e-05, 9.329244494438171e-05, 9.959936141967773e-05, 0.00010590627789497375, 0.00011221319437026978, 0.0001185201108455658, 0.00012482702732086182, 0.00013113394379615784, 0.00013744086027145386, 0.00014374777674674988, 0.0001500546932220459, 0.00015636160969734192, 0.00016266852617263794, 0.00016897544264793396, 0.00017528235912322998, 0.000181589275598526, 0.00018789619207382202, 0.00019420310854911804, 0.00020051002502441406]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 0.0, 5.0, 3.0, 5.0, 4.0, 2.0, 10.0, 11.0, 6.0, 11.0, 21.0, 22.0, 31.0, 20.0, 17.0, 15.0, 22.0, 31.0, 27.0, 32.0, 32.0, 42.0, 32.0, 40.0, 41.0, 1065.0, 30.0, 44.0, 36.0, 41.0, 43.0, 39.0, 28.0, 24.0, 28.0, 25.0, 14.0, 21.0, 16.0, 27.0, 17.0, 10.0, 10.0, 1.0, 8.0, 6.0, 5.0, 4.0, 4.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.0216827392578125, -0.02103400230407715, -0.020385265350341797, -0.019736528396606445, -0.019087791442871094, -0.018439054489135742, -0.01779031753540039, -0.01714158058166504, -0.016492843627929688, -0.015844106674194336, -0.015195369720458984, -0.014546632766723633, -0.013897895812988281, -0.01324915885925293, -0.012600421905517578, -0.011951684951782227, -0.011302947998046875, -0.010654211044311523, -0.010005474090576172, -0.00935673713684082, -0.008708000183105469, -0.008059263229370117, -0.007410526275634766, -0.006761789321899414, -0.0061130523681640625, -0.005464315414428711, -0.004815578460693359, -0.004166841506958008, -0.0035181045532226562, -0.0028693675994873047, -0.002220630645751953, -0.0015718936920166016, -0.00092315673828125, -0.00027441978454589844, 0.0003743171691894531, 0.0010230541229248047, 0.0016717910766601562, 0.002320528030395508, 0.0029692649841308594, 0.003618001937866211, 0.0042667388916015625, 0.004915475845336914, 0.005564212799072266, 0.006212949752807617, 0.006861686706542969, 0.00751042366027832, 0.008159160614013672, 0.008807897567749023, 0.009456634521484375, 0.010105371475219727, 0.010754108428955078, 0.01140284538269043, 0.012051582336425781, 0.012700319290161133, 0.013349056243896484, 0.013997793197631836, 0.014646530151367188, 0.015295267105102539, 0.01594400405883789, 0.016592741012573242, 0.017241477966308594, 0.017890214920043945, 0.018538951873779297, 0.01918768882751465, 0.01983642578125]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 3.0, 2.0, 2.0, 3.0, 5.0, 1.0, 6.0, 6.0, 5.0, 8.0, 7.0, 18.0, 18.0, 19.0, 17.0, 20.0, 19.0, 24.0, 26.0, 27.0, 34.0, 56.0, 90.0, 158.0, 514.0, 2300.0, 25509.0, 2061604.0, 5085.0, 871.0, 238.0, 105.0, 55.0, 30.0, 22.0, 39.0, 18.0, 13.0, 25.0, 27.0, 22.0, 25.0, 17.0, 5.0, 8.0, 9.0, 3.0, 6.0, 6.0, 3.0, 3.0, 2.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.2113323211669922e-05, -2.1404586732387543e-05, -2.0695850253105164e-05, -1.9987113773822784e-05, -1.9278377294540405e-05, -1.8569640815258026e-05, -1.7860904335975647e-05, -1.7152167856693268e-05, -1.644343137741089e-05, -1.573469489812851e-05, -1.502595841884613e-05, -1.4317221939563751e-05, -1.3608485460281372e-05, -1.2899748980998993e-05, -1.2191012501716614e-05, -1.1482276022434235e-05, -1.0773539543151855e-05, -1.0064803063869476e-05, -9.356066584587097e-06, -8.647330105304718e-06, -7.938593626022339e-06, -7.22985714673996e-06, -6.5211206674575806e-06, -5.812384188175201e-06, -5.103647708892822e-06, -4.394911229610443e-06, -3.686174750328064e-06, -2.977438271045685e-06, -2.2687017917633057e-06, -1.5599653124809265e-06, -8.512288331985474e-07, -1.424923539161682e-07, 5.662441253662109e-07, 1.27498060464859e-06, 1.9837170839309692e-06, 2.6924535632133484e-06, 3.4011900424957275e-06, 4.109926521778107e-06, 4.818663001060486e-06, 5.527399480342865e-06, 6.236135959625244e-06, 6.944872438907623e-06, 7.653608918190002e-06, 8.362345397472382e-06, 9.07108187675476e-06, 9.77981835603714e-06, 1.0488554835319519e-05, 1.1197291314601898e-05, 1.1906027793884277e-05, 1.2614764273166656e-05, 1.3323500752449036e-05, 1.4032237231731415e-05, 1.4740973711013794e-05, 1.5449710190296173e-05, 1.6158446669578552e-05, 1.686718314886093e-05, 1.757591962814331e-05, 1.828465610742569e-05, 1.899339258670807e-05, 1.9702129065990448e-05, 2.0410865545272827e-05, 2.1119602024555206e-05, 2.1828338503837585e-05, 2.2537074983119965e-05, 2.3245811462402344e-05]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 1.0, 6.0, 2.0, 5.0, 9.0, 10.0, 12.0, 14.0, 15.0, 27.0, 26.0, 38.0, 27.0, 20.0, 42.0, 45.0, 43.0, 63.0, 42.0, 62.0, 56.0, 36.0, 46.0, 43.0, 49.0, 38.0, 20.0, 32.0, 30.0, 29.0, 24.0, 20.0, 14.0, 10.0, 13.0, 7.0, 8.0, 5.0, 4.0, 3.0, 4.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027252197265625, -0.026406288146972656, -0.025560379028320312, -0.02471446990966797, -0.023868560791015625, -0.02302265167236328, -0.022176742553710938, -0.021330833435058594, -0.02048492431640625, -0.019639015197753906, -0.018793106079101562, -0.01794719696044922, -0.017101287841796875, -0.01625537872314453, -0.015409469604492188, -0.014563560485839844, -0.0137176513671875, -0.012871742248535156, -0.012025833129882812, -0.011179924011230469, -0.010334014892578125, -0.009488105773925781, -0.008642196655273438, -0.007796287536621094, -0.00695037841796875, -0.006104469299316406, -0.0052585601806640625, -0.004412651062011719, -0.003566741943359375, -0.0027208328247070312, -0.0018749237060546875, -0.0010290145874023438, -0.00018310546875, 0.0006628036499023438, 0.0015087127685546875, 0.0023546218872070312, 0.003200531005859375, 0.004046440124511719, 0.0048923492431640625, 0.005738258361816406, 0.00658416748046875, 0.007430076599121094, 0.008275985717773438, 0.009121894836425781, 0.009967803955078125, 0.010813713073730469, 0.011659622192382812, 0.012505531311035156, 0.0133514404296875, 0.014197349548339844, 0.015043258666992188, 0.01588916778564453, 0.016735076904296875, 0.01758098602294922, 0.018426895141601562, 0.019272804260253906, 0.02011871337890625, 0.020964622497558594, 0.021810531616210938, 0.02265644073486328, 0.023502349853515625, 0.02434825897216797, 0.025194168090820312, 0.026040077209472656, 0.026885986328125]}, "gradients/decoder.transformer.h.13.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 4.0, 1.0, 6.0, 1.0, 3.0, 3.0, 3.0, 11.0, 13.0, 26.0, 37.0, 47.0, 78.0, 125.0, 157.0, 235.0, 378.0, 580.0, 937.0, 1565.0, 2815.0, 5028.0, 9923.0, 21115.0, 55927.0, 217929.0, 517285.0, 138601.0, 40914.0, 16528.0, 7966.0, 4273.0, 2278.0, 1371.0, 829.0, 549.0, 344.0, 210.0, 152.0, 99.0, 73.0, 48.0, 37.0, 23.0, 14.0, 10.0, 5.0, 4.0, 3.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052581787109375, -0.05090475082397461, -0.04922771453857422, -0.04755067825317383, -0.04587364196777344, -0.04419660568237305, -0.042519569396972656, -0.040842533111572266, -0.039165496826171875, -0.037488460540771484, -0.035811424255371094, -0.0341343879699707, -0.03245735168457031, -0.030780315399169922, -0.02910327911376953, -0.02742624282836914, -0.02574920654296875, -0.02407217025756836, -0.02239513397216797, -0.020718097686767578, -0.019041061401367188, -0.017364025115966797, -0.015686988830566406, -0.014009952545166016, -0.012332916259765625, -0.010655879974365234, -0.008978843688964844, -0.007301807403564453, -0.0056247711181640625, -0.003947734832763672, -0.0022706985473632812, -0.0005936622619628906, 0.0010833740234375, 0.0027604103088378906, 0.004437446594238281, 0.006114482879638672, 0.0077915191650390625, 0.009468555450439453, 0.011145591735839844, 0.012822628021240234, 0.014499664306640625, 0.016176700592041016, 0.017853736877441406, 0.019530773162841797, 0.021207809448242188, 0.022884845733642578, 0.02456188201904297, 0.02623891830444336, 0.02791595458984375, 0.02959299087524414, 0.03127002716064453, 0.03294706344604492, 0.03462409973144531, 0.0363011360168457, 0.037978172302246094, 0.039655208587646484, 0.041332244873046875, 0.043009281158447266, 0.044686317443847656, 0.04636335372924805, 0.04804039001464844, 0.04971742630004883, 0.05139446258544922, 0.05307149887084961, 0.05474853515625]}, "gradients/decoder.transformer.h.13.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 4.0, 1.0, 3.0, 3.0, 5.0, 6.0, 6.0, 11.0, 7.0, 9.0, 18.0, 15.0, 16.0, 18.0, 19.0, 25.0, 26.0, 33.0, 39.0, 39.0, 42.0, 57.0, 80.0, 129.0, 209.0, 1387.0, 231.0, 135.0, 61.0, 60.0, 65.0, 41.0, 35.0, 31.0, 24.0, 28.0, 16.0, 25.0, 19.0, 17.0, 9.0, 10.0, 4.0, 10.0, 10.0, 2.0, 8.0, 6.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.07952880859375, -0.07708740234375, -0.07464599609375, -0.07220458984375, -0.06976318359375, -0.06732177734375, -0.06488037109375, -0.06243896484375, -0.05999755859375, -0.05755615234375, -0.05511474609375, -0.05267333984375, -0.05023193359375, -0.04779052734375, -0.04534912109375, -0.04290771484375, -0.04046630859375, -0.03802490234375, -0.03558349609375, -0.03314208984375, -0.03070068359375, -0.02825927734375, -0.02581787109375, -0.02337646484375, -0.02093505859375, -0.01849365234375, -0.01605224609375, -0.01361083984375, -0.01116943359375, -0.00872802734375, -0.00628662109375, -0.00384521484375, -0.00140380859375, 0.00103759765625, 0.00347900390625, 0.00592041015625, 0.00836181640625, 0.01080322265625, 0.01324462890625, 0.01568603515625, 0.01812744140625, 0.02056884765625, 0.02301025390625, 0.02545166015625, 0.02789306640625, 0.03033447265625, 0.03277587890625, 0.03521728515625, 0.03765869140625, 0.04010009765625, 0.04254150390625, 0.04498291015625, 0.04742431640625, 0.04986572265625, 0.05230712890625, 0.05474853515625, 0.05718994140625, 0.05963134765625, 0.06207275390625, 0.06451416015625, 0.06695556640625, 0.06939697265625, 0.07183837890625, 0.07427978515625, 0.07672119140625]}, "gradients/decoder.transformer.h.13.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 3.0, 1.0, 7.0, 3.0, 11.0, 6.0, 9.0, 17.0, 15.0, 22.0, 31.0, 31.0, 53.0, 60.0, 79.0, 128.0, 126.0, 191.0, 291.0, 593.0, 2332.0, 13959.0, 240407.0, 2804152.0, 73014.0, 7337.0, 1379.0, 466.0, 245.0, 165.0, 129.0, 89.0, 88.0, 69.0, 56.0, 34.0, 23.0, 20.0, 16.0, 24.0, 11.0, 2.0, 4.0, 6.0, 3.0, 3.0, 4.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1641845703125, -0.15925979614257812, -0.15433502197265625, -0.14941024780273438, -0.1444854736328125, -0.13956069946289062, -0.13463592529296875, -0.12971115112304688, -0.124786376953125, -0.11986160278320312, -0.11493682861328125, -0.11001205444335938, -0.1050872802734375, -0.10016250610351562, -0.09523773193359375, -0.09031295776367188, -0.08538818359375, -0.08046340942382812, -0.07553863525390625, -0.07061386108398438, -0.0656890869140625, -0.060764312744140625, -0.05583953857421875, -0.050914764404296875, -0.045989990234375, -0.041065216064453125, -0.03614044189453125, -0.031215667724609375, -0.0262908935546875, -0.021366119384765625, -0.01644134521484375, -0.011516571044921875, -0.006591796875, -0.001667022705078125, 0.00325775146484375, 0.008182525634765625, 0.0131072998046875, 0.018032073974609375, 0.02295684814453125, 0.027881622314453125, 0.032806396484375, 0.037731170654296875, 0.04265594482421875, 0.047580718994140625, 0.0525054931640625, 0.057430267333984375, 0.06235504150390625, 0.06727981567382812, 0.07220458984375, 0.07712936401367188, 0.08205413818359375, 0.08697891235351562, 0.0919036865234375, 0.09682846069335938, 0.10175323486328125, 0.10667800903320312, 0.111602783203125, 0.11652755737304688, 0.12145233154296875, 0.12637710571289062, 0.1313018798828125, 0.13622665405273438, 0.14115142822265625, 0.14607620239257812, 0.1510009765625]}, "gradients/decoder.transformer.h.13.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 4.0, 4.0, 7.0, 16.0, 16.0, 40.0, 40.0, 68.0, 76.0, 107.0, 118.0, 125.0, 109.0, 87.0, 67.0, 46.0, 33.0, 16.0, 17.0, 6.0, 3.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2966783940792084, -0.2899196743965149, -0.2831609547138214, -0.27640220522880554, -0.26964348554611206, -0.2628847658634186, -0.2561260461807251, -0.24936731159687042, -0.24260857701301575, -0.23584985733032227, -0.2290911227464676, -0.2223324030637741, -0.21557366847991943, -0.20881494879722595, -0.20205621421337128, -0.1952974945306778, -0.18853875994682312, -0.18178004026412964, -0.17502130568027496, -0.16826258599758148, -0.1615038514137268, -0.15474513173103333, -0.14798639714717865, -0.14122767746448517, -0.1344689577817917, -0.1277102380990982, -0.12095150351524353, -0.11419277638196945, -0.10743404924869537, -0.10067532956600189, -0.09391659498214722, -0.08715787529945374, -0.08039914071559906, -0.07364041358232498, -0.0668816864490509, -0.060122959315776825, -0.05336423218250275, -0.04660550877451897, -0.03984678164124489, -0.03308805450797081, -0.02632932737469673, -0.019570600241422653, -0.01281187403947115, -0.006053147837519646, 0.0007055792957544327, 0.007464304566383362, 0.01422303169965744, 0.02098175883293152, 0.027740485966205597, 0.034499213099479675, 0.041257940232753754, 0.04801666736602783, 0.05477539449930191, 0.06153411790728569, 0.06829284131526947, 0.07505157589912415, 0.08181029558181763, 0.0885690227150917, 0.09532774984836578, 0.10208647698163986, 0.10884520411491394, 0.11560392379760742, 0.1223626583814621, 0.12912137806415558, 0.13588011264801025]}, "gradients/decoder.transformer.h.13.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 0.0, 4.0, 3.0, 4.0, 5.0, 14.0, 14.0, 14.0, 12.0, 21.0, 23.0, 19.0, 21.0, 34.0, 33.0, 41.0, 30.0, 42.0, 29.0, 33.0, 42.0, 53.0, 48.0, 50.0, 44.0, 34.0, 39.0, 42.0, 27.0, 35.0, 25.0, 23.0, 27.0, 20.0, 22.0, 19.0, 17.0, 7.0, 7.0, 5.0, 7.0, 2.0, 7.0, 3.0, 0.0, 4.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.25115352869033813, -0.2427007555961609, -0.23424799740314484, -0.2257952243089676, -0.21734246611595154, -0.2088896930217743, -0.20043691992759705, -0.1919841468334198, -0.18353138864040375, -0.1750786155462265, -0.16662585735321045, -0.1581730842590332, -0.14972031116485596, -0.1412675529718399, -0.13281477987766266, -0.12436201423406601, -0.11590924859046936, -0.10745648294687271, -0.09900371730327606, -0.09055094420909882, -0.08209817856550217, -0.07364541292190552, -0.06519263982772827, -0.05673987418413162, -0.04828710854053497, -0.039834342896938324, -0.031381573528051376, -0.022928806021809578, -0.01447603851556778, -0.00602327287197113, 0.0024294964969158173, 0.010882265865802765, 0.019335031509399414, 0.027787799015641212, 0.03624056652188301, 0.04469333589076996, 0.05314610153436661, 0.06159886717796326, 0.0700516402721405, 0.07850440591573715, 0.0869571715593338, 0.09540993720293045, 0.1038627028465271, 0.11231547594070435, 0.120768241584301, 0.12922100722789764, 0.1376737803220749, 0.14612653851509094, 0.1545793116092682, 0.16303208470344543, 0.1714848428964615, 0.17993761599063873, 0.18839037418365479, 0.19684314727783203, 0.20529592037200928, 0.21374869346618652, 0.22220145165920258, 0.23065422475337982, 0.23910698294639587, 0.24755975604057312, 0.25601252913475037, 0.2644652724266052, 0.27291804552078247, 0.2813708186149597, 0.28982359170913696]}, "gradients/decoder.transformer.h.12.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 6.0, 1.0, 2.0, 3.0, 4.0, 8.0, 8.0, 10.0, 17.0, 16.0, 20.0, 27.0, 23.0, 29.0, 28.0, 31.0, 48.0, 54.0, 48.0, 45.0, 61.0, 57.0, 47.0, 56.0, 27.0, 38.0, 46.0, 33.0, 36.0, 35.0, 25.0, 23.0, 18.0, 14.0, 13.0, 15.0, 7.0, 10.0, 8.0, 2.0, 4.0, 5.0, 2.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0294036865234375, -0.028504371643066406, -0.027605056762695312, -0.02670574188232422, -0.025806427001953125, -0.02490711212158203, -0.024007797241210938, -0.023108482360839844, -0.02220916748046875, -0.021309852600097656, -0.020410537719726562, -0.01951122283935547, -0.018611907958984375, -0.01771259307861328, -0.016813278198242188, -0.015913963317871094, -0.0150146484375, -0.014115333557128906, -0.013216018676757812, -0.012316703796386719, -0.011417388916015625, -0.010518074035644531, -0.009618759155273438, -0.008719444274902344, -0.00782012939453125, -0.006920814514160156, -0.0060214996337890625, -0.005122184753417969, -0.004222869873046875, -0.0033235549926757812, -0.0024242401123046875, -0.0015249252319335938, -0.0006256103515625, 0.00027370452880859375, 0.0011730194091796875, 0.0020723342895507812, 0.002971649169921875, 0.0038709640502929688, 0.0047702789306640625, 0.005669593811035156, 0.00656890869140625, 0.007468223571777344, 0.008367538452148438, 0.009266853332519531, 0.010166168212890625, 0.011065483093261719, 0.011964797973632812, 0.012864112854003906, 0.013763427734375, 0.014662742614746094, 0.015562057495117188, 0.01646137237548828, 0.017360687255859375, 0.01826000213623047, 0.019159317016601562, 0.020058631896972656, 0.02095794677734375, 0.021857261657714844, 0.022756576538085938, 0.02365589141845703, 0.024555206298828125, 0.02545452117919922, 0.026353836059570312, 0.027253150939941406, 0.0281524658203125]}, "gradients/decoder.transformer.h.12.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 5.0, 7.0, 7.0, 11.0, 9.0, 18.0, 35.0, 58.0, 95.0, 173.0, 383.0, 1062.0, 3447.0, 15253.0, 123775.0, 2713347.0, 1259278.0, 63529.0, 9724.0, 2472.0, 814.0, 364.0, 168.0, 90.0, 49.0, 31.0, 24.0, 20.0, 7.0, 8.0, 5.0, 4.0, 3.0, 1.0, 3.0, 2.0, 0.0, 2.0, 4.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09210205078125, -0.08867359161376953, -0.08524513244628906, -0.0818166732788086, -0.07838821411132812, -0.07495975494384766, -0.07153129577636719, -0.06810283660888672, -0.06467437744140625, -0.06124591827392578, -0.05781745910644531, -0.054388999938964844, -0.050960540771484375, -0.047532081604003906, -0.04410362243652344, -0.04067516326904297, -0.0372467041015625, -0.03381824493408203, -0.030389785766601562, -0.026961326599121094, -0.023532867431640625, -0.020104408264160156, -0.016675949096679688, -0.013247489929199219, -0.00981903076171875, -0.006390571594238281, -0.0029621124267578125, 0.00046634674072265625, 0.003894805908203125, 0.007323265075683594, 0.010751724243164062, 0.014180183410644531, 0.017608642578125, 0.02103710174560547, 0.024465560913085938, 0.027894020080566406, 0.031322479248046875, 0.034750938415527344, 0.03817939758300781, 0.04160785675048828, 0.04503631591796875, 0.04846477508544922, 0.05189323425292969, 0.055321693420410156, 0.058750152587890625, 0.062178611755371094, 0.06560707092285156, 0.06903553009033203, 0.0724639892578125, 0.07589244842529297, 0.07932090759277344, 0.0827493667602539, 0.08617782592773438, 0.08960628509521484, 0.09303474426269531, 0.09646320343017578, 0.09989166259765625, 0.10332012176513672, 0.10674858093261719, 0.11017704010009766, 0.11360549926757812, 0.1170339584350586, 0.12046241760253906, 0.12389087677001953, 0.1273193359375]}, "gradients/decoder.transformer.h.12.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 1.0, 3.0, 2.0, 12.0, 5.0, 19.0, 13.0, 17.0, 32.0, 39.0, 46.0, 67.0, 121.0, 140.0, 185.0, 261.0, 324.0, 440.0, 509.0, 471.0, 342.0, 272.0, 205.0, 145.0, 114.0, 85.0, 53.0, 37.0, 35.0, 26.0, 15.0, 7.0, 8.0, 7.0, 7.0, 4.0, 1.0, 3.0, 2.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.059539794921875, -0.05786561965942383, -0.056191444396972656, -0.054517269134521484, -0.05284309387207031, -0.05116891860961914, -0.04949474334716797, -0.0478205680847168, -0.046146392822265625, -0.04447221755981445, -0.04279804229736328, -0.04112386703491211, -0.03944969177246094, -0.037775516510009766, -0.036101341247558594, -0.03442716598510742, -0.03275299072265625, -0.031078815460205078, -0.029404640197753906, -0.027730464935302734, -0.026056289672851562, -0.02438211441040039, -0.02270793914794922, -0.021033763885498047, -0.019359588623046875, -0.017685413360595703, -0.01601123809814453, -0.01433706283569336, -0.012662887573242188, -0.010988712310791016, -0.009314537048339844, -0.007640361785888672, -0.0059661865234375, -0.004292011260986328, -0.0026178359985351562, -0.0009436607360839844, 0.0007305145263671875, 0.0024046897888183594, 0.004078865051269531, 0.005753040313720703, 0.007427215576171875, 0.009101390838623047, 0.010775566101074219, 0.01244974136352539, 0.014123916625976562, 0.015798091888427734, 0.017472267150878906, 0.019146442413330078, 0.02082061767578125, 0.022494792938232422, 0.024168968200683594, 0.025843143463134766, 0.027517318725585938, 0.02919149398803711, 0.03086566925048828, 0.03253984451293945, 0.034214019775390625, 0.0358881950378418, 0.03756237030029297, 0.03923654556274414, 0.04091072082519531, 0.042584896087646484, 0.044259071350097656, 0.04593324661254883, 0.047607421875]}, "gradients/decoder.transformer.h.12.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 4.0, 9.0, 8.0, 9.0, 12.0, 17.0, 37.0, 30.0, 54.0, 68.0, 100.0, 162.0, 289.0, 578.0, 1693.0, 10081.0, 181859.0, 3567701.0, 410653.0, 16949.0, 2394.0, 695.0, 317.0, 180.0, 114.0, 56.0, 65.0, 39.0, 29.0, 19.0, 13.0, 12.0, 12.0, 9.0, 2.0, 4.0, 2.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1671142578125, -0.1614704132080078, -0.15582656860351562, -0.15018272399902344, -0.14453887939453125, -0.13889503479003906, -0.13325119018554688, -0.1276073455810547, -0.1219635009765625, -0.11631965637207031, -0.11067581176757812, -0.10503196716308594, -0.09938812255859375, -0.09374427795410156, -0.08810043334960938, -0.08245658874511719, -0.076812744140625, -0.07116889953613281, -0.06552505493164062, -0.05988121032714844, -0.05423736572265625, -0.04859352111816406, -0.042949676513671875, -0.03730583190917969, -0.0316619873046875, -0.026018142700195312, -0.020374298095703125, -0.014730453491210938, -0.00908660888671875, -0.0034427642822265625, 0.002201080322265625, 0.007844924926757812, 0.01348876953125, 0.019132614135742188, 0.024776458740234375, 0.030420303344726562, 0.03606414794921875, 0.04170799255371094, 0.047351837158203125, 0.05299568176269531, 0.0586395263671875, 0.06428337097167969, 0.06992721557617188, 0.07557106018066406, 0.08121490478515625, 0.08685874938964844, 0.09250259399414062, 0.09814643859863281, 0.103790283203125, 0.10943412780761719, 0.11507797241210938, 0.12072181701660156, 0.12636566162109375, 0.13200950622558594, 0.13765335083007812, 0.1432971954345703, 0.1489410400390625, 0.1545848846435547, 0.16022872924804688, 0.16587257385253906, 0.17151641845703125, 0.17716026306152344, 0.18280410766601562, 0.1884479522705078, 0.194091796875]}, "gradients/decoder.transformer.h.12.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 4.0, 3.0, 11.0, 15.0, 29.0, 49.0, 48.0, 104.0, 136.0, 130.0, 133.0, 118.0, 92.0, 52.0, 46.0, 25.0, 11.0, 8.0, 4.0, 0.0, 1.0], "bins": [-0.6609356999397278, -0.6484041213989258, -0.6358725428581238, -0.6233410239219666, -0.6108094453811646, -0.5982778668403625, -0.5857462882995605, -0.5732147693634033, -0.5606831908226013, -0.5481516122817993, -0.5356200337409973, -0.5230885148048401, -0.5105569362640381, -0.4980253577232361, -0.4854937791824341, -0.47296223044395447, -0.46043065190315247, -0.44789907336235046, -0.43536752462387085, -0.42283594608306885, -0.41030439734458923, -0.39777281880378723, -0.3852412700653076, -0.3727096915245056, -0.3601781129837036, -0.3476465344429016, -0.335114985704422, -0.32258340716362, -0.3100518584251404, -0.2975202798843384, -0.2849887013435364, -0.27245715260505676, -0.25992557406425476, -0.24739401042461395, -0.23486244678497314, -0.22233086824417114, -0.20979931950569153, -0.19726774096488953, -0.18473617732524872, -0.1722046136856079, -0.1596730500459671, -0.1471414864063263, -0.13460992276668549, -0.12207835167646408, -0.10954678803682327, -0.09701522439718246, -0.08448365330696106, -0.07195208966732025, -0.05942052602767944, -0.046888962388038635, -0.03435739502310753, -0.021825827658176422, -0.009294264018535614, 0.003237299621105194, 0.0157688707113266, 0.028300434350967407, 0.040831997990608215, 0.05336356163024902, 0.06589512526988983, 0.07842669636011124, 0.09095825999975204, 0.10348982363939285, 0.11602139472961426, 0.12855295836925507, 0.14108452200889587]}, "gradients/decoder.transformer.h.12.ln_2.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 5.0, 4.0, 8.0, 4.0, 7.0, 12.0, 7.0, 10.0, 10.0, 10.0, 13.0, 13.0, 17.0, 24.0, 21.0, 24.0, 25.0, 26.0, 26.0, 34.0, 35.0, 53.0, 51.0, 39.0, 47.0, 40.0, 27.0, 39.0, 36.0, 47.0, 28.0, 22.0, 18.0, 23.0, 23.0, 25.0, 24.0, 21.0, 23.0, 15.0, 11.0, 11.0, 16.0, 7.0, 7.0, 7.0, 4.0, 3.0, 5.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.18902570009231567, -0.18339088559150696, -0.17775605618953705, -0.17212124168872833, -0.16648642718791962, -0.1608515977859497, -0.155216783285141, -0.14958196878433228, -0.14394715428352356, -0.13831233978271484, -0.13267751038074493, -0.12704269587993622, -0.1214078813791275, -0.11577305942773819, -0.11013823747634888, -0.10450342297554016, -0.09886859357357025, -0.09323377162218094, -0.08759895712137222, -0.08196413516998291, -0.0763293206691742, -0.07069449871778488, -0.06505967676639557, -0.059424858540296555, -0.05379004031419754, -0.048155222088098526, -0.04252040386199951, -0.0368855819106102, -0.031250763684511185, -0.02561594545841217, -0.019981123507022858, -0.014346305280923843, -0.008711487054824829, -0.00307666789740324, 0.0025581512600183487, 0.008192971348762512, 0.013827789574861526, 0.01946260780096054, 0.025097429752349854, 0.030732247978448868, 0.03636706620454788, 0.042001884430646896, 0.04763670265674591, 0.05327152460813522, 0.05890634283423424, 0.06454116106033325, 0.07017598301172256, 0.07581080496311188, 0.0814456194639206, 0.0870804414153099, 0.09271525591611862, 0.09835007786750793, 0.10398489236831665, 0.10961971431970596, 0.11525453627109528, 0.12088935077190399, 0.1265241801738739, 0.13215899467468262, 0.13779382407665253, 0.14342863857746124, 0.14906345307826996, 0.15469828248023987, 0.16033309698104858, 0.1659679114818573, 0.17160272598266602]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 2.0, 6.0, 6.0, 8.0, 6.0, 11.0, 10.0, 16.0, 15.0, 28.0, 34.0, 21.0, 35.0, 30.0, 45.0, 37.0, 47.0, 49.0, 54.0, 47.0, 55.0, 44.0, 46.0, 53.0, 37.0, 35.0, 37.0, 32.0, 38.0, 21.0, 26.0, 13.0, 5.0, 20.0, 7.0, 6.0, 4.0, 5.0, 3.0, 2.0, 2.0, 4.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027801513671875, -0.0269012451171875, -0.0260009765625, -0.0251007080078125, -0.024200439453125, -0.0233001708984375, -0.02239990234375, -0.0214996337890625, -0.020599365234375, -0.0196990966796875, -0.018798828125, -0.0178985595703125, -0.016998291015625, -0.0160980224609375, -0.01519775390625, -0.0142974853515625, -0.013397216796875, -0.0124969482421875, -0.0115966796875, -0.0106964111328125, -0.009796142578125, -0.0088958740234375, -0.00799560546875, -0.0070953369140625, -0.006195068359375, -0.0052947998046875, -0.00439453125, -0.0034942626953125, -0.002593994140625, -0.0016937255859375, -0.00079345703125, 0.0001068115234375, 0.001007080078125, 0.0019073486328125, 0.0028076171875, 0.0037078857421875, 0.004608154296875, 0.0055084228515625, 0.00640869140625, 0.0073089599609375, 0.008209228515625, 0.0091094970703125, 0.010009765625, 0.0109100341796875, 0.011810302734375, 0.0127105712890625, 0.01361083984375, 0.0145111083984375, 0.015411376953125, 0.0163116455078125, 0.0172119140625, 0.0181121826171875, 0.019012451171875, 0.0199127197265625, 0.02081298828125, 0.0217132568359375, 0.022613525390625, 0.0235137939453125, 0.0244140625, 0.0253143310546875, 0.026214599609375, 0.0271148681640625, 0.02801513671875, 0.0289154052734375, 0.029815673828125]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 5.0, 5.0, 6.0, 11.0, 20.0, 29.0, 36.0, 61.0, 97.0, 131.0, 201.0, 338.0, 497.0, 825.0, 1254.0, 2056.0, 3326.0, 5522.0, 9380.0, 16623.0, 29349.0, 55170.0, 114228.0, 369635.0, 239395.0, 93248.0, 46478.0, 25558.0, 14250.0, 8157.0, 4889.0, 2924.0, 1787.0, 1141.0, 689.0, 427.0, 308.0, 172.0, 135.0, 77.0, 36.0, 26.0, 18.0, 19.0, 6.0, 9.0, 6.0, 6.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020015239715576172, -0.00019366852939128876, -0.0001871846616268158, -0.00018070079386234283, -0.00017421692609786987, -0.0001677330583333969, -0.00016124919056892395, -0.000154765322804451, -0.00014828145503997803, -0.00014179758727550507, -0.0001353137195110321, -0.00012882985174655914, -0.00012234598398208618, -0.00011586211621761322, -0.00010937824845314026, -0.0001028943806886673, -9.641051292419434e-05, -8.992664515972137e-05, -8.344277739524841e-05, -7.695890963077545e-05, -7.047504186630249e-05, -6.399117410182953e-05, -5.750730633735657e-05, -5.1023438572883606e-05, -4.4539570808410645e-05, -3.805570304393768e-05, -3.157183527946472e-05, -2.508796751499176e-05, -1.86040997505188e-05, -1.2120231986045837e-05, -5.636364221572876e-06, 8.475035429000854e-07, 7.331371307373047e-06, 1.3815239071846008e-05, 2.029910683631897e-05, 2.678297460079193e-05, 3.326684236526489e-05, 3.9750710129737854e-05, 4.6234577894210815e-05, 5.271844565868378e-05, 5.920231342315674e-05, 6.56861811876297e-05, 7.217004895210266e-05, 7.865391671657562e-05, 8.513778448104858e-05, 9.162165224552155e-05, 9.810552000999451e-05, 0.00010458938777446747, 0.00011107325553894043, 0.00011755712330341339, 0.00012404099106788635, 0.00013052485883235931, 0.00013700872659683228, 0.00014349259436130524, 0.0001499764621257782, 0.00015646032989025116, 0.00016294419765472412, 0.00016942806541919708, 0.00017591193318367004, 0.000182395800948143, 0.00018887966871261597, 0.00019536353647708893, 0.0002018474042415619, 0.00020833127200603485, 0.0002148151397705078]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 6.0, 8.0, 4.0, 9.0, 12.0, 11.0, 12.0, 8.0, 15.0, 19.0, 21.0, 24.0, 30.0, 30.0, 24.0, 29.0, 30.0, 31.0, 26.0, 36.0, 45.0, 916.0, 217.0, 44.0, 50.0, 35.0, 36.0, 25.0, 30.0, 27.0, 27.0, 35.0, 21.0, 19.0, 20.0, 12.0, 16.0, 13.0, 7.0, 13.0, 7.0, 10.0, 7.0, 2.0, 4.0, 2.0, 2.0, 2.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.021270751953125, -0.020561695098876953, -0.019852638244628906, -0.01914358139038086, -0.018434524536132812, -0.017725467681884766, -0.01701641082763672, -0.016307353973388672, -0.015598297119140625, -0.014889240264892578, -0.014180183410644531, -0.013471126556396484, -0.012762069702148438, -0.01205301284790039, -0.011343955993652344, -0.010634899139404297, -0.00992584228515625, -0.009216785430908203, -0.008507728576660156, -0.007798671722412109, -0.0070896148681640625, -0.006380558013916016, -0.005671501159667969, -0.004962444305419922, -0.004253387451171875, -0.003544330596923828, -0.0028352737426757812, -0.0021262168884277344, -0.0014171600341796875, -0.0007081031799316406, 9.5367431640625e-07, 0.0007100105285644531, 0.0014190673828125, 0.002128124237060547, 0.0028371810913085938, 0.0035462379455566406, 0.0042552947998046875, 0.004964351654052734, 0.005673408508300781, 0.006382465362548828, 0.007091522216796875, 0.007800579071044922, 0.008509635925292969, 0.009218692779541016, 0.009927749633789062, 0.01063680648803711, 0.011345863342285156, 0.012054920196533203, 0.01276397705078125, 0.013473033905029297, 0.014182090759277344, 0.01489114761352539, 0.015600204467773438, 0.016309261322021484, 0.01701831817626953, 0.017727375030517578, 0.018436431884765625, 0.019145488739013672, 0.01985454559326172, 0.020563602447509766, 0.021272659301757812, 0.02198171615600586, 0.022690773010253906, 0.023399829864501953, 0.02410888671875]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 3.0, 3.0, 3.0, 3.0, 9.0, 5.0, 13.0, 8.0, 13.0, 13.0, 15.0, 14.0, 18.0, 21.0, 24.0, 30.0, 33.0, 24.0, 40.0, 48.0, 96.0, 277.0, 940.0, 5548.0, 2068351.0, 18625.0, 2021.0, 420.0, 149.0, 66.0, 43.0, 28.0, 25.0, 36.0, 23.0, 27.0, 23.0, 15.0, 11.0, 12.0, 7.0, 14.0, 9.0, 8.0, 6.0, 9.0, 4.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 3.0], "bins": [-2.6106834411621094e-05, -2.5331974029541016e-05, -2.4557113647460938e-05, -2.378225326538086e-05, -2.300739288330078e-05, -2.2232532501220703e-05, -2.1457672119140625e-05, -2.0682811737060547e-05, -1.990795135498047e-05, -1.913309097290039e-05, -1.8358230590820312e-05, -1.7583370208740234e-05, -1.6808509826660156e-05, -1.6033649444580078e-05, -1.52587890625e-05, -1.4483928680419922e-05, -1.3709068298339844e-05, -1.2934207916259766e-05, -1.2159347534179688e-05, -1.138448715209961e-05, -1.0609626770019531e-05, -9.834766387939453e-06, -9.059906005859375e-06, -8.285045623779297e-06, -7.510185241699219e-06, -6.735324859619141e-06, -5.9604644775390625e-06, -5.185604095458984e-06, -4.410743713378906e-06, -3.635883331298828e-06, -2.86102294921875e-06, -2.086162567138672e-06, -1.3113021850585938e-06, -5.364418029785156e-07, 2.384185791015625e-07, 1.0132789611816406e-06, 1.7881393432617188e-06, 2.562999725341797e-06, 3.337860107421875e-06, 4.112720489501953e-06, 4.887580871582031e-06, 5.662441253662109e-06, 6.4373016357421875e-06, 7.212162017822266e-06, 7.987022399902344e-06, 8.761882781982422e-06, 9.5367431640625e-06, 1.0311603546142578e-05, 1.1086463928222656e-05, 1.1861324310302734e-05, 1.2636184692382812e-05, 1.341104507446289e-05, 1.4185905456542969e-05, 1.4960765838623047e-05, 1.5735626220703125e-05, 1.6510486602783203e-05, 1.728534698486328e-05, 1.806020736694336e-05, 1.8835067749023438e-05, 1.9609928131103516e-05, 2.0384788513183594e-05, 2.1159648895263672e-05, 2.193450927734375e-05, 2.2709369659423828e-05, 2.3484230041503906e-05]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 2.0, 6.0, 6.0, 8.0, 6.0, 11.0, 10.0, 16.0, 15.0, 28.0, 34.0, 21.0, 35.0, 30.0, 45.0, 37.0, 47.0, 49.0, 54.0, 47.0, 55.0, 44.0, 46.0, 53.0, 37.0, 35.0, 37.0, 32.0, 38.0, 21.0, 26.0, 13.0, 5.0, 20.0, 7.0, 6.0, 4.0, 5.0, 3.0, 2.0, 2.0, 4.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027801513671875, -0.0269012451171875, -0.0260009765625, -0.0251007080078125, -0.024200439453125, -0.0233001708984375, -0.02239990234375, -0.0214996337890625, -0.020599365234375, -0.0196990966796875, -0.018798828125, -0.0178985595703125, -0.016998291015625, -0.0160980224609375, -0.01519775390625, -0.0142974853515625, -0.013397216796875, -0.0124969482421875, -0.0115966796875, -0.0106964111328125, -0.009796142578125, -0.0088958740234375, -0.00799560546875, -0.0070953369140625, -0.006195068359375, -0.0052947998046875, -0.00439453125, -0.0034942626953125, -0.002593994140625, -0.0016937255859375, -0.00079345703125, 0.0001068115234375, 0.001007080078125, 0.0019073486328125, 0.0028076171875, 0.0037078857421875, 0.004608154296875, 0.0055084228515625, 0.00640869140625, 0.0073089599609375, 0.008209228515625, 0.0091094970703125, 0.010009765625, 0.0109100341796875, 0.011810302734375, 0.0127105712890625, 0.01361083984375, 0.0145111083984375, 0.015411376953125, 0.0163116455078125, 0.0172119140625, 0.0181121826171875, 0.019012451171875, 0.0199127197265625, 0.02081298828125, 0.0217132568359375, 0.022613525390625, 0.0235137939453125, 0.0244140625, 0.0253143310546875, 0.026214599609375, 0.0271148681640625, 0.02801513671875, 0.0289154052734375, 0.029815673828125]}, "gradients/decoder.transformer.h.12.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 4.0, 1.0, 1.0, 6.0, 6.0, 9.0, 15.0, 19.0, 34.0, 44.0, 59.0, 81.0, 128.0, 177.0, 282.0, 586.0, 1008.0, 1844.0, 3415.0, 7213.0, 16932.0, 52079.0, 277640.0, 552913.0, 89889.0, 24612.0, 9743.0, 4593.0, 2330.0, 1190.0, 659.0, 391.0, 233.0, 133.0, 87.0, 69.0, 47.0, 23.0, 18.0, 11.0, 13.0, 14.0, 6.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.05255126953125, -0.050750732421875, -0.0489501953125, -0.047149658203125, -0.04534912109375, -0.043548583984375, -0.041748046875, -0.039947509765625, -0.03814697265625, -0.036346435546875, -0.0345458984375, -0.032745361328125, -0.03094482421875, -0.029144287109375, -0.02734375, -0.025543212890625, -0.02374267578125, -0.021942138671875, -0.0201416015625, -0.018341064453125, -0.01654052734375, -0.014739990234375, -0.012939453125, -0.011138916015625, -0.00933837890625, -0.007537841796875, -0.0057373046875, -0.003936767578125, -0.00213623046875, -0.000335693359375, 0.00146484375, 0.003265380859375, 0.00506591796875, 0.006866455078125, 0.0086669921875, 0.010467529296875, 0.01226806640625, 0.014068603515625, 0.015869140625, 0.017669677734375, 0.01947021484375, 0.021270751953125, 0.0230712890625, 0.024871826171875, 0.02667236328125, 0.028472900390625, 0.0302734375, 0.032073974609375, 0.03387451171875, 0.035675048828125, 0.0374755859375, 0.039276123046875, 0.04107666015625, 0.042877197265625, 0.044677734375, 0.046478271484375, 0.04827880859375, 0.050079345703125, 0.0518798828125, 0.053680419921875, 0.05548095703125, 0.057281494140625, 0.05908203125, 0.060882568359375, 0.06268310546875]}, "gradients/decoder.transformer.h.12.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 1.0, 1.0, 0.0, 2.0, 1.0, 8.0, 7.0, 7.0, 9.0, 8.0, 7.0, 10.0, 15.0, 20.0, 18.0, 20.0, 31.0, 29.0, 41.0, 40.0, 29.0, 52.0, 39.0, 80.0, 182.0, 1536.0, 321.0, 110.0, 47.0, 48.0, 37.0, 31.0, 35.0, 39.0, 31.0, 28.0, 23.0, 16.0, 18.0, 23.0, 11.0, 7.0, 7.0, 8.0, 5.0, 1.0, 7.0, 4.0, 7.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.09417724609375, -0.09130477905273438, -0.08843231201171875, -0.08555984497070312, -0.0826873779296875, -0.07981491088867188, -0.07694244384765625, -0.07406997680664062, -0.071197509765625, -0.06832504272460938, -0.06545257568359375, -0.06258010864257812, -0.0597076416015625, -0.056835174560546875, -0.05396270751953125, -0.051090240478515625, -0.0482177734375, -0.045345306396484375, -0.04247283935546875, -0.039600372314453125, -0.0367279052734375, -0.033855438232421875, -0.03098297119140625, -0.028110504150390625, -0.025238037109375, -0.022365570068359375, -0.01949310302734375, -0.016620635986328125, -0.0137481689453125, -0.010875701904296875, -0.00800323486328125, -0.005130767822265625, -0.00225830078125, 0.000614166259765625, 0.00348663330078125, 0.006359100341796875, 0.0092315673828125, 0.012104034423828125, 0.01497650146484375, 0.017848968505859375, 0.020721435546875, 0.023593902587890625, 0.02646636962890625, 0.029338836669921875, 0.0322113037109375, 0.035083770751953125, 0.03795623779296875, 0.040828704833984375, 0.043701171875, 0.046573638916015625, 0.04944610595703125, 0.052318572998046875, 0.0551910400390625, 0.058063507080078125, 0.06093597412109375, 0.06380844116210938, 0.066680908203125, 0.06955337524414062, 0.07242584228515625, 0.07529830932617188, 0.0781707763671875, 0.08104324340820312, 0.08391571044921875, 0.08678817749023438, 0.08966064453125]}, "gradients/decoder.transformer.h.12.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 1.0, 4.0, 7.0, 4.0, 13.0, 8.0, 9.0, 14.0, 16.0, 26.0, 37.0, 46.0, 46.0, 61.0, 91.0, 121.0, 179.0, 251.0, 462.0, 1361.0, 6112.0, 67838.0, 2971455.0, 87744.0, 6914.0, 1474.0, 491.0, 241.0, 185.0, 135.0, 82.0, 66.0, 45.0, 41.0, 35.0, 13.0, 22.0, 10.0, 13.0, 9.0, 11.0, 5.0, 1.0, 1.0, 2.0, 6.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.14794921875, -0.14325714111328125, -0.1385650634765625, -0.13387298583984375, -0.129180908203125, -0.12448883056640625, -0.1197967529296875, -0.11510467529296875, -0.11041259765625, -0.10572052001953125, -0.1010284423828125, -0.09633636474609375, -0.091644287109375, -0.08695220947265625, -0.0822601318359375, -0.07756805419921875, -0.0728759765625, -0.06818389892578125, -0.0634918212890625, -0.05879974365234375, -0.054107666015625, -0.04941558837890625, -0.0447235107421875, -0.04003143310546875, -0.03533935546875, -0.03064727783203125, -0.0259552001953125, -0.02126312255859375, -0.016571044921875, -0.01187896728515625, -0.0071868896484375, -0.00249481201171875, 0.002197265625, 0.00688934326171875, 0.0115814208984375, 0.01627349853515625, 0.020965576171875, 0.02565765380859375, 0.0303497314453125, 0.03504180908203125, 0.03973388671875, 0.04442596435546875, 0.0491180419921875, 0.05381011962890625, 0.058502197265625, 0.06319427490234375, 0.0678863525390625, 0.07257843017578125, 0.0772705078125, 0.08196258544921875, 0.0866546630859375, 0.09134674072265625, 0.096038818359375, 0.10073089599609375, 0.1054229736328125, 0.11011505126953125, 0.11480712890625, 0.11949920654296875, 0.1241912841796875, 0.12888336181640625, 0.133575439453125, 0.13826751708984375, 0.1429595947265625, 0.14765167236328125, 0.15234375]}, "gradients/decoder.transformer.h.12.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 110.0, 652.0, 243.0, 11.0, 1.0], "bins": [-1.7608057260513306, -1.731755256652832, -1.7027047872543335, -1.673654317855835, -1.6446037292480469, -1.6155532598495483, -1.5865027904510498, -1.5574523210525513, -1.5284018516540527, -1.4993513822555542, -1.4703009128570557, -1.4412503242492676, -1.412199854850769, -1.3831493854522705, -1.354098916053772, -1.3250484466552734, -1.2959978580474854, -1.2669473886489868, -1.2378969192504883, -1.2088463306427002, -1.1797958612442017, -1.1507453918457031, -1.1216949224472046, -1.092644453048706, -1.0635939836502075, -1.034543514251709, -1.0054930448532104, -0.9764425158500671, -0.9473920464515686, -0.9183415174484253, -0.8892910480499268, -0.8602405786514282, -0.8311901092529297, -0.8021396398544312, -0.7730891108512878, -0.7440386414527893, -0.7149881720542908, -0.6859376430511475, -0.6568871736526489, -0.6278367042541504, -0.5987861752510071, -0.5697357058525085, -0.5406851768493652, -0.5116347074508667, -0.4825842082500458, -0.45353370904922485, -0.4244832396507263, -0.3954327404499054, -0.3663822412490845, -0.33733174204826355, -0.308281272649765, -0.2792307734489441, -0.25018027424812317, -0.22112978994846344, -0.1920793056488037, -0.1630288064479828, -0.13397832214832306, -0.10492783039808273, -0.07587733864784241, -0.04682685434818268, -0.017776362597942352, 0.011274129152297974, 0.0403246134519577, 0.06937511265277863, 0.09842559695243835]}, "gradients/decoder.transformer.h.12.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 2.0, 3.0, 1.0, 6.0, 9.0, 7.0, 9.0, 15.0, 13.0, 14.0, 13.0, 15.0, 24.0, 34.0, 32.0, 36.0, 34.0, 39.0, 41.0, 43.0, 42.0, 41.0, 32.0, 44.0, 58.0, 43.0, 38.0, 46.0, 39.0, 28.0, 28.0, 34.0, 22.0, 22.0, 18.0, 20.0, 17.0, 9.0, 10.0, 5.0, 4.0, 4.0, 7.0, 4.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.2950604557991028, -0.28639888763427734, -0.2777372896671295, -0.2690757215023041, -0.26041415333747864, -0.2517525553703308, -0.24309098720550537, -0.23442940413951874, -0.2257678210735321, -0.21710623800754547, -0.20844466984272003, -0.1997830867767334, -0.19112150371074677, -0.18245992064476013, -0.1737983524799347, -0.16513676941394806, -0.15647520124912262, -0.147813618183136, -0.13915205001831055, -0.1304904669523239, -0.12182888388633728, -0.11316730827093124, -0.10450573265552521, -0.09584414958953857, -0.08718257397413254, -0.0785209983587265, -0.06985941529273987, -0.06119783967733383, -0.0525362603366375, -0.04387468099594116, -0.035213105380535126, -0.02655152603983879, -0.017889946699142456, -0.009228368289768696, -0.0005667898803949356, 0.00809478759765625, 0.016756366938352585, 0.02541794627904892, 0.034079521894454956, 0.04274110123515129, 0.051402680575847626, 0.06006425991654396, 0.0687258392572403, 0.07738741487264633, 0.08604899048805237, 0.094710573554039, 0.10337214916944504, 0.11203372478485107, 0.12069530785083771, 0.12935689091682434, 0.13801845908164978, 0.1466800421476364, 0.15534162521362305, 0.1640031933784485, 0.17266477644443512, 0.18132635951042175, 0.1899879276752472, 0.19864951074123383, 0.20731107890605927, 0.2159726619720459, 0.22463424503803253, 0.23329582810401917, 0.2419573962688446, 0.25061896443367004, 0.25928056240081787]}, "gradients/decoder.transformer.h.11.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 3.0, 2.0, 6.0, 5.0, 4.0, 9.0, 4.0, 13.0, 16.0, 15.0, 22.0, 22.0, 30.0, 28.0, 32.0, 33.0, 43.0, 33.0, 50.0, 51.0, 47.0, 52.0, 41.0, 43.0, 53.0, 44.0, 44.0, 28.0, 37.0, 38.0, 25.0, 29.0, 20.0, 11.0, 17.0, 15.0, 11.0, 5.0, 6.0, 6.0, 1.0, 3.0, 3.0, 5.0, 1.0, 5.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02825927734375, -0.02737116813659668, -0.02648305892944336, -0.02559494972229004, -0.02470684051513672, -0.0238187313079834, -0.022930622100830078, -0.022042512893676758, -0.021154403686523438, -0.020266294479370117, -0.019378185272216797, -0.018490076065063477, -0.017601966857910156, -0.016713857650756836, -0.015825748443603516, -0.014937639236450195, -0.014049530029296875, -0.013161420822143555, -0.012273311614990234, -0.011385202407836914, -0.010497093200683594, -0.009608983993530273, -0.008720874786376953, -0.007832765579223633, -0.0069446563720703125, -0.006056547164916992, -0.005168437957763672, -0.0042803287506103516, -0.0033922195434570312, -0.002504110336303711, -0.0016160011291503906, -0.0007278919219970703, 0.00016021728515625, 0.0010483264923095703, 0.0019364356994628906, 0.002824544906616211, 0.0037126541137695312, 0.0046007633209228516, 0.005488872528076172, 0.006376981735229492, 0.0072650909423828125, 0.008153200149536133, 0.009041309356689453, 0.009929418563842773, 0.010817527770996094, 0.011705636978149414, 0.012593746185302734, 0.013481855392456055, 0.014369964599609375, 0.015258073806762695, 0.016146183013916016, 0.017034292221069336, 0.017922401428222656, 0.018810510635375977, 0.019698619842529297, 0.020586729049682617, 0.021474838256835938, 0.022362947463989258, 0.023251056671142578, 0.0241391658782959, 0.02502727508544922, 0.02591538429260254, 0.02680349349975586, 0.02769160270690918, 0.0285797119140625]}, "gradients/decoder.transformer.h.11.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 2.0, 6.0, 8.0, 13.0, 21.0, 31.0, 65.0, 102.0, 196.0, 285.0, 572.0, 1018.0, 2129.0, 4707.0, 11981.0, 34895.0, 133874.0, 783423.0, 2473007.0, 592015.0, 107554.0, 29570.0, 10461.0, 4125.0, 1994.0, 922.0, 504.0, 296.0, 180.0, 119.0, 74.0, 49.0, 28.0, 18.0, 11.0, 8.0, 6.0, 9.0, 5.0, 2.0, 2.0, 5.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04864501953125, -0.04680442810058594, -0.044963836669921875, -0.04312324523925781, -0.04128265380859375, -0.03944206237792969, -0.037601470947265625, -0.03576087951660156, -0.0339202880859375, -0.03207969665527344, -0.030239105224609375, -0.028398513793945312, -0.02655792236328125, -0.024717330932617188, -0.022876739501953125, -0.021036148071289062, -0.019195556640625, -0.017354965209960938, -0.015514373779296875, -0.013673782348632812, -0.01183319091796875, -0.009992599487304688, -0.008152008056640625, -0.0063114166259765625, -0.0044708251953125, -0.0026302337646484375, -0.000789642333984375, 0.0010509490966796875, 0.00289154052734375, 0.0047321319580078125, 0.006572723388671875, 0.008413314819335938, 0.01025390625, 0.012094497680664062, 0.013935089111328125, 0.015775680541992188, 0.01761627197265625, 0.019456863403320312, 0.021297454833984375, 0.023138046264648438, 0.0249786376953125, 0.026819229125976562, 0.028659820556640625, 0.030500411987304688, 0.03234100341796875, 0.03418159484863281, 0.036022186279296875, 0.03786277770996094, 0.039703369140625, 0.04154396057128906, 0.043384552001953125, 0.04522514343261719, 0.04706573486328125, 0.04890632629394531, 0.050746917724609375, 0.05258750915527344, 0.0544281005859375, 0.05626869201660156, 0.058109283447265625, 0.05994987487792969, 0.06179046630859375, 0.06363105773925781, 0.06547164916992188, 0.06731224060058594, 0.06915283203125]}, "gradients/decoder.transformer.h.11.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 3.0, 1.0, 6.0, 8.0, 6.0, 7.0, 13.0, 21.0, 19.0, 25.0, 32.0, 38.0, 51.0, 79.0, 125.0, 146.0, 183.0, 245.0, 322.0, 422.0, 487.0, 473.0, 375.0, 251.0, 184.0, 150.0, 101.0, 71.0, 62.0, 48.0, 32.0, 30.0, 18.0, 10.0, 12.0, 12.0, 7.0, 2.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.043243408203125, -0.04167747497558594, -0.040111541748046875, -0.03854560852050781, -0.03697967529296875, -0.03541374206542969, -0.033847808837890625, -0.03228187561035156, -0.0307159423828125, -0.029150009155273438, -0.027584075927734375, -0.026018142700195312, -0.02445220947265625, -0.022886276245117188, -0.021320343017578125, -0.019754409790039062, -0.0181884765625, -0.016622543334960938, -0.015056610107421875, -0.013490676879882812, -0.01192474365234375, -0.010358810424804688, -0.008792877197265625, -0.0072269439697265625, -0.0056610107421875, -0.0040950775146484375, -0.002529144287109375, -0.0009632110595703125, 0.00060272216796875, 0.0021686553955078125, 0.003734588623046875, 0.0053005218505859375, 0.006866455078125, 0.008432388305664062, 0.009998321533203125, 0.011564254760742188, 0.01313018798828125, 0.014696121215820312, 0.016262054443359375, 0.017827987670898438, 0.0193939208984375, 0.020959854125976562, 0.022525787353515625, 0.024091720581054688, 0.02565765380859375, 0.027223587036132812, 0.028789520263671875, 0.030355453491210938, 0.03192138671875, 0.03348731994628906, 0.035053253173828125, 0.03661918640136719, 0.03818511962890625, 0.03975105285644531, 0.041316986083984375, 0.04288291931152344, 0.0444488525390625, 0.04601478576660156, 0.047580718994140625, 0.04914665222167969, 0.05071258544921875, 0.05227851867675781, 0.053844451904296875, 0.05541038513183594, 0.056976318359375]}, "gradients/decoder.transformer.h.11.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 4.0, 1.0, 10.0, 11.0, 6.0, 13.0, 16.0, 28.0, 41.0, 50.0, 60.0, 73.0, 110.0, 216.0, 303.0, 889.0, 7937.0, 353863.0, 3742131.0, 83738.0, 3261.0, 577.0, 291.0, 199.0, 142.0, 71.0, 57.0, 48.0, 32.0, 30.0, 15.0, 21.0, 13.0, 5.0, 9.0, 6.0, 5.0, 3.0, 3.0, 2.0, 0.0, 4.0, 0.0, 1.0, 1.0], "bins": [-0.26904296875, -0.2618370056152344, -0.25463104248046875, -0.24742507934570312, -0.2402191162109375, -0.23301315307617188, -0.22580718994140625, -0.21860122680664062, -0.211395263671875, -0.20418930053710938, -0.19698333740234375, -0.18977737426757812, -0.1825714111328125, -0.17536544799804688, -0.16815948486328125, -0.16095352172851562, -0.15374755859375, -0.14654159545898438, -0.13933563232421875, -0.13212966918945312, -0.1249237060546875, -0.11771774291992188, -0.11051177978515625, -0.10330581665039062, -0.096099853515625, -0.08889389038085938, -0.08168792724609375, -0.07448196411132812, -0.0672760009765625, -0.060070037841796875, -0.05286407470703125, -0.045658111572265625, -0.0384521484375, -0.031246185302734375, -0.02404022216796875, -0.016834259033203125, -0.0096282958984375, -0.002422332763671875, 0.00478363037109375, 0.011989593505859375, 0.019195556640625, 0.026401519775390625, 0.03360748291015625, 0.040813446044921875, 0.0480194091796875, 0.055225372314453125, 0.06243133544921875, 0.06963729858398438, 0.07684326171875, 0.08404922485351562, 0.09125518798828125, 0.09846115112304688, 0.1056671142578125, 0.11287307739257812, 0.12007904052734375, 0.12728500366210938, 0.134490966796875, 0.14169692993164062, 0.14890289306640625, 0.15610885620117188, 0.1633148193359375, 0.17052078247070312, 0.17772674560546875, 0.18493270874023438, 0.192138671875]}, "gradients/decoder.transformer.h.11.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 14.0, 33.0, 100.0, 175.0, 249.0, 227.0, 128.0, 59.0, 19.0, 11.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.41621288657188416, -0.39513617753982544, -0.3740594685077667, -0.352982759475708, -0.3319060206413269, -0.3108293116092682, -0.2897526025772095, -0.26867586374282837, -0.24759916961193085, -0.22652246057987213, -0.20544573664665222, -0.1843690276145935, -0.1632923185825348, -0.14221559464931488, -0.12113888561725616, -0.10006216168403625, -0.07898545265197754, -0.057908736169338226, -0.03683202341198921, -0.015755310654640198, 0.005321405827999115, 0.026398122310638428, 0.047474831342697144, 0.06855155527591705, 0.08962826430797577, 0.11070498079061508, 0.1317816972732544, 0.1528584063053131, 0.17393511533737183, 0.19501183927059174, 0.21608854830265045, 0.23716527223587036, 0.25824201107025146, 0.2793187201023102, 0.3003954291343689, 0.32147216796875, 0.3425488770008087, 0.36362558603286743, 0.38470229506492615, 0.40577900409698486, 0.42685574293136597, 0.4479324519634247, 0.4690091609954834, 0.4900858998298645, 0.5111625790596008, 0.5322393178939819, 0.5533159971237183, 0.5743927359580994, 0.5954694747924805, 0.6165462136268616, 0.6376228928565979, 0.658699631690979, 0.6797763109207153, 0.7008530497550964, 0.7219297885894775, 0.7430064678192139, 0.7640831470489502, 0.7851598858833313, 0.8062365651130676, 0.8273133039474487, 0.8483899831771851, 0.8694667220115662, 0.8905434608459473, 0.9116201400756836, 0.9326968789100647]}, "gradients/decoder.transformer.h.11.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 5.0, 4.0, 4.0, 3.0, 3.0, 6.0, 14.0, 11.0, 19.0, 12.0, 20.0, 15.0, 25.0, 17.0, 30.0, 25.0, 28.0, 32.0, 31.0, 33.0, 46.0, 38.0, 43.0, 36.0, 41.0, 43.0, 35.0, 44.0, 45.0, 42.0, 36.0, 29.0, 38.0, 22.0, 17.0, 29.0, 13.0, 16.0, 12.0, 6.0, 11.0, 7.0, 7.0, 4.0, 7.0, 4.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.157098650932312, -0.15159264206886292, -0.14608663320541382, -0.14058062434196472, -0.13507461547851562, -0.12956862151622772, -0.12406261265277863, -0.11855660378932953, -0.11305059492588043, -0.10754458606243134, -0.10203857719898224, -0.09653257578611374, -0.09102656692266464, -0.08552055805921555, -0.08001455664634705, -0.07450854778289795, -0.06900253891944885, -0.06349653005599976, -0.05799052491784096, -0.05248451977968216, -0.04697851091623306, -0.041472502052783966, -0.03596649691462517, -0.03046049177646637, -0.024954482913017273, -0.019448475912213326, -0.013942468911409378, -0.00843646191060543, -0.002930454909801483, 0.0025755520910024643, 0.008081559091806412, 0.01358756422996521, 0.019093573093414307, 0.024599580094218254, 0.0301055870950222, 0.035611592233181, 0.041117601096630096, 0.04662360996007919, 0.05212961509823799, 0.05763562023639679, 0.06314162909984589, 0.06864763796329498, 0.07415364682674408, 0.07965964823961258, 0.08516565710306168, 0.09067166596651077, 0.09617766737937927, 0.10168367624282837, 0.10718968510627747, 0.11269569396972656, 0.11820170283317566, 0.12370770424604416, 0.12921372056007385, 0.13471971452236176, 0.14022572338581085, 0.14573173224925995, 0.15123774111270905, 0.15674374997615814, 0.16224975883960724, 0.16775576770305634, 0.17326176166534424, 0.17876777052879333, 0.18427377939224243, 0.18977978825569153, 0.19528579711914062]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 5.0, 5.0, 2.0, 3.0, 6.0, 7.0, 6.0, 7.0, 5.0, 17.0, 19.0, 19.0, 30.0, 28.0, 27.0, 34.0, 37.0, 35.0, 55.0, 58.0, 44.0, 58.0, 52.0, 44.0, 43.0, 45.0, 39.0, 40.0, 35.0, 44.0, 29.0, 23.0, 20.0, 18.0, 16.0, 14.0, 8.0, 8.0, 6.0, 2.0, 4.0, 2.0, 3.0, 3.0, 6.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02783203125, -0.026912450790405273, -0.025992870330810547, -0.02507328987121582, -0.024153709411621094, -0.023234128952026367, -0.02231454849243164, -0.021394968032836914, -0.020475387573242188, -0.01955580711364746, -0.018636226654052734, -0.017716646194458008, -0.01679706573486328, -0.015877485275268555, -0.014957904815673828, -0.014038324356079102, -0.013118743896484375, -0.012199163436889648, -0.011279582977294922, -0.010360002517700195, -0.009440422058105469, -0.008520841598510742, -0.007601261138916016, -0.006681680679321289, -0.0057621002197265625, -0.004842519760131836, -0.003922939300537109, -0.003003358840942383, -0.0020837783813476562, -0.0011641979217529297, -0.0002446174621582031, 0.0006749629974365234, 0.00159454345703125, 0.0025141239166259766, 0.003433704376220703, 0.00435328483581543, 0.005272865295410156, 0.006192445755004883, 0.007112026214599609, 0.008031606674194336, 0.008951187133789062, 0.009870767593383789, 0.010790348052978516, 0.011709928512573242, 0.012629508972167969, 0.013549089431762695, 0.014468669891357422, 0.015388250350952148, 0.016307830810546875, 0.0172274112701416, 0.018146991729736328, 0.019066572189331055, 0.01998615264892578, 0.020905733108520508, 0.021825313568115234, 0.02274489402770996, 0.023664474487304688, 0.024584054946899414, 0.02550363540649414, 0.026423215866088867, 0.027342796325683594, 0.02826237678527832, 0.029181957244873047, 0.030101537704467773, 0.0310211181640625]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 3.0, 2.0, 4.0, 6.0, 11.0, 13.0, 21.0, 44.0, 67.0, 87.0, 97.0, 180.0, 278.0, 408.0, 616.0, 884.0, 1285.0, 1848.0, 2837.0, 4326.0, 6653.0, 10784.0, 16808.0, 27917.0, 46651.0, 83467.0, 167482.0, 346780.0, 143728.0, 74578.0, 42165.0, 25330.0, 15436.0, 9562.0, 6151.0, 4050.0, 2588.0, 1698.0, 1111.0, 835.0, 567.0, 396.0, 286.0, 175.0, 109.0, 73.0, 64.0, 37.0, 25.0, 18.0, 10.0, 9.0, 4.0, 1.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0001723766326904297, -0.00016670674085617065, -0.00016103684902191162, -0.0001553669571876526, -0.00014969706535339355, -0.00014402717351913452, -0.0001383572816848755, -0.00013268738985061646, -0.00012701749801635742, -0.00012134760618209839, -0.00011567771434783936, -0.00011000782251358032, -0.00010433793067932129, -9.866803884506226e-05, -9.299814701080322e-05, -8.732825517654419e-05, -8.165836334228516e-05, -7.598847150802612e-05, -7.031857967376709e-05, -6.464868783950806e-05, -5.8978796005249023e-05, -5.330890417098999e-05, -4.763901233673096e-05, -4.1969120502471924e-05, -3.629922866821289e-05, -3.062933683395386e-05, -2.4959444999694824e-05, -1.928955316543579e-05, -1.3619661331176758e-05, -7.949769496917725e-06, -2.2798776626586914e-06, 3.390014171600342e-06, 9.059906005859375e-06, 1.4729797840118408e-05, 2.039968967437744e-05, 2.6069581508636475e-05, 3.173947334289551e-05, 3.740936517715454e-05, 4.3079257011413574e-05, 4.874914884567261e-05, 5.441904067993164e-05, 6.0088932514190674e-05, 6.575882434844971e-05, 7.142871618270874e-05, 7.709860801696777e-05, 8.27684998512268e-05, 8.843839168548584e-05, 9.410828351974487e-05, 9.97781753540039e-05, 0.00010544806718826294, 0.00011111795902252197, 0.000116787850856781, 0.00012245774269104004, 0.00012812763452529907, 0.0001337975263595581, 0.00013946741819381714, 0.00014513731002807617, 0.0001508072018623352, 0.00015647709369659424, 0.00016214698553085327, 0.0001678168773651123, 0.00017348676919937134, 0.00017915666103363037, 0.0001848265528678894, 0.00019049644470214844]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 4.0, 2.0, 1.0, 2.0, 2.0, 5.0, 1.0, 7.0, 5.0, 13.0, 6.0, 9.0, 10.0, 8.0, 7.0, 17.0, 19.0, 24.0, 29.0, 20.0, 24.0, 31.0, 19.0, 35.0, 31.0, 36.0, 29.0, 39.0, 43.0, 1070.0, 40.0, 53.0, 41.0, 35.0, 34.0, 34.0, 31.0, 23.0, 23.0, 21.0, 26.0, 25.0, 14.0, 15.0, 11.0, 6.0, 15.0, 16.0, 6.0, 5.0, 4.0, 3.0, 3.0, 3.0, 2.0, 2.0, 3.0, 1.0], "bins": [-0.025421142578125, -0.02469921112060547, -0.023977279663085938, -0.023255348205566406, -0.022533416748046875, -0.021811485290527344, -0.021089553833007812, -0.02036762237548828, -0.01964569091796875, -0.01892375946044922, -0.018201828002929688, -0.017479896545410156, -0.016757965087890625, -0.016036033630371094, -0.015314102172851562, -0.014592170715332031, -0.0138702392578125, -0.013148307800292969, -0.012426376342773438, -0.011704444885253906, -0.010982513427734375, -0.010260581970214844, -0.009538650512695312, -0.008816719055175781, -0.00809478759765625, -0.007372856140136719, -0.0066509246826171875, -0.005928993225097656, -0.005207061767578125, -0.004485130310058594, -0.0037631988525390625, -0.0030412673950195312, -0.0023193359375, -0.0015974044799804688, -0.0008754730224609375, -0.00015354156494140625, 0.000568389892578125, 0.0012903213500976562, 0.0020122528076171875, 0.0027341842651367188, 0.00345611572265625, 0.004178047180175781, 0.0048999786376953125, 0.005621910095214844, 0.006343841552734375, 0.007065773010253906, 0.0077877044677734375, 0.008509635925292969, 0.0092315673828125, 0.009953498840332031, 0.010675430297851562, 0.011397361755371094, 0.012119293212890625, 0.012841224670410156, 0.013563156127929688, 0.014285087585449219, 0.01500701904296875, 0.01572895050048828, 0.016450881958007812, 0.017172813415527344, 0.017894744873046875, 0.018616676330566406, 0.019338607788085938, 0.02006053924560547, 0.020782470703125]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 1.0, 2.0, 3.0, 2.0, 8.0, 2.0, 6.0, 7.0, 16.0, 12.0, 11.0, 12.0, 20.0, 17.0, 27.0, 20.0, 26.0, 23.0, 35.0, 46.0, 54.0, 115.0, 271.0, 961.0, 6009.0, 2071528.0, 15202.0, 1734.0, 462.0, 134.0, 75.0, 40.0, 33.0, 20.0, 28.0, 28.0, 26.0, 17.0, 18.0, 16.0, 6.0, 12.0, 6.0, 9.0, 9.0, 8.0, 6.0, 3.0, 2.0, 5.0, 1.0, 2.0, 3.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.3424625396728516e-05, -2.260785549879074e-05, -2.1791085600852966e-05, -2.097431570291519e-05, -2.0157545804977417e-05, -1.9340775907039642e-05, -1.8524006009101868e-05, -1.7707236111164093e-05, -1.689046621322632e-05, -1.6073696315288544e-05, -1.5256926417350769e-05, -1.4440156519412994e-05, -1.362338662147522e-05, -1.2806616723537445e-05, -1.198984682559967e-05, -1.1173076927661896e-05, -1.0356307029724121e-05, -9.539537131786346e-06, -8.722767233848572e-06, -7.905997335910797e-06, -7.0892274379730225e-06, -6.272457540035248e-06, -5.455687642097473e-06, -4.6389177441596985e-06, -3.822147846221924e-06, -3.005377948284149e-06, -2.1886080503463745e-06, -1.3718381524085999e-06, -5.550682544708252e-07, 2.6170164346694946e-07, 1.0784715414047241e-06, 1.8952414393424988e-06, 2.7120113372802734e-06, 3.528781235218048e-06, 4.345551133155823e-06, 5.162321031093597e-06, 5.979090929031372e-06, 6.795860826969147e-06, 7.612630724906921e-06, 8.429400622844696e-06, 9.24617052078247e-06, 1.0062940418720245e-05, 1.087971031665802e-05, 1.1696480214595795e-05, 1.251325011253357e-05, 1.3330020010471344e-05, 1.4146789908409119e-05, 1.4963559806346893e-05, 1.5780329704284668e-05, 1.6597099602222443e-05, 1.7413869500160217e-05, 1.8230639398097992e-05, 1.9047409296035767e-05, 1.986417919397354e-05, 2.0680949091911316e-05, 2.149771898984909e-05, 2.2314488887786865e-05, 2.313125878572464e-05, 2.3948028683662415e-05, 2.476479858160019e-05, 2.5581568479537964e-05, 2.639833837747574e-05, 2.7215108275413513e-05, 2.8031878173351288e-05, 2.8848648071289062e-05]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 5.0, 5.0, 2.0, 3.0, 6.0, 7.0, 6.0, 7.0, 5.0, 17.0, 19.0, 19.0, 30.0, 28.0, 27.0, 34.0, 37.0, 35.0, 55.0, 58.0, 44.0, 58.0, 52.0, 44.0, 43.0, 45.0, 39.0, 40.0, 35.0, 44.0, 29.0, 23.0, 20.0, 18.0, 16.0, 14.0, 8.0, 8.0, 6.0, 2.0, 4.0, 2.0, 3.0, 3.0, 6.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02783203125, -0.026912450790405273, -0.025992870330810547, -0.02507328987121582, -0.024153709411621094, -0.023234128952026367, -0.02231454849243164, -0.021394968032836914, -0.020475387573242188, -0.01955580711364746, -0.018636226654052734, -0.017716646194458008, -0.01679706573486328, -0.015877485275268555, -0.014957904815673828, -0.014038324356079102, -0.013118743896484375, -0.012199163436889648, -0.011279582977294922, -0.010360002517700195, -0.009440422058105469, -0.008520841598510742, -0.007601261138916016, -0.006681680679321289, -0.0057621002197265625, -0.004842519760131836, -0.003922939300537109, -0.003003358840942383, -0.0020837783813476562, -0.0011641979217529297, -0.0002446174621582031, 0.0006749629974365234, 0.00159454345703125, 0.0025141239166259766, 0.003433704376220703, 0.00435328483581543, 0.005272865295410156, 0.006192445755004883, 0.007112026214599609, 0.008031606674194336, 0.008951187133789062, 0.009870767593383789, 0.010790348052978516, 0.011709928512573242, 0.012629508972167969, 0.013549089431762695, 0.014468669891357422, 0.015388250350952148, 0.016307830810546875, 0.0172274112701416, 0.018146991729736328, 0.019066572189331055, 0.01998615264892578, 0.020905733108520508, 0.021825313568115234, 0.02274489402770996, 0.023664474487304688, 0.024584054946899414, 0.02550363540649414, 0.026423215866088867, 0.027342796325683594, 0.02826237678527832, 0.029181957244873047, 0.030101537704467773, 0.0310211181640625]}, "gradients/decoder.transformer.h.11.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 4.0, 4.0, 5.0, 6.0, 9.0, 14.0, 25.0, 24.0, 30.0, 56.0, 124.0, 133.0, 217.0, 415.0, 756.0, 1417.0, 2813.0, 5662.0, 12036.0, 28156.0, 78765.0, 541071.0, 274196.0, 59991.0, 22674.0, 10034.0, 4833.0, 2298.0, 1209.0, 642.0, 355.0, 207.0, 135.0, 61.0, 65.0, 35.0, 26.0, 14.0, 19.0, 8.0, 5.0, 4.0, 5.0, 1.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0645751953125, -0.06254959106445312, -0.06052398681640625, -0.058498382568359375, -0.0564727783203125, -0.054447174072265625, -0.05242156982421875, -0.050395965576171875, -0.048370361328125, -0.046344757080078125, -0.04431915283203125, -0.042293548583984375, -0.0402679443359375, -0.038242340087890625, -0.03621673583984375, -0.034191131591796875, -0.03216552734375, -0.030139923095703125, -0.02811431884765625, -0.026088714599609375, -0.0240631103515625, -0.022037506103515625, -0.02001190185546875, -0.017986297607421875, -0.015960693359375, -0.013935089111328125, -0.01190948486328125, -0.009883880615234375, -0.0078582763671875, -0.005832672119140625, -0.00380706787109375, -0.001781463623046875, 0.000244140625, 0.002269744873046875, 0.00429534912109375, 0.006320953369140625, 0.0083465576171875, 0.010372161865234375, 0.01239776611328125, 0.014423370361328125, 0.016448974609375, 0.018474578857421875, 0.02050018310546875, 0.022525787353515625, 0.0245513916015625, 0.026576995849609375, 0.02860260009765625, 0.030628204345703125, 0.03265380859375, 0.034679412841796875, 0.03670501708984375, 0.038730621337890625, 0.0407562255859375, 0.042781829833984375, 0.04480743408203125, 0.046833038330078125, 0.048858642578125, 0.050884246826171875, 0.05290985107421875, 0.054935455322265625, 0.0569610595703125, 0.058986663818359375, 0.06101226806640625, 0.06303787231445312, 0.0650634765625]}, "gradients/decoder.transformer.h.11.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 5.0, 3.0, 3.0, 1.0, 4.0, 3.0, 7.0, 10.0, 13.0, 15.0, 11.0, 14.0, 19.0, 22.0, 30.0, 38.0, 50.0, 36.0, 44.0, 52.0, 74.0, 81.0, 151.0, 1493.0, 298.0, 134.0, 65.0, 56.0, 54.0, 31.0, 36.0, 23.0, 24.0, 24.0, 24.0, 15.0, 16.0, 16.0, 9.0, 14.0, 14.0, 8.0, 8.0, 2.0, 2.0, 2.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.09393310546875, -0.0909891128540039, -0.08804512023925781, -0.08510112762451172, -0.08215713500976562, -0.07921314239501953, -0.07626914978027344, -0.07332515716552734, -0.07038116455078125, -0.06743717193603516, -0.06449317932128906, -0.06154918670654297, -0.058605194091796875, -0.05566120147705078, -0.05271720886230469, -0.049773216247558594, -0.0468292236328125, -0.043885231018066406, -0.04094123840332031, -0.03799724578857422, -0.035053253173828125, -0.03210926055908203, -0.029165267944335938, -0.026221275329589844, -0.02327728271484375, -0.020333290100097656, -0.017389297485351562, -0.014445304870605469, -0.011501312255859375, -0.008557319641113281, -0.0056133270263671875, -0.0026693344116210938, 0.000274658203125, 0.0032186508178710938, 0.0061626434326171875, 0.009106636047363281, 0.012050628662109375, 0.014994621276855469, 0.017938613891601562, 0.020882606506347656, 0.02382659912109375, 0.026770591735839844, 0.029714584350585938, 0.03265857696533203, 0.035602569580078125, 0.03854656219482422, 0.04149055480957031, 0.044434547424316406, 0.0473785400390625, 0.050322532653808594, 0.05326652526855469, 0.05621051788330078, 0.059154510498046875, 0.06209850311279297, 0.06504249572753906, 0.06798648834228516, 0.07093048095703125, 0.07387447357177734, 0.07681846618652344, 0.07976245880126953, 0.08270645141601562, 0.08565044403076172, 0.08859443664550781, 0.0915384292602539, 0.094482421875]}, "gradients/decoder.transformer.h.11.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 6.0, 4.0, 12.0, 18.0, 14.0, 17.0, 29.0, 35.0, 32.0, 46.0, 66.0, 78.0, 114.0, 144.0, 257.0, 494.0, 1678.0, 8791.0, 87317.0, 2902483.0, 129464.0, 11044.0, 1981.0, 606.0, 264.0, 196.0, 136.0, 87.0, 62.0, 55.0, 34.0, 30.0, 25.0, 18.0, 26.0, 4.0, 11.0, 9.0, 5.0, 2.0, 2.0, 2.0, 5.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1796875, -0.1739940643310547, -0.16830062866210938, -0.16260719299316406, -0.15691375732421875, -0.15122032165527344, -0.14552688598632812, -0.1398334503173828, -0.1341400146484375, -0.1284465789794922, -0.12275314331054688, -0.11705970764160156, -0.11136627197265625, -0.10567283630371094, -0.09997940063476562, -0.09428596496582031, -0.088592529296875, -0.08289909362792969, -0.07720565795898438, -0.07151222229003906, -0.06581878662109375, -0.06012535095214844, -0.054431915283203125, -0.04873847961425781, -0.0430450439453125, -0.03735160827636719, -0.031658172607421875, -0.025964736938476562, -0.02027130126953125, -0.014577865600585938, -0.008884429931640625, -0.0031909942626953125, 0.00250244140625, 0.008195877075195312, 0.013889312744140625, 0.019582748413085938, 0.02527618408203125, 0.030969619750976562, 0.036663055419921875, 0.04235649108886719, 0.0480499267578125, 0.05374336242675781, 0.059436798095703125, 0.06513023376464844, 0.07082366943359375, 0.07651710510253906, 0.08221054077148438, 0.08790397644042969, 0.093597412109375, 0.09929084777832031, 0.10498428344726562, 0.11067771911621094, 0.11637115478515625, 0.12206459045410156, 0.12775802612304688, 0.1334514617919922, 0.1391448974609375, 0.1448383331298828, 0.15053176879882812, 0.15622520446777344, 0.16191864013671875, 0.16761207580566406, 0.17330551147460938, 0.1789989471435547, 0.1846923828125]}, "gradients/decoder.transformer.h.11.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 19.0, 60.0, 228.0, 347.0, 253.0, 87.0, 20.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.8844770789146423, -0.8662795424461365, -0.8480820059776306, -0.8298844695091248, -0.8116869330406189, -0.793489396572113, -0.7752918601036072, -0.7570943236351013, -0.7388967871665955, -0.7206992506980896, -0.7025017142295837, -0.6843041777610779, -0.666106641292572, -0.6479091048240662, -0.6297115683555603, -0.6115140318870544, -0.5933164358139038, -0.575118899345398, -0.5569213628768921, -0.5387238264083862, -0.5205262899398804, -0.5023287534713745, -0.48413121700286865, -0.4659336805343628, -0.44773614406585693, -0.4295386075973511, -0.4113410711288452, -0.39314353466033936, -0.3749459981918335, -0.35674846172332764, -0.3385509252548218, -0.3203533887863159, -0.30215585231781006, -0.2839583158493042, -0.26576077938079834, -0.24756324291229248, -0.22936570644378662, -0.21116816997528076, -0.1929706186056137, -0.17477308213710785, -0.156575545668602, -0.13837800920009613, -0.12018047273159027, -0.10198292881250381, -0.08378539234399796, -0.0655878558754921, -0.04739031195640564, -0.02919277548789978, -0.010995239019393921, 0.007202299311757088, 0.025399837642908096, 0.043597377836704254, 0.061794914305210114, 0.07999245077371597, 0.09818999469280243, 0.11638753116130829, 0.13458506762981415, 0.15278260409832, 0.17098014056682587, 0.18917769193649292, 0.20737522840499878, 0.22557276487350464, 0.2437703013420105, 0.26196783781051636, 0.2801653742790222]}, "gradients/decoder.transformer.h.11.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 6.0, 1.0, 5.0, 6.0, 6.0, 6.0, 8.0, 12.0, 10.0, 14.0, 15.0, 20.0, 14.0, 21.0, 21.0, 15.0, 20.0, 21.0, 38.0, 46.0, 32.0, 31.0, 38.0, 41.0, 41.0, 43.0, 32.0, 49.0, 54.0, 43.0, 33.0, 27.0, 30.0, 23.0, 30.0, 20.0, 32.0, 24.0, 12.0, 15.0, 16.0, 12.0, 7.0, 6.0, 5.0, 4.0, 5.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.2528250217437744, -0.24510246515274048, -0.23737990856170654, -0.2296573519706726, -0.22193481028079987, -0.21421225368976593, -0.206489697098732, -0.19876714050769806, -0.19104459881782532, -0.18332204222679138, -0.17559948563575745, -0.1678769290447235, -0.16015438735485077, -0.15243183076381683, -0.1447092741727829, -0.13698671758174896, -0.12926416099071503, -0.12154160439968109, -0.11381905525922775, -0.10609649866819382, -0.09837394952774048, -0.09065139293670654, -0.08292883634567261, -0.07520627975463867, -0.06748373061418533, -0.059761177748441696, -0.05203862488269806, -0.044316068291664124, -0.036593515425920486, -0.02887096256017685, -0.021148405969142914, -0.013425853103399277, -0.00570330023765564, 0.002019253559410572, 0.009741807356476784, 0.01746436208486557, 0.025186914950609207, 0.032909467816352844, 0.04063202440738678, 0.04835457727313042, 0.056077130138874054, 0.06379968672990799, 0.07152223587036133, 0.07924479246139526, 0.0869673490524292, 0.09468989819288254, 0.10241245478391647, 0.11013500392436981, 0.11785756051540375, 0.12558011710643768, 0.13330267369747162, 0.14102521538734436, 0.1487477719783783, 0.15647032856941223, 0.16419288516044617, 0.1719154417514801, 0.17963799834251404, 0.18736055493354797, 0.1950831115245819, 0.20280566811561584, 0.2105282098054886, 0.21825076639652252, 0.22597332298755646, 0.2336958795785904, 0.24141842126846313]}, "gradients/decoder.transformer.h.10.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 4.0, 1.0, 3.0, 4.0, 5.0, 6.0, 10.0, 5.0, 5.0, 13.0, 16.0, 13.0, 17.0, 24.0, 32.0, 23.0, 35.0, 24.0, 43.0, 44.0, 44.0, 48.0, 49.0, 48.0, 43.0, 47.0, 41.0, 39.0, 34.0, 40.0, 40.0, 28.0, 32.0, 22.0, 19.0, 20.0, 11.0, 15.0, 21.0, 4.0, 9.0, 8.0, 1.0, 4.0, 2.0, 3.0, 4.0, 4.0, 1.0, 2.0, 1.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0264892578125, -0.025606870651245117, -0.024724483489990234, -0.02384209632873535, -0.02295970916748047, -0.022077322006225586, -0.021194934844970703, -0.02031254768371582, -0.019430160522460938, -0.018547773361206055, -0.017665386199951172, -0.01678299903869629, -0.015900611877441406, -0.015018224716186523, -0.01413583755493164, -0.013253450393676758, -0.012371063232421875, -0.011488676071166992, -0.01060628890991211, -0.009723901748657227, -0.008841514587402344, -0.007959127426147461, -0.007076740264892578, -0.006194353103637695, -0.0053119659423828125, -0.00442957878112793, -0.003547191619873047, -0.002664804458618164, -0.0017824172973632812, -0.0009000301361083984, -1.7642974853515625e-05, 0.0008647441864013672, 0.00174713134765625, 0.002629518508911133, 0.0035119056701660156, 0.0043942928314208984, 0.005276679992675781, 0.006159067153930664, 0.007041454315185547, 0.00792384147644043, 0.008806228637695312, 0.009688615798950195, 0.010571002960205078, 0.011453390121459961, 0.012335777282714844, 0.013218164443969727, 0.01410055160522461, 0.014982938766479492, 0.015865325927734375, 0.016747713088989258, 0.01763010025024414, 0.018512487411499023, 0.019394874572753906, 0.02027726173400879, 0.021159648895263672, 0.022042036056518555, 0.022924423217773438, 0.02380681037902832, 0.024689197540283203, 0.025571584701538086, 0.02645397186279297, 0.02733635902404785, 0.028218746185302734, 0.029101133346557617, 0.0299835205078125]}, "gradients/decoder.transformer.h.10.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 1.0, 4.0, 2.0, 3.0, 7.0, 11.0, 12.0, 20.0, 23.0, 27.0, 43.0, 59.0, 79.0, 133.0, 212.0, 337.0, 611.0, 1221.0, 3100.0, 9403.0, 35287.0, 192548.0, 1942734.0, 1786720.0, 173990.0, 32666.0, 8927.0, 3127.0, 1281.0, 602.0, 371.0, 214.0, 160.0, 117.0, 57.0, 43.0, 40.0, 28.0, 17.0, 15.0, 11.0, 8.0, 4.0, 7.0, 6.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06524658203125, -0.06282806396484375, -0.0604095458984375, -0.05799102783203125, -0.055572509765625, -0.05315399169921875, -0.0507354736328125, -0.04831695556640625, -0.0458984375, -0.04347991943359375, -0.0410614013671875, -0.03864288330078125, -0.036224365234375, -0.03380584716796875, -0.0313873291015625, -0.02896881103515625, -0.02655029296875, -0.02413177490234375, -0.0217132568359375, -0.01929473876953125, -0.016876220703125, -0.01445770263671875, -0.0120391845703125, -0.00962066650390625, -0.0072021484375, -0.00478363037109375, -0.0023651123046875, 5.340576171875e-05, 0.002471923828125, 0.00489044189453125, 0.0073089599609375, 0.00972747802734375, 0.01214599609375, 0.01456451416015625, 0.0169830322265625, 0.01940155029296875, 0.021820068359375, 0.02423858642578125, 0.0266571044921875, 0.02907562255859375, 0.031494140625, 0.03391265869140625, 0.0363311767578125, 0.03874969482421875, 0.041168212890625, 0.04358673095703125, 0.0460052490234375, 0.04842376708984375, 0.05084228515625, 0.05326080322265625, 0.0556793212890625, 0.05809783935546875, 0.060516357421875, 0.06293487548828125, 0.0653533935546875, 0.06777191162109375, 0.0701904296875, 0.07260894775390625, 0.0750274658203125, 0.07744598388671875, 0.079864501953125, 0.08228302001953125, 0.0847015380859375, 0.08712005615234375, 0.08953857421875]}, "gradients/decoder.transformer.h.10.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 4.0, 5.0, 4.0, 10.0, 7.0, 13.0, 10.0, 17.0, 26.0, 22.0, 46.0, 49.0, 63.0, 84.0, 120.0, 176.0, 225.0, 293.0, 412.0, 478.0, 507.0, 389.0, 289.0, 215.0, 170.0, 108.0, 83.0, 73.0, 45.0, 38.0, 21.0, 17.0, 15.0, 15.0, 7.0, 7.0, 5.0, 6.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.046966552734375, -0.04534578323364258, -0.043725013732910156, -0.042104244232177734, -0.04048347473144531, -0.03886270523071289, -0.03724193572998047, -0.03562116622924805, -0.034000396728515625, -0.0323796272277832, -0.03075885772705078, -0.02913808822631836, -0.027517318725585938, -0.025896549224853516, -0.024275779724121094, -0.022655010223388672, -0.02103424072265625, -0.019413471221923828, -0.017792701721191406, -0.016171932220458984, -0.014551162719726562, -0.01293039321899414, -0.011309623718261719, -0.009688854217529297, -0.008068084716796875, -0.006447315216064453, -0.004826545715332031, -0.0032057762145996094, -0.0015850067138671875, 3.5762786865234375e-05, 0.0016565322875976562, 0.003277301788330078, 0.0048980712890625, 0.006518840789794922, 0.008139610290527344, 0.009760379791259766, 0.011381149291992188, 0.01300191879272461, 0.014622688293457031, 0.016243457794189453, 0.017864227294921875, 0.019484996795654297, 0.02110576629638672, 0.02272653579711914, 0.024347305297851562, 0.025968074798583984, 0.027588844299316406, 0.029209613800048828, 0.03083038330078125, 0.03245115280151367, 0.034071922302246094, 0.035692691802978516, 0.03731346130371094, 0.03893423080444336, 0.04055500030517578, 0.0421757698059082, 0.043796539306640625, 0.04541730880737305, 0.04703807830810547, 0.04865884780883789, 0.05027961730957031, 0.051900386810302734, 0.053521156311035156, 0.05514192581176758, 0.0567626953125]}, "gradients/decoder.transformer.h.10.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 6.0, 1.0, 9.0, 8.0, 4.0, 11.0, 21.0, 15.0, 24.0, 30.0, 44.0, 77.0, 98.0, 128.0, 219.0, 482.0, 1544.0, 15458.0, 1064432.0, 3074295.0, 33629.0, 2310.0, 580.0, 287.0, 167.0, 110.0, 83.0, 57.0, 40.0, 27.0, 22.0, 23.0, 11.0, 10.0, 10.0, 7.0, 4.0, 5.0, 0.0, 4.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.267578125, -0.25995826721191406, -0.2523384094238281, -0.2447185516357422, -0.23709869384765625, -0.2294788360595703, -0.22185897827148438, -0.21423912048339844, -0.2066192626953125, -0.19899940490722656, -0.19137954711914062, -0.1837596893310547, -0.17613983154296875, -0.1685199737548828, -0.16090011596679688, -0.15328025817871094, -0.145660400390625, -0.13804054260253906, -0.13042068481445312, -0.12280082702636719, -0.11518096923828125, -0.10756111145019531, -0.09994125366210938, -0.09232139587402344, -0.0847015380859375, -0.07708168029785156, -0.06946182250976562, -0.06184196472167969, -0.05422210693359375, -0.04660224914550781, -0.038982391357421875, -0.03136253356933594, -0.02374267578125, -0.016122817993164062, -0.008502960205078125, -0.0008831024169921875, 0.00673675537109375, 0.014356613159179688, 0.021976470947265625, 0.029596328735351562, 0.0372161865234375, 0.04483604431152344, 0.052455902099609375, 0.06007575988769531, 0.06769561767578125, 0.07531547546386719, 0.08293533325195312, 0.09055519104003906, 0.098175048828125, 0.10579490661621094, 0.11341476440429688, 0.12103462219238281, 0.12865447998046875, 0.1362743377685547, 0.14389419555664062, 0.15151405334472656, 0.1591339111328125, 0.16675376892089844, 0.17437362670898438, 0.1819934844970703, 0.18961334228515625, 0.1972332000732422, 0.20485305786132812, 0.21247291564941406, 0.2200927734375]}, "gradients/decoder.transformer.h.10.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 3.0, 13.0, 25.0, 47.0, 82.0, 153.0, 148.0, 186.0, 155.0, 95.0, 51.0, 30.0, 13.0, 6.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.630138099193573, -0.6151757836341858, -0.6002135276794434, -0.5852512121200562, -0.570288896560669, -0.5553266406059265, -0.5403643250465393, -0.5254020094871521, -0.5104397535324097, -0.49547746777534485, -0.48051515221595764, -0.4655528664588928, -0.450590580701828, -0.4356282949447632, -0.420665979385376, -0.40570369362831116, -0.39074137806892395, -0.37577909231185913, -0.3608167767524719, -0.3458544909954071, -0.3308922052383423, -0.3159298896789551, -0.30096760392189026, -0.28600531816482544, -0.27104300260543823, -0.2560807168483734, -0.2411184161901474, -0.2261561155319214, -0.21119382977485657, -0.19623152911663055, -0.18126922845840454, -0.16630694270133972, -0.1513446569442749, -0.1363823562860489, -0.12142007052898407, -0.10645776987075806, -0.09149547666311264, -0.07653318345546722, -0.06157088279724121, -0.046608589589595795, -0.03164629638195038, -0.016684001311659813, -0.0017217062413692474, 0.013240590691566467, 0.028202883899211884, 0.0431651771068573, 0.05812747776508331, 0.07308977097272873, 0.08805206418037415, 0.10301435738801956, 0.11797665059566498, 0.132938951253891, 0.1479012370109558, 0.16286353766918182, 0.17782583832740784, 0.19278812408447266, 0.20775042474269867, 0.22271272540092468, 0.2376750111579895, 0.2526373267173767, 0.26759961247444153, 0.28256189823150635, 0.29752421379089355, 0.3124864995479584, 0.3274487853050232]}, "gradients/decoder.transformer.h.10.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 3.0, 4.0, 2.0, 2.0, 4.0, 6.0, 10.0, 6.0, 8.0, 13.0, 10.0, 15.0, 15.0, 16.0, 30.0, 27.0, 26.0, 32.0, 33.0, 27.0, 38.0, 34.0, 36.0, 30.0, 38.0, 35.0, 40.0, 35.0, 35.0, 32.0, 37.0, 35.0, 30.0, 25.0, 28.0, 25.0, 27.0, 23.0, 24.0, 24.0, 15.0, 11.0, 20.0, 8.0, 10.0, 7.0, 6.0, 5.0, 8.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.16588687896728516, -0.16043512523174286, -0.15498338639736176, -0.14953163266181946, -0.14407989382743835, -0.13862814009189606, -0.13317638635635376, -0.12772464752197266, -0.12227289378643036, -0.11682114750146866, -0.11136940121650696, -0.10591764748096466, -0.10046590119600296, -0.09501415491104126, -0.08956240117549896, -0.08411065489053726, -0.07865890860557556, -0.07320716232061386, -0.06775541603565216, -0.06230366230010986, -0.05685191601514816, -0.05140016973018646, -0.045948419719934464, -0.040496669709682465, -0.035044923424720764, -0.029593175277113914, -0.024141427129507065, -0.018689678981900215, -0.013237930834293365, -0.007786182686686516, -0.002334434539079666, 0.0031173154711723328, 0.008569061756134033, 0.014020809903740883, 0.019472558051347733, 0.024924306198954582, 0.030376054346561432, 0.03582780063152313, 0.04127955064177513, 0.04673130065202713, 0.05218304693698883, 0.05763479322195053, 0.06308653950691223, 0.06853829324245453, 0.07399003952741623, 0.07944178581237793, 0.08489353954792023, 0.09034528583288193, 0.09579703211784363, 0.10124877840280533, 0.10670052468776703, 0.11215227842330933, 0.11760402470827103, 0.12305577099323273, 0.12850752472877502, 0.13395926356315613, 0.13941101729869843, 0.14486277103424072, 0.15031450986862183, 0.15576626360416412, 0.16121801733970642, 0.16666975617408752, 0.17212150990962982, 0.17757326364517212, 0.18302500247955322]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 5.0, 4.0, 3.0, 7.0, 9.0, 15.0, 14.0, 17.0, 23.0, 22.0, 25.0, 31.0, 41.0, 31.0, 34.0, 36.0, 50.0, 42.0, 53.0, 53.0, 51.0, 48.0, 37.0, 44.0, 38.0, 39.0, 40.0, 32.0, 28.0, 25.0, 21.0, 20.0, 12.0, 12.0, 4.0, 8.0, 4.0, 5.0, 3.0, 2.0, 3.0, 2.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.026458740234375, -0.025501251220703125, -0.02454376220703125, -0.023586273193359375, -0.0226287841796875, -0.021671295166015625, -0.02071380615234375, -0.019756317138671875, -0.018798828125, -0.017841339111328125, -0.01688385009765625, -0.015926361083984375, -0.0149688720703125, -0.014011383056640625, -0.01305389404296875, -0.012096405029296875, -0.011138916015625, -0.010181427001953125, -0.00922393798828125, -0.008266448974609375, -0.0073089599609375, -0.006351470947265625, -0.00539398193359375, -0.004436492919921875, -0.00347900390625, -0.002521514892578125, -0.00156402587890625, -0.000606536865234375, 0.0003509521484375, 0.001308441162109375, 0.00226593017578125, 0.003223419189453125, 0.004180908203125, 0.005138397216796875, 0.00609588623046875, 0.007053375244140625, 0.0080108642578125, 0.008968353271484375, 0.00992584228515625, 0.010883331298828125, 0.0118408203125, 0.012798309326171875, 0.01375579833984375, 0.014713287353515625, 0.0156707763671875, 0.016628265380859375, 0.01758575439453125, 0.018543243408203125, 0.019500732421875, 0.020458221435546875, 0.02141571044921875, 0.022373199462890625, 0.0233306884765625, 0.024288177490234375, 0.02524566650390625, 0.026203155517578125, 0.02716064453125, 0.028118133544921875, 0.02907562255859375, 0.030033111572265625, 0.0309906005859375, 0.031948089599609375, 0.03290557861328125, 0.033863067626953125, 0.034820556640625]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 6.0, 3.0, 8.0, 14.0, 24.0, 26.0, 48.0, 68.0, 100.0, 144.0, 220.0, 358.0, 486.0, 737.0, 1152.0, 1861.0, 2703.0, 4562.0, 7363.0, 12582.0, 21936.0, 38218.0, 69408.0, 136635.0, 389162.0, 172884.0, 81168.0, 44615.0, 24854.0, 14513.0, 8520.0, 5110.0, 3223.0, 2054.0, 1290.0, 862.0, 551.0, 357.0, 233.0, 179.0, 104.0, 75.0, 49.0, 30.0, 33.0, 7.0, 12.0, 6.0, 6.0, 5.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0002288818359375, -0.00022164545953273773, -0.00021440908312797546, -0.0002071727067232132, -0.00019993633031845093, -0.00019269995391368866, -0.0001854635775089264, -0.00017822720110416412, -0.00017099082469940186, -0.0001637544482946396, -0.00015651807188987732, -0.00014928169548511505, -0.00014204531908035278, -0.00013480894267559052, -0.00012757256627082825, -0.00012033618986606598, -0.00011309981346130371, -0.00010586343705654144, -9.862706065177917e-05, -9.13906842470169e-05, -8.415430784225464e-05, -7.691793143749237e-05, -6.96815550327301e-05, -6.244517862796783e-05, -5.5208802223205566e-05, -4.79724258184433e-05, -4.073604941368103e-05, -3.349967300891876e-05, -2.6263296604156494e-05, -1.9026920199394226e-05, -1.1790543794631958e-05, -4.55416738986969e-06, 2.682209014892578e-06, 9.918585419654846e-06, 1.7154961824417114e-05, 2.4391338229179382e-05, 3.162771463394165e-05, 3.886409103870392e-05, 4.6100467443466187e-05, 5.3336843848228455e-05, 6.057322025299072e-05, 6.780959665775299e-05, 7.504597306251526e-05, 8.228234946727753e-05, 8.95187258720398e-05, 9.675510227680206e-05, 0.00010399147868156433, 0.0001112278550863266, 0.00011846423149108887, 0.00012570060789585114, 0.0001329369843006134, 0.00014017336070537567, 0.00014740973711013794, 0.0001546461135149002, 0.00016188248991966248, 0.00016911886632442474, 0.000176355242729187, 0.00018359161913394928, 0.00019082799553871155, 0.00019806437194347382, 0.00020530074834823608, 0.00021253712475299835, 0.00021977350115776062, 0.0002270098775625229, 0.00023424625396728516]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 8.0, 10.0, 11.0, 10.0, 13.0, 13.0, 9.0, 18.0, 28.0, 13.0, 22.0, 21.0, 25.0, 29.0, 34.0, 41.0, 35.0, 41.0, 39.0, 38.0, 1064.0, 37.0, 43.0, 35.0, 48.0, 29.0, 39.0, 31.0, 25.0, 33.0, 35.0, 21.0, 21.0, 12.0, 20.0, 20.0, 12.0, 9.0, 12.0, 6.0, 3.0, 7.0, 2.0, 8.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.0299530029296875, -0.029041767120361328, -0.028130531311035156, -0.027219295501708984, -0.026308059692382812, -0.02539682388305664, -0.02448558807373047, -0.023574352264404297, -0.022663116455078125, -0.021751880645751953, -0.02084064483642578, -0.01992940902709961, -0.019018173217773438, -0.018106937408447266, -0.017195701599121094, -0.016284465789794922, -0.01537322998046875, -0.014461994171142578, -0.013550758361816406, -0.012639522552490234, -0.011728286743164062, -0.01081705093383789, -0.009905815124511719, -0.008994579315185547, -0.008083343505859375, -0.007172107696533203, -0.006260871887207031, -0.005349636077880859, -0.0044384002685546875, -0.0035271644592285156, -0.0026159286499023438, -0.0017046928405761719, -0.00079345703125, 0.00011777877807617188, 0.0010290145874023438, 0.0019402503967285156, 0.0028514862060546875, 0.0037627220153808594, 0.004673957824707031, 0.005585193634033203, 0.006496429443359375, 0.007407665252685547, 0.008318901062011719, 0.00923013687133789, 0.010141372680664062, 0.011052608489990234, 0.011963844299316406, 0.012875080108642578, 0.01378631591796875, 0.014697551727294922, 0.015608787536621094, 0.016520023345947266, 0.017431259155273438, 0.01834249496459961, 0.01925373077392578, 0.020164966583251953, 0.021076202392578125, 0.021987438201904297, 0.02289867401123047, 0.02380990982055664, 0.024721145629882812, 0.025632381439208984, 0.026543617248535156, 0.027454853057861328, 0.0283660888671875]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 7.0, 4.0, 6.0, 4.0, 7.0, 8.0, 10.0, 11.0, 16.0, 20.0, 14.0, 23.0, 19.0, 26.0, 34.0, 32.0, 24.0, 40.0, 57.0, 116.0, 315.0, 1104.0, 7983.0, 2072121.0, 12672.0, 1629.0, 345.0, 141.0, 60.0, 34.0, 39.0, 28.0, 17.0, 25.0, 15.0, 21.0, 28.0, 13.0, 10.0, 7.0, 17.0, 9.0, 10.0, 12.0, 2.0, 2.0, 4.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.135204315185547e-05, -3.035925328731537e-05, -2.936646342277527e-05, -2.837367355823517e-05, -2.738088369369507e-05, -2.6388093829154968e-05, -2.5395303964614868e-05, -2.4402514100074768e-05, -2.3409724235534668e-05, -2.2416934370994568e-05, -2.1424144506454468e-05, -2.0431354641914368e-05, -1.9438564777374268e-05, -1.8445774912834167e-05, -1.7452985048294067e-05, -1.6460195183753967e-05, -1.5467405319213867e-05, -1.4474615454673767e-05, -1.3481825590133667e-05, -1.2489035725593567e-05, -1.1496245861053467e-05, -1.0503455996513367e-05, -9.510666131973267e-06, -8.517876267433167e-06, -7.525086402893066e-06, -6.532296538352966e-06, -5.539506673812866e-06, -4.546716809272766e-06, -3.553926944732666e-06, -2.561137080192566e-06, -1.5683472156524658e-06, -5.755573511123657e-07, 4.172325134277344e-07, 1.4100223779678345e-06, 2.4028122425079346e-06, 3.3956021070480347e-06, 4.388391971588135e-06, 5.381181836128235e-06, 6.373971700668335e-06, 7.366761565208435e-06, 8.359551429748535e-06, 9.352341294288635e-06, 1.0345131158828735e-05, 1.1337921023368835e-05, 1.2330710887908936e-05, 1.3323500752449036e-05, 1.4316290616989136e-05, 1.5309080481529236e-05, 1.6301870346069336e-05, 1.7294660210609436e-05, 1.8287450075149536e-05, 1.9280239939689636e-05, 2.0273029804229736e-05, 2.1265819668769836e-05, 2.2258609533309937e-05, 2.3251399397850037e-05, 2.4244189262390137e-05, 2.5236979126930237e-05, 2.6229768991470337e-05, 2.7222558856010437e-05, 2.8215348720550537e-05, 2.9208138585090637e-05, 3.0200928449630737e-05, 3.119371831417084e-05, 3.218650817871094e-05]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 5.0, 4.0, 3.0, 7.0, 9.0, 15.0, 14.0, 17.0, 23.0, 22.0, 25.0, 31.0, 41.0, 31.0, 34.0, 36.0, 50.0, 42.0, 53.0, 53.0, 51.0, 48.0, 37.0, 44.0, 38.0, 39.0, 40.0, 32.0, 28.0, 25.0, 21.0, 20.0, 12.0, 12.0, 4.0, 8.0, 4.0, 5.0, 3.0, 2.0, 3.0, 2.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.026458740234375, -0.025501251220703125, -0.02454376220703125, -0.023586273193359375, -0.0226287841796875, -0.021671295166015625, -0.02071380615234375, -0.019756317138671875, -0.018798828125, -0.017841339111328125, -0.01688385009765625, -0.015926361083984375, -0.0149688720703125, -0.014011383056640625, -0.01305389404296875, -0.012096405029296875, -0.011138916015625, -0.010181427001953125, -0.00922393798828125, -0.008266448974609375, -0.0073089599609375, -0.006351470947265625, -0.00539398193359375, -0.004436492919921875, -0.00347900390625, -0.002521514892578125, -0.00156402587890625, -0.000606536865234375, 0.0003509521484375, 0.001308441162109375, 0.00226593017578125, 0.003223419189453125, 0.004180908203125, 0.005138397216796875, 0.00609588623046875, 0.007053375244140625, 0.0080108642578125, 0.008968353271484375, 0.00992584228515625, 0.010883331298828125, 0.0118408203125, 0.012798309326171875, 0.01375579833984375, 0.014713287353515625, 0.0156707763671875, 0.016628265380859375, 0.01758575439453125, 0.018543243408203125, 0.019500732421875, 0.020458221435546875, 0.02141571044921875, 0.022373199462890625, 0.0233306884765625, 0.024288177490234375, 0.02524566650390625, 0.026203155517578125, 0.02716064453125, 0.028118133544921875, 0.02907562255859375, 0.030033111572265625, 0.0309906005859375, 0.031948089599609375, 0.03290557861328125, 0.033863067626953125, 0.034820556640625]}, "gradients/decoder.transformer.h.10.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 6.0, 7.0, 14.0, 16.0, 36.0, 31.0, 73.0, 91.0, 157.0, 249.0, 422.0, 681.0, 1238.0, 2119.0, 3942.0, 7694.0, 15286.0, 31626.0, 72374.0, 484995.0, 309946.0, 61567.0, 27681.0, 13353.0, 6791.0, 3564.0, 1893.0, 1050.0, 648.0, 382.0, 219.0, 152.0, 89.0, 62.0, 34.0, 18.0, 23.0, 12.0, 3.0, 6.0, 2.0, 4.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.054412841796875, -0.052707672119140625, -0.05100250244140625, -0.049297332763671875, -0.0475921630859375, -0.045886993408203125, -0.04418182373046875, -0.042476654052734375, -0.040771484375, -0.039066314697265625, -0.03736114501953125, -0.035655975341796875, -0.0339508056640625, -0.032245635986328125, -0.03054046630859375, -0.028835296630859375, -0.027130126953125, -0.025424957275390625, -0.02371978759765625, -0.022014617919921875, -0.0203094482421875, -0.018604278564453125, -0.01689910888671875, -0.015193939208984375, -0.01348876953125, -0.011783599853515625, -0.01007843017578125, -0.008373260498046875, -0.0066680908203125, -0.004962921142578125, -0.00325775146484375, -0.001552581787109375, 0.000152587890625, 0.001857757568359375, 0.00356292724609375, 0.005268096923828125, 0.0069732666015625, 0.008678436279296875, 0.01038360595703125, 0.012088775634765625, 0.0137939453125, 0.015499114990234375, 0.01720428466796875, 0.018909454345703125, 0.0206146240234375, 0.022319793701171875, 0.02402496337890625, 0.025730133056640625, 0.027435302734375, 0.029140472412109375, 0.03084564208984375, 0.032550811767578125, 0.0342559814453125, 0.035961151123046875, 0.03766632080078125, 0.039371490478515625, 0.04107666015625, 0.042781829833984375, 0.04448699951171875, 0.046192169189453125, 0.0478973388671875, 0.049602508544921875, 0.05130767822265625, 0.053012847900390625, 0.054718017578125]}, "gradients/decoder.transformer.h.10.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 4.0, 5.0, 6.0, 11.0, 9.0, 14.0, 13.0, 14.0, 24.0, 31.0, 24.0, 29.0, 27.0, 35.0, 48.0, 43.0, 44.0, 49.0, 96.0, 315.0, 1590.0, 141.0, 68.0, 50.0, 40.0, 47.0, 56.0, 41.0, 28.0, 23.0, 20.0, 16.0, 18.0, 21.0, 6.0, 9.0, 18.0, 5.0, 4.0, 0.0, 5.0, 3.0, 4.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.1021728515625, -0.09927177429199219, -0.09637069702148438, -0.09346961975097656, -0.09056854248046875, -0.08766746520996094, -0.08476638793945312, -0.08186531066894531, -0.0789642333984375, -0.07606315612792969, -0.07316207885742188, -0.07026100158691406, -0.06735992431640625, -0.06445884704589844, -0.061557769775390625, -0.05865669250488281, -0.055755615234375, -0.05285453796386719, -0.049953460693359375, -0.04705238342285156, -0.04415130615234375, -0.04125022888183594, -0.038349151611328125, -0.03544807434082031, -0.0325469970703125, -0.029645919799804688, -0.026744842529296875, -0.023843765258789062, -0.02094268798828125, -0.018041610717773438, -0.015140533447265625, -0.012239456176757812, -0.00933837890625, -0.0064373016357421875, -0.003536224365234375, -0.0006351470947265625, 0.00226593017578125, 0.0051670074462890625, 0.008068084716796875, 0.010969161987304688, 0.0138702392578125, 0.016771316528320312, 0.019672393798828125, 0.022573471069335938, 0.02547454833984375, 0.028375625610351562, 0.031276702880859375, 0.03417778015136719, 0.037078857421875, 0.03997993469238281, 0.042881011962890625, 0.04578208923339844, 0.04868316650390625, 0.05158424377441406, 0.054485321044921875, 0.05738639831542969, 0.0602874755859375, 0.06318855285644531, 0.06608963012695312, 0.06899070739746094, 0.07189178466796875, 0.07479286193847656, 0.07769393920898438, 0.08059501647949219, 0.08349609375]}, "gradients/decoder.transformer.h.10.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 2.0, 3.0, 5.0, 6.0, 10.0, 16.0, 12.0, 17.0, 27.0, 47.0, 44.0, 73.0, 100.0, 129.0, 184.0, 402.0, 1136.0, 5605.0, 57502.0, 2906535.0, 159606.0, 11223.0, 1720.0, 506.0, 246.0, 140.0, 97.0, 95.0, 56.0, 36.0, 34.0, 26.0, 22.0, 8.0, 11.0, 5.0, 6.0, 7.0, 5.0, 1.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.204345703125, -0.19861602783203125, -0.1928863525390625, -0.18715667724609375, -0.181427001953125, -0.17569732666015625, -0.1699676513671875, -0.16423797607421875, -0.15850830078125, -0.15277862548828125, -0.1470489501953125, -0.14131927490234375, -0.135589599609375, -0.12985992431640625, -0.1241302490234375, -0.11840057373046875, -0.1126708984375, -0.10694122314453125, -0.1012115478515625, -0.09548187255859375, -0.089752197265625, -0.08402252197265625, -0.0782928466796875, -0.07256317138671875, -0.06683349609375, -0.06110382080078125, -0.0553741455078125, -0.04964447021484375, -0.043914794921875, -0.03818511962890625, -0.0324554443359375, -0.02672576904296875, -0.02099609375, -0.01526641845703125, -0.0095367431640625, -0.00380706787109375, 0.001922607421875, 0.00765228271484375, 0.0133819580078125, 0.01911163330078125, 0.02484130859375, 0.03057098388671875, 0.0363006591796875, 0.04203033447265625, 0.047760009765625, 0.05348968505859375, 0.0592193603515625, 0.06494903564453125, 0.0706787109375, 0.07640838623046875, 0.0821380615234375, 0.08786773681640625, 0.093597412109375, 0.09932708740234375, 0.1050567626953125, 0.11078643798828125, 0.11651611328125, 0.12224578857421875, 0.1279754638671875, 0.13370513916015625, 0.139434814453125, 0.14516448974609375, 0.1508941650390625, 0.15662384033203125, 0.162353515625]}, "gradients/decoder.transformer.h.10.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 9.0, 93.0, 416.0, 424.0, 69.0, 6.0, 1.0, 0.0, 2.0], "bins": [-1.5593314170837402, -1.5324052572250366, -1.5054792165756226, -1.478553056716919, -1.4516270160675049, -1.4247008562088013, -1.3977746963500977, -1.3708486557006836, -1.34392249584198, -1.3169963359832764, -1.2900702953338623, -1.2631441354751587, -1.2362180948257446, -1.209291934967041, -1.1823657751083374, -1.1554397344589233, -1.1285135746002197, -1.1015874147415161, -1.074661374092102, -1.0477352142333984, -1.0208091735839844, -0.9938830137252808, -0.9669569134712219, -0.9400308132171631, -0.9131047129631042, -0.8861786127090454, -0.8592525124549866, -0.832326352596283, -0.8054002523422241, -0.7784741520881653, -0.7515480518341064, -0.7246218919754028, -0.697695791721344, -0.6707696914672852, -0.6438435912132263, -0.6169174313545227, -0.5899913311004639, -0.563065230846405, -0.5361391305923462, -0.5092129707336426, -0.48228690028190613, -0.4553608000278473, -0.42843466997146606, -0.4015085697174072, -0.374582439661026, -0.34765633940696716, -0.32073020935058594, -0.2938041090965271, -0.26687800884246826, -0.23995189368724823, -0.2130257785320282, -0.18609967827796936, -0.15917354822158813, -0.1322474479675293, -0.10532133281230927, -0.07839521765708923, -0.05146908760070801, -0.024542974308133125, 0.002383138984441757, 0.02930925041437149, 0.05623536556959152, 0.08316147327423096, 0.11008758842945099, 0.13701370358467102, 0.16393981873989105]}, "gradients/decoder.transformer.h.10.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 6.0, 1.0, 1.0, 5.0, 5.0, 4.0, 9.0, 13.0, 9.0, 13.0, 15.0, 23.0, 24.0, 29.0, 23.0, 23.0, 34.0, 34.0, 42.0, 40.0, 42.0, 52.0, 67.0, 41.0, 39.0, 41.0, 40.0, 35.0, 38.0, 27.0, 29.0, 38.0, 29.0, 20.0, 20.0, 16.0, 14.0, 16.0, 10.0, 11.0, 4.0, 6.0, 6.0, 5.0, 3.0, 4.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.28270387649536133, -0.2745741903781891, -0.26644453406333923, -0.258314847946167, -0.25018519163131714, -0.2420555204153061, -0.23392584919929504, -0.2257961630821228, -0.21766650676727295, -0.2095368355512619, -0.20140716433525085, -0.1932774931192398, -0.18514782190322876, -0.1770181506872177, -0.16888847947120667, -0.16075879335403442, -0.15262912213802338, -0.14449945092201233, -0.13636977970600128, -0.12824010848999023, -0.12011043727397919, -0.11198076605796814, -0.1038510873913765, -0.09572141617536545, -0.0875917449593544, -0.07946207374334335, -0.0713324025273323, -0.06320272386074066, -0.05507305637001991, -0.046943385154008865, -0.03881371021270752, -0.030684038996696472, -0.022554367780685425, -0.014424695633351803, -0.006295023486018181, 0.0018346495926380157, 0.009964320808649063, 0.01809399202466011, 0.026223666965961456, 0.034353338181972504, 0.04248300939798355, 0.0506126806139946, 0.058742351830005646, 0.06687203049659729, 0.07500170171260834, 0.08313137292861938, 0.09126104414463043, 0.09939071536064148, 0.10752038657665253, 0.11565005779266357, 0.12377972900867462, 0.13190940022468567, 0.14003907144069672, 0.14816874265670776, 0.15629842877388, 0.16442808508872986, 0.1725577712059021, 0.18068744242191315, 0.1888171136379242, 0.19694678485393524, 0.2050764560699463, 0.21320612728595734, 0.22133579850196838, 0.22946548461914062, 0.23759514093399048]}, "gradients/decoder.transformer.h.9.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 2.0, 4.0, 3.0, 2.0, 4.0, 3.0, 4.0, 2.0, 8.0, 16.0, 9.0, 20.0, 14.0, 19.0, 20.0, 23.0, 34.0, 30.0, 35.0, 47.0, 32.0, 49.0, 43.0, 49.0, 57.0, 44.0, 41.0, 40.0, 61.0, 38.0, 36.0, 30.0, 41.0, 27.0, 18.0, 22.0, 22.0, 16.0, 11.0, 9.0, 1.0, 6.0, 5.0, 0.0, 5.0, 2.0, 4.0, 2.0, 0.0, 3.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0283966064453125, -0.027407407760620117, -0.026418209075927734, -0.02542901039123535, -0.02443981170654297, -0.023450613021850586, -0.022461414337158203, -0.02147221565246582, -0.020483016967773438, -0.019493818283081055, -0.018504619598388672, -0.01751542091369629, -0.016526222229003906, -0.015537023544311523, -0.01454782485961914, -0.013558626174926758, -0.012569427490234375, -0.011580228805541992, -0.01059103012084961, -0.009601831436157227, -0.008612632751464844, -0.007623434066772461, -0.006634235382080078, -0.005645036697387695, -0.0046558380126953125, -0.0036666393280029297, -0.002677440643310547, -0.001688241958618164, -0.0006990432739257812, 0.00029015541076660156, 0.0012793540954589844, 0.002268552780151367, 0.00325775146484375, 0.004246950149536133, 0.005236148834228516, 0.0062253475189208984, 0.007214546203613281, 0.008203744888305664, 0.009192943572998047, 0.01018214225769043, 0.011171340942382812, 0.012160539627075195, 0.013149738311767578, 0.014138936996459961, 0.015128135681152344, 0.016117334365844727, 0.01710653305053711, 0.018095731735229492, 0.019084930419921875, 0.020074129104614258, 0.02106332778930664, 0.022052526473999023, 0.023041725158691406, 0.02403092384338379, 0.025020122528076172, 0.026009321212768555, 0.026998519897460938, 0.02798771858215332, 0.028976917266845703, 0.029966115951538086, 0.03095531463623047, 0.03194451332092285, 0.032933712005615234, 0.03392291069030762, 0.034912109375]}, "gradients/decoder.transformer.h.9.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 3.0, 4.0, 1.0, 5.0, 8.0, 6.0, 9.0, 16.0, 16.0, 20.0, 31.0, 46.0, 77.0, 119.0, 238.0, 515.0, 1201.0, 2662.0, 7114.0, 21816.0, 87682.0, 581188.0, 2788658.0, 583006.0, 86779.0, 21166.0, 6827.0, 2689.0, 1117.0, 550.0, 286.0, 178.0, 83.0, 56.0, 27.0, 25.0, 13.0, 12.0, 7.0, 13.0, 4.0, 3.0, 3.0, 2.0, 6.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0643310546875, -0.062073707580566406, -0.05981636047363281, -0.05755901336669922, -0.055301666259765625, -0.05304431915283203, -0.05078697204589844, -0.048529624938964844, -0.04627227783203125, -0.044014930725097656, -0.04175758361816406, -0.03950023651123047, -0.037242889404296875, -0.03498554229736328, -0.03272819519042969, -0.030470848083496094, -0.0282135009765625, -0.025956153869628906, -0.023698806762695312, -0.02144145965576172, -0.019184112548828125, -0.01692676544189453, -0.014669418334960938, -0.012412071228027344, -0.01015472412109375, -0.007897377014160156, -0.0056400299072265625, -0.0033826828002929688, -0.001125335693359375, 0.0011320114135742188, 0.0033893585205078125, 0.005646705627441406, 0.007904052734375, 0.010161399841308594, 0.012418746948242188, 0.014676094055175781, 0.016933441162109375, 0.01919078826904297, 0.021448135375976562, 0.023705482482910156, 0.02596282958984375, 0.028220176696777344, 0.030477523803710938, 0.03273487091064453, 0.034992218017578125, 0.03724956512451172, 0.03950691223144531, 0.041764259338378906, 0.0440216064453125, 0.046278953552246094, 0.04853630065917969, 0.05079364776611328, 0.053050994873046875, 0.05530834197998047, 0.05756568908691406, 0.059823036193847656, 0.06208038330078125, 0.06433773040771484, 0.06659507751464844, 0.06885242462158203, 0.07110977172851562, 0.07336711883544922, 0.07562446594238281, 0.0778818130493164, 0.08013916015625]}, "gradients/decoder.transformer.h.9.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 3.0, 2.0, 3.0, 3.0, 4.0, 5.0, 7.0, 10.0, 15.0, 27.0, 36.0, 51.0, 65.0, 99.0, 140.0, 211.0, 285.0, 420.0, 633.0, 657.0, 459.0, 292.0, 202.0, 132.0, 98.0, 63.0, 53.0, 37.0, 25.0, 13.0, 16.0, 9.0, 3.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.061553955078125, -0.059506893157958984, -0.05745983123779297, -0.05541276931762695, -0.05336570739746094, -0.05131864547729492, -0.049271583557128906, -0.04722452163696289, -0.045177459716796875, -0.04313039779663086, -0.041083335876464844, -0.03903627395629883, -0.03698921203613281, -0.0349421501159668, -0.03289508819580078, -0.030848026275634766, -0.02880096435546875, -0.026753902435302734, -0.02470684051513672, -0.022659778594970703, -0.020612716674804688, -0.018565654754638672, -0.016518592834472656, -0.01447153091430664, -0.012424468994140625, -0.01037740707397461, -0.008330345153808594, -0.006283283233642578, -0.0042362213134765625, -0.002189159393310547, -0.00014209747314453125, 0.0019049644470214844, 0.0039520263671875, 0.005999088287353516, 0.008046150207519531, 0.010093212127685547, 0.012140274047851562, 0.014187335968017578, 0.016234397888183594, 0.01828145980834961, 0.020328521728515625, 0.02237558364868164, 0.024422645568847656, 0.026469707489013672, 0.028516769409179688, 0.030563831329345703, 0.03261089324951172, 0.034657955169677734, 0.03670501708984375, 0.038752079010009766, 0.04079914093017578, 0.0428462028503418, 0.04489326477050781, 0.04694032669067383, 0.048987388610839844, 0.05103445053100586, 0.053081512451171875, 0.05512857437133789, 0.057175636291503906, 0.05922269821166992, 0.06126976013183594, 0.06331682205200195, 0.06536388397216797, 0.06741094589233398, 0.0694580078125]}, "gradients/decoder.transformer.h.9.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 8.0, 12.0, 19.0, 22.0, 39.0, 51.0, 62.0, 97.0, 155.0, 213.0, 579.0, 4835.0, 922447.0, 3254413.0, 9713.0, 755.0, 294.0, 166.0, 135.0, 83.0, 57.0, 39.0, 32.0, 13.0, 14.0, 5.0, 8.0, 5.0, 5.0, 1.0, 2.0, 2.0, 2.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.372802734375, -0.3615379333496094, -0.35027313232421875, -0.3390083312988281, -0.3277435302734375, -0.3164787292480469, -0.30521392822265625, -0.2939491271972656, -0.282684326171875, -0.2714195251464844, -0.26015472412109375, -0.24888992309570312, -0.2376251220703125, -0.22636032104492188, -0.21509552001953125, -0.20383071899414062, -0.19256591796875, -0.18130111694335938, -0.17003631591796875, -0.15877151489257812, -0.1475067138671875, -0.13624191284179688, -0.12497711181640625, -0.11371231079101562, -0.102447509765625, -0.09118270874023438, -0.07991790771484375, -0.06865310668945312, -0.0573883056640625, -0.046123504638671875, -0.03485870361328125, -0.023593902587890625, -0.0123291015625, -0.001064300537109375, 0.01020050048828125, 0.021465301513671875, 0.0327301025390625, 0.043994903564453125, 0.05525970458984375, 0.06652450561523438, 0.077789306640625, 0.08905410766601562, 0.10031890869140625, 0.11158370971679688, 0.1228485107421875, 0.13411331176757812, 0.14537811279296875, 0.15664291381835938, 0.16790771484375, 0.17917251586914062, 0.19043731689453125, 0.20170211791992188, 0.2129669189453125, 0.22423171997070312, 0.23549652099609375, 0.24676132202148438, 0.258026123046875, 0.2692909240722656, 0.28055572509765625, 0.2918205261230469, 0.3030853271484375, 0.3143501281738281, 0.32561492919921875, 0.3368797302246094, 0.34814453125]}, "gradients/decoder.transformer.h.9.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 6.0, 6.0, 7.0, 7.0, 13.0, 13.0, 19.0, 19.0, 31.0, 47.0, 49.0, 58.0, 69.0, 74.0, 69.0, 68.0, 64.0, 57.0, 67.0, 49.0, 48.0, 28.0, 39.0, 24.0, 23.0, 25.0, 9.0, 4.0, 6.0, 3.0, 3.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.18596839904785156, -0.18005047738552094, -0.1741325706243515, -0.16821464896202087, -0.16229674220085144, -0.1563788205385208, -0.15046089887619019, -0.14454299211502075, -0.13862507045269012, -0.1327071487903595, -0.12678924202919006, -0.12087132036685944, -0.1149534061551094, -0.10903549194335938, -0.10311757773160934, -0.09719966351985931, -0.09128174930810928, -0.08536383509635925, -0.07944592088460922, -0.07352800667285919, -0.06761008501052856, -0.061692170798778534, -0.0557742565870285, -0.049856338649988174, -0.043938424438238144, -0.03802051022648811, -0.032102592289447784, -0.026184678077697754, -0.020266762003302574, -0.014348845928907394, -0.008430931717157364, -0.002513013780117035, 0.0034049004316329956, 0.009322816506028175, 0.01524073164910078, 0.021158646792173386, 0.027076562866568565, 0.032994478940963745, 0.038912393152713776, 0.044830311089754105, 0.050748225301504135, 0.056666139513254166, 0.0625840574502945, 0.06850197166204453, 0.07441988587379456, 0.08033780753612518, 0.08625571429729462, 0.09217363595962524, 0.09809155017137527, 0.1040094643831253, 0.10992737859487534, 0.11584529280662537, 0.121763214468956, 0.12768113613128662, 0.13359904289245605, 0.13951696455478668, 0.14543487131595612, 0.15135279297828674, 0.15727069973945618, 0.1631886214017868, 0.16910652816295624, 0.17502444982528687, 0.1809423565864563, 0.18686027824878693, 0.19277819991111755]}, "gradients/decoder.transformer.h.9.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 2.0, 1.0, 3.0, 2.0, 2.0, 6.0, 5.0, 8.0, 12.0, 6.0, 11.0, 14.0, 9.0, 13.0, 12.0, 19.0, 25.0, 28.0, 23.0, 24.0, 35.0, 33.0, 42.0, 27.0, 42.0, 51.0, 27.0, 44.0, 34.0, 49.0, 42.0, 34.0, 24.0, 40.0, 22.0, 29.0, 26.0, 31.0, 14.0, 27.0, 17.0, 19.0, 13.0, 12.0, 6.0, 5.0, 8.0, 7.0, 9.0, 3.0, 3.0, 4.0, 4.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 2.0], "bins": [-0.1681891679763794, -0.1626477688550949, -0.15710636973381042, -0.15156497061252594, -0.14602357149124146, -0.14048217236995697, -0.13494077324867249, -0.1293993592262268, -0.12385796755552292, -0.11831656843423843, -0.11277516931295395, -0.10723376274108887, -0.10169236361980438, -0.0961509644985199, -0.09060956537723541, -0.08506816625595093, -0.07952676713466644, -0.07398536801338196, -0.06844396889209747, -0.06290256977081299, -0.057361166924238205, -0.05181976780295372, -0.04627836495637894, -0.04073696583509445, -0.03519556671380997, -0.029654167592525482, -0.024112766608595848, -0.018571365624666214, -0.013029966503381729, -0.007488567382097244, -0.001947164535522461, 0.003594234585762024, 0.009135633707046509, 0.014677033759653568, 0.020218433812260628, 0.025759834796190262, 0.03130123391747475, 0.03684263303875923, 0.042384035885334015, 0.0479254350066185, 0.053466834127902985, 0.05900823324918747, 0.06454963237047195, 0.07009103894233704, 0.07563243806362152, 0.081173837184906, 0.08671523630619049, 0.09225663542747498, 0.09779803454875946, 0.10333943367004395, 0.10888083279132843, 0.11442223191261292, 0.1199636310338974, 0.12550503015518188, 0.13104644417762756, 0.13658782839775085, 0.14212924242019653, 0.14767064154148102, 0.1532120406627655, 0.15875343978405, 0.16429483890533447, 0.16983623802661896, 0.17537763714790344, 0.18091905117034912, 0.1864604353904724]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 8.0, 7.0, 4.0, 2.0, 3.0, 4.0, 8.0, 5.0, 16.0, 7.0, 18.0, 18.0, 25.0, 22.0, 28.0, 35.0, 37.0, 27.0, 37.0, 34.0, 44.0, 32.0, 53.0, 65.0, 50.0, 51.0, 47.0, 34.0, 35.0, 31.0, 40.0, 27.0, 25.0, 27.0, 17.0, 26.0, 11.0, 14.0, 6.0, 4.0, 4.0, 3.0, 7.0, 0.0, 0.0, 5.0, 5.0, 2.0, 0.0, 1.0, 4.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.03045654296875, -0.029483795166015625, -0.02851104736328125, -0.027538299560546875, -0.0265655517578125, -0.025592803955078125, -0.02462005615234375, -0.023647308349609375, -0.022674560546875, -0.021701812744140625, -0.02072906494140625, -0.019756317138671875, -0.0187835693359375, -0.017810821533203125, -0.01683807373046875, -0.015865325927734375, -0.014892578125, -0.013919830322265625, -0.01294708251953125, -0.011974334716796875, -0.0110015869140625, -0.010028839111328125, -0.00905609130859375, -0.008083343505859375, -0.007110595703125, -0.006137847900390625, -0.00516510009765625, -0.004192352294921875, -0.0032196044921875, -0.002246856689453125, -0.00127410888671875, -0.000301361083984375, 0.00067138671875, 0.001644134521484375, 0.00261688232421875, 0.003589630126953125, 0.0045623779296875, 0.005535125732421875, 0.00650787353515625, 0.007480621337890625, 0.008453369140625, 0.009426116943359375, 0.01039886474609375, 0.011371612548828125, 0.0123443603515625, 0.013317108154296875, 0.01428985595703125, 0.015262603759765625, 0.0162353515625, 0.017208099365234375, 0.01818084716796875, 0.019153594970703125, 0.0201263427734375, 0.021099090576171875, 0.02207183837890625, 0.023044586181640625, 0.024017333984375, 0.024990081787109375, 0.02596282958984375, 0.026935577392578125, 0.0279083251953125, 0.028881072998046875, 0.02985382080078125, 0.030826568603515625, 0.03179931640625]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 9.0, 11.0, 9.0, 26.0, 19.0, 35.0, 51.0, 83.0, 102.0, 167.0, 171.0, 279.0, 404.0, 485.0, 747.0, 1003.0, 1458.0, 1996.0, 3095.0, 4331.0, 6734.0, 10165.0, 15542.0, 24439.0, 39539.0, 66320.0, 123638.0, 359952.0, 172303.0, 83386.0, 47743.0, 29392.0, 18521.0, 12054.0, 7683.0, 5003.0, 3463.0, 2331.0, 1625.0, 1261.0, 830.0, 608.0, 426.0, 340.0, 234.0, 170.0, 112.0, 78.0, 62.0, 41.0, 33.0, 20.0, 15.0, 7.0, 7.0, 4.0, 4.0, 2.0, 1.0], "bins": [-0.00016009807586669922, -0.00015520118176937103, -0.00015030428767204285, -0.00014540739357471466, -0.00014051049947738647, -0.0001356136053800583, -0.0001307167112827301, -0.00012581981718540192, -0.00012092292308807373, -0.00011602602899074554, -0.00011112913489341736, -0.00010623224079608917, -0.00010133534669876099, -9.64384526014328e-05, -9.154155850410461e-05, -8.664466440677643e-05, -8.174777030944824e-05, -7.685087621212006e-05, -7.195398211479187e-05, -6.705708801746368e-05, -6.21601939201355e-05, -5.726329982280731e-05, -5.2366405725479126e-05, -4.746951162815094e-05, -4.2572617530822754e-05, -3.767572343349457e-05, -3.277882933616638e-05, -2.7881935238838196e-05, -2.298504114151001e-05, -1.8088147044181824e-05, -1.3191252946853638e-05, -8.294358849525452e-06, -3.3974647521972656e-06, 1.4994293451309204e-06, 6.3963234424591064e-06, 1.1293217539787292e-05, 1.619011163711548e-05, 2.1087005734443665e-05, 2.598389983177185e-05, 3.088079392910004e-05, 3.577768802642822e-05, 4.067458212375641e-05, 4.5571476221084595e-05, 5.046837031841278e-05, 5.536526441574097e-05, 6.026215851306915e-05, 6.515905261039734e-05, 7.005594670772552e-05, 7.495284080505371e-05, 7.98497349023819e-05, 8.474662899971008e-05, 8.964352309703827e-05, 9.454041719436646e-05, 9.943731129169464e-05, 0.00010433420538902283, 0.00010923109948635101, 0.0001141279935836792, 0.00011902488768100739, 0.00012392178177833557, 0.00012881867587566376, 0.00013371556997299194, 0.00013861246407032013, 0.00014350935816764832, 0.0001484062522649765, 0.0001533031463623047]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 3.0, 6.0, 6.0, 12.0, 4.0, 14.0, 6.0, 16.0, 19.0, 15.0, 23.0, 21.0, 29.0, 26.0, 31.0, 35.0, 27.0, 37.0, 36.0, 31.0, 30.0, 32.0, 1068.0, 46.0, 43.0, 31.0, 37.0, 41.0, 32.0, 20.0, 39.0, 18.0, 19.0, 27.0, 21.0, 22.0, 18.0, 20.0, 13.0, 12.0, 7.0, 9.0, 11.0, 5.0, 4.0, 5.0, 2.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.0296173095703125, -0.028705358505249023, -0.027793407440185547, -0.02688145637512207, -0.025969505310058594, -0.025057554244995117, -0.02414560317993164, -0.023233652114868164, -0.022321701049804688, -0.02140974998474121, -0.020497798919677734, -0.019585847854614258, -0.01867389678955078, -0.017761945724487305, -0.016849994659423828, -0.01593804359436035, -0.015026092529296875, -0.014114141464233398, -0.013202190399169922, -0.012290239334106445, -0.011378288269042969, -0.010466337203979492, -0.009554386138916016, -0.008642435073852539, -0.0077304840087890625, -0.006818532943725586, -0.005906581878662109, -0.004994630813598633, -0.004082679748535156, -0.0031707286834716797, -0.002258777618408203, -0.0013468265533447266, -0.00043487548828125, 0.00047707557678222656, 0.0013890266418457031, 0.0023009777069091797, 0.0032129287719726562, 0.004124879837036133, 0.005036830902099609, 0.005948781967163086, 0.0068607330322265625, 0.007772684097290039, 0.008684635162353516, 0.009596586227416992, 0.010508537292480469, 0.011420488357543945, 0.012332439422607422, 0.013244390487670898, 0.014156341552734375, 0.015068292617797852, 0.015980243682861328, 0.016892194747924805, 0.01780414581298828, 0.018716096878051758, 0.019628047943115234, 0.02053999900817871, 0.021451950073242188, 0.022363901138305664, 0.02327585220336914, 0.024187803268432617, 0.025099754333496094, 0.02601170539855957, 0.026923656463623047, 0.027835607528686523, 0.02874755859375]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 4.0, 3.0, 8.0, 9.0, 9.0, 9.0, 10.0, 13.0, 17.0, 23.0, 20.0, 21.0, 21.0, 27.0, 17.0, 32.0, 29.0, 39.0, 59.0, 121.0, 321.0, 1436.0, 9706.0, 2071519.0, 11289.0, 1519.0, 351.0, 132.0, 66.0, 37.0, 30.0, 35.0, 26.0, 28.0, 20.0, 23.0, 17.0, 18.0, 15.0, 13.0, 4.0, 10.0, 11.0, 5.0, 8.0, 1.0, 1.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.153085708618164e-05, -3.053061664104462e-05, -2.9530376195907593e-05, -2.853013575077057e-05, -2.7529895305633545e-05, -2.652965486049652e-05, -2.5529414415359497e-05, -2.4529173970222473e-05, -2.352893352508545e-05, -2.2528693079948425e-05, -2.15284526348114e-05, -2.0528212189674377e-05, -1.9527971744537354e-05, -1.852773129940033e-05, -1.7527490854263306e-05, -1.6527250409126282e-05, -1.5527009963989258e-05, -1.4526769518852234e-05, -1.352652907371521e-05, -1.2526288628578186e-05, -1.1526048183441162e-05, -1.0525807738304138e-05, -9.525567293167114e-06, -8.52532684803009e-06, -7.525086402893066e-06, -6.5248459577560425e-06, -5.5246055126190186e-06, -4.524365067481995e-06, -3.5241246223449707e-06, -2.5238841772079468e-06, -1.5236437320709229e-06, -5.234032869338989e-07, 4.76837158203125e-07, 1.477077603340149e-06, 2.477318048477173e-06, 3.4775584936141968e-06, 4.477798938751221e-06, 5.478039383888245e-06, 6.4782798290252686e-06, 7.4785202741622925e-06, 8.478760719299316e-06, 9.47900116443634e-06, 1.0479241609573364e-05, 1.1479482054710388e-05, 1.2479722499847412e-05, 1.3479962944984436e-05, 1.448020339012146e-05, 1.5480443835258484e-05, 1.6480684280395508e-05, 1.7480924725532532e-05, 1.8481165170669556e-05, 1.948140561580658e-05, 2.0481646060943604e-05, 2.1481886506080627e-05, 2.248212695121765e-05, 2.3482367396354675e-05, 2.44826078414917e-05, 2.5482848286628723e-05, 2.6483088731765747e-05, 2.748332917690277e-05, 2.8483569622039795e-05, 2.948381006717682e-05, 3.0484050512313843e-05, 3.148429095745087e-05, 3.248453140258789e-05]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 8.0, 7.0, 4.0, 2.0, 3.0, 4.0, 8.0, 5.0, 16.0, 7.0, 18.0, 18.0, 25.0, 22.0, 28.0, 35.0, 37.0, 27.0, 37.0, 34.0, 44.0, 32.0, 53.0, 65.0, 50.0, 51.0, 47.0, 34.0, 35.0, 31.0, 40.0, 27.0, 25.0, 27.0, 17.0, 26.0, 11.0, 14.0, 6.0, 4.0, 4.0, 3.0, 7.0, 0.0, 0.0, 5.0, 5.0, 2.0, 0.0, 1.0, 4.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.03045654296875, -0.029483795166015625, -0.02851104736328125, -0.027538299560546875, -0.0265655517578125, -0.025592803955078125, -0.02462005615234375, -0.023647308349609375, -0.022674560546875, -0.021701812744140625, -0.02072906494140625, -0.019756317138671875, -0.0187835693359375, -0.017810821533203125, -0.01683807373046875, -0.015865325927734375, -0.014892578125, -0.013919830322265625, -0.01294708251953125, -0.011974334716796875, -0.0110015869140625, -0.010028839111328125, -0.00905609130859375, -0.008083343505859375, -0.007110595703125, -0.006137847900390625, -0.00516510009765625, -0.004192352294921875, -0.0032196044921875, -0.002246856689453125, -0.00127410888671875, -0.000301361083984375, 0.00067138671875, 0.001644134521484375, 0.00261688232421875, 0.003589630126953125, 0.0045623779296875, 0.005535125732421875, 0.00650787353515625, 0.007480621337890625, 0.008453369140625, 0.009426116943359375, 0.01039886474609375, 0.011371612548828125, 0.0123443603515625, 0.013317108154296875, 0.01428985595703125, 0.015262603759765625, 0.0162353515625, 0.017208099365234375, 0.01818084716796875, 0.019153594970703125, 0.0201263427734375, 0.021099090576171875, 0.02207183837890625, 0.023044586181640625, 0.024017333984375, 0.024990081787109375, 0.02596282958984375, 0.026935577392578125, 0.0279083251953125, 0.028881072998046875, 0.02985382080078125, 0.030826568603515625, 0.03179931640625]}, "gradients/decoder.transformer.h.9.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 6.0, 4.0, 11.0, 12.0, 25.0, 26.0, 40.0, 36.0, 103.0, 128.0, 230.0, 311.0, 511.0, 826.0, 1393.0, 2329.0, 4162.0, 7603.0, 14195.0, 29138.0, 83789.0, 561342.0, 245205.0, 50696.0, 21241.0, 10979.0, 5994.0, 3357.0, 1883.0, 1133.0, 659.0, 406.0, 260.0, 168.0, 114.0, 91.0, 53.0, 37.0, 27.0, 12.0, 7.0, 9.0, 7.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.058807373046875, -0.0570673942565918, -0.055327415466308594, -0.05358743667602539, -0.05184745788574219, -0.050107479095458984, -0.04836750030517578, -0.04662752151489258, -0.044887542724609375, -0.04314756393432617, -0.04140758514404297, -0.039667606353759766, -0.03792762756347656, -0.03618764877319336, -0.034447669982910156, -0.03270769119262695, -0.03096771240234375, -0.029227733612060547, -0.027487754821777344, -0.02574777603149414, -0.024007797241210938, -0.022267818450927734, -0.02052783966064453, -0.018787860870361328, -0.017047882080078125, -0.015307903289794922, -0.013567924499511719, -0.011827945709228516, -0.010087966918945312, -0.00834798812866211, -0.006608009338378906, -0.004868030548095703, -0.0031280517578125, -0.0013880729675292969, 0.00035190582275390625, 0.0020918846130371094, 0.0038318634033203125, 0.005571842193603516, 0.007311820983886719, 0.009051799774169922, 0.010791778564453125, 0.012531757354736328, 0.014271736145019531, 0.016011714935302734, 0.017751693725585938, 0.01949167251586914, 0.021231651306152344, 0.022971630096435547, 0.02471160888671875, 0.026451587677001953, 0.028191566467285156, 0.02993154525756836, 0.03167152404785156, 0.033411502838134766, 0.03515148162841797, 0.03689146041870117, 0.038631439208984375, 0.04037141799926758, 0.04211139678955078, 0.043851375579833984, 0.04559135437011719, 0.04733133316040039, 0.049071311950683594, 0.0508112907409668, 0.05255126953125]}, "gradients/decoder.transformer.h.9.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 4.0, 1.0, 1.0, 6.0, 3.0, 5.0, 5.0, 11.0, 10.0, 9.0, 15.0, 14.0, 22.0, 23.0, 29.0, 31.0, 36.0, 31.0, 41.0, 48.0, 71.0, 87.0, 146.0, 1487.0, 324.0, 116.0, 81.0, 56.0, 45.0, 47.0, 37.0, 32.0, 27.0, 22.0, 21.0, 23.0, 14.0, 13.0, 17.0, 14.0, 7.0, 5.0, 4.0, 4.0, 4.0, 4.0, 1.0, 1.0, 5.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.10150146484375, -0.09859371185302734, -0.09568595886230469, -0.09277820587158203, -0.08987045288085938, -0.08696269989013672, -0.08405494689941406, -0.0811471939086914, -0.07823944091796875, -0.0753316879272461, -0.07242393493652344, -0.06951618194580078, -0.06660842895507812, -0.06370067596435547, -0.06079292297363281, -0.057885169982910156, -0.0549774169921875, -0.052069664001464844, -0.04916191101074219, -0.04625415802001953, -0.043346405029296875, -0.04043865203857422, -0.03753089904785156, -0.034623146057128906, -0.03171539306640625, -0.028807640075683594, -0.025899887084960938, -0.02299213409423828, -0.020084381103515625, -0.01717662811279297, -0.014268875122070312, -0.011361122131347656, -0.008453369140625, -0.005545616149902344, -0.0026378631591796875, 0.00026988983154296875, 0.003177642822265625, 0.006085395812988281, 0.008993148803710938, 0.011900901794433594, 0.01480865478515625, 0.017716407775878906, 0.020624160766601562, 0.02353191375732422, 0.026439666748046875, 0.02934741973876953, 0.03225517272949219, 0.035162925720214844, 0.0380706787109375, 0.040978431701660156, 0.04388618469238281, 0.04679393768310547, 0.049701690673828125, 0.05260944366455078, 0.05551719665527344, 0.058424949645996094, 0.06133270263671875, 0.0642404556274414, 0.06714820861816406, 0.07005596160888672, 0.07296371459960938, 0.07587146759033203, 0.07877922058105469, 0.08168697357177734, 0.0845947265625]}, "gradients/decoder.transformer.h.9.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 5.0, 6.0, 4.0, 19.0, 11.0, 16.0, 33.0, 45.0, 70.0, 67.0, 120.0, 201.0, 356.0, 1064.0, 4337.0, 34749.0, 2570909.0, 510346.0, 18913.0, 2825.0, 775.0, 320.0, 154.0, 113.0, 73.0, 48.0, 37.0, 22.0, 21.0, 14.0, 10.0, 6.0, 7.0, 0.0, 4.0, 5.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.2239990234375, -0.2179241180419922, -0.21184921264648438, -0.20577430725097656, -0.19969940185546875, -0.19362449645996094, -0.18754959106445312, -0.1814746856689453, -0.1753997802734375, -0.1693248748779297, -0.16324996948242188, -0.15717506408691406, -0.15110015869140625, -0.14502525329589844, -0.13895034790039062, -0.1328754425048828, -0.126800537109375, -0.12072563171386719, -0.11465072631835938, -0.10857582092285156, -0.10250091552734375, -0.09642601013183594, -0.09035110473632812, -0.08427619934082031, -0.0782012939453125, -0.07212638854980469, -0.06605148315429688, -0.05997657775878906, -0.05390167236328125, -0.04782676696777344, -0.041751861572265625, -0.03567695617675781, -0.02960205078125, -0.023527145385742188, -0.017452239990234375, -0.011377334594726562, -0.00530242919921875, 0.0007724761962890625, 0.006847381591796875, 0.012922286987304688, 0.0189971923828125, 0.025072097778320312, 0.031147003173828125, 0.03722190856933594, 0.04329681396484375, 0.04937171936035156, 0.055446624755859375, 0.06152153015136719, 0.067596435546875, 0.07367134094238281, 0.07974624633789062, 0.08582115173339844, 0.09189605712890625, 0.09797096252441406, 0.10404586791992188, 0.11012077331542969, 0.1161956787109375, 0.12227058410644531, 0.12834548950195312, 0.13442039489746094, 0.14049530029296875, 0.14657020568847656, 0.15264511108398438, 0.1587200164794922, 0.164794921875]}, "gradients/decoder.transformer.h.9.ln_1.weight": {"_type": "histogram", "values": [3.0, 6.0, 17.0, 34.0, 74.0, 125.0, 170.0, 216.0, 161.0, 109.0, 60.0, 29.0, 12.0, 3.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06921190768480301, -0.05968518927693367, -0.05015847086906433, -0.04063175246119499, -0.031105034053325653, -0.021578315645456314, -0.012051597237586975, -0.0025248751044273376, 0.007001839578151703, 0.016528557986021042, 0.02605527639389038, 0.03558199480175972, 0.04510871320962906, 0.0546354316174984, 0.06416215002536774, 0.07368887215852737, 0.08321558684110641, 0.09274230897426605, 0.10226902365684509, 0.11179573833942413, 0.12132246047258377, 0.1308491826057434, 0.14037589728832245, 0.1499026119709015, 0.15942934155464172, 0.16895605623722076, 0.1784827709197998, 0.18800950050354004, 0.19753621518611908, 0.20706292986869812, 0.21658965945243835, 0.2261163741350174, 0.23564308881759644, 0.24516980350017548, 0.2546965181827545, 0.26422324776649475, 0.2737499475479126, 0.28327667713165283, 0.29280340671539307, 0.3023301362991333, 0.31185683608055115, 0.3213835656642914, 0.33091026544570923, 0.34043699502944946, 0.3499637246131897, 0.35949042439460754, 0.3690171539783478, 0.3785438537597656, 0.38807058334350586, 0.3975973129272461, 0.40712401270866394, 0.4166507422924042, 0.426177442073822, 0.43570417165756226, 0.4452309012413025, 0.4547576308250427, 0.46428433060646057, 0.4738110601902008, 0.48333775997161865, 0.4928644895553589, 0.5023912191390991, 0.5119179487228394, 0.5214446187019348, 0.530971348285675, 0.5404980778694153]}, "gradients/decoder.transformer.h.9.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 4.0, 2.0, 1.0, 8.0, 6.0, 3.0, 5.0, 13.0, 12.0, 7.0, 8.0, 13.0, 12.0, 20.0, 18.0, 22.0, 27.0, 34.0, 36.0, 36.0, 32.0, 37.0, 35.0, 44.0, 33.0, 44.0, 40.0, 50.0, 46.0, 42.0, 32.0, 48.0, 30.0, 27.0, 21.0, 23.0, 23.0, 13.0, 16.0, 16.0, 9.0, 15.0, 14.0, 8.0, 8.0, 8.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.27250707149505615, -0.2638692557811737, -0.25523144006729126, -0.24659360945224762, -0.23795579373836517, -0.22931797802448273, -0.2206801474094391, -0.21204233169555664, -0.2034045159816742, -0.19476670026779175, -0.1861288845539093, -0.17749105393886566, -0.16885323822498322, -0.16021542251110077, -0.15157759189605713, -0.14293977618217468, -0.13430196046829224, -0.1256641447544098, -0.11702632158994675, -0.1083884984254837, -0.09975068271160126, -0.09111286699771881, -0.08247504383325577, -0.07383722066879272, -0.06519940495491028, -0.056561585515737534, -0.04792376607656479, -0.039285946637392044, -0.0306481271982193, -0.022010307759046555, -0.01337248831987381, -0.004734668880701065, 0.0039031505584716797, 0.012540969997644424, 0.02117878943681717, 0.029816608875989914, 0.03845442831516266, 0.0470922477543354, 0.05573006719350815, 0.06436789035797119, 0.07300570607185364, 0.08164352178573608, 0.09028134495019913, 0.09891916811466217, 0.10755698382854462, 0.11619479954242706, 0.1248326227068901, 0.13347044587135315, 0.1421082615852356, 0.15074607729911804, 0.1593838930130005, 0.16802172362804413, 0.17665953934192657, 0.18529735505580902, 0.19393518567085266, 0.2025730013847351, 0.21121081709861755, 0.2198486328125, 0.22848644852638245, 0.2371242791414261, 0.24576209485530853, 0.2543999254703522, 0.2630377411842346, 0.27167555689811707, 0.2803133726119995]}, "gradients/decoder.transformer.h.8.mlp.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 4.0, 7.0, 6.0, 2.0, 6.0, 9.0, 5.0, 7.0, 5.0, 15.0, 12.0, 16.0, 18.0, 33.0, 31.0, 33.0, 25.0, 32.0, 38.0, 46.0, 45.0, 46.0, 39.0, 51.0, 45.0, 56.0, 42.0, 40.0, 36.0, 32.0, 33.0, 29.0, 21.0, 25.0, 29.0, 23.0, 16.0, 9.0, 5.0, 5.0, 4.0, 6.0, 6.0, 2.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.030242919921875, -0.029246807098388672, -0.028250694274902344, -0.027254581451416016, -0.026258468627929688, -0.02526235580444336, -0.02426624298095703, -0.023270130157470703, -0.022274017333984375, -0.021277904510498047, -0.02028179168701172, -0.01928567886352539, -0.018289566040039062, -0.017293453216552734, -0.016297340393066406, -0.015301227569580078, -0.01430511474609375, -0.013309001922607422, -0.012312889099121094, -0.011316776275634766, -0.010320663452148438, -0.00932455062866211, -0.008328437805175781, -0.007332324981689453, -0.006336212158203125, -0.005340099334716797, -0.004343986511230469, -0.0033478736877441406, -0.0023517608642578125, -0.0013556480407714844, -0.00035953521728515625, 0.0006365776062011719, 0.0016326904296875, 0.002628803253173828, 0.0036249160766601562, 0.004621028900146484, 0.0056171417236328125, 0.006613254547119141, 0.007609367370605469, 0.008605480194091797, 0.009601593017578125, 0.010597705841064453, 0.011593818664550781, 0.01258993148803711, 0.013586044311523438, 0.014582157135009766, 0.015578269958496094, 0.016574382781982422, 0.01757049560546875, 0.018566608428955078, 0.019562721252441406, 0.020558834075927734, 0.021554946899414062, 0.02255105972290039, 0.02354717254638672, 0.024543285369873047, 0.025539398193359375, 0.026535511016845703, 0.02753162384033203, 0.02852773666381836, 0.029523849487304688, 0.030519962310791016, 0.031516075134277344, 0.03251218795776367, 0.03350830078125]}, "gradients/decoder.transformer.h.8.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 2.0, 3.0, 4.0, 5.0, 8.0, 14.0, 19.0, 23.0, 56.0, 84.0, 145.0, 238.0, 398.0, 752.0, 1352.0, 2811.0, 5304.0, 10890.0, 24660.0, 61697.0, 191729.0, 730963.0, 1908369.0, 900310.0, 231602.0, 70784.0, 27456.0, 12094.0, 5792.0, 2983.0, 1574.0, 851.0, 509.0, 280.0, 199.0, 110.0, 79.0, 46.0, 33.0, 20.0, 14.0, 7.0, 10.0, 2.0, 5.0, 6.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0369873046875, -0.03554105758666992, -0.034094810485839844, -0.032648563385009766, -0.031202316284179688, -0.02975606918334961, -0.02830982208251953, -0.026863574981689453, -0.025417327880859375, -0.023971080780029297, -0.02252483367919922, -0.02107858657836914, -0.019632339477539062, -0.018186092376708984, -0.016739845275878906, -0.015293598175048828, -0.01384735107421875, -0.012401103973388672, -0.010954856872558594, -0.009508609771728516, -0.008062362670898438, -0.006616115570068359, -0.005169868469238281, -0.003723621368408203, -0.002277374267578125, -0.0008311271667480469, 0.0006151199340820312, 0.0020613670349121094, 0.0035076141357421875, 0.004953861236572266, 0.006400108337402344, 0.007846355438232422, 0.0092926025390625, 0.010738849639892578, 0.012185096740722656, 0.013631343841552734, 0.015077590942382812, 0.01652383804321289, 0.01797008514404297, 0.019416332244873047, 0.020862579345703125, 0.022308826446533203, 0.02375507354736328, 0.02520132064819336, 0.026647567749023438, 0.028093814849853516, 0.029540061950683594, 0.030986309051513672, 0.03243255615234375, 0.03387880325317383, 0.035325050354003906, 0.036771297454833984, 0.03821754455566406, 0.03966379165649414, 0.04111003875732422, 0.0425562858581543, 0.044002532958984375, 0.04544878005981445, 0.04689502716064453, 0.04834127426147461, 0.04978752136230469, 0.051233768463134766, 0.052680015563964844, 0.05412626266479492, 0.055572509765625]}, "gradients/decoder.transformer.h.8.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 3.0, 9.0, 12.0, 13.0, 16.0, 23.0, 33.0, 24.0, 60.0, 77.0, 74.0, 130.0, 169.0, 217.0, 294.0, 405.0, 520.0, 481.0, 381.0, 295.0, 225.0, 121.0, 129.0, 82.0, 66.0, 59.0, 41.0, 31.0, 32.0, 15.0, 18.0, 4.0, 6.0, 2.0, 2.0, 1.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0665283203125, -0.06482076644897461, -0.06311321258544922, -0.06140565872192383, -0.05969810485839844, -0.05799055099487305, -0.056282997131347656, -0.054575443267822266, -0.052867889404296875, -0.051160335540771484, -0.049452781677246094, -0.0477452278137207, -0.04603767395019531, -0.04433012008666992, -0.04262256622314453, -0.04091501235961914, -0.03920745849609375, -0.03749990463256836, -0.03579235076904297, -0.03408479690551758, -0.03237724304199219, -0.030669689178466797, -0.028962135314941406, -0.027254581451416016, -0.025547027587890625, -0.023839473724365234, -0.022131919860839844, -0.020424365997314453, -0.018716812133789062, -0.017009258270263672, -0.015301704406738281, -0.01359415054321289, -0.0118865966796875, -0.01017904281616211, -0.008471488952636719, -0.006763935089111328, -0.0050563812255859375, -0.003348827362060547, -0.0016412734985351562, 6.628036499023438e-05, 0.001773834228515625, 0.0034813880920410156, 0.005188941955566406, 0.006896495819091797, 0.008604049682617188, 0.010311603546142578, 0.012019157409667969, 0.01372671127319336, 0.01543426513671875, 0.01714181900024414, 0.01884937286376953, 0.020556926727294922, 0.022264480590820312, 0.023972034454345703, 0.025679588317871094, 0.027387142181396484, 0.029094696044921875, 0.030802249908447266, 0.032509803771972656, 0.03421735763549805, 0.03592491149902344, 0.03763246536254883, 0.03934001922607422, 0.04104757308959961, 0.042755126953125]}, "gradients/decoder.transformer.h.8.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 2.0, 0.0, 4.0, 9.0, 8.0, 18.0, 23.0, 28.0, 40.0, 45.0, 71.0, 92.0, 125.0, 180.0, 364.0, 798.0, 4864.0, 111556.0, 3716692.0, 346423.0, 10573.0, 1171.0, 438.0, 250.0, 151.0, 109.0, 60.0, 56.0, 34.0, 23.0, 25.0, 22.0, 4.0, 11.0, 4.0, 4.0, 5.0, 4.0, 1.0, 2.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.16552734375, -0.15880966186523438, -0.15209197998046875, -0.14537429809570312, -0.1386566162109375, -0.13193893432617188, -0.12522125244140625, -0.11850357055664062, -0.111785888671875, -0.10506820678710938, -0.09835052490234375, -0.09163284301757812, -0.0849151611328125, -0.07819747924804688, -0.07147979736328125, -0.06476211547851562, -0.05804443359375, -0.051326751708984375, -0.04460906982421875, -0.037891387939453125, -0.0311737060546875, -0.024456024169921875, -0.01773834228515625, -0.011020660400390625, -0.004302978515625, 0.002414703369140625, 0.00913238525390625, 0.015850067138671875, 0.0225677490234375, 0.029285430908203125, 0.03600311279296875, 0.042720794677734375, 0.0494384765625, 0.056156158447265625, 0.06287384033203125, 0.06959152221679688, 0.0763092041015625, 0.08302688598632812, 0.08974456787109375, 0.09646224975585938, 0.103179931640625, 0.10989761352539062, 0.11661529541015625, 0.12333297729492188, 0.1300506591796875, 0.13676834106445312, 0.14348602294921875, 0.15020370483398438, 0.15692138671875, 0.16363906860351562, 0.17035675048828125, 0.17707443237304688, 0.1837921142578125, 0.19050979614257812, 0.19722747802734375, 0.20394515991210938, 0.210662841796875, 0.21738052368164062, 0.22409820556640625, 0.23081588745117188, 0.2375335693359375, 0.24425125122070312, 0.25096893310546875, 0.2576866149902344, 0.264404296875]}, "gradients/decoder.transformer.h.8.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 68.0, 466.0, 410.0, 67.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.893511176109314, -1.8435622453689575, -1.7936134338378906, -1.7436645030975342, -1.6937156915664673, -1.6437667608261108, -1.593817949295044, -1.5438690185546875, -1.4939202070236206, -1.4439712762832642, -1.3940224647521973, -1.3440735340118408, -1.294124722480774, -1.2441757917404175, -1.1942269802093506, -1.1442780494689941, -1.0943291187286377, -1.0443801879882812, -0.9944313764572144, -0.9444825053215027, -0.894533634185791, -0.8445847630500793, -0.7946358919143677, -0.7446869611740112, -0.6947381496429443, -0.6447892785072327, -0.594840407371521, -0.5448915362358093, -0.49494266510009766, -0.444993793964386, -0.39504489302635193, -0.34509602189064026, -0.295147180557251, -0.2451983094215393, -0.19524943828582764, -0.14530055224895477, -0.0953516811132431, -0.04540280997753143, 0.004546076059341431, 0.0544949471950531, 0.10444381833076477, 0.15439268946647644, 0.2043415606021881, 0.25429046154022217, 0.30423933267593384, 0.3541882038116455, 0.4041370749473572, 0.45408594608306885, 0.5040348172187805, 0.5539836883544922, 0.6039325594902039, 0.6538814306259155, 0.7038303017616272, 0.7537791728973389, 0.8037281036376953, 0.8536769151687622, 0.9036258459091187, 0.9535747170448303, 1.003523588180542, 1.0534725189208984, 1.1034213304519653, 1.1533702611923218, 1.2033190727233887, 1.2532680034637451, 1.303216814994812]}, "gradients/decoder.transformer.h.8.ln_2.bias": {"_type": "histogram", "values": [3.0, 2.0, 2.0, 4.0, 4.0, 3.0, 7.0, 7.0, 5.0, 7.0, 18.0, 17.0, 11.0, 20.0, 22.0, 21.0, 21.0, 30.0, 27.0, 26.0, 39.0, 33.0, 31.0, 38.0, 43.0, 42.0, 40.0, 39.0, 37.0, 38.0, 48.0, 26.0, 31.0, 43.0, 25.0, 30.0, 22.0, 24.0, 24.0, 23.0, 13.0, 18.0, 7.0, 4.0, 7.0, 6.0, 5.0, 4.0, 8.0, 1.0, 4.0, 4.0, 4.0, 1.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15399384498596191, -0.14821092784404755, -0.14242799580097198, -0.13664507865905762, -0.13086214661598206, -0.1250792294740677, -0.11929631233215332, -0.11351338773965836, -0.10773046314716339, -0.10194753855466843, -0.09616461396217346, -0.0903816968202591, -0.08459877222776413, -0.07881584763526917, -0.0730329304933548, -0.06725000590085983, -0.06146708130836487, -0.055684156715869904, -0.04990123584866524, -0.04411831498146057, -0.03833539038896561, -0.03255246579647064, -0.026769544929265976, -0.02098662406206131, -0.015203699469566345, -0.00942077673971653, -0.0036378540098667145, 0.002145068719983101, 0.007927991449832916, 0.013710914179682732, 0.019493836909532547, 0.025276757776737213, 0.031059682369232178, 0.03684260696172714, 0.04262552782893181, 0.048408448696136475, 0.05419137328863144, 0.059974297881126404, 0.06575721502304077, 0.07154013961553574, 0.0773230642080307, 0.08310598880052567, 0.08888891339302063, 0.094671830534935, 0.10045475512742996, 0.10623767971992493, 0.1120205968618393, 0.11780352145433426, 0.12358644604682922, 0.1293693631887436, 0.13515229523181915, 0.14093521237373352, 0.14671814441680908, 0.15250106155872345, 0.15828397870063782, 0.16406691074371338, 0.16984982788562775, 0.17563274502754211, 0.18141567707061768, 0.18719859421253204, 0.1929815113544464, 0.19876444339752197, 0.20454736053943634, 0.2103302776813507, 0.21611320972442627]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 5.0, 1.0, 5.0, 6.0, 3.0, 7.0, 8.0, 6.0, 7.0, 13.0, 12.0, 11.0, 11.0, 19.0, 25.0, 33.0, 36.0, 32.0, 30.0, 33.0, 45.0, 59.0, 40.0, 55.0, 45.0, 42.0, 39.0, 48.0, 45.0, 32.0, 45.0, 31.0, 34.0, 28.0, 20.0, 21.0, 13.0, 14.0, 10.0, 3.0, 5.0, 9.0, 4.0, 8.0, 5.0, 3.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.030548095703125, -0.029539108276367188, -0.028530120849609375, -0.027521133422851562, -0.02651214599609375, -0.025503158569335938, -0.024494171142578125, -0.023485183715820312, -0.0224761962890625, -0.021467208862304688, -0.020458221435546875, -0.019449234008789062, -0.01844024658203125, -0.017431259155273438, -0.016422271728515625, -0.015413284301757812, -0.014404296875, -0.013395309448242188, -0.012386322021484375, -0.011377334594726562, -0.01036834716796875, -0.009359359741210938, -0.008350372314453125, -0.0073413848876953125, -0.0063323974609375, -0.0053234100341796875, -0.004314422607421875, -0.0033054351806640625, -0.00229644775390625, -0.0012874603271484375, -0.000278472900390625, 0.0007305145263671875, 0.001739501953125, 0.0027484893798828125, 0.003757476806640625, 0.0047664642333984375, 0.00577545166015625, 0.0067844390869140625, 0.007793426513671875, 0.008802413940429688, 0.0098114013671875, 0.010820388793945312, 0.011829376220703125, 0.012838363647460938, 0.01384735107421875, 0.014856338500976562, 0.015865325927734375, 0.016874313354492188, 0.01788330078125, 0.018892288208007812, 0.019901275634765625, 0.020910263061523438, 0.02191925048828125, 0.022928237915039062, 0.023937225341796875, 0.024946212768554688, 0.0259552001953125, 0.026964187622070312, 0.027973175048828125, 0.028982162475585938, 0.02999114990234375, 0.031000137329101562, 0.032009124755859375, 0.03301811218261719, 0.034027099609375]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 6.0, 5.0, 4.0, 7.0, 12.0, 16.0, 31.0, 46.0, 56.0, 87.0, 148.0, 241.0, 324.0, 498.0, 804.0, 1181.0, 1800.0, 2753.0, 4031.0, 6740.0, 10805.0, 18928.0, 32600.0, 60950.0, 130134.0, 384947.0, 202371.0, 84437.0, 43591.0, 24070.0, 14098.0, 8042.0, 5118.0, 3353.0, 2165.0, 1405.0, 936.0, 630.0, 379.0, 263.0, 188.0, 115.0, 78.0, 55.0, 41.0, 22.0, 17.0, 18.0, 6.0, 8.0, 1.0, 4.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.00019991397857666016, -0.00019398704171180725, -0.00018806010484695435, -0.00018213316798210144, -0.00017620623111724854, -0.00017027929425239563, -0.00016435235738754272, -0.00015842542052268982, -0.00015249848365783691, -0.000146571546792984, -0.0001406446099281311, -0.0001347176730632782, -0.0001287907361984253, -0.0001228637993335724, -0.00011693686246871948, -0.00011100992560386658, -0.00010508298873901367, -9.915605187416077e-05, -9.322911500930786e-05, -8.730217814445496e-05, -8.137524127960205e-05, -7.544830441474915e-05, -6.952136754989624e-05, -6.359443068504333e-05, -5.766749382019043e-05, -5.1740556955337524e-05, -4.581362009048462e-05, -3.9886683225631714e-05, -3.395974636077881e-05, -2.8032809495925903e-05, -2.2105872631072998e-05, -1.6178935766220093e-05, -1.0251998901367188e-05, -4.325062036514282e-06, 1.601874828338623e-06, 7.528811693191528e-06, 1.3455748558044434e-05, 1.938268542289734e-05, 2.5309622287750244e-05, 3.123655915260315e-05, 3.7163496017456055e-05, 4.309043288230896e-05, 4.9017369747161865e-05, 5.494430661201477e-05, 6.0871243476867676e-05, 6.679818034172058e-05, 7.272511720657349e-05, 7.865205407142639e-05, 8.45789909362793e-05, 9.05059278011322e-05, 9.643286466598511e-05, 0.00010235980153083801, 0.00010828673839569092, 0.00011421367526054382, 0.00012014061212539673, 0.00012606754899024963, 0.00013199448585510254, 0.00013792142271995544, 0.00014384835958480835, 0.00014977529644966125, 0.00015570223331451416, 0.00016162917017936707, 0.00016755610704421997, 0.00017348304390907288, 0.00017940998077392578]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 6.0, 5.0, 12.0, 9.0, 9.0, 7.0, 9.0, 16.0, 20.0, 13.0, 18.0, 15.0, 26.0, 31.0, 30.0, 33.0, 35.0, 45.0, 41.0, 42.0, 41.0, 36.0, 1070.0, 37.0, 40.0, 38.0, 41.0, 40.0, 26.0, 26.0, 21.0, 20.0, 34.0, 21.0, 22.0, 13.0, 13.0, 10.0, 13.0, 3.0, 12.0, 8.0, 6.0, 9.0, 2.0, 6.0, 2.0, 2.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.0311737060546875, -0.030266284942626953, -0.029358863830566406, -0.02845144271850586, -0.027544021606445312, -0.026636600494384766, -0.02572917938232422, -0.024821758270263672, -0.023914337158203125, -0.023006916046142578, -0.02209949493408203, -0.021192073822021484, -0.020284652709960938, -0.01937723159790039, -0.018469810485839844, -0.017562389373779297, -0.01665496826171875, -0.015747547149658203, -0.014840126037597656, -0.01393270492553711, -0.013025283813476562, -0.012117862701416016, -0.011210441589355469, -0.010303020477294922, -0.009395599365234375, -0.008488178253173828, -0.007580757141113281, -0.006673336029052734, -0.0057659149169921875, -0.004858493804931641, -0.003951072692871094, -0.003043651580810547, -0.00213623046875, -0.0012288093566894531, -0.00032138824462890625, 0.0005860328674316406, 0.0014934539794921875, 0.0024008750915527344, 0.0033082962036132812, 0.004215717315673828, 0.005123138427734375, 0.006030559539794922, 0.006937980651855469, 0.007845401763916016, 0.008752822875976562, 0.00966024398803711, 0.010567665100097656, 0.011475086212158203, 0.01238250732421875, 0.013289928436279297, 0.014197349548339844, 0.01510477066040039, 0.016012191772460938, 0.016919612884521484, 0.01782703399658203, 0.018734455108642578, 0.019641876220703125, 0.020549297332763672, 0.02145671844482422, 0.022364139556884766, 0.023271560668945312, 0.02417898178100586, 0.025086402893066406, 0.025993824005126953, 0.0269012451171875]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 5.0, 6.0, 3.0, 8.0, 8.0, 10.0, 5.0, 14.0, 11.0, 10.0, 17.0, 21.0, 25.0, 31.0, 25.0, 13.0, 28.0, 35.0, 68.0, 132.0, 331.0, 1305.0, 8996.0, 2074861.0, 9024.0, 1314.0, 322.0, 150.0, 59.0, 37.0, 44.0, 25.0, 30.0, 26.0, 15.0, 21.0, 11.0, 20.0, 12.0, 9.0, 9.0, 6.0, 11.0, 11.0, 4.0, 5.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.944469451904297e-05, -2.8446316719055176e-05, -2.7447938919067383e-05, -2.644956111907959e-05, -2.5451183319091797e-05, -2.4452805519104004e-05, -2.345442771911621e-05, -2.2456049919128418e-05, -2.1457672119140625e-05, -2.0459294319152832e-05, -1.946091651916504e-05, -1.8462538719177246e-05, -1.7464160919189453e-05, -1.646578311920166e-05, -1.5467405319213867e-05, -1.4469027519226074e-05, -1.3470649719238281e-05, -1.2472271919250488e-05, -1.1473894119262695e-05, -1.0475516319274902e-05, -9.47713851928711e-06, -8.478760719299316e-06, -7.4803829193115234e-06, -6.4820051193237305e-06, -5.4836273193359375e-06, -4.4852495193481445e-06, -3.4868717193603516e-06, -2.4884939193725586e-06, -1.4901161193847656e-06, -4.917383193969727e-07, 5.066394805908203e-07, 1.5050172805786133e-06, 2.5033950805664062e-06, 3.5017728805541992e-06, 4.500150680541992e-06, 5.498528480529785e-06, 6.496906280517578e-06, 7.495284080505371e-06, 8.493661880493164e-06, 9.492039680480957e-06, 1.049041748046875e-05, 1.1488795280456543e-05, 1.2487173080444336e-05, 1.3485550880432129e-05, 1.4483928680419922e-05, 1.5482306480407715e-05, 1.6480684280395508e-05, 1.74790620803833e-05, 1.8477439880371094e-05, 1.9475817680358887e-05, 2.047419548034668e-05, 2.1472573280334473e-05, 2.2470951080322266e-05, 2.346932888031006e-05, 2.446770668029785e-05, 2.5466084480285645e-05, 2.6464462280273438e-05, 2.746284008026123e-05, 2.8461217880249023e-05, 2.9459595680236816e-05, 3.045797348022461e-05, 3.14563512802124e-05, 3.2454729080200195e-05, 3.345310688018799e-05, 3.445148468017578e-05]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 5.0, 1.0, 5.0, 6.0, 3.0, 7.0, 8.0, 6.0, 7.0, 13.0, 12.0, 11.0, 11.0, 19.0, 25.0, 33.0, 36.0, 32.0, 30.0, 33.0, 45.0, 59.0, 40.0, 55.0, 45.0, 42.0, 39.0, 48.0, 45.0, 32.0, 45.0, 31.0, 34.0, 28.0, 20.0, 21.0, 13.0, 14.0, 10.0, 3.0, 5.0, 9.0, 4.0, 8.0, 5.0, 3.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.030548095703125, -0.029539108276367188, -0.028530120849609375, -0.027521133422851562, -0.02651214599609375, -0.025503158569335938, -0.024494171142578125, -0.023485183715820312, -0.0224761962890625, -0.021467208862304688, -0.020458221435546875, -0.019449234008789062, -0.01844024658203125, -0.017431259155273438, -0.016422271728515625, -0.015413284301757812, -0.014404296875, -0.013395309448242188, -0.012386322021484375, -0.011377334594726562, -0.01036834716796875, -0.009359359741210938, -0.008350372314453125, -0.0073413848876953125, -0.0063323974609375, -0.0053234100341796875, -0.004314422607421875, -0.0033054351806640625, -0.00229644775390625, -0.0012874603271484375, -0.000278472900390625, 0.0007305145263671875, 0.001739501953125, 0.0027484893798828125, 0.003757476806640625, 0.0047664642333984375, 0.00577545166015625, 0.0067844390869140625, 0.007793426513671875, 0.008802413940429688, 0.0098114013671875, 0.010820388793945312, 0.011829376220703125, 0.012838363647460938, 0.01384735107421875, 0.014856338500976562, 0.015865325927734375, 0.016874313354492188, 0.01788330078125, 0.018892288208007812, 0.019901275634765625, 0.020910263061523438, 0.02191925048828125, 0.022928237915039062, 0.023937225341796875, 0.024946212768554688, 0.0259552001953125, 0.026964187622070312, 0.027973175048828125, 0.028982162475585938, 0.02999114990234375, 0.031000137329101562, 0.032009124755859375, 0.03301811218261719, 0.034027099609375]}, "gradients/decoder.transformer.h.8.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 6.0, 10.0, 13.0, 26.0, 31.0, 72.0, 95.0, 188.0, 293.0, 478.0, 853.0, 1477.0, 2711.0, 4933.0, 8799.0, 16273.0, 32605.0, 77643.0, 243895.0, 420380.0, 136065.0, 50786.0, 23625.0, 12232.0, 6620.0, 3646.0, 2072.0, 1136.0, 633.0, 388.0, 204.0, 149.0, 90.0, 45.0, 31.0, 17.0, 12.0, 9.0, 11.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.041046142578125, -0.03948354721069336, -0.03792095184326172, -0.03635835647583008, -0.03479576110839844, -0.0332331657409668, -0.031670570373535156, -0.030107975006103516, -0.028545379638671875, -0.026982784271240234, -0.025420188903808594, -0.023857593536376953, -0.022294998168945312, -0.020732402801513672, -0.01916980743408203, -0.01760721206665039, -0.01604461669921875, -0.01448202133178711, -0.012919425964355469, -0.011356830596923828, -0.009794235229492188, -0.008231639862060547, -0.006669044494628906, -0.005106449127197266, -0.003543853759765625, -0.0019812583923339844, -0.00041866302490234375, 0.0011439323425292969, 0.0027065277099609375, 0.004269123077392578, 0.005831718444824219, 0.007394313812255859, 0.0089569091796875, 0.01051950454711914, 0.012082099914550781, 0.013644695281982422, 0.015207290649414062, 0.016769886016845703, 0.018332481384277344, 0.019895076751708984, 0.021457672119140625, 0.023020267486572266, 0.024582862854003906, 0.026145458221435547, 0.027708053588867188, 0.029270648956298828, 0.03083324432373047, 0.03239583969116211, 0.03395843505859375, 0.03552103042602539, 0.03708362579345703, 0.03864622116088867, 0.04020881652832031, 0.04177141189575195, 0.043334007263183594, 0.044896602630615234, 0.046459197998046875, 0.048021793365478516, 0.049584388732910156, 0.0511469841003418, 0.05270957946777344, 0.05427217483520508, 0.05583477020263672, 0.05739736557006836, 0.0589599609375]}, "gradients/decoder.transformer.h.8.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 4.0, 4.0, 6.0, 8.0, 12.0, 12.0, 20.0, 10.0, 21.0, 20.0, 31.0, 28.0, 32.0, 36.0, 51.0, 44.0, 78.0, 97.0, 146.0, 303.0, 1406.0, 190.0, 93.0, 51.0, 56.0, 43.0, 40.0, 33.0, 34.0, 32.0, 30.0, 21.0, 7.0, 8.0, 12.0, 6.0, 6.0, 6.0, 5.0, 3.0, 2.0, 2.0, 6.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1024169921875, -0.09900856018066406, -0.09560012817382812, -0.09219169616699219, -0.08878326416015625, -0.08537483215332031, -0.08196640014648438, -0.07855796813964844, -0.0751495361328125, -0.07174110412597656, -0.06833267211914062, -0.06492424011230469, -0.06151580810546875, -0.05810737609863281, -0.054698944091796875, -0.05129051208496094, -0.047882080078125, -0.04447364807128906, -0.041065216064453125, -0.03765678405761719, -0.03424835205078125, -0.030839920043945312, -0.027431488037109375, -0.024023056030273438, -0.0206146240234375, -0.017206192016601562, -0.013797760009765625, -0.010389328002929688, -0.00698089599609375, -0.0035724639892578125, -0.000164031982421875, 0.0032444000244140625, 0.00665283203125, 0.010061264038085938, 0.013469696044921875, 0.016878128051757812, 0.02028656005859375, 0.023694992065429688, 0.027103424072265625, 0.030511856079101562, 0.0339202880859375, 0.03732872009277344, 0.040737152099609375, 0.04414558410644531, 0.04755401611328125, 0.05096244812011719, 0.054370880126953125, 0.05777931213378906, 0.061187744140625, 0.06459617614746094, 0.06800460815429688, 0.07141304016113281, 0.07482147216796875, 0.07822990417480469, 0.08163833618164062, 0.08504676818847656, 0.0884552001953125, 0.09186363220214844, 0.09527206420898438, 0.09868049621582031, 0.10208892822265625, 0.10549736022949219, 0.10890579223632812, 0.11231422424316406, 0.11572265625]}, "gradients/decoder.transformer.h.8.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 5.0, 2.0, 3.0, 2.0, 2.0, 5.0, 4.0, 12.0, 12.0, 16.0, 23.0, 26.0, 36.0, 56.0, 74.0, 121.0, 168.0, 346.0, 702.0, 1618.0, 4376.0, 14830.0, 65285.0, 690498.0, 2199139.0, 131965.0, 25103.0, 6887.0, 2332.0, 886.0, 480.0, 226.0, 134.0, 96.0, 62.0, 47.0, 37.0, 34.0, 20.0, 13.0, 10.0, 10.0, 1.0, 4.0, 7.0, 2.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.101318359375, -0.0979623794555664, -0.09460639953613281, -0.09125041961669922, -0.08789443969726562, -0.08453845977783203, -0.08118247985839844, -0.07782649993896484, -0.07447052001953125, -0.07111454010009766, -0.06775856018066406, -0.06440258026123047, -0.061046600341796875, -0.05769062042236328, -0.05433464050292969, -0.050978660583496094, -0.0476226806640625, -0.044266700744628906, -0.04091072082519531, -0.03755474090576172, -0.034198760986328125, -0.03084278106689453, -0.027486801147460938, -0.024130821228027344, -0.02077484130859375, -0.017418861389160156, -0.014062881469726562, -0.010706901550292969, -0.007350921630859375, -0.003994941711425781, -0.0006389617919921875, 0.0027170181274414062, 0.006072998046875, 0.009428977966308594, 0.012784957885742188, 0.01614093780517578, 0.019496917724609375, 0.02285289764404297, 0.026208877563476562, 0.029564857482910156, 0.03292083740234375, 0.036276817321777344, 0.03963279724121094, 0.04298877716064453, 0.046344757080078125, 0.04970073699951172, 0.05305671691894531, 0.056412696838378906, 0.0597686767578125, 0.0631246566772461, 0.06648063659667969, 0.06983661651611328, 0.07319259643554688, 0.07654857635498047, 0.07990455627441406, 0.08326053619384766, 0.08661651611328125, 0.08997249603271484, 0.09332847595214844, 0.09668445587158203, 0.10004043579101562, 0.10339641571044922, 0.10675239562988281, 0.1101083755493164, 0.11346435546875]}, "gradients/decoder.transformer.h.8.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 59.0, 698.0, 256.0, 5.0], "bins": [-3.6323602199554443, -3.5734786987304688, -3.514596939086914, -3.4557154178619385, -3.396833896636963, -3.337952136993408, -3.2790706157684326, -3.220189094543457, -3.1613075733184814, -3.102426052093506, -3.043544292449951, -2.9846627712249756, -2.92578125, -2.8668994903564453, -2.8080179691314697, -2.749136447906494, -2.6902546882629395, -2.631373167037964, -2.572491407394409, -2.5136098861694336, -2.454728364944458, -2.3958468437194824, -2.3369650840759277, -2.278083562850952, -2.2192020416259766, -2.160320520401001, -2.1014387607574463, -2.0425572395324707, -1.9836757183074951, -1.92479407787323, -1.8659124374389648, -1.8070309162139893, -1.7481492757797241, -1.689267635345459, -1.6303861141204834, -1.5715044736862183, -1.5126229524612427, -1.4537413120269775, -1.394859790802002, -1.3359781503677368, -1.2770965099334717, -1.2182148694992065, -1.159333348274231, -1.1004517078399658, -1.0415701866149902, -0.9826885461807251, -0.9238069653511047, -0.8649253845214844, -0.806043803691864, -0.7471622228622437, -0.6882806420326233, -0.6293990612030029, -0.5705174207687378, -0.5116358399391174, -0.45275425910949707, -0.3938726484775543, -0.33499106764793396, -0.2761094868183136, -0.21722787618637085, -0.1583462953567505, -0.09946469962596893, -0.04058310389518738, 0.018298476934432983, 0.07718008756637573, 0.1360616683959961]}, "gradients/decoder.transformer.h.8.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 4.0, 4.0, 4.0, 10.0, 6.0, 7.0, 7.0, 13.0, 18.0, 19.0, 11.0, 21.0, 29.0, 21.0, 31.0, 30.0, 56.0, 47.0, 38.0, 37.0, 49.0, 44.0, 43.0, 42.0, 43.0, 28.0, 43.0, 26.0, 35.0, 30.0, 30.0, 30.0, 32.0, 17.0, 13.0, 12.0, 20.0, 12.0, 14.0, 11.0, 3.0, 4.0, 8.0, 4.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.26378804445266724, -0.2548002004623413, -0.2458123415708542, -0.23682449758052826, -0.22783665359020233, -0.2188487946987152, -0.20986095070838928, -0.20087310671806335, -0.19188526272773743, -0.1828974187374115, -0.17390955984592438, -0.16492171585559845, -0.15593387186527252, -0.1469460129737854, -0.13795816898345947, -0.12897032499313354, -0.11998246610164642, -0.1109946146607399, -0.10200677067041397, -0.09301891922950745, -0.08403107523918152, -0.075043223798275, -0.06605537235736847, -0.05706752836704254, -0.04807967692613602, -0.03909182921051979, -0.030103979632258415, -0.02111613005399704, -0.012128282338380814, -0.0031404346227645874, 0.005847416818141937, 0.014835260808467865, 0.02382311224937439, 0.032810959964990616, 0.04179880768060684, 0.05078665912151337, 0.05977450683712959, 0.06876235455274582, 0.07775020599365234, 0.08673804998397827, 0.0957259014248848, 0.10471375286579132, 0.11370159685611725, 0.12268944829702377, 0.1316772997379303, 0.14066514372825623, 0.14965298771858215, 0.15864083170890808, 0.1676286906003952, 0.17661653459072113, 0.18560439348220825, 0.19459223747253418, 0.2035800814628601, 0.21256792545318604, 0.22155578434467316, 0.23054362833499908, 0.2395314872264862, 0.24851933121681213, 0.25750717520713806, 0.2664950489997864, 0.2754828929901123, 0.28447073698043823, 0.29345858097076416, 0.3024464249610901, 0.311434268951416]}, "gradients/decoder.transformer.h.7.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 2.0, 2.0, 7.0, 6.0, 9.0, 7.0, 8.0, 9.0, 5.0, 11.0, 11.0, 16.0, 20.0, 30.0, 32.0, 27.0, 31.0, 27.0, 36.0, 47.0, 30.0, 53.0, 50.0, 47.0, 36.0, 56.0, 35.0, 38.0, 44.0, 31.0, 34.0, 30.0, 32.0, 24.0, 19.0, 20.0, 19.0, 9.0, 9.0, 10.0, 3.0, 6.0, 4.0, 3.0, 7.0, 2.0, 6.0, 1.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0309600830078125, -0.029950380325317383, -0.028940677642822266, -0.02793097496032715, -0.02692127227783203, -0.025911569595336914, -0.024901866912841797, -0.02389216423034668, -0.022882461547851562, -0.021872758865356445, -0.020863056182861328, -0.01985335350036621, -0.018843650817871094, -0.017833948135375977, -0.01682424545288086, -0.015814542770385742, -0.014804840087890625, -0.013795137405395508, -0.01278543472290039, -0.011775732040405273, -0.010766029357910156, -0.009756326675415039, -0.008746623992919922, -0.007736921310424805, -0.0067272186279296875, -0.00571751594543457, -0.004707813262939453, -0.003698110580444336, -0.0026884078979492188, -0.0016787052154541016, -0.0006690025329589844, 0.0003407001495361328, 0.00135040283203125, 0.002360105514526367, 0.0033698081970214844, 0.0043795108795166016, 0.005389213562011719, 0.006398916244506836, 0.007408618927001953, 0.00841832160949707, 0.009428024291992188, 0.010437726974487305, 0.011447429656982422, 0.012457132339477539, 0.013466835021972656, 0.014476537704467773, 0.01548624038696289, 0.016495943069458008, 0.017505645751953125, 0.018515348434448242, 0.01952505111694336, 0.020534753799438477, 0.021544456481933594, 0.02255415916442871, 0.023563861846923828, 0.024573564529418945, 0.025583267211914062, 0.02659296989440918, 0.027602672576904297, 0.028612375259399414, 0.02962207794189453, 0.03063178062438965, 0.031641483306884766, 0.03265118598937988, 0.033660888671875]}, "gradients/decoder.transformer.h.7.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 3.0, 2.0, 1.0, 2.0, 5.0, 6.0, 3.0, 10.0, 9.0, 11.0, 16.0, 21.0, 18.0, 30.0, 31.0, 53.0, 91.0, 183.0, 461.0, 1037.0, 2717.0, 7438.0, 21955.0, 80068.0, 443961.0, 2621449.0, 842055.0, 125158.0, 31252.0, 10064.0, 3568.0, 1375.0, 584.0, 254.0, 126.0, 74.0, 59.0, 31.0, 26.0, 25.0, 10.0, 5.0, 10.0, 6.0, 7.0, 7.0, 5.0, 3.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.06939697265625, -0.06697463989257812, -0.06455230712890625, -0.062129974365234375, -0.0597076416015625, -0.057285308837890625, -0.05486297607421875, -0.052440643310546875, -0.050018310546875, -0.047595977783203125, -0.04517364501953125, -0.042751312255859375, -0.0403289794921875, -0.037906646728515625, -0.03548431396484375, -0.033061981201171875, -0.0306396484375, -0.028217315673828125, -0.02579498291015625, -0.023372650146484375, -0.0209503173828125, -0.018527984619140625, -0.01610565185546875, -0.013683319091796875, -0.011260986328125, -0.008838653564453125, -0.00641632080078125, -0.003993988037109375, -0.0015716552734375, 0.000850677490234375, 0.00327301025390625, 0.005695343017578125, 0.00811767578125, 0.010540008544921875, 0.01296234130859375, 0.015384674072265625, 0.0178070068359375, 0.020229339599609375, 0.02265167236328125, 0.025074005126953125, 0.027496337890625, 0.029918670654296875, 0.03234100341796875, 0.034763336181640625, 0.0371856689453125, 0.039608001708984375, 0.04203033447265625, 0.044452667236328125, 0.046875, 0.049297332763671875, 0.05171966552734375, 0.054141998291015625, 0.0565643310546875, 0.058986663818359375, 0.06140899658203125, 0.06383132934570312, 0.066253662109375, 0.06867599487304688, 0.07109832763671875, 0.07352066040039062, 0.0759429931640625, 0.07836532592773438, 0.08078765869140625, 0.08320999145507812, 0.08563232421875]}, "gradients/decoder.transformer.h.7.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 5.0, 2.0, 2.0, 4.0, 4.0, 5.0, 15.0, 17.0, 12.0, 18.0, 29.0, 27.0, 56.0, 58.0, 93.0, 138.0, 160.0, 192.0, 269.0, 379.0, 509.0, 558.0, 408.0, 293.0, 214.0, 176.0, 116.0, 81.0, 72.0, 61.0, 35.0, 18.0, 19.0, 8.0, 13.0, 5.0, 4.0, 4.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.07366943359375, -0.0716867446899414, -0.06970405578613281, -0.06772136688232422, -0.06573867797851562, -0.06375598907470703, -0.06177330017089844, -0.059790611267089844, -0.05780792236328125, -0.055825233459472656, -0.05384254455566406, -0.05185985565185547, -0.049877166748046875, -0.04789447784423828, -0.04591178894042969, -0.043929100036621094, -0.0419464111328125, -0.039963722229003906, -0.03798103332519531, -0.03599834442138672, -0.034015655517578125, -0.03203296661376953, -0.030050277709960938, -0.028067588806152344, -0.02608489990234375, -0.024102210998535156, -0.022119522094726562, -0.02013683319091797, -0.018154144287109375, -0.01617145538330078, -0.014188766479492188, -0.012206077575683594, -0.010223388671875, -0.008240699768066406, -0.0062580108642578125, -0.004275321960449219, -0.002292633056640625, -0.00030994415283203125, 0.0016727447509765625, 0.0036554336547851562, 0.00563812255859375, 0.007620811462402344, 0.009603500366210938, 0.011586189270019531, 0.013568878173828125, 0.015551567077636719, 0.017534255981445312, 0.019516944885253906, 0.0214996337890625, 0.023482322692871094, 0.025465011596679688, 0.02744770050048828, 0.029430389404296875, 0.03141307830810547, 0.03339576721191406, 0.035378456115722656, 0.03736114501953125, 0.039343833923339844, 0.04132652282714844, 0.04330921173095703, 0.045291900634765625, 0.04727458953857422, 0.04925727844238281, 0.051239967346191406, 0.05322265625]}, "gradients/decoder.transformer.h.7.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 2.0, 6.0, 7.0, 7.0, 11.0, 10.0, 28.0, 49.0, 54.0, 100.0, 137.0, 226.0, 497.0, 1400.0, 7482.0, 100096.0, 3284545.0, 765910.0, 28541.0, 3351.0, 845.0, 364.0, 222.0, 126.0, 77.0, 48.0, 44.0, 23.0, 22.0, 22.0, 11.0, 9.0, 7.0, 3.0, 4.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.184326171875, -0.1774444580078125, -0.170562744140625, -0.1636810302734375, -0.15679931640625, -0.1499176025390625, -0.143035888671875, -0.1361541748046875, -0.1292724609375, -0.1223907470703125, -0.115509033203125, -0.1086273193359375, -0.10174560546875, -0.0948638916015625, -0.087982177734375, -0.0811004638671875, -0.07421875, -0.0673370361328125, -0.060455322265625, -0.0535736083984375, -0.04669189453125, -0.0398101806640625, -0.032928466796875, -0.0260467529296875, -0.0191650390625, -0.0122833251953125, -0.005401611328125, 0.0014801025390625, 0.00836181640625, 0.0152435302734375, 0.022125244140625, 0.0290069580078125, 0.035888671875, 0.0427703857421875, 0.049652099609375, 0.0565338134765625, 0.06341552734375, 0.0702972412109375, 0.077178955078125, 0.0840606689453125, 0.0909423828125, 0.0978240966796875, 0.104705810546875, 0.1115875244140625, 0.11846923828125, 0.1253509521484375, 0.132232666015625, 0.1391143798828125, 0.14599609375, 0.1528778076171875, 0.159759521484375, 0.1666412353515625, 0.17352294921875, 0.1804046630859375, 0.187286376953125, 0.1941680908203125, 0.2010498046875, 0.2079315185546875, 0.214813232421875, 0.2216949462890625, 0.22857666015625, 0.2354583740234375, 0.242340087890625, 0.2492218017578125, 0.256103515625]}, "gradients/decoder.transformer.h.7.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 10.0, 41.0, 118.0, 244.0, 233.0, 198.0, 113.0, 34.0, 17.0, 6.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4169635772705078, -0.3944272994995117, -0.3718910217285156, -0.34935474395751953, -0.32681846618652344, -0.30428218841552734, -0.28174594044685364, -0.25920966267585754, -0.23667338490486145, -0.21413710713386536, -0.19160082936286926, -0.16906456649303436, -0.14652828872203827, -0.12399201095104218, -0.10145574808120728, -0.07891947031021118, -0.05638319253921509, -0.03384691849350929, -0.011310644447803497, 0.011225625872612, 0.03376190364360809, 0.05629818141460419, 0.07883444428443909, 0.10137072205543518, 0.12390699982643127, 0.14644327759742737, 0.16897955536842346, 0.19151581823825836, 0.21405209600925446, 0.23658837378025055, 0.25912463665008545, 0.28166091442108154, 0.30419719219207764, 0.32673346996307373, 0.3492697477340698, 0.3718060255050659, 0.394342303276062, 0.4168785810470581, 0.4394148290157318, 0.4619511067867279, 0.484487384557724, 0.5070236325263977, 0.5295599102973938, 0.5520961880683899, 0.574632465839386, 0.5971687436103821, 0.6197050213813782, 0.6422412991523743, 0.6647775769233704, 0.6873138546943665, 0.7098501324653625, 0.7323864102363586, 0.7549226880073547, 0.7774589657783508, 0.7999951839447021, 0.8225314617156982, 0.8450677394866943, 0.8676040172576904, 0.8901402950286865, 0.9126765727996826, 0.9352128505706787, 0.9577491283416748, 0.9802854061126709, 1.002821683883667, 1.025357961654663]}, "gradients/decoder.transformer.h.7.ln_2.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 3.0, 1.0, 3.0, 4.0, 6.0, 2.0, 5.0, 3.0, 7.0, 9.0, 11.0, 14.0, 11.0, 14.0, 20.0, 11.0, 15.0, 18.0, 20.0, 26.0, 25.0, 24.0, 37.0, 24.0, 25.0, 42.0, 42.0, 40.0, 28.0, 34.0, 39.0, 37.0, 39.0, 36.0, 35.0, 34.0, 29.0, 29.0, 31.0, 25.0, 17.0, 17.0, 23.0, 14.0, 15.0, 21.0, 6.0, 8.0, 9.0, 6.0, 6.0, 6.0, 1.0, 2.0, 5.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.19670039415359497, -0.1906644105911255, -0.184628427028656, -0.17859244346618652, -0.17255645990371704, -0.16652046144008636, -0.16048447787761688, -0.1544484943151474, -0.14841251075267792, -0.14237652719020844, -0.13634054362773895, -0.13030456006526947, -0.12426856905221939, -0.11823258548974991, -0.11219659447669983, -0.10616061091423035, -0.10012462735176086, -0.09408864378929138, -0.0880526602268219, -0.08201666921377182, -0.07598068565130234, -0.06994470208883286, -0.06390871107578278, -0.05787272751331329, -0.05183674395084381, -0.04580076038837433, -0.03976477310061455, -0.03372878581285477, -0.027692802250385284, -0.021656816825270653, -0.015620831400156021, -0.00958484411239624, -0.003548860549926758, 0.002487124875187874, 0.008523110300302505, 0.014559095725417137, 0.02059508115053177, 0.0266310665756464, 0.03266705200076103, 0.03870303928852081, 0.044739022850990295, 0.05077500641345978, 0.05681099370121956, 0.06284698098897934, 0.06888296455144882, 0.0749189481139183, 0.08095493912696838, 0.08699092268943787, 0.09302690625190735, 0.09906288981437683, 0.10509887337684631, 0.11113486438989639, 0.11717084795236588, 0.12320683151483536, 0.12924282252788544, 0.13527880609035492, 0.1413147896528244, 0.14735077321529388, 0.15338675677776337, 0.15942274034023285, 0.16545873880386353, 0.171494722366333, 0.1775307059288025, 0.18356668949127197, 0.18960267305374146]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 0.0, 4.0, 4.0, 3.0, 3.0, 6.0, 9.0, 8.0, 9.0, 8.0, 13.0, 10.0, 19.0, 39.0, 28.0, 36.0, 39.0, 33.0, 44.0, 47.0, 47.0, 55.0, 51.0, 50.0, 51.0, 42.0, 54.0, 48.0, 49.0, 39.0, 23.0, 28.0, 21.0, 17.0, 18.0, 15.0, 10.0, 9.0, 5.0, 3.0, 5.0, 2.0, 4.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03204345703125, -0.030800342559814453, -0.029557228088378906, -0.02831411361694336, -0.027070999145507812, -0.025827884674072266, -0.02458477020263672, -0.023341655731201172, -0.022098541259765625, -0.020855426788330078, -0.01961231231689453, -0.018369197845458984, -0.017126083374023438, -0.01588296890258789, -0.014639854431152344, -0.013396739959716797, -0.01215362548828125, -0.010910511016845703, -0.009667396545410156, -0.00842428207397461, -0.0071811676025390625, -0.005938053131103516, -0.004694938659667969, -0.003451824188232422, -0.002208709716796875, -0.0009655952453613281, 0.00027751922607421875, 0.0015206336975097656, 0.0027637481689453125, 0.004006862640380859, 0.005249977111816406, 0.006493091583251953, 0.0077362060546875, 0.008979320526123047, 0.010222434997558594, 0.01146554946899414, 0.012708663940429688, 0.013951778411865234, 0.015194892883300781, 0.016438007354736328, 0.017681121826171875, 0.018924236297607422, 0.02016735076904297, 0.021410465240478516, 0.022653579711914062, 0.02389669418334961, 0.025139808654785156, 0.026382923126220703, 0.02762603759765625, 0.028869152069091797, 0.030112266540527344, 0.03135538101196289, 0.03259849548339844, 0.033841609954833984, 0.03508472442626953, 0.03632783889770508, 0.037570953369140625, 0.03881406784057617, 0.04005718231201172, 0.041300296783447266, 0.04254341125488281, 0.04378652572631836, 0.045029640197753906, 0.04627275466918945, 0.047515869140625]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 4.0, 5.0, 3.0, 5.0, 13.0, 26.0, 31.0, 37.0, 65.0, 85.0, 132.0, 221.0, 328.0, 547.0, 867.0, 1403.0, 2336.0, 4162.0, 7193.0, 12658.0, 23637.0, 47185.0, 99078.0, 261449.0, 359287.0, 113929.0, 53329.0, 26955.0, 14437.0, 7859.0, 4442.0, 2663.0, 1613.0, 924.0, 619.0, 348.0, 257.0, 140.0, 101.0, 70.0, 40.0, 29.0, 20.0, 13.0, 6.0, 6.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0002155303955078125, -0.00020920857787132263, -0.00020288676023483276, -0.0001965649425983429, -0.00019024312496185303, -0.00018392130732536316, -0.0001775994896888733, -0.00017127767205238342, -0.00016495585441589355, -0.0001586340367794037, -0.00015231221914291382, -0.00014599040150642395, -0.00013966858386993408, -0.00013334676623344421, -0.00012702494859695435, -0.00012070313096046448, -0.00011438131332397461, -0.00010805949568748474, -0.00010173767805099487, -9.5415860414505e-05, -8.909404277801514e-05, -8.277222514152527e-05, -7.64504075050354e-05, -7.012858986854553e-05, -6.380677223205566e-05, -5.7484954595565796e-05, -5.116313695907593e-05, -4.484131932258606e-05, -3.851950168609619e-05, -3.219768404960632e-05, -2.5875866413116455e-05, -1.9554048776626587e-05, -1.3232231140136719e-05, -6.910413503646851e-06, -5.885958671569824e-07, 5.733221769332886e-06, 1.2055039405822754e-05, 1.8376857042312622e-05, 2.469867467880249e-05, 3.102049231529236e-05, 3.7342309951782227e-05, 4.3664127588272095e-05, 4.998594522476196e-05, 5.630776286125183e-05, 6.26295804977417e-05, 6.895139813423157e-05, 7.527321577072144e-05, 8.15950334072113e-05, 8.791685104370117e-05, 9.423866868019104e-05, 0.00010056048631668091, 0.00010688230395317078, 0.00011320412158966064, 0.00011952593922615051, 0.00012584775686264038, 0.00013216957449913025, 0.00013849139213562012, 0.00014481320977210999, 0.00015113502740859985, 0.00015745684504508972, 0.0001637786626815796, 0.00017010048031806946, 0.00017642229795455933, 0.0001827441155910492, 0.00018906593322753906]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 5.0, 4.0, 5.0, 12.0, 4.0, 9.0, 13.0, 20.0, 14.0, 18.0, 21.0, 21.0, 39.0, 33.0, 35.0, 40.0, 30.0, 40.0, 45.0, 35.0, 43.0, 1070.0, 46.0, 45.0, 36.0, 40.0, 33.0, 40.0, 41.0, 32.0, 33.0, 26.0, 20.0, 18.0, 18.0, 5.0, 8.0, 4.0, 13.0, 2.0, 6.0, 4.0, 1.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0306243896484375, -0.0295407772064209, -0.028457164764404297, -0.027373552322387695, -0.026289939880371094, -0.025206327438354492, -0.02412271499633789, -0.02303910255432129, -0.021955490112304688, -0.020871877670288086, -0.019788265228271484, -0.018704652786254883, -0.01762104034423828, -0.01653742790222168, -0.015453815460205078, -0.014370203018188477, -0.013286590576171875, -0.012202978134155273, -0.011119365692138672, -0.01003575325012207, -0.008952140808105469, -0.007868528366088867, -0.006784915924072266, -0.005701303482055664, -0.0046176910400390625, -0.003534078598022461, -0.0024504661560058594, -0.0013668537139892578, -0.00028324127197265625, 0.0008003711700439453, 0.0018839836120605469, 0.0029675960540771484, 0.00405120849609375, 0.0051348209381103516, 0.006218433380126953, 0.007302045822143555, 0.008385658264160156, 0.009469270706176758, 0.01055288314819336, 0.011636495590209961, 0.012720108032226562, 0.013803720474243164, 0.014887332916259766, 0.015970945358276367, 0.01705455780029297, 0.01813817024230957, 0.019221782684326172, 0.020305395126342773, 0.021389007568359375, 0.022472620010375977, 0.023556232452392578, 0.02463984489440918, 0.02572345733642578, 0.026807069778442383, 0.027890682220458984, 0.028974294662475586, 0.030057907104492188, 0.03114151954650879, 0.03222513198852539, 0.03330874443054199, 0.034392356872558594, 0.035475969314575195, 0.0365595817565918, 0.0376431941986084, 0.038726806640625]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0, 2.0, 4.0, 4.0, 8.0, 7.0, 7.0, 8.0, 5.0, 20.0, 14.0, 23.0, 31.0, 28.0, 41.0, 35.0, 45.0, 47.0, 92.0, 236.0, 938.0, 7064.0, 2076073.0, 10447.0, 1253.0, 251.0, 96.0, 64.0, 34.0, 42.0, 37.0, 31.0, 21.0, 24.0, 15.0, 18.0, 18.0, 11.0, 8.0, 7.0, 8.0, 8.0, 1.0, 6.0, 4.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.2319297790527344e-05, -4.112906754016876e-05, -3.993883728981018e-05, -3.87486070394516e-05, -3.755837678909302e-05, -3.6368146538734436e-05, -3.5177916288375854e-05, -3.398768603801727e-05, -3.279745578765869e-05, -3.160722553730011e-05, -3.041699528694153e-05, -2.9226765036582947e-05, -2.8036534786224365e-05, -2.6846304535865784e-05, -2.5656074285507202e-05, -2.446584403514862e-05, -2.327561378479004e-05, -2.2085383534431458e-05, -2.0895153284072876e-05, -1.9704923033714294e-05, -1.8514692783355713e-05, -1.732446253299713e-05, -1.613423228263855e-05, -1.4944002032279968e-05, -1.3753771781921387e-05, -1.2563541531562805e-05, -1.1373311281204224e-05, -1.0183081030845642e-05, -8.99285078048706e-06, -7.802620530128479e-06, -6.6123902797698975e-06, -5.422160029411316e-06, -4.231929779052734e-06, -3.041699528694153e-06, -1.8514692783355713e-06, -6.612390279769897e-07, 5.289912223815918e-07, 1.7192214727401733e-06, 2.909451723098755e-06, 4.0996819734573364e-06, 5.289912223815918e-06, 6.4801424741744995e-06, 7.670372724533081e-06, 8.860602974891663e-06, 1.0050833225250244e-05, 1.1241063475608826e-05, 1.2431293725967407e-05, 1.3621523976325989e-05, 1.481175422668457e-05, 1.6001984477043152e-05, 1.7192214727401733e-05, 1.8382444977760315e-05, 1.9572675228118896e-05, 2.0762905478477478e-05, 2.195313572883606e-05, 2.314336597919464e-05, 2.4333596229553223e-05, 2.5523826479911804e-05, 2.6714056730270386e-05, 2.7904286980628967e-05, 2.909451723098755e-05, 3.028474748134613e-05, 3.147497773170471e-05, 3.2665207982063293e-05, 3.3855438232421875e-05]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 0.0, 4.0, 4.0, 3.0, 3.0, 6.0, 9.0, 8.0, 9.0, 8.0, 13.0, 10.0, 19.0, 39.0, 28.0, 36.0, 39.0, 33.0, 44.0, 47.0, 47.0, 55.0, 51.0, 50.0, 51.0, 42.0, 54.0, 48.0, 49.0, 39.0, 23.0, 28.0, 21.0, 17.0, 18.0, 15.0, 10.0, 9.0, 5.0, 3.0, 5.0, 2.0, 4.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03204345703125, -0.030800342559814453, -0.029557228088378906, -0.02831411361694336, -0.027070999145507812, -0.025827884674072266, -0.02458477020263672, -0.023341655731201172, -0.022098541259765625, -0.020855426788330078, -0.01961231231689453, -0.018369197845458984, -0.017126083374023438, -0.01588296890258789, -0.014639854431152344, -0.013396739959716797, -0.01215362548828125, -0.010910511016845703, -0.009667396545410156, -0.00842428207397461, -0.0071811676025390625, -0.005938053131103516, -0.004694938659667969, -0.003451824188232422, -0.002208709716796875, -0.0009655952453613281, 0.00027751922607421875, 0.0015206336975097656, 0.0027637481689453125, 0.004006862640380859, 0.005249977111816406, 0.006493091583251953, 0.0077362060546875, 0.008979320526123047, 0.010222434997558594, 0.01146554946899414, 0.012708663940429688, 0.013951778411865234, 0.015194892883300781, 0.016438007354736328, 0.017681121826171875, 0.018924236297607422, 0.02016735076904297, 0.021410465240478516, 0.022653579711914062, 0.02389669418334961, 0.025139808654785156, 0.026382923126220703, 0.02762603759765625, 0.028869152069091797, 0.030112266540527344, 0.03135538101196289, 0.03259849548339844, 0.033841609954833984, 0.03508472442626953, 0.03632783889770508, 0.037570953369140625, 0.03881406784057617, 0.04005718231201172, 0.041300296783447266, 0.04254341125488281, 0.04378652572631836, 0.045029640197753906, 0.04627275466918945, 0.047515869140625]}, "gradients/decoder.transformer.h.7.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 3.0, 1.0, 3.0, 5.0, 13.0, 16.0, 16.0, 24.0, 38.0, 59.0, 80.0, 126.0, 207.0, 282.0, 453.0, 728.0, 1136.0, 2038.0, 3535.0, 6329.0, 11443.0, 23481.0, 53990.0, 147601.0, 387094.0, 252941.0, 86434.0, 34577.0, 16277.0, 8412.0, 4544.0, 2621.0, 1516.0, 975.0, 547.0, 336.0, 243.0, 149.0, 95.0, 65.0, 41.0, 21.0, 23.0, 13.0, 13.0, 5.0, 6.0, 5.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.042083740234375, -0.04056692123413086, -0.03905010223388672, -0.03753328323364258, -0.03601646423339844, -0.0344996452331543, -0.032982826232910156, -0.031466007232666016, -0.029949188232421875, -0.028432369232177734, -0.026915550231933594, -0.025398731231689453, -0.023881912231445312, -0.022365093231201172, -0.02084827423095703, -0.01933145523071289, -0.01781463623046875, -0.01629781723022461, -0.014780998229980469, -0.013264179229736328, -0.011747360229492188, -0.010230541229248047, -0.008713722229003906, -0.007196903228759766, -0.005680084228515625, -0.004163265228271484, -0.0026464462280273438, -0.0011296272277832031, 0.0003871917724609375, 0.0019040107727050781, 0.0034208297729492188, 0.004937648773193359, 0.0064544677734375, 0.00797128677368164, 0.009488105773925781, 0.011004924774169922, 0.012521743774414062, 0.014038562774658203, 0.015555381774902344, 0.017072200775146484, 0.018589019775390625, 0.020105838775634766, 0.021622657775878906, 0.023139476776123047, 0.024656295776367188, 0.026173114776611328, 0.02768993377685547, 0.02920675277709961, 0.03072357177734375, 0.03224039077758789, 0.03375720977783203, 0.03527402877807617, 0.03679084777832031, 0.03830766677856445, 0.039824485778808594, 0.041341304779052734, 0.042858123779296875, 0.044374942779541016, 0.045891761779785156, 0.0474085807800293, 0.04892539978027344, 0.05044221878051758, 0.05195903778076172, 0.05347585678100586, 0.05499267578125]}, "gradients/decoder.transformer.h.7.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 4.0, 1.0, 0.0, 2.0, 1.0, 5.0, 4.0, 3.0, 1.0, 8.0, 8.0, 5.0, 10.0, 13.0, 15.0, 20.0, 25.0, 17.0, 35.0, 30.0, 29.0, 37.0, 28.0, 46.0, 52.0, 58.0, 100.0, 177.0, 1426.0, 290.0, 134.0, 79.0, 51.0, 37.0, 41.0, 32.0, 23.0, 26.0, 26.0, 27.0, 17.0, 27.0, 21.0, 11.0, 10.0, 10.0, 6.0, 4.0, 7.0, 7.0, 6.0, 4.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0965576171875, -0.09352397918701172, -0.09049034118652344, -0.08745670318603516, -0.08442306518554688, -0.0813894271850586, -0.07835578918457031, -0.07532215118408203, -0.07228851318359375, -0.06925487518310547, -0.06622123718261719, -0.0631875991821289, -0.060153961181640625, -0.057120323181152344, -0.05408668518066406, -0.05105304718017578, -0.0480194091796875, -0.04498577117919922, -0.04195213317871094, -0.038918495178222656, -0.035884857177734375, -0.032851219177246094, -0.029817581176757812, -0.02678394317626953, -0.02375030517578125, -0.02071666717529297, -0.017683029174804688, -0.014649391174316406, -0.011615753173828125, -0.008582115173339844, -0.0055484771728515625, -0.0025148391723632812, 0.000518798828125, 0.0035524368286132812, 0.0065860748291015625, 0.009619712829589844, 0.012653350830078125, 0.015686988830566406, 0.018720626831054688, 0.02175426483154297, 0.02478790283203125, 0.02782154083251953, 0.030855178833007812, 0.033888816833496094, 0.036922454833984375, 0.039956092834472656, 0.04298973083496094, 0.04602336883544922, 0.0490570068359375, 0.05209064483642578, 0.05512428283691406, 0.058157920837402344, 0.061191558837890625, 0.0642251968383789, 0.06725883483886719, 0.07029247283935547, 0.07332611083984375, 0.07635974884033203, 0.07939338684082031, 0.0824270248413086, 0.08546066284179688, 0.08849430084228516, 0.09152793884277344, 0.09456157684326172, 0.09759521484375]}, "gradients/decoder.transformer.h.7.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 2.0, 0.0, 5.0, 2.0, 6.0, 15.0, 24.0, 29.0, 37.0, 70.0, 70.0, 130.0, 235.0, 492.0, 1316.0, 4660.0, 24591.0, 393136.0, 2630006.0, 76470.0, 10374.0, 2409.0, 785.0, 345.0, 186.0, 120.0, 62.0, 38.0, 28.0, 16.0, 18.0, 17.0, 10.0, 7.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.141845703125, -0.1368255615234375, -0.131805419921875, -0.1267852783203125, -0.12176513671875, -0.1167449951171875, -0.111724853515625, -0.1067047119140625, -0.1016845703125, -0.0966644287109375, -0.091644287109375, -0.0866241455078125, -0.08160400390625, -0.0765838623046875, -0.071563720703125, -0.0665435791015625, -0.0615234375, -0.0565032958984375, -0.051483154296875, -0.0464630126953125, -0.04144287109375, -0.0364227294921875, -0.031402587890625, -0.0263824462890625, -0.0213623046875, -0.0163421630859375, -0.011322021484375, -0.0063018798828125, -0.00128173828125, 0.0037384033203125, 0.008758544921875, 0.0137786865234375, 0.018798828125, 0.0238189697265625, 0.028839111328125, 0.0338592529296875, 0.03887939453125, 0.0438995361328125, 0.048919677734375, 0.0539398193359375, 0.0589599609375, 0.0639801025390625, 0.069000244140625, 0.0740203857421875, 0.07904052734375, 0.0840606689453125, 0.089080810546875, 0.0941009521484375, 0.09912109375, 0.1041412353515625, 0.109161376953125, 0.1141815185546875, 0.11920166015625, 0.1242218017578125, 0.129241943359375, 0.1342620849609375, 0.1392822265625, 0.1443023681640625, 0.149322509765625, 0.1543426513671875, 0.15936279296875, 0.1643829345703125, 0.169403076171875, 0.1744232177734375, 0.179443359375]}, "gradients/decoder.transformer.h.7.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0, 42.0, 186.0, 350.0, 311.0, 100.0, 17.0], "bins": [-1.2561877965927124, -1.2354646921157837, -1.2147414684295654, -1.1940183639526367, -1.173295259475708, -1.1525720357894897, -1.131848931312561, -1.1111258268356323, -1.090402603149414, -1.0696794986724854, -1.048956274986267, -1.0282331705093384, -1.0075100660324097, -0.9867868423461914, -0.9660637378692627, -0.9453405737876892, -0.9246174693107605, -0.903894305229187, -0.8831712007522583, -0.8624480366706848, -0.8417248725891113, -0.8210017681121826, -0.8002786040306091, -0.7795554399490356, -0.7588323354721069, -0.7381091713905334, -0.7173860669136047, -0.6966629028320312, -0.6759397387504578, -0.6552165746688843, -0.6344934701919556, -0.6137703061103821, -0.5930470824241638, -0.5723239183425903, -0.5516008138656616, -0.5308776497840881, -0.5101544857025146, -0.48943135142326355, -0.46870821714401245, -0.44798505306243896, -0.42726194858551025, -0.40653881430625916, -0.38581565022468567, -0.36509251594543457, -0.3443693518638611, -0.32364621758461, -0.3029230833053589, -0.2821999192237854, -0.2614767551422119, -0.24075360596179962, -0.22003045678138733, -0.19930732250213623, -0.17858417332172394, -0.15786102414131165, -0.13713788986206055, -0.11641474068164825, -0.09569160640239716, -0.07496845722198486, -0.05424531549215317, -0.033522170037031174, -0.01279902458190918, 0.007924124598503113, 0.02864726632833481, 0.049370408058166504, 0.0700935572385788]}, "gradients/decoder.transformer.h.7.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 3.0, 1.0, 4.0, 3.0, 4.0, 6.0, 4.0, 9.0, 12.0, 13.0, 13.0, 12.0, 9.0, 16.0, 22.0, 17.0, 23.0, 22.0, 34.0, 32.0, 45.0, 41.0, 30.0, 49.0, 40.0, 33.0, 41.0, 44.0, 37.0, 41.0, 45.0, 27.0, 33.0, 43.0, 27.0, 30.0, 24.0, 23.0, 16.0, 18.0, 13.0, 12.0, 4.0, 11.0, 7.0, 8.0, 2.0, 2.0, 4.0, 1.0, 4.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.31062233448028564, -0.3010269105434418, -0.2914314866065979, -0.28183606266975403, -0.27224063873291016, -0.2626451849937439, -0.2530497908592224, -0.24345433712005615, -0.23385891318321228, -0.2242634892463684, -0.21466806530952454, -0.20507264137268066, -0.1954772025346756, -0.18588177859783173, -0.17628635466098785, -0.1666909158229828, -0.1570955067873001, -0.14750008285045624, -0.13790465891361237, -0.1283092200756073, -0.11871379613876343, -0.10911837220191956, -0.09952294826507568, -0.08992751687765121, -0.08033209294080734, -0.07073666900396347, -0.061141237616539, -0.05154581367969513, -0.04195038601756096, -0.03235495835542679, -0.022759534418582916, -0.013164103031158447, -0.003568679094314575, 0.006026747636497021, 0.015622174367308617, 0.025217600166797638, 0.03481302782893181, 0.04440845549106598, 0.05400387942790985, 0.06359931081533432, 0.07319473475217819, 0.08279015868902206, 0.09238559007644653, 0.1019810140132904, 0.11157643795013428, 0.12117186933755875, 0.13076728582382202, 0.1403627246618271, 0.14995814859867096, 0.15955357253551483, 0.1691489964723587, 0.17874443531036377, 0.18833985924720764, 0.1979352831840515, 0.20753070712089539, 0.21712613105773926, 0.22672155499458313, 0.236316978931427, 0.24591240286827087, 0.25550782680511475, 0.2651032507419586, 0.2746986746788025, 0.28429412841796875, 0.2938895523548126, 0.3034849762916565]}, "gradients/decoder.transformer.h.6.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 4.0, 2.0, 4.0, 6.0, 3.0, 4.0, 11.0, 10.0, 7.0, 7.0, 16.0, 21.0, 17.0, 22.0, 31.0, 40.0, 42.0, 37.0, 38.0, 47.0, 40.0, 52.0, 45.0, 44.0, 51.0, 54.0, 54.0, 47.0, 44.0, 40.0, 20.0, 26.0, 31.0, 16.0, 16.0, 10.0, 12.0, 10.0, 11.0, 4.0, 4.0, 4.0, 5.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.033538818359375, -0.0322871208190918, -0.031035423278808594, -0.02978372573852539, -0.028532028198242188, -0.027280330657958984, -0.02602863311767578, -0.024776935577392578, -0.023525238037109375, -0.022273540496826172, -0.02102184295654297, -0.019770145416259766, -0.018518447875976562, -0.01726675033569336, -0.016015052795410156, -0.014763355255126953, -0.01351165771484375, -0.012259960174560547, -0.011008262634277344, -0.00975656509399414, -0.008504867553710938, -0.007253170013427734, -0.006001472473144531, -0.004749774932861328, -0.003498077392578125, -0.002246379852294922, -0.0009946823120117188, 0.0002570152282714844, 0.0015087127685546875, 0.0027604103088378906, 0.004012107849121094, 0.005263805389404297, 0.0065155029296875, 0.007767200469970703, 0.009018898010253906, 0.01027059555053711, 0.011522293090820312, 0.012773990631103516, 0.014025688171386719, 0.015277385711669922, 0.016529083251953125, 0.017780780792236328, 0.01903247833251953, 0.020284175872802734, 0.021535873413085938, 0.02278757095336914, 0.024039268493652344, 0.025290966033935547, 0.02654266357421875, 0.027794361114501953, 0.029046058654785156, 0.03029775619506836, 0.03154945373535156, 0.032801151275634766, 0.03405284881591797, 0.03530454635620117, 0.036556243896484375, 0.03780794143676758, 0.03905963897705078, 0.040311336517333984, 0.04156303405761719, 0.04281473159790039, 0.044066429138183594, 0.0453181266784668, 0.04656982421875]}, "gradients/decoder.transformer.h.6.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 2.0, 2.0, 5.0, 10.0, 16.0, 17.0, 24.0, 24.0, 62.0, 103.0, 178.0, 333.0, 632.0, 1125.0, 2243.0, 4411.0, 9433.0, 22243.0, 58284.0, 182560.0, 832527.0, 2183530.0, 658216.0, 152091.0, 49865.0, 19604.0, 8363.0, 4001.0, 1997.0, 1035.0, 551.0, 309.0, 199.0, 91.0, 72.0, 54.0, 24.0, 19.0, 7.0, 6.0, 4.0, 4.0, 3.0, 7.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052337646484375, -0.050496578216552734, -0.04865550994873047, -0.0468144416809082, -0.04497337341308594, -0.04313230514526367, -0.041291236877441406, -0.03945016860961914, -0.037609100341796875, -0.03576803207397461, -0.033926963806152344, -0.03208589553833008, -0.030244827270507812, -0.028403759002685547, -0.02656269073486328, -0.024721622467041016, -0.02288055419921875, -0.021039485931396484, -0.01919841766357422, -0.017357349395751953, -0.015516281127929688, -0.013675212860107422, -0.011834144592285156, -0.00999307632446289, -0.008152008056640625, -0.006310939788818359, -0.004469871520996094, -0.002628803253173828, -0.0007877349853515625, 0.0010533332824707031, 0.0028944015502929688, 0.004735469818115234, 0.0065765380859375, 0.008417606353759766, 0.010258674621582031, 0.012099742889404297, 0.013940811157226562, 0.015781879425048828, 0.017622947692871094, 0.01946401596069336, 0.021305084228515625, 0.02314615249633789, 0.024987220764160156, 0.026828289031982422, 0.028669357299804688, 0.030510425567626953, 0.03235149383544922, 0.034192562103271484, 0.03603363037109375, 0.037874698638916016, 0.03971576690673828, 0.04155683517456055, 0.04339790344238281, 0.04523897171020508, 0.047080039978027344, 0.04892110824584961, 0.050762176513671875, 0.05260324478149414, 0.054444313049316406, 0.05628538131713867, 0.05812644958496094, 0.0599675178527832, 0.06180858612060547, 0.06364965438842773, 0.06549072265625]}, "gradients/decoder.transformer.h.6.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 6.0, 3.0, 6.0, 5.0, 8.0, 12.0, 15.0, 22.0, 31.0, 33.0, 47.0, 61.0, 70.0, 107.0, 140.0, 199.0, 234.0, 371.0, 448.0, 576.0, 463.0, 337.0, 209.0, 166.0, 144.0, 101.0, 68.0, 54.0, 41.0, 30.0, 19.0, 11.0, 11.0, 7.0, 11.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.06878662109375, -0.06684732437133789, -0.06490802764892578, -0.06296873092651367, -0.06102943420410156, -0.05909013748168945, -0.057150840759277344, -0.055211544036865234, -0.053272247314453125, -0.051332950592041016, -0.049393653869628906, -0.0474543571472168, -0.04551506042480469, -0.04357576370239258, -0.04163646697998047, -0.03969717025756836, -0.03775787353515625, -0.03581857681274414, -0.03387928009033203, -0.03193998336791992, -0.030000686645507812, -0.028061389923095703, -0.026122093200683594, -0.024182796478271484, -0.022243499755859375, -0.020304203033447266, -0.018364906311035156, -0.016425609588623047, -0.014486312866210938, -0.012547016143798828, -0.010607719421386719, -0.00866842269897461, -0.0067291259765625, -0.004789829254150391, -0.0028505325317382812, -0.0009112358093261719, 0.0010280609130859375, 0.002967357635498047, 0.004906654357910156, 0.006845951080322266, 0.008785247802734375, 0.010724544525146484, 0.012663841247558594, 0.014603137969970703, 0.016542434692382812, 0.018481731414794922, 0.02042102813720703, 0.02236032485961914, 0.02429962158203125, 0.02623891830444336, 0.02817821502685547, 0.030117511749267578, 0.03205680847167969, 0.0339961051940918, 0.035935401916503906, 0.037874698638916016, 0.039813995361328125, 0.041753292083740234, 0.043692588806152344, 0.04563188552856445, 0.04757118225097656, 0.04951047897338867, 0.05144977569580078, 0.05338907241821289, 0.055328369140625]}, "gradients/decoder.transformer.h.6.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 6.0, 4.0, 6.0, 11.0, 13.0, 19.0, 24.0, 23.0, 56.0, 84.0, 157.0, 221.0, 420.0, 855.0, 2509.0, 9830.0, 57133.0, 584589.0, 3184883.0, 307719.0, 35544.0, 6744.0, 1814.0, 699.0, 319.0, 194.0, 106.0, 88.0, 60.0, 48.0, 25.0, 23.0, 18.0, 4.0, 9.0, 10.0, 6.0, 4.0, 5.0, 2.0, 1.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1368408203125, -0.13218307495117188, -0.12752532958984375, -0.12286758422851562, -0.1182098388671875, -0.11355209350585938, -0.10889434814453125, -0.10423660278320312, -0.099578857421875, -0.09492111206054688, -0.09026336669921875, -0.08560562133789062, -0.0809478759765625, -0.07629013061523438, -0.07163238525390625, -0.06697463989257812, -0.06231689453125, -0.057659149169921875, -0.05300140380859375, -0.048343658447265625, -0.0436859130859375, -0.039028167724609375, -0.03437042236328125, -0.029712677001953125, -0.025054931640625, -0.020397186279296875, -0.01573944091796875, -0.011081695556640625, -0.0064239501953125, -0.001766204833984375, 0.00289154052734375, 0.007549285888671875, 0.01220703125, 0.016864776611328125, 0.02152252197265625, 0.026180267333984375, 0.0308380126953125, 0.035495758056640625, 0.04015350341796875, 0.044811248779296875, 0.049468994140625, 0.054126739501953125, 0.05878448486328125, 0.06344223022460938, 0.0680999755859375, 0.07275772094726562, 0.07741546630859375, 0.08207321166992188, 0.08673095703125, 0.09138870239257812, 0.09604644775390625, 0.10070419311523438, 0.1053619384765625, 0.11001968383789062, 0.11467742919921875, 0.11933517456054688, 0.123992919921875, 0.12865066528320312, 0.13330841064453125, 0.13796615600585938, 0.1426239013671875, 0.14728164672851562, 0.15193939208984375, 0.15659713745117188, 0.1612548828125]}, "gradients/decoder.transformer.h.6.ln_2.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 9.0, 43.0, 183.0, 346.0, 314.0, 90.0, 28.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.25918447971343994, -0.22635230422019958, -0.19352011382579803, -0.16068792343139648, -0.12785574793815613, -0.09502357244491577, -0.06219138205051422, -0.02935919165611267, 0.0034729838371276855, 0.03630516678094864, 0.06913734972476959, 0.10196953266859055, 0.1348017156124115, 0.16763389110565186, 0.2004660815000534, 0.23329827189445496, 0.2661304473876953, 0.29896262288093567, 0.331794798374176, 0.36462700366973877, 0.3974591791629791, 0.4302913546562195, 0.4631235599517822, 0.4959557354450226, 0.5287879109382629, 0.5616201162338257, 0.5944522619247437, 0.6272844672203064, 0.6601166725158691, 0.6929488182067871, 0.7257810235023499, 0.7586132287979126, 0.7914453744888306, 0.8242775797843933, 0.8571097254753113, 0.889941930770874, 0.922774076461792, 0.9556062817573547, 0.9884384870529175, 1.0212706327438354, 1.054102897644043, 1.086935043334961, 1.1197673082351685, 1.1525994539260864, 1.1854315996170044, 1.218263864517212, 1.2510960102081299, 1.2839281558990479, 1.3167603015899658, 1.3495924472808838, 1.3824247121810913, 1.4152568578720093, 1.4480890035629272, 1.4809212684631348, 1.5137534141540527, 1.5465855598449707, 1.5794177055358887, 1.6122498512268066, 1.6450821161270142, 1.6779142618179321, 1.71074640750885, 1.7435786724090576, 1.7764108180999756, 1.8092429637908936, 1.842075228691101]}, "gradients/decoder.transformer.h.6.ln_2.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 5.0, 7.0, 5.0, 5.0, 10.0, 15.0, 14.0, 8.0, 21.0, 26.0, 21.0, 23.0, 20.0, 25.0, 26.0, 27.0, 31.0, 38.0, 24.0, 33.0, 44.0, 30.0, 38.0, 34.0, 27.0, 29.0, 32.0, 33.0, 38.0, 44.0, 28.0, 18.0, 29.0, 27.0, 21.0, 16.0, 16.0, 16.0, 17.0, 14.0, 8.0, 9.0, 14.0, 8.0, 4.0, 8.0, 5.0, 2.0, 4.0, 2.0, 3.0, 1.0, 3.0, 4.0], "bins": [-0.20579850673675537, -0.19961538910865784, -0.1934322714805603, -0.18724915385246277, -0.18106603622436523, -0.1748829185962677, -0.16869980096817017, -0.16251668334007263, -0.1563335657119751, -0.15015044808387756, -0.14396733045578003, -0.1377842128276825, -0.13160109519958496, -0.12541797757148743, -0.11923485994338989, -0.11305174231529236, -0.10686862468719482, -0.10068550705909729, -0.09450238943099976, -0.08831927180290222, -0.08213615417480469, -0.07595303654670715, -0.06976991891860962, -0.06358680129051208, -0.05740368366241455, -0.05122056603431702, -0.04503744840621948, -0.03885433077812195, -0.032671213150024414, -0.02648809552192688, -0.020304977893829346, -0.014121860265731812, -0.007938742637634277, -0.0017556250095367432, 0.004427492618560791, 0.010610610246658325, 0.01679372787475586, 0.022976845502853394, 0.029159963130950928, 0.03534308075904846, 0.041526198387145996, 0.04770931601524353, 0.053892433643341064, 0.0600755512714386, 0.06625866889953613, 0.07244178652763367, 0.0786249041557312, 0.08480802178382874, 0.09099113941192627, 0.0971742570400238, 0.10335737466812134, 0.10954049229621887, 0.1157236099243164, 0.12190672755241394, 0.12808984518051147, 0.134272962808609, 0.14045608043670654, 0.14663919806480408, 0.1528223156929016, 0.15900543332099915, 0.16518855094909668, 0.1713716685771942, 0.17755478620529175, 0.18373790383338928, 0.18992102146148682]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 0.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 1.0, 8.0, 8.0, 9.0, 9.0, 21.0, 16.0, 24.0, 22.0, 20.0, 36.0, 31.0, 32.0, 33.0, 40.0, 31.0, 42.0, 52.0, 47.0, 45.0, 46.0, 44.0, 40.0, 42.0, 41.0, 26.0, 32.0, 35.0, 32.0, 21.0, 27.0, 13.0, 11.0, 12.0, 10.0, 3.0, 6.0, 3.0, 7.0, 5.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.035064697265625, -0.03392601013183594, -0.032787322998046875, -0.03164863586425781, -0.03050994873046875, -0.029371261596679688, -0.028232574462890625, -0.027093887329101562, -0.0259552001953125, -0.024816513061523438, -0.023677825927734375, -0.022539138793945312, -0.02140045166015625, -0.020261764526367188, -0.019123077392578125, -0.017984390258789062, -0.016845703125, -0.015707015991210938, -0.014568328857421875, -0.013429641723632812, -0.01229095458984375, -0.011152267456054688, -0.010013580322265625, -0.008874893188476562, -0.0077362060546875, -0.0065975189208984375, -0.005458831787109375, -0.0043201446533203125, -0.00318145751953125, -0.0020427703857421875, -0.000904083251953125, 0.0002346038818359375, 0.001373291015625, 0.0025119781494140625, 0.003650665283203125, 0.0047893524169921875, 0.00592803955078125, 0.0070667266845703125, 0.008205413818359375, 0.009344100952148438, 0.0104827880859375, 0.011621475219726562, 0.012760162353515625, 0.013898849487304688, 0.01503753662109375, 0.016176223754882812, 0.017314910888671875, 0.018453598022460938, 0.01959228515625, 0.020730972290039062, 0.021869659423828125, 0.023008346557617188, 0.02414703369140625, 0.025285720825195312, 0.026424407958984375, 0.027563095092773438, 0.0287017822265625, 0.029840469360351562, 0.030979156494140625, 0.03211784362792969, 0.03325653076171875, 0.03439521789550781, 0.035533905029296875, 0.03667259216308594, 0.037811279296875]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 5.0, 5.0, 2.0, 11.0, 18.0, 27.0, 38.0, 46.0, 61.0, 107.0, 129.0, 161.0, 203.0, 337.0, 521.0, 650.0, 918.0, 1322.0, 1974.0, 2748.0, 3934.0, 5963.0, 8712.0, 13371.0, 20212.0, 31841.0, 50308.0, 86032.0, 162766.0, 326611.0, 131158.0, 71928.0, 43929.0, 27597.0, 18166.0, 11694.0, 7812.0, 5354.0, 3585.0, 2462.0, 1729.0, 1152.0, 816.0, 632.0, 493.0, 309.0, 197.0, 143.0, 137.0, 82.0, 46.0, 35.0, 21.0, 18.0, 16.0, 8.0, 5.0, 7.0, 1.0, 6.0, 1.0], "bins": [-0.00015914440155029297, -0.000154225155711174, -0.00014930590987205505, -0.0001443866640329361, -0.00013946741819381714, -0.00013454817235469818, -0.00012962892651557922, -0.00012470968067646027, -0.00011979043483734131, -0.00011487118899822235, -0.0001099519431591034, -0.00010503269731998444, -0.00010011345148086548, -9.519420564174652e-05, -9.027495980262756e-05, -8.53557139635086e-05, -8.043646812438965e-05, -7.551722228527069e-05, -7.059797644615173e-05, -6.567873060703278e-05, -6.075948476791382e-05, -5.584023892879486e-05, -5.09209930896759e-05, -4.6001747250556946e-05, -4.108250141143799e-05, -3.616325557231903e-05, -3.124400973320007e-05, -2.6324763894081116e-05, -2.1405518054962158e-05, -1.64862722158432e-05, -1.1567026376724243e-05, -6.647780537605286e-06, -1.7285346984863281e-06, 3.1907111406326294e-06, 8.109956979751587e-06, 1.3029202818870544e-05, 1.7948448657989502e-05, 2.286769449710846e-05, 2.7786940336227417e-05, 3.2706186175346375e-05, 3.762543201446533e-05, 4.254467785358429e-05, 4.746392369270325e-05, 5.2383169531822205e-05, 5.730241537094116e-05, 6.222166121006012e-05, 6.714090704917908e-05, 7.206015288829803e-05, 7.697939872741699e-05, 8.189864456653595e-05, 8.681789040565491e-05, 9.173713624477386e-05, 9.665638208389282e-05, 0.00010157562792301178, 0.00010649487376213074, 0.0001114141196012497, 0.00011633336544036865, 0.00012125261127948761, 0.00012617185711860657, 0.00013109110295772552, 0.00013601034879684448, 0.00014092959463596344, 0.0001458488404750824, 0.00015076808631420135, 0.0001556873321533203]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 5.0, 3.0, 4.0, 7.0, 4.0, 9.0, 17.0, 12.0, 20.0, 14.0, 26.0, 30.0, 31.0, 22.0, 26.0, 33.0, 31.0, 47.0, 37.0, 42.0, 44.0, 1063.0, 34.0, 49.0, 39.0, 40.0, 34.0, 33.0, 31.0, 40.0, 36.0, 26.0, 20.0, 14.0, 25.0, 15.0, 16.0, 9.0, 7.0, 11.0, 9.0, 5.0, 2.0, 5.0, 2.0, 1.0, 1.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.03289794921875, -0.031794071197509766, -0.03069019317626953, -0.029586315155029297, -0.028482437133789062, -0.027378559112548828, -0.026274681091308594, -0.02517080307006836, -0.024066925048828125, -0.02296304702758789, -0.021859169006347656, -0.020755290985107422, -0.019651412963867188, -0.018547534942626953, -0.01744365692138672, -0.016339778900146484, -0.01523590087890625, -0.014132022857666016, -0.013028144836425781, -0.011924266815185547, -0.010820388793945312, -0.009716510772705078, -0.008612632751464844, -0.007508754730224609, -0.006404876708984375, -0.005300998687744141, -0.004197120666503906, -0.003093242645263672, -0.0019893646240234375, -0.0008854866027832031, 0.00021839141845703125, 0.0013222694396972656, 0.0024261474609375, 0.0035300254821777344, 0.004633903503417969, 0.005737781524658203, 0.0068416595458984375, 0.007945537567138672, 0.009049415588378906, 0.01015329360961914, 0.011257171630859375, 0.01236104965209961, 0.013464927673339844, 0.014568805694580078, 0.015672683715820312, 0.016776561737060547, 0.01788043975830078, 0.018984317779541016, 0.02008819580078125, 0.021192073822021484, 0.02229595184326172, 0.023399829864501953, 0.024503707885742188, 0.025607585906982422, 0.026711463928222656, 0.02781534194946289, 0.028919219970703125, 0.03002309799194336, 0.031126976013183594, 0.03223085403442383, 0.03333473205566406, 0.0344386100769043, 0.03554248809814453, 0.036646366119384766, 0.037750244140625]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 1.0, 0.0, 6.0, 2.0, 6.0, 5.0, 13.0, 7.0, 7.0, 13.0, 18.0, 19.0, 16.0, 19.0, 19.0, 36.0, 35.0, 41.0, 40.0, 46.0, 94.0, 243.0, 881.0, 6174.0, 2071540.0, 15321.0, 1687.0, 363.0, 127.0, 65.0, 41.0, 34.0, 23.0, 26.0, 30.0, 29.0, 15.0, 22.0, 13.0, 16.0, 12.0, 7.0, 8.0, 3.0, 5.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0], "bins": [-4.208087921142578e-05, -4.086736589670181e-05, -3.9653852581977844e-05, -3.8440339267253876e-05, -3.722682595252991e-05, -3.601331263780594e-05, -3.479979932308197e-05, -3.3586286008358e-05, -3.237277269363403e-05, -3.1159259378910065e-05, -2.9945746064186096e-05, -2.8732232749462128e-05, -2.751871943473816e-05, -2.630520612001419e-05, -2.5091692805290222e-05, -2.3878179490566254e-05, -2.2664666175842285e-05, -2.1451152861118317e-05, -2.0237639546394348e-05, -1.902412623167038e-05, -1.781061291694641e-05, -1.6597099602222443e-05, -1.5383586287498474e-05, -1.4170072972774506e-05, -1.2956559658050537e-05, -1.1743046343326569e-05, -1.05295330286026e-05, -9.316019713878632e-06, -8.102506399154663e-06, -6.888993084430695e-06, -5.675479769706726e-06, -4.4619664549827576e-06, -3.248453140258789e-06, -2.0349398255348206e-06, -8.21426510810852e-07, 3.9208680391311646e-07, 1.605600118637085e-06, 2.8191134333610535e-06, 4.032626748085022e-06, 5.2461400628089905e-06, 6.459653377532959e-06, 7.673166692256927e-06, 8.886680006980896e-06, 1.0100193321704865e-05, 1.1313706636428833e-05, 1.2527219951152802e-05, 1.374073326587677e-05, 1.4954246580600739e-05, 1.6167759895324707e-05, 1.7381273210048676e-05, 1.8594786524772644e-05, 1.9808299839496613e-05, 2.102181315422058e-05, 2.223532646894455e-05, 2.3448839783668518e-05, 2.4662353098392487e-05, 2.5875866413116455e-05, 2.7089379727840424e-05, 2.8302893042564392e-05, 2.951640635728836e-05, 3.072991967201233e-05, 3.19434329867363e-05, 3.3156946301460266e-05, 3.4370459616184235e-05, 3.55839729309082e-05]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 0.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 1.0, 8.0, 8.0, 9.0, 9.0, 21.0, 16.0, 24.0, 22.0, 20.0, 36.0, 31.0, 32.0, 33.0, 40.0, 31.0, 42.0, 52.0, 47.0, 45.0, 46.0, 44.0, 40.0, 42.0, 41.0, 26.0, 32.0, 35.0, 32.0, 21.0, 27.0, 13.0, 11.0, 12.0, 10.0, 3.0, 6.0, 3.0, 7.0, 5.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.035064697265625, -0.03392601013183594, -0.032787322998046875, -0.03164863586425781, -0.03050994873046875, -0.029371261596679688, -0.028232574462890625, -0.027093887329101562, -0.0259552001953125, -0.024816513061523438, -0.023677825927734375, -0.022539138793945312, -0.02140045166015625, -0.020261764526367188, -0.019123077392578125, -0.017984390258789062, -0.016845703125, -0.015707015991210938, -0.014568328857421875, -0.013429641723632812, -0.01229095458984375, -0.011152267456054688, -0.010013580322265625, -0.008874893188476562, -0.0077362060546875, -0.0065975189208984375, -0.005458831787109375, -0.0043201446533203125, -0.00318145751953125, -0.0020427703857421875, -0.000904083251953125, 0.0002346038818359375, 0.001373291015625, 0.0025119781494140625, 0.003650665283203125, 0.0047893524169921875, 0.00592803955078125, 0.0070667266845703125, 0.008205413818359375, 0.009344100952148438, 0.0104827880859375, 0.011621475219726562, 0.012760162353515625, 0.013898849487304688, 0.01503753662109375, 0.016176223754882812, 0.017314910888671875, 0.018453598022460938, 0.01959228515625, 0.020730972290039062, 0.021869659423828125, 0.023008346557617188, 0.02414703369140625, 0.025285720825195312, 0.026424407958984375, 0.027563095092773438, 0.0287017822265625, 0.029840469360351562, 0.030979156494140625, 0.03211784362792969, 0.03325653076171875, 0.03439521789550781, 0.035533905029296875, 0.03667259216308594, 0.037811279296875]}, "gradients/decoder.transformer.h.6.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 6.0, 2.0, 14.0, 17.0, 25.0, 30.0, 34.0, 69.0, 94.0, 128.0, 221.0, 298.0, 442.0, 737.0, 1134.0, 1802.0, 2732.0, 4261.0, 6829.0, 11045.0, 17533.0, 29587.0, 57864.0, 145580.0, 498434.0, 138451.0, 55742.0, 29211.0, 17168.0, 10743.0, 6553.0, 4304.0, 2652.0, 1733.0, 1041.0, 651.0, 475.0, 294.0, 190.0, 145.0, 96.0, 57.0, 43.0, 32.0, 23.0, 16.0, 11.0, 7.0, 2.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.055084228515625, -0.05333423614501953, -0.05158424377441406, -0.049834251403808594, -0.048084259033203125, -0.046334266662597656, -0.04458427429199219, -0.04283428192138672, -0.04108428955078125, -0.03933429718017578, -0.03758430480957031, -0.035834312438964844, -0.034084320068359375, -0.032334327697753906, -0.030584335327148438, -0.02883434295654297, -0.0270843505859375, -0.02533435821533203, -0.023584365844726562, -0.021834373474121094, -0.020084381103515625, -0.018334388732910156, -0.016584396362304688, -0.014834403991699219, -0.01308441162109375, -0.011334419250488281, -0.009584426879882812, -0.007834434509277344, -0.006084442138671875, -0.004334449768066406, -0.0025844573974609375, -0.0008344650268554688, 0.00091552734375, 0.0026655197143554688, 0.0044155120849609375, 0.006165504455566406, 0.007915496826171875, 0.009665489196777344, 0.011415481567382812, 0.013165473937988281, 0.01491546630859375, 0.01666545867919922, 0.018415451049804688, 0.020165443420410156, 0.021915435791015625, 0.023665428161621094, 0.025415420532226562, 0.02716541290283203, 0.0289154052734375, 0.03066539764404297, 0.03241539001464844, 0.034165382385253906, 0.035915374755859375, 0.037665367126464844, 0.03941535949707031, 0.04116535186767578, 0.04291534423828125, 0.04466533660888672, 0.04641532897949219, 0.048165321350097656, 0.049915313720703125, 0.051665306091308594, 0.05341529846191406, 0.05516529083251953, 0.056915283203125]}, "gradients/decoder.transformer.h.6.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 4.0, 3.0, 2.0, 6.0, 6.0, 11.0, 15.0, 17.0, 13.0, 15.0, 18.0, 22.0, 25.0, 34.0, 28.0, 31.0, 43.0, 42.0, 49.0, 67.0, 105.0, 228.0, 1563.0, 174.0, 104.0, 65.0, 43.0, 43.0, 44.0, 33.0, 35.0, 31.0, 34.0, 19.0, 24.0, 11.0, 8.0, 6.0, 9.0, 9.0, 6.0, 6.0, 1.0, 3.0, 6.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09893798828125, -0.09568023681640625, -0.0924224853515625, -0.08916473388671875, -0.085906982421875, -0.08264923095703125, -0.0793914794921875, -0.07613372802734375, -0.0728759765625, -0.06961822509765625, -0.0663604736328125, -0.06310272216796875, -0.059844970703125, -0.05658721923828125, -0.0533294677734375, -0.05007171630859375, -0.04681396484375, -0.04355621337890625, -0.0402984619140625, -0.03704071044921875, -0.033782958984375, -0.03052520751953125, -0.0272674560546875, -0.02400970458984375, -0.020751953125, -0.01749420166015625, -0.0142364501953125, -0.01097869873046875, -0.007720947265625, -0.00446319580078125, -0.0012054443359375, 0.00205230712890625, 0.00531005859375, 0.00856781005859375, 0.0118255615234375, 0.01508331298828125, 0.018341064453125, 0.02159881591796875, 0.0248565673828125, 0.02811431884765625, 0.0313720703125, 0.03462982177734375, 0.0378875732421875, 0.04114532470703125, 0.044403076171875, 0.04766082763671875, 0.0509185791015625, 0.05417633056640625, 0.05743408203125, 0.06069183349609375, 0.0639495849609375, 0.06720733642578125, 0.070465087890625, 0.07372283935546875, 0.0769805908203125, 0.08023834228515625, 0.08349609375, 0.08675384521484375, 0.0900115966796875, 0.09326934814453125, 0.096527099609375, 0.09978485107421875, 0.1030426025390625, 0.10630035400390625, 0.10955810546875]}, "gradients/decoder.transformer.h.6.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 2.0, 6.0, 3.0, 7.0, 5.0, 4.0, 10.0, 14.0, 21.0, 34.0, 59.0, 65.0, 108.0, 221.0, 469.0, 1328.0, 5262.0, 24852.0, 242267.0, 2762591.0, 89296.0, 14189.0, 3154.0, 916.0, 365.0, 149.0, 117.0, 67.0, 35.0, 30.0, 14.0, 18.0, 12.0, 5.0, 4.0, 6.0, 5.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1558837890625, -0.15038108825683594, -0.14487838745117188, -0.1393756866455078, -0.13387298583984375, -0.1283702850341797, -0.12286758422851562, -0.11736488342285156, -0.1118621826171875, -0.10635948181152344, -0.10085678100585938, -0.09535408020019531, -0.08985137939453125, -0.08434867858886719, -0.07884597778320312, -0.07334327697753906, -0.067840576171875, -0.06233787536621094, -0.056835174560546875, -0.05133247375488281, -0.04582977294921875, -0.04032707214355469, -0.034824371337890625, -0.029321670532226562, -0.0238189697265625, -0.018316268920898438, -0.012813568115234375, -0.0073108673095703125, -0.00180816650390625, 0.0036945343017578125, 0.009197235107421875, 0.014699935913085938, 0.02020263671875, 0.025705337524414062, 0.031208038330078125, 0.03671073913574219, 0.04221343994140625, 0.04771614074707031, 0.053218841552734375, 0.05872154235839844, 0.0642242431640625, 0.06972694396972656, 0.07522964477539062, 0.08073234558105469, 0.08623504638671875, 0.09173774719238281, 0.09724044799804688, 0.10274314880371094, 0.108245849609375, 0.11374855041503906, 0.11925125122070312, 0.12475395202636719, 0.13025665283203125, 0.1357593536376953, 0.14126205444335938, 0.14676475524902344, 0.1522674560546875, 0.15777015686035156, 0.16327285766601562, 0.1687755584716797, 0.17427825927734375, 0.1797809600830078, 0.18528366088867188, 0.19078636169433594, 0.1962890625]}, "gradients/decoder.transformer.h.6.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 11.0, 26.0, 66.0, 165.0, 245.0, 258.0, 135.0, 74.0, 25.0, 7.0, 2.0, 2.0], "bins": [-0.7914113402366638, -0.777515709400177, -0.7636200189590454, -0.7497243881225586, -0.735828697681427, -0.7219330668449402, -0.7080373764038086, -0.6941417455673218, -0.6802460551261902, -0.6663504242897034, -0.6524547338485718, -0.638559103012085, -0.6246634125709534, -0.6107677817344666, -0.596872091293335, -0.5829764604568481, -0.5690807700157166, -0.5551851391792297, -0.5412894487380981, -0.5273938179016113, -0.5134981274604797, -0.49960246682167053, -0.48570680618286133, -0.4718111455440521, -0.4579155147075653, -0.4440198540687561, -0.4301241934299469, -0.4162285327911377, -0.4023328721523285, -0.3884372115135193, -0.3745415508747101, -0.3606458902359009, -0.3467502295970917, -0.33285456895828247, -0.31895890831947327, -0.30506324768066406, -0.29116758704185486, -0.27727192640304565, -0.26337626576423645, -0.24948060512542725, -0.23558494448661804, -0.22168928384780884, -0.20779362320899963, -0.19389796257019043, -0.18000230193138123, -0.16610664129257202, -0.15221098065376282, -0.1383153200149536, -0.1244196742773056, -0.1105240136384964, -0.0966283529996872, -0.08273269236087799, -0.06883703172206879, -0.05494137853384018, -0.041045717895030975, -0.02715005725622177, -0.013254396617412567, 0.0006412630900740623, 0.014536922797560692, 0.028432581573724747, 0.04232824221253395, 0.056223899126052856, 0.07011955976486206, 0.08401522040367126, 0.09791088104248047]}, "gradients/decoder.transformer.h.6.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 5.0, 4.0, 9.0, 7.0, 9.0, 10.0, 5.0, 18.0, 16.0, 16.0, 15.0, 19.0, 26.0, 32.0, 32.0, 30.0, 37.0, 41.0, 27.0, 40.0, 32.0, 43.0, 45.0, 41.0, 40.0, 35.0, 36.0, 32.0, 37.0, 28.0, 29.0, 32.0, 17.0, 26.0, 19.0, 19.0, 14.0, 20.0, 13.0, 10.0, 2.0, 12.0, 5.0, 4.0, 5.0, 2.0, 4.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.2505345940589905, -0.24229933321475983, -0.23406407237052917, -0.22582881152629852, -0.21759355068206787, -0.20935828983783722, -0.20112302899360657, -0.19288775324821472, -0.18465250730514526, -0.1764172464609146, -0.16818198561668396, -0.1599467247724533, -0.15171146392822266, -0.143476203083992, -0.13524094223976135, -0.1270056664943695, -0.11877040565013885, -0.1105351448059082, -0.10229988396167755, -0.0940646231174469, -0.08582936227321625, -0.0775941014289856, -0.06935883313417435, -0.061123572289943695, -0.05288831144571304, -0.04465305060148239, -0.03641778975725174, -0.02818252518773079, -0.019947264343500137, -0.011712003499269485, -0.003476738929748535, 0.004758521914482117, 0.012993782758712769, 0.02122904360294342, 0.02946430630981922, 0.03769956901669502, 0.045934829860925674, 0.054170090705156326, 0.06240535527467728, 0.07064061611890793, 0.07887587696313858, 0.08711113780736923, 0.09534639865159988, 0.10358166694641113, 0.11181692779064178, 0.12005218863487244, 0.1282874494791031, 0.13652271032333374, 0.1447579711675644, 0.15299323201179504, 0.1612284928560257, 0.16946375370025635, 0.177699014544487, 0.18593427538871765, 0.1941695511341095, 0.20240479707717896, 0.2106400728225708, 0.21887533366680145, 0.2271105945110321, 0.23534585535526276, 0.2435811161994934, 0.25181639194488525, 0.2600516378879547, 0.26828691363334656, 0.276522159576416]}, "gradients/decoder.transformer.h.5.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 2.0, 2.0, 3.0, 4.0, 4.0, 9.0, 6.0, 4.0, 5.0, 16.0, 12.0, 12.0, 17.0, 25.0, 29.0, 27.0, 34.0, 27.0, 36.0, 34.0, 39.0, 34.0, 43.0, 44.0, 40.0, 56.0, 47.0, 41.0, 36.0, 32.0, 44.0, 31.0, 31.0, 22.0, 31.0, 32.0, 16.0, 16.0, 10.0, 16.0, 10.0, 6.0, 7.0, 6.0, 5.0, 2.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.036712646484375, -0.0355839729309082, -0.034455299377441406, -0.03332662582397461, -0.03219795227050781, -0.031069278717041016, -0.02994060516357422, -0.028811931610107422, -0.027683258056640625, -0.026554584503173828, -0.02542591094970703, -0.024297237396240234, -0.023168563842773438, -0.02203989028930664, -0.020911216735839844, -0.019782543182373047, -0.01865386962890625, -0.017525196075439453, -0.016396522521972656, -0.01526784896850586, -0.014139175415039062, -0.013010501861572266, -0.011881828308105469, -0.010753154754638672, -0.009624481201171875, -0.008495807647705078, -0.007367134094238281, -0.006238460540771484, -0.0051097869873046875, -0.003981113433837891, -0.0028524398803710938, -0.0017237663269042969, -0.0005950927734375, 0.0005335807800292969, 0.0016622543334960938, 0.0027909278869628906, 0.0039196014404296875, 0.005048274993896484, 0.006176948547363281, 0.007305622100830078, 0.008434295654296875, 0.009562969207763672, 0.010691642761230469, 0.011820316314697266, 0.012948989868164062, 0.01407766342163086, 0.015206336975097656, 0.016335010528564453, 0.01746368408203125, 0.018592357635498047, 0.019721031188964844, 0.02084970474243164, 0.021978378295898438, 0.023107051849365234, 0.02423572540283203, 0.025364398956298828, 0.026493072509765625, 0.027621746063232422, 0.02875041961669922, 0.029879093170166016, 0.031007766723632812, 0.03213644027709961, 0.033265113830566406, 0.0343937873840332, 0.0355224609375]}, "gradients/decoder.transformer.h.5.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 5.0, 4.0, 3.0, 7.0, 12.0, 8.0, 16.0, 23.0, 30.0, 44.0, 71.0, 89.0, 170.0, 250.0, 507.0, 882.0, 1756.0, 3536.0, 7272.0, 15881.0, 38001.0, 100763.0, 344668.0, 1580549.0, 1581923.0, 347964.0, 101259.0, 37727.0, 16166.0, 7301.0, 3483.0, 1762.0, 904.0, 516.0, 271.0, 136.0, 105.0, 63.0, 45.0, 37.0, 16.0, 20.0, 13.0, 8.0, 6.0, 5.0, 7.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0577392578125, -0.05581474304199219, -0.053890228271484375, -0.05196571350097656, -0.05004119873046875, -0.04811668395996094, -0.046192169189453125, -0.04426765441894531, -0.0423431396484375, -0.04041862487792969, -0.038494110107421875, -0.03656959533691406, -0.03464508056640625, -0.03272056579589844, -0.030796051025390625, -0.028871536254882812, -0.026947021484375, -0.025022506713867188, -0.023097991943359375, -0.021173477172851562, -0.01924896240234375, -0.017324447631835938, -0.015399932861328125, -0.013475418090820312, -0.0115509033203125, -0.009626388549804688, -0.007701873779296875, -0.0057773590087890625, -0.00385284423828125, -0.0019283294677734375, -3.814697265625e-06, 0.0019207000732421875, 0.00384521484375, 0.0057697296142578125, 0.007694244384765625, 0.009618759155273438, 0.01154327392578125, 0.013467788696289062, 0.015392303466796875, 0.017316818237304688, 0.0192413330078125, 0.021165847778320312, 0.023090362548828125, 0.025014877319335938, 0.02693939208984375, 0.028863906860351562, 0.030788421630859375, 0.03271293640136719, 0.034637451171875, 0.03656196594238281, 0.038486480712890625, 0.04041099548339844, 0.04233551025390625, 0.04426002502441406, 0.046184539794921875, 0.04810905456542969, 0.0500335693359375, 0.05195808410644531, 0.053882598876953125, 0.05580711364746094, 0.05773162841796875, 0.05965614318847656, 0.061580657958984375, 0.06350517272949219, 0.0654296875]}, "gradients/decoder.transformer.h.5.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 0.0, 4.0, 2.0, 6.0, 15.0, 12.0, 7.0, 20.0, 18.0, 28.0, 28.0, 37.0, 47.0, 57.0, 89.0, 111.0, 135.0, 195.0, 224.0, 339.0, 418.0, 426.0, 429.0, 345.0, 256.0, 191.0, 146.0, 125.0, 83.0, 74.0, 55.0, 41.0, 25.0, 20.0, 17.0, 13.0, 11.0, 8.0, 7.0, 7.0, 3.0, 4.0, 4.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0711669921875, -0.06927251815795898, -0.06737804412841797, -0.06548357009887695, -0.06358909606933594, -0.06169462203979492, -0.059800148010253906, -0.05790567398071289, -0.056011199951171875, -0.05411672592163086, -0.052222251892089844, -0.05032777786254883, -0.04843330383300781, -0.0465388298034668, -0.04464435577392578, -0.042749881744384766, -0.04085540771484375, -0.038960933685302734, -0.03706645965576172, -0.0351719856262207, -0.03327751159667969, -0.03138303756713867, -0.029488563537597656, -0.02759408950805664, -0.025699615478515625, -0.02380514144897461, -0.021910667419433594, -0.020016193389892578, -0.018121719360351562, -0.016227245330810547, -0.014332771301269531, -0.012438297271728516, -0.0105438232421875, -0.008649349212646484, -0.006754875183105469, -0.004860401153564453, -0.0029659271240234375, -0.0010714530944824219, 0.0008230209350585938, 0.0027174949645996094, 0.004611968994140625, 0.006506443023681641, 0.008400917053222656, 0.010295391082763672, 0.012189865112304688, 0.014084339141845703, 0.01597881317138672, 0.017873287200927734, 0.01976776123046875, 0.021662235260009766, 0.02355670928955078, 0.025451183319091797, 0.027345657348632812, 0.029240131378173828, 0.031134605407714844, 0.03302907943725586, 0.034923553466796875, 0.03681802749633789, 0.038712501525878906, 0.04060697555541992, 0.04250144958496094, 0.04439592361450195, 0.04629039764404297, 0.048184871673583984, 0.050079345703125]}, "gradients/decoder.transformer.h.5.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 6.0, 6.0, 10.0, 16.0, 21.0, 29.0, 26.0, 33.0, 58.0, 77.0, 149.0, 194.0, 372.0, 670.0, 1589.0, 4717.0, 18325.0, 94142.0, 801595.0, 2897663.0, 311235.0, 47388.0, 10366.0, 3106.0, 1118.0, 548.0, 268.0, 166.0, 111.0, 66.0, 54.0, 46.0, 32.0, 21.0, 23.0, 15.0, 6.0, 3.0, 6.0, 4.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12005615234375, -0.11565876007080078, -0.11126136779785156, -0.10686397552490234, -0.10246658325195312, -0.0980691909790039, -0.09367179870605469, -0.08927440643310547, -0.08487701416015625, -0.08047962188720703, -0.07608222961425781, -0.0716848373413086, -0.06728744506835938, -0.06289005279541016, -0.05849266052246094, -0.05409526824951172, -0.0496978759765625, -0.04530048370361328, -0.04090309143066406, -0.036505699157714844, -0.032108306884765625, -0.027710914611816406, -0.023313522338867188, -0.01891613006591797, -0.01451873779296875, -0.010121345520019531, -0.0057239532470703125, -0.0013265609741210938, 0.003070831298828125, 0.007468223571777344, 0.011865615844726562, 0.01626300811767578, 0.020660400390625, 0.02505779266357422, 0.029455184936523438, 0.033852577209472656, 0.038249969482421875, 0.042647361755371094, 0.04704475402832031, 0.05144214630126953, 0.05583953857421875, 0.06023693084716797, 0.06463432312011719, 0.0690317153930664, 0.07342910766601562, 0.07782649993896484, 0.08222389221191406, 0.08662128448486328, 0.0910186767578125, 0.09541606903076172, 0.09981346130371094, 0.10421085357666016, 0.10860824584960938, 0.1130056381225586, 0.11740303039550781, 0.12180042266845703, 0.12619781494140625, 0.13059520721435547, 0.1349925994873047, 0.1393899917602539, 0.14378738403320312, 0.14818477630615234, 0.15258216857910156, 0.15697956085205078, 0.161376953125]}, "gradients/decoder.transformer.h.5.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 5.0, 38.0, 108.0, 260.0, 323.0, 202.0, 65.0, 13.0, 5.0], "bins": [-1.9023241996765137, -1.8702081441879272, -1.8380922079086304, -1.805976152420044, -1.7738600969314575, -1.741744041442871, -1.7096281051635742, -1.6775120496749878, -1.6453959941864014, -1.613279938697815, -1.581164002418518, -1.5490479469299316, -1.5169318914413452, -1.4848158359527588, -1.452699899673462, -1.4205838441848755, -1.388467788696289, -1.3563517332077026, -1.3242357969284058, -1.2921197414398193, -1.260003685951233, -1.2278876304626465, -1.1957716941833496, -1.1636556386947632, -1.1315397024154663, -1.0994236469268799, -1.067307710647583, -1.0351916551589966, -1.0030755996704102, -0.9709596037864685, -0.9388436079025269, -0.9067275524139404, -0.8746116161346436, -0.8424956202507019, -0.8103795647621155, -0.7782635688781738, -0.7461475133895874, -0.7140315175056458, -0.6819155216217041, -0.6497994661331177, -0.6176834106445312, -0.5855674147605896, -0.5534513592720032, -0.5213353633880615, -0.4892193078994751, -0.45710331201553345, -0.4249872863292694, -0.39287126064300537, -0.36075523495674133, -0.3286392092704773, -0.29652318358421326, -0.2644071578979492, -0.23229114711284637, -0.20017512142658234, -0.1680591106414795, -0.13594308495521545, -0.10382705926895142, -0.07171103358268738, -0.03959501534700394, -0.007478997111320496, 0.024637028574943542, 0.05675305426120758, 0.08886906504631042, 0.12098509073257446, 0.1531011164188385]}, "gradients/decoder.transformer.h.5.ln_2.bias": {"_type": "histogram", "values": [2.0, 5.0, 1.0, 2.0, 1.0, 4.0, 6.0, 0.0, 6.0, 3.0, 10.0, 6.0, 5.0, 12.0, 15.0, 20.0, 18.0, 13.0, 26.0, 22.0, 30.0, 34.0, 26.0, 33.0, 39.0, 29.0, 30.0, 29.0, 30.0, 44.0, 37.0, 39.0, 40.0, 42.0, 31.0, 23.0, 20.0, 23.0, 33.0, 28.0, 25.0, 30.0, 22.0, 20.0, 16.0, 15.0, 10.0, 19.0, 7.0, 5.0, 10.0, 5.0, 4.0, 5.0, 3.0, 0.0, 2.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.2044556736946106, -0.19774074852466583, -0.19102580845355988, -0.1843108832836151, -0.17759594321250916, -0.1708810180425644, -0.16416609287261963, -0.15745115280151367, -0.15073621273040771, -0.14402128756046295, -0.137306347489357, -0.13059142231941223, -0.12387648224830627, -0.11716155707836151, -0.11044662445783615, -0.10373169183731079, -0.09701676666736603, -0.09030183404684067, -0.08358690142631531, -0.07687197625637054, -0.07015703618526459, -0.06344211101531982, -0.056727178394794464, -0.050012245774269104, -0.043297313153743744, -0.036582380533218384, -0.029867449775338173, -0.023152519017457962, -0.016437586396932602, -0.009722653776407242, -0.00300772488117218, 0.00370720773935318, 0.01042214035987854, 0.0171370729804039, 0.02385200373828411, 0.030566934496164322, 0.03728186711668968, 0.04399679973721504, 0.050711728632450104, 0.057426661252975464, 0.06414159387350082, 0.07085652649402618, 0.07757145911455154, 0.0842863917350769, 0.09100131690502167, 0.09771625697612762, 0.10443118214607239, 0.11114611476659775, 0.11786104738712311, 0.12457598000764847, 0.13129091262817383, 0.1380058377981186, 0.14472077786922455, 0.1514357030391693, 0.15815064311027527, 0.16486556828022003, 0.1715804934501648, 0.17829541862010956, 0.18501035869121552, 0.19172528386116028, 0.19844022393226624, 0.205155149102211, 0.21187007427215576, 0.21858501434326172, 0.22529995441436768]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 1.0, 2.0, 2.0, 1.0, 4.0, 4.0, 6.0, 8.0, 15.0, 9.0, 17.0, 15.0, 18.0, 23.0, 36.0, 28.0, 26.0, 34.0, 26.0, 38.0, 43.0, 42.0, 44.0, 36.0, 47.0, 42.0, 50.0, 41.0, 32.0, 52.0, 35.0, 30.0, 35.0, 25.0, 20.0, 28.0, 20.0, 15.0, 11.0, 9.0, 6.0, 6.0, 8.0, 4.0, 3.0, 2.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.038421630859375, -0.037227630615234375, -0.03603363037109375, -0.034839630126953125, -0.0336456298828125, -0.032451629638671875, -0.03125762939453125, -0.030063629150390625, -0.02886962890625, -0.027675628662109375, -0.02648162841796875, -0.025287628173828125, -0.0240936279296875, -0.022899627685546875, -0.02170562744140625, -0.020511627197265625, -0.019317626953125, -0.018123626708984375, -0.01692962646484375, -0.015735626220703125, -0.0145416259765625, -0.013347625732421875, -0.01215362548828125, -0.010959625244140625, -0.009765625, -0.008571624755859375, -0.00737762451171875, -0.006183624267578125, -0.0049896240234375, -0.003795623779296875, -0.00260162353515625, -0.001407623291015625, -0.000213623046875, 0.000980377197265625, 0.00217437744140625, 0.003368377685546875, 0.0045623779296875, 0.005756378173828125, 0.00695037841796875, 0.008144378662109375, 0.00933837890625, 0.010532379150390625, 0.01172637939453125, 0.012920379638671875, 0.0141143798828125, 0.015308380126953125, 0.01650238037109375, 0.017696380615234375, 0.018890380859375, 0.020084381103515625, 0.02127838134765625, 0.022472381591796875, 0.0236663818359375, 0.024860382080078125, 0.02605438232421875, 0.027248382568359375, 0.0284423828125, 0.029636383056640625, 0.03083038330078125, 0.032024383544921875, 0.0332183837890625, 0.034412384033203125, 0.03560638427734375, 0.036800384521484375, 0.037994384765625]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.weight": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 4.0, 5.0, 10.0, 6.0, 14.0, 23.0, 20.0, 30.0, 42.0, 59.0, 74.0, 115.0, 168.0, 250.0, 337.0, 507.0, 710.0, 971.0, 1532.0, 2155.0, 3287.0, 4833.0, 7521.0, 11790.0, 18343.0, 29747.0, 49866.0, 91193.0, 211940.0, 340403.0, 115742.0, 60594.0, 35193.0, 21619.0, 13606.0, 8682.0, 5630.0, 3655.0, 2473.0, 1678.0, 1162.0, 772.0, 542.0, 377.0, 257.0, 180.0, 128.0, 100.0, 64.0, 41.0, 32.0, 32.0, 24.0, 10.0, 4.0, 6.0, 3.0, 5.0, 1.0, 1.0, 2.0], "bins": [-0.0001957416534423828, -0.00018965639173984528, -0.00018357113003730774, -0.0001774858683347702, -0.00017140060663223267, -0.00016531534492969513, -0.0001592300832271576, -0.00015314482152462006, -0.00014705955982208252, -0.00014097429811954498, -0.00013488903641700745, -0.0001288037747144699, -0.00012271851301193237, -0.00011663325130939484, -0.0001105479896068573, -0.00010446272790431976, -9.837746620178223e-05, -9.229220449924469e-05, -8.620694279670715e-05, -8.012168109416962e-05, -7.403641939163208e-05, -6.795115768909454e-05, -6.186589598655701e-05, -5.578063428401947e-05, -4.9695372581481934e-05, -4.36101108789444e-05, -3.752484917640686e-05, -3.1439587473869324e-05, -2.5354325771331787e-05, -1.926906406879425e-05, -1.3183802366256714e-05, -7.098540663719177e-06, -1.0132789611816406e-06, 5.071982741355896e-06, 1.1157244443893433e-05, 1.724250614643097e-05, 2.3327767848968506e-05, 2.9413029551506042e-05, 3.549829125404358e-05, 4.1583552956581116e-05, 4.766881465911865e-05, 5.375407636165619e-05, 5.9839338064193726e-05, 6.592459976673126e-05, 7.20098614692688e-05, 7.809512317180634e-05, 8.418038487434387e-05, 9.026564657688141e-05, 9.635090827941895e-05, 0.00010243616998195648, 0.00010852143168449402, 0.00011460669338703156, 0.00012069195508956909, 0.00012677721679210663, 0.00013286247849464417, 0.0001389477401971817, 0.00014503300189971924, 0.00015111826360225677, 0.0001572035253047943, 0.00016328878700733185, 0.00016937404870986938, 0.00017545931041240692, 0.00018154457211494446, 0.000187629833817482, 0.00019371509552001953]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 6.0, 10.0, 6.0, 5.0, 11.0, 12.0, 13.0, 15.0, 16.0, 21.0, 23.0, 11.0, 19.0, 37.0, 25.0, 28.0, 34.0, 26.0, 36.0, 37.0, 40.0, 39.0, 47.0, 1062.0, 36.0, 35.0, 44.0, 27.0, 33.0, 30.0, 28.0, 28.0, 36.0, 21.0, 10.0, 18.0, 17.0, 14.0, 21.0, 9.0, 7.0, 13.0, 5.0, 5.0, 4.0, 2.0, 2.0, 2.0, 3.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0], "bins": [-0.0350341796875, -0.03394889831542969, -0.032863616943359375, -0.03177833557128906, -0.03069305419921875, -0.029607772827148438, -0.028522491455078125, -0.027437210083007812, -0.0263519287109375, -0.025266647338867188, -0.024181365966796875, -0.023096084594726562, -0.02201080322265625, -0.020925521850585938, -0.019840240478515625, -0.018754959106445312, -0.017669677734375, -0.016584396362304688, -0.015499114990234375, -0.014413833618164062, -0.01332855224609375, -0.012243270874023438, -0.011157989501953125, -0.010072708129882812, -0.0089874267578125, -0.007902145385742188, -0.006816864013671875, -0.0057315826416015625, -0.00464630126953125, -0.0035610198974609375, -0.002475738525390625, -0.0013904571533203125, -0.00030517578125, 0.0007801055908203125, 0.001865386962890625, 0.0029506683349609375, 0.00403594970703125, 0.0051212310791015625, 0.006206512451171875, 0.0072917938232421875, 0.0083770751953125, 0.009462356567382812, 0.010547637939453125, 0.011632919311523438, 0.01271820068359375, 0.013803482055664062, 0.014888763427734375, 0.015974044799804688, 0.017059326171875, 0.018144607543945312, 0.019229888916015625, 0.020315170288085938, 0.02140045166015625, 0.022485733032226562, 0.023571014404296875, 0.024656295776367188, 0.0257415771484375, 0.026826858520507812, 0.027912139892578125, 0.028997421264648438, 0.03008270263671875, 0.031167984008789062, 0.032253265380859375, 0.03333854675292969, 0.034423828125]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 2.0, 2.0, 1.0, 4.0, 6.0, 3.0, 13.0, 9.0, 7.0, 18.0, 17.0, 15.0, 20.0, 9.0, 21.0, 36.0, 25.0, 34.0, 33.0, 45.0, 86.0, 267.0, 796.0, 4302.0, 2043653.0, 43636.0, 2886.0, 575.0, 184.0, 88.0, 43.0, 29.0, 35.0, 25.0, 32.0, 22.0, 16.0, 18.0, 25.0, 18.0, 13.0, 13.0, 7.0, 14.0, 5.0, 8.0, 8.0, 6.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-3.826618194580078e-05, -3.706570714712143e-05, -3.586523234844208e-05, -3.4664757549762726e-05, -3.3464282751083374e-05, -3.226380795240402e-05, -3.106333315372467e-05, -2.986285835504532e-05, -2.8662383556365967e-05, -2.7461908757686615e-05, -2.6261433959007263e-05, -2.506095916032791e-05, -2.386048436164856e-05, -2.2660009562969208e-05, -2.1459534764289856e-05, -2.0259059965610504e-05, -1.9058585166931152e-05, -1.78581103682518e-05, -1.665763556957245e-05, -1.5457160770893097e-05, -1.4256685972213745e-05, -1.3056211173534393e-05, -1.1855736374855042e-05, -1.065526157617569e-05, -9.454786777496338e-06, -8.254311978816986e-06, -7.053837180137634e-06, -5.8533623814582825e-06, -4.652887582778931e-06, -3.452412784099579e-06, -2.251937985420227e-06, -1.0514631867408752e-06, 1.4901161193847656e-07, 1.3494864106178284e-06, 2.54996120929718e-06, 3.750436007976532e-06, 4.950910806655884e-06, 6.151385605335236e-06, 7.351860404014587e-06, 8.55233520269394e-06, 9.752810001373291e-06, 1.0953284800052643e-05, 1.2153759598731995e-05, 1.3354234397411346e-05, 1.4554709196090698e-05, 1.575518399477005e-05, 1.6955658793449402e-05, 1.8156133592128754e-05, 1.9356608390808105e-05, 2.0557083189487457e-05, 2.175755798816681e-05, 2.295803278684616e-05, 2.4158507585525513e-05, 2.5358982384204865e-05, 2.6559457182884216e-05, 2.7759931981563568e-05, 2.896040678024292e-05, 3.0160881578922272e-05, 3.1361356377601624e-05, 3.2561831176280975e-05, 3.376230597496033e-05, 3.496278077363968e-05, 3.616325557231903e-05, 3.736373037099838e-05, 3.8564205169677734e-05]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 1.0, 2.0, 2.0, 1.0, 4.0, 4.0, 6.0, 8.0, 15.0, 9.0, 17.0, 15.0, 18.0, 23.0, 36.0, 28.0, 26.0, 34.0, 26.0, 38.0, 43.0, 42.0, 44.0, 36.0, 47.0, 42.0, 50.0, 41.0, 32.0, 52.0, 35.0, 30.0, 35.0, 25.0, 20.0, 28.0, 20.0, 15.0, 11.0, 9.0, 6.0, 6.0, 8.0, 4.0, 3.0, 2.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.038421630859375, -0.037227630615234375, -0.03603363037109375, -0.034839630126953125, -0.0336456298828125, -0.032451629638671875, -0.03125762939453125, -0.030063629150390625, -0.02886962890625, -0.027675628662109375, -0.02648162841796875, -0.025287628173828125, -0.0240936279296875, -0.022899627685546875, -0.02170562744140625, -0.020511627197265625, -0.019317626953125, -0.018123626708984375, -0.01692962646484375, -0.015735626220703125, -0.0145416259765625, -0.013347625732421875, -0.01215362548828125, -0.010959625244140625, -0.009765625, -0.008571624755859375, -0.00737762451171875, -0.006183624267578125, -0.0049896240234375, -0.003795623779296875, -0.00260162353515625, -0.001407623291015625, -0.000213623046875, 0.000980377197265625, 0.00217437744140625, 0.003368377685546875, 0.0045623779296875, 0.005756378173828125, 0.00695037841796875, 0.008144378662109375, 0.00933837890625, 0.010532379150390625, 0.01172637939453125, 0.012920379638671875, 0.0141143798828125, 0.015308380126953125, 0.01650238037109375, 0.017696380615234375, 0.018890380859375, 0.020084381103515625, 0.02127838134765625, 0.022472381591796875, 0.0236663818359375, 0.024860382080078125, 0.02605438232421875, 0.027248382568359375, 0.0284423828125, 0.029636383056640625, 0.03083038330078125, 0.032024383544921875, 0.0332183837890625, 0.034412384033203125, 0.03560638427734375, 0.036800384521484375, 0.037994384765625]}, "gradients/decoder.transformer.h.5.attn.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 5.0, 2.0, 4.0, 7.0, 5.0, 16.0, 9.0, 28.0, 22.0, 44.0, 62.0, 99.0, 150.0, 229.0, 349.0, 575.0, 939.0, 1495.0, 2520.0, 4332.0, 7699.0, 13109.0, 23220.0, 40858.0, 71413.0, 132516.0, 270742.0, 224702.0, 110727.0, 60467.0, 34864.0, 19832.0, 11484.0, 6651.0, 3761.0, 2214.0, 1253.0, 765.0, 520.0, 297.0, 196.0, 120.0, 76.0, 61.0, 35.0, 39.0, 11.0, 11.0, 11.0, 11.0, 5.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.051055908203125, -0.049286842346191406, -0.04751777648925781, -0.04574871063232422, -0.043979644775390625, -0.04221057891845703, -0.04044151306152344, -0.038672447204589844, -0.03690338134765625, -0.035134315490722656, -0.03336524963378906, -0.03159618377685547, -0.029827117919921875, -0.02805805206298828, -0.026288986206054688, -0.024519920349121094, -0.0227508544921875, -0.020981788635253906, -0.019212722778320312, -0.01744365692138672, -0.015674591064453125, -0.013905525207519531, -0.012136459350585938, -0.010367393493652344, -0.00859832763671875, -0.006829261779785156, -0.0050601959228515625, -0.0032911300659179688, -0.001522064208984375, 0.00024700164794921875, 0.0020160675048828125, 0.0037851333618164062, 0.00555419921875, 0.007323265075683594, 0.009092330932617188, 0.010861396789550781, 0.012630462646484375, 0.014399528503417969, 0.016168594360351562, 0.017937660217285156, 0.01970672607421875, 0.021475791931152344, 0.023244857788085938, 0.02501392364501953, 0.026782989501953125, 0.02855205535888672, 0.030321121215820312, 0.032090187072753906, 0.0338592529296875, 0.035628318786621094, 0.03739738464355469, 0.03916645050048828, 0.040935516357421875, 0.04270458221435547, 0.04447364807128906, 0.046242713928222656, 0.04801177978515625, 0.049780845642089844, 0.05154991149902344, 0.05331897735595703, 0.055088043212890625, 0.05685710906982422, 0.05862617492675781, 0.060395240783691406, 0.062164306640625]}, "gradients/decoder.transformer.h.5.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 3.0, 1.0, 2.0, 5.0, 7.0, 13.0, 8.0, 16.0, 11.0, 16.0, 16.0, 23.0, 22.0, 34.0, 38.0, 43.0, 42.0, 57.0, 55.0, 107.0, 156.0, 254.0, 1343.0, 202.0, 104.0, 77.0, 73.0, 56.0, 37.0, 48.0, 32.0, 28.0, 25.0, 14.0, 13.0, 17.0, 15.0, 10.0, 7.0, 7.0, 11.0, 2.0, 3.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09075927734375, -0.08730792999267578, -0.08385658264160156, -0.08040523529052734, -0.07695388793945312, -0.0735025405883789, -0.07005119323730469, -0.06659984588623047, -0.06314849853515625, -0.05969715118408203, -0.05624580383300781, -0.052794456481933594, -0.049343109130859375, -0.045891761779785156, -0.04244041442871094, -0.03898906707763672, -0.0355377197265625, -0.03208637237548828, -0.028635025024414062, -0.025183677673339844, -0.021732330322265625, -0.018280982971191406, -0.014829635620117188, -0.011378288269042969, -0.00792694091796875, -0.004475593566894531, -0.0010242462158203125, 0.0024271011352539062, 0.005878448486328125, 0.009329795837402344, 0.012781143188476562, 0.01623249053955078, 0.019683837890625, 0.02313518524169922, 0.026586532592773438, 0.030037879943847656, 0.033489227294921875, 0.036940574645996094, 0.04039192199707031, 0.04384326934814453, 0.04729461669921875, 0.05074596405029297, 0.05419731140136719, 0.057648658752441406, 0.061100006103515625, 0.06455135345458984, 0.06800270080566406, 0.07145404815673828, 0.0749053955078125, 0.07835674285888672, 0.08180809020996094, 0.08525943756103516, 0.08871078491210938, 0.0921621322631836, 0.09561347961425781, 0.09906482696533203, 0.10251617431640625, 0.10596752166748047, 0.10941886901855469, 0.1128702163696289, 0.11632156372070312, 0.11977291107177734, 0.12322425842285156, 0.12667560577392578, 0.130126953125]}, "gradients/decoder.transformer.h.5.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 2.0, 3.0, 5.0, 7.0, 9.0, 9.0, 8.0, 18.0, 11.0, 34.0, 34.0, 62.0, 99.0, 106.0, 174.0, 332.0, 646.0, 1312.0, 3743.0, 11696.0, 41985.0, 176250.0, 1538460.0, 1165451.0, 151710.0, 37104.0, 10524.0, 3163.0, 1243.0, 563.0, 315.0, 200.0, 136.0, 82.0, 56.0, 48.0, 31.0, 19.0, 17.0, 15.0, 10.0, 4.0, 5.0, 2.0, 2.0, 4.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10040283203125, -0.09705066680908203, -0.09369850158691406, -0.0903463363647461, -0.08699417114257812, -0.08364200592041016, -0.08028984069824219, -0.07693767547607422, -0.07358551025390625, -0.07023334503173828, -0.06688117980957031, -0.06352901458740234, -0.060176849365234375, -0.056824684143066406, -0.05347251892089844, -0.05012035369873047, -0.0467681884765625, -0.04341602325439453, -0.04006385803222656, -0.036711692810058594, -0.033359527587890625, -0.030007362365722656, -0.026655197143554688, -0.02330303192138672, -0.01995086669921875, -0.01659870147705078, -0.013246536254882812, -0.009894371032714844, -0.006542205810546875, -0.0031900405883789062, 0.0001621246337890625, 0.0035142898559570312, 0.006866455078125, 0.010218620300292969, 0.013570785522460938, 0.016922950744628906, 0.020275115966796875, 0.023627281188964844, 0.026979446411132812, 0.03033161163330078, 0.03368377685546875, 0.03703594207763672, 0.04038810729980469, 0.043740272521972656, 0.047092437744140625, 0.050444602966308594, 0.05379676818847656, 0.05714893341064453, 0.0605010986328125, 0.06385326385498047, 0.06720542907714844, 0.0705575942993164, 0.07390975952148438, 0.07726192474365234, 0.08061408996582031, 0.08396625518798828, 0.08731842041015625, 0.09067058563232422, 0.09402275085449219, 0.09737491607666016, 0.10072708129882812, 0.1040792465209961, 0.10743141174316406, 0.11078357696533203, 0.1141357421875]}, "gradients/decoder.transformer.h.5.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 6.0, 12.0, 44.0, 63.0, 107.0, 160.0, 193.0, 179.0, 125.0, 62.0, 37.0, 16.0, 6.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2298761010169983, -0.2140704095363617, -0.1982647329568863, -0.1824590563774109, -0.1666533648967743, -0.1508476734161377, -0.1350419968366623, -0.11923631280660629, -0.10343062877655029, -0.0876249447464943, -0.0718192607164383, -0.056013576686382294, -0.040207892656326294, -0.024402208626270294, -0.008596524596214294, 0.007209159433841705, 0.023014843463897705, 0.038820527493953705, 0.054626211524009705, 0.0704318955540657, 0.0862375795841217, 0.1020432636141777, 0.1178489476442337, 0.1336546242237091, 0.1494603157043457, 0.1652660071849823, 0.1810716837644577, 0.1968773603439331, 0.2126830518245697, 0.2284887433052063, 0.2442944198846817, 0.2601000964641571, 0.2759057879447937, 0.2917114794254303, 0.3075171709060669, 0.3233228325843811, 0.3391285240650177, 0.3549342155456543, 0.3707398772239685, 0.3865455687046051, 0.4023512601852417, 0.4181569516658783, 0.4339626431465149, 0.4497683048248291, 0.4655739963054657, 0.4813796877861023, 0.4971853494644165, 0.5129910707473755, 0.5287967324256897, 0.5446023941040039, 0.5604081153869629, 0.5762137770652771, 0.5920194387435913, 0.6078251600265503, 0.6236308217048645, 0.6394365429878235, 0.6552422046661377, 0.6710478663444519, 0.6868535876274109, 0.7026592493057251, 0.7184649705886841, 0.7342706322669983, 0.7500762939453125, 0.7658820152282715, 0.7816876769065857]}, "gradients/decoder.transformer.h.5.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 1.0, 5.0, 1.0, 14.0, 8.0, 10.0, 9.0, 9.0, 15.0, 17.0, 18.0, 26.0, 35.0, 30.0, 27.0, 32.0, 33.0, 36.0, 48.0, 34.0, 38.0, 38.0, 36.0, 41.0, 45.0, 41.0, 30.0, 34.0, 43.0, 28.0, 36.0, 23.0, 21.0, 23.0, 24.0, 22.0, 12.0, 9.0, 13.0, 11.0, 8.0, 5.0, 2.0, 6.0, 3.0, 4.0, 4.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.26863813400268555, -0.2601756155490875, -0.2517130970954895, -0.24325056374073029, -0.23478803038597107, -0.22632551193237305, -0.21786299347877502, -0.209400475025177, -0.20093794167041779, -0.19247542321681976, -0.18401288986206055, -0.17555037140846252, -0.1670878529548645, -0.15862531960010529, -0.15016280114650726, -0.14170026779174805, -0.13323774933815002, -0.1247752234339714, -0.11631269752979279, -0.10785017907619476, -0.09938765317201614, -0.09092512726783752, -0.0824626088142395, -0.07400008291006088, -0.06553755700588226, -0.057075031101703644, -0.04861250892281532, -0.040149986743927, -0.03168746083974838, -0.023224934935569763, -0.014762412756681442, -0.006299890577793121, 0.002162635326385498, 0.010625159367918968, 0.01908768340945244, 0.02755020745098591, 0.03601273149251938, 0.044475257396698, 0.05293777957558632, 0.06140030175447464, 0.06986282765865326, 0.07832535356283188, 0.0867878794670105, 0.09525039792060852, 0.10371292382478714, 0.11217544972896576, 0.12063796818256378, 0.129100501537323, 0.13756301999092102, 0.14602553844451904, 0.15448807179927826, 0.16295059025287628, 0.1714131236076355, 0.17987564206123352, 0.18833816051483154, 0.19680067896842957, 0.20526321232318878, 0.2137257307767868, 0.22218826413154602, 0.23065078258514404, 0.23911330103874207, 0.24757583439350128, 0.2560383677482605, 0.2645008862018585, 0.27296340465545654]}, "gradients/decoder.transformer.h.4.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 3.0, 0.0, 0.0, 1.0, 8.0, 4.0, 4.0, 6.0, 8.0, 8.0, 15.0, 8.0, 18.0, 27.0, 30.0, 30.0, 34.0, 30.0, 30.0, 32.0, 45.0, 42.0, 29.0, 47.0, 65.0, 45.0, 44.0, 38.0, 43.0, 42.0, 33.0, 35.0, 28.0, 36.0, 24.0, 19.0, 20.0, 21.0, 15.0, 5.0, 11.0, 8.0, 7.0, 2.0, 0.0, 6.0, 4.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.041412353515625, -0.040142059326171875, -0.03887176513671875, -0.037601470947265625, -0.0363311767578125, -0.035060882568359375, -0.03379058837890625, -0.032520294189453125, -0.03125, -0.029979705810546875, -0.02870941162109375, -0.027439117431640625, -0.0261688232421875, -0.024898529052734375, -0.02362823486328125, -0.022357940673828125, -0.021087646484375, -0.019817352294921875, -0.01854705810546875, -0.017276763916015625, -0.0160064697265625, -0.014736175537109375, -0.01346588134765625, -0.012195587158203125, -0.01092529296875, -0.009654998779296875, -0.00838470458984375, -0.007114410400390625, -0.0058441162109375, -0.004573822021484375, -0.00330352783203125, -0.002033233642578125, -0.000762939453125, 0.000507354736328125, 0.00177764892578125, 0.003047943115234375, 0.0043182373046875, 0.005588531494140625, 0.00685882568359375, 0.008129119873046875, 0.0093994140625, 0.010669708251953125, 0.01194000244140625, 0.013210296630859375, 0.0144805908203125, 0.015750885009765625, 0.01702117919921875, 0.018291473388671875, 0.019561767578125, 0.020832061767578125, 0.02210235595703125, 0.023372650146484375, 0.0246429443359375, 0.025913238525390625, 0.02718353271484375, 0.028453826904296875, 0.02972412109375, 0.030994415283203125, 0.03226470947265625, 0.033535003662109375, 0.0348052978515625, 0.036075592041015625, 0.03734588623046875, 0.038616180419921875, 0.039886474609375]}, "gradients/decoder.transformer.h.4.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 0.0, 2.0, 5.0, 6.0, 6.0, 10.0, 16.0, 27.0, 31.0, 46.0, 66.0, 139.0, 216.0, 519.0, 1016.0, 2637.0, 7962.0, 29286.0, 150389.0, 1847916.0, 1953968.0, 157618.0, 29966.0, 7841.0, 2576.0, 996.0, 422.0, 218.0, 129.0, 87.0, 55.0, 34.0, 24.0, 19.0, 21.0, 2.0, 3.0, 5.0, 6.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0955810546875, -0.09216880798339844, -0.08875656127929688, -0.08534431457519531, -0.08193206787109375, -0.07851982116699219, -0.07510757446289062, -0.07169532775878906, -0.0682830810546875, -0.06487083435058594, -0.061458587646484375, -0.05804634094238281, -0.05463409423828125, -0.05122184753417969, -0.047809600830078125, -0.04439735412597656, -0.040985107421875, -0.03757286071777344, -0.034160614013671875, -0.030748367309570312, -0.02733612060546875, -0.023923873901367188, -0.020511627197265625, -0.017099380493164062, -0.0136871337890625, -0.010274887084960938, -0.006862640380859375, -0.0034503936767578125, -3.814697265625e-05, 0.0033740997314453125, 0.006786346435546875, 0.010198593139648438, 0.01361083984375, 0.017023086547851562, 0.020435333251953125, 0.023847579956054688, 0.02725982666015625, 0.030672073364257812, 0.034084320068359375, 0.03749656677246094, 0.0409088134765625, 0.04432106018066406, 0.047733306884765625, 0.05114555358886719, 0.05455780029296875, 0.05797004699707031, 0.061382293701171875, 0.06479454040527344, 0.068206787109375, 0.07161903381347656, 0.07503128051757812, 0.07844352722167969, 0.08185577392578125, 0.08526802062988281, 0.08868026733398438, 0.09209251403808594, 0.0955047607421875, 0.09891700744628906, 0.10232925415039062, 0.10574150085449219, 0.10915374755859375, 0.11256599426269531, 0.11597824096679688, 0.11939048767089844, 0.122802734375]}, "gradients/decoder.transformer.h.4.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 0.0, 1.0, 2.0, 2.0, 10.0, 8.0, 9.0, 12.0, 22.0, 22.0, 32.0, 52.0, 69.0, 96.0, 134.0, 178.0, 233.0, 373.0, 501.0, 656.0, 491.0, 347.0, 225.0, 147.0, 124.0, 112.0, 54.0, 39.0, 38.0, 21.0, 19.0, 16.0, 14.0, 8.0, 5.0, 3.0, 3.0, 5.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0888671875, -0.08661556243896484, -0.08436393737792969, -0.08211231231689453, -0.07986068725585938, -0.07760906219482422, -0.07535743713378906, -0.0731058120727539, -0.07085418701171875, -0.0686025619506836, -0.06635093688964844, -0.06409931182861328, -0.061847686767578125, -0.05959606170654297, -0.05734443664550781, -0.055092811584472656, -0.0528411865234375, -0.050589561462402344, -0.04833793640136719, -0.04608631134033203, -0.043834686279296875, -0.04158306121826172, -0.03933143615722656, -0.037079811096191406, -0.03482818603515625, -0.032576560974121094, -0.030324935913085938, -0.02807331085205078, -0.025821685791015625, -0.02357006072998047, -0.021318435668945312, -0.019066810607910156, -0.016815185546875, -0.014563560485839844, -0.012311935424804688, -0.010060310363769531, -0.007808685302734375, -0.005557060241699219, -0.0033054351806640625, -0.0010538101196289062, 0.00119781494140625, 0.0034494400024414062, 0.0057010650634765625, 0.007952690124511719, 0.010204315185546875, 0.012455940246582031, 0.014707565307617188, 0.016959190368652344, 0.0192108154296875, 0.021462440490722656, 0.023714065551757812, 0.02596569061279297, 0.028217315673828125, 0.03046894073486328, 0.03272056579589844, 0.034972190856933594, 0.03722381591796875, 0.039475440979003906, 0.04172706604003906, 0.04397869110107422, 0.046230316162109375, 0.04848194122314453, 0.05073356628417969, 0.052985191345214844, 0.05523681640625]}, "gradients/decoder.transformer.h.4.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 7.0, 3.0, 2.0, 7.0, 7.0, 12.0, 20.0, 26.0, 30.0, 54.0, 104.0, 160.0, 316.0, 601.0, 1667.0, 5388.0, 20458.0, 103316.0, 905391.0, 2832877.0, 265432.0, 43438.0, 10095.0, 2849.0, 1108.0, 419.0, 199.0, 107.0, 60.0, 44.0, 34.0, 25.0, 11.0, 8.0, 7.0, 4.0, 0.0, 1.0, 7.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.1490478515625, -0.14493560791015625, -0.1408233642578125, -0.13671112060546875, -0.132598876953125, -0.12848663330078125, -0.1243743896484375, -0.12026214599609375, -0.11614990234375, -0.11203765869140625, -0.1079254150390625, -0.10381317138671875, -0.099700927734375, -0.09558868408203125, -0.0914764404296875, -0.08736419677734375, -0.083251953125, -0.07913970947265625, -0.0750274658203125, -0.07091522216796875, -0.066802978515625, -0.06269073486328125, -0.0585784912109375, -0.05446624755859375, -0.05035400390625, -0.04624176025390625, -0.0421295166015625, -0.03801727294921875, -0.033905029296875, -0.02979278564453125, -0.0256805419921875, -0.02156829833984375, -0.0174560546875, -0.01334381103515625, -0.0092315673828125, -0.00511932373046875, -0.001007080078125, 0.00310516357421875, 0.0072174072265625, 0.01132965087890625, 0.01544189453125, 0.01955413818359375, 0.0236663818359375, 0.02777862548828125, 0.031890869140625, 0.03600311279296875, 0.0401153564453125, 0.04422760009765625, 0.04833984375, 0.05245208740234375, 0.0565643310546875, 0.06067657470703125, 0.064788818359375, 0.06890106201171875, 0.0730133056640625, 0.07712554931640625, 0.08123779296875, 0.08535003662109375, 0.0894622802734375, 0.09357452392578125, 0.097686767578125, 0.10179901123046875, 0.1059112548828125, 0.11002349853515625, 0.1141357421875]}, "gradients/decoder.transformer.h.4.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 5.0, 26.0, 95.0, 209.0, 286.0, 238.0, 112.0, 43.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22933657467365265, -0.20274239778518677, -0.1761482208967209, -0.149554044008255, -0.12295987457036972, -0.09636570513248444, -0.06977152824401855, -0.04317735135555267, -0.016583174467086792, 0.01001100055873394, 0.03660517558455467, 0.06319934874773026, 0.08979352563619614, 0.11638769507408142, 0.1429818719625473, 0.16957604885101318, 0.19617022573947906, 0.22276440262794495, 0.24935857951641083, 0.2759527564048767, 0.3025469183921814, 0.3291410803794861, 0.35573527216911316, 0.38232946395874023, 0.4089236259460449, 0.4355177879333496, 0.4621119797229767, 0.48870614171028137, 0.5153003334999084, 0.5418944954872131, 0.5684886574745178, 0.5950828790664673, 0.6216769814491272, 0.6482711434364319, 0.6748653054237366, 0.701459527015686, 0.7280536890029907, 0.7546478509902954, 0.7812420129776001, 0.8078361749649048, 0.8344303965568542, 0.8610245585441589, 0.8876187205314636, 0.9142129421234131, 0.9408071041107178, 0.9674012660980225, 0.9939954280853271, 1.0205895900726318, 1.0471837520599365, 1.0737779140472412, 1.100372076034546, 1.1269662380218506, 1.1535604000091553, 1.18015456199646, 1.2067488431930542, 1.2333430051803589, 1.2599371671676636, 1.2865313291549683, 1.313125491142273, 1.3397196531295776, 1.3663138151168823, 1.3929080963134766, 1.4195022583007812, 1.446096420288086, 1.4726905822753906]}, "gradients/decoder.transformer.h.4.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 7.0, 4.0, 10.0, 5.0, 18.0, 17.0, 19.0, 12.0, 18.0, 22.0, 23.0, 23.0, 24.0, 35.0, 34.0, 34.0, 40.0, 43.0, 36.0, 45.0, 44.0, 52.0, 42.0, 40.0, 47.0, 26.0, 40.0, 33.0, 37.0, 22.0, 24.0, 22.0, 12.0, 16.0, 18.0, 9.0, 7.0, 14.0, 7.0, 6.0, 7.0, 1.0, 1.0, 2.0, 5.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2156890630722046, -0.20836780965328217, -0.20104655623435974, -0.19372530281543732, -0.1864040493965149, -0.17908278107643127, -0.17176152765750885, -0.16444027423858643, -0.157119020819664, -0.14979776740074158, -0.14247651398181915, -0.13515526056289673, -0.1278339922428131, -0.12051274627447128, -0.11319148540496826, -0.10587023198604584, -0.09854897856712341, -0.09122772514820099, -0.08390647172927856, -0.07658521085977554, -0.06926395744085312, -0.061942704021930695, -0.05462144687771797, -0.04730018973350525, -0.039978936314582825, -0.0326576828956604, -0.025336425751447678, -0.018015170469880104, -0.01069391518831253, -0.003372661769390106, 0.003948595374822617, 0.01126985251903534, 0.018591105937957764, 0.025912361219525337, 0.03323361650109291, 0.040554873645305634, 0.04787612706422806, 0.05519738048315048, 0.0625186413526535, 0.06983989477157593, 0.07716114819049835, 0.08448240160942078, 0.0918036550283432, 0.09912491589784622, 0.10644616931676865, 0.11376742273569107, 0.12108868360519409, 0.12840993702411652, 0.13573119044303894, 0.14305244386196136, 0.1503736972808838, 0.1576949506998062, 0.16501620411872864, 0.17233747243881226, 0.17965872585773468, 0.1869799792766571, 0.19430123269557953, 0.20162248611450195, 0.20894373953342438, 0.2162649929523468, 0.22358626127243042, 0.23090749979019165, 0.23822876811027527, 0.2455500215291977, 0.2528712749481201]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 2.0, 6.0, 11.0, 5.0, 10.0, 7.0, 10.0, 10.0, 14.0, 15.0, 21.0, 31.0, 33.0, 24.0, 30.0, 37.0, 31.0, 39.0, 34.0, 27.0, 38.0, 49.0, 49.0, 38.0, 44.0, 37.0, 38.0, 39.0, 39.0, 26.0, 25.0, 35.0, 23.0, 26.0, 13.0, 15.0, 11.0, 10.0, 10.0, 15.0, 8.0, 4.0, 5.0, 6.0, 1.0, 4.0, 2.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.04296875, -0.041745662689208984, -0.04052257537841797, -0.03929948806762695, -0.03807640075683594, -0.03685331344604492, -0.035630226135253906, -0.03440713882446289, -0.033184051513671875, -0.03196096420288086, -0.030737876892089844, -0.029514789581298828, -0.028291702270507812, -0.027068614959716797, -0.02584552764892578, -0.024622440338134766, -0.02339935302734375, -0.022176265716552734, -0.02095317840576172, -0.019730091094970703, -0.018507003784179688, -0.017283916473388672, -0.016060829162597656, -0.01483774185180664, -0.013614654541015625, -0.01239156723022461, -0.011168479919433594, -0.009945392608642578, -0.008722305297851562, -0.007499217987060547, -0.006276130676269531, -0.005053043365478516, -0.0038299560546875, -0.0026068687438964844, -0.0013837814331054688, -0.00016069412231445312, 0.0010623931884765625, 0.002285480499267578, 0.0035085678100585938, 0.004731655120849609, 0.005954742431640625, 0.007177829742431641, 0.008400917053222656, 0.009624004364013672, 0.010847091674804688, 0.012070178985595703, 0.013293266296386719, 0.014516353607177734, 0.01573944091796875, 0.016962528228759766, 0.01818561553955078, 0.019408702850341797, 0.020631790161132812, 0.021854877471923828, 0.023077964782714844, 0.02430105209350586, 0.025524139404296875, 0.02674722671508789, 0.027970314025878906, 0.029193401336669922, 0.030416488647460938, 0.03163957595825195, 0.03286266326904297, 0.034085750579833984, 0.035308837890625]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 3.0, 4.0, 9.0, 10.0, 23.0, 32.0, 31.0, 72.0, 105.0, 137.0, 224.0, 336.0, 566.0, 857.0, 1331.0, 2223.0, 3354.0, 5150.0, 8337.0, 13212.0, 21057.0, 34473.0, 57529.0, 98140.0, 207687.0, 311165.0, 114219.0, 64811.0, 39598.0, 23665.0, 14824.0, 9159.0, 5849.0, 3751.0, 2369.0, 1540.0, 966.0, 599.0, 419.0, 254.0, 157.0, 104.0, 74.0, 45.0, 31.0, 19.0, 14.0, 11.0, 9.0, 3.0, 3.0, 1.0, 2.0, 2.0], "bins": [-0.0002560615539550781, -0.00024877116084098816, -0.0002414807677268982, -0.00023419037461280823, -0.00022689998149871826, -0.0002196095883846283, -0.00021231919527053833, -0.00020502880215644836, -0.0001977384090423584, -0.00019044801592826843, -0.00018315762281417847, -0.0001758672297000885, -0.00016857683658599854, -0.00016128644347190857, -0.0001539960503578186, -0.00014670565724372864, -0.00013941526412963867, -0.0001321248710155487, -0.00012483447790145874, -0.00011754408478736877, -0.00011025369167327881, -0.00010296329855918884, -9.567290544509888e-05, -8.838251233100891e-05, -8.109211921691895e-05, -7.380172610282898e-05, -6.651133298873901e-05, -5.922093987464905e-05, -5.193054676055908e-05, -4.4640153646469116e-05, -3.734976053237915e-05, -3.0059367418289185e-05, -2.276897430419922e-05, -1.5478581190109253e-05, -8.188188076019287e-06, -8.977949619293213e-07, 6.3925981521606445e-06, 1.368299126625061e-05, 2.0973384380340576e-05, 2.8263777494430542e-05, 3.555417060852051e-05, 4.2844563722610474e-05, 5.013495683670044e-05, 5.7425349950790405e-05, 6.471574306488037e-05, 7.200613617897034e-05, 7.92965292930603e-05, 8.658692240715027e-05, 9.387731552124023e-05, 0.0001011677086353302, 0.00010845810174942017, 0.00011574849486351013, 0.0001230388879776001, 0.00013032928109169006, 0.00013761967420578003, 0.00014491006731987, 0.00015220046043395996, 0.00015949085354804993, 0.0001667812466621399, 0.00017407163977622986, 0.00018136203289031982, 0.0001886524260044098, 0.00019594281911849976, 0.00020323321223258972, 0.0002105236053466797]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 1.0, 0.0, 4.0, 3.0, 4.0, 2.0, 8.0, 6.0, 5.0, 5.0, 14.0, 17.0, 12.0, 18.0, 18.0, 27.0, 23.0, 33.0, 31.0, 35.0, 35.0, 38.0, 41.0, 41.0, 45.0, 35.0, 1062.0, 50.0, 35.0, 35.0, 34.0, 40.0, 35.0, 41.0, 34.0, 28.0, 33.0, 17.0, 18.0, 20.0, 9.0, 8.0, 8.0, 7.0, 6.0, 5.0, 4.0, 6.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.036590576171875, -0.03534364700317383, -0.034096717834472656, -0.032849788665771484, -0.03160285949707031, -0.03035593032836914, -0.02910900115966797, -0.027862071990966797, -0.026615142822265625, -0.025368213653564453, -0.02412128448486328, -0.02287435531616211, -0.021627426147460938, -0.020380496978759766, -0.019133567810058594, -0.017886638641357422, -0.01663970947265625, -0.015392780303955078, -0.014145851135253906, -0.012898921966552734, -0.011651992797851562, -0.01040506362915039, -0.009158134460449219, -0.007911205291748047, -0.006664276123046875, -0.005417346954345703, -0.004170417785644531, -0.0029234886169433594, -0.0016765594482421875, -0.0004296302795410156, 0.0008172988891601562, 0.002064228057861328, 0.0033111572265625, 0.004558086395263672, 0.005805015563964844, 0.007051944732666016, 0.008298873901367188, 0.00954580307006836, 0.010792732238769531, 0.012039661407470703, 0.013286590576171875, 0.014533519744873047, 0.01578044891357422, 0.01702737808227539, 0.018274307250976562, 0.019521236419677734, 0.020768165588378906, 0.022015094757080078, 0.02326202392578125, 0.024508953094482422, 0.025755882263183594, 0.027002811431884766, 0.028249740600585938, 0.02949666976928711, 0.03074359893798828, 0.03199052810668945, 0.033237457275390625, 0.0344843864440918, 0.03573131561279297, 0.03697824478149414, 0.03822517395019531, 0.039472103118896484, 0.040719032287597656, 0.04196596145629883, 0.043212890625]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 2.0, 5.0, 4.0, 6.0, 7.0, 3.0, 13.0, 7.0, 10.0, 18.0, 16.0, 18.0, 40.0, 22.0, 35.0, 42.0, 41.0, 50.0, 99.0, 237.0, 899.0, 6502.0, 2073909.0, 12893.0, 1486.0, 298.0, 114.0, 56.0, 47.0, 32.0, 31.0, 33.0, 24.0, 25.0, 22.0, 13.0, 14.0, 16.0, 13.0, 8.0, 4.0, 6.0, 6.0, 3.0, 4.0, 3.0, 4.0, 0.0, 2.0, 0.0, 1.0, 3.0], "bins": [-4.76837158203125e-05, -4.630628973245621e-05, -4.4928863644599915e-05, -4.355143755674362e-05, -4.217401146888733e-05, -4.0796585381031036e-05, -3.9419159293174744e-05, -3.804173320531845e-05, -3.666430711746216e-05, -3.5286881029605865e-05, -3.390945494174957e-05, -3.253202885389328e-05, -3.115460276603699e-05, -2.9777176678180695e-05, -2.8399750590324402e-05, -2.702232450246811e-05, -2.5644898414611816e-05, -2.4267472326755524e-05, -2.289004623889923e-05, -2.1512620151042938e-05, -2.0135194063186646e-05, -1.8757767975330353e-05, -1.738034188747406e-05, -1.6002915799617767e-05, -1.4625489711761475e-05, -1.3248063623905182e-05, -1.187063753604889e-05, -1.0493211448192596e-05, -9.115785360336304e-06, -7.738359272480011e-06, -6.360933184623718e-06, -4.9835070967674255e-06, -3.606081008911133e-06, -2.22865492105484e-06, -8.512288331985474e-07, 5.261972546577454e-07, 1.903623342514038e-06, 3.281049430370331e-06, 4.6584755182266235e-06, 6.035901606082916e-06, 7.413327693939209e-06, 8.790753781795502e-06, 1.0168179869651794e-05, 1.1545605957508087e-05, 1.292303204536438e-05, 1.4300458133220673e-05, 1.5677884221076965e-05, 1.7055310308933258e-05, 1.843273639678955e-05, 1.9810162484645844e-05, 2.1187588572502136e-05, 2.256501466035843e-05, 2.394244074821472e-05, 2.5319866836071014e-05, 2.6697292923927307e-05, 2.80747190117836e-05, 2.9452145099639893e-05, 3.0829571187496185e-05, 3.220699727535248e-05, 3.358442336320877e-05, 3.4961849451065063e-05, 3.6339275538921356e-05, 3.771670162677765e-05, 3.909412771463394e-05, 4.0471553802490234e-05]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 2.0, 6.0, 11.0, 5.0, 10.0, 7.0, 10.0, 10.0, 14.0, 15.0, 21.0, 31.0, 33.0, 24.0, 30.0, 37.0, 31.0, 39.0, 34.0, 27.0, 38.0, 49.0, 49.0, 38.0, 44.0, 37.0, 38.0, 39.0, 39.0, 26.0, 25.0, 35.0, 23.0, 26.0, 13.0, 15.0, 11.0, 10.0, 10.0, 15.0, 8.0, 4.0, 5.0, 6.0, 1.0, 4.0, 2.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.04296875, -0.041745662689208984, -0.04052257537841797, -0.03929948806762695, -0.03807640075683594, -0.03685331344604492, -0.035630226135253906, -0.03440713882446289, -0.033184051513671875, -0.03196096420288086, -0.030737876892089844, -0.029514789581298828, -0.028291702270507812, -0.027068614959716797, -0.02584552764892578, -0.024622440338134766, -0.02339935302734375, -0.022176265716552734, -0.02095317840576172, -0.019730091094970703, -0.018507003784179688, -0.017283916473388672, -0.016060829162597656, -0.01483774185180664, -0.013614654541015625, -0.01239156723022461, -0.011168479919433594, -0.009945392608642578, -0.008722305297851562, -0.007499217987060547, -0.006276130676269531, -0.005053043365478516, -0.0038299560546875, -0.0026068687438964844, -0.0013837814331054688, -0.00016069412231445312, 0.0010623931884765625, 0.002285480499267578, 0.0035085678100585938, 0.004731655120849609, 0.005954742431640625, 0.007177829742431641, 0.008400917053222656, 0.009624004364013672, 0.010847091674804688, 0.012070178985595703, 0.013293266296386719, 0.014516353607177734, 0.01573944091796875, 0.016962528228759766, 0.01818561553955078, 0.019408702850341797, 0.020631790161132812, 0.021854877471923828, 0.023077964782714844, 0.02430105209350586, 0.025524139404296875, 0.02674722671508789, 0.027970314025878906, 0.029193401336669922, 0.030416488647460938, 0.03163957595825195, 0.03286266326904297, 0.034085750579833984, 0.035308837890625]}, "gradients/decoder.transformer.h.4.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 7.0, 7.0, 19.0, 40.0, 41.0, 55.0, 105.0, 134.0, 213.0, 281.0, 452.0, 706.0, 1149.0, 1625.0, 2438.0, 3737.0, 5607.0, 8083.0, 12175.0, 18528.0, 28378.0, 45489.0, 77635.0, 147757.0, 339610.0, 147983.0, 77672.0, 44889.0, 28322.0, 18346.0, 12164.0, 8323.0, 5581.0, 3714.0, 2469.0, 1689.0, 1065.0, 754.0, 497.0, 289.0, 195.0, 124.0, 72.0, 52.0, 32.0, 32.0, 16.0, 6.0, 4.0, 9.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04693603515625, -0.045445919036865234, -0.04395580291748047, -0.0424656867980957, -0.04097557067871094, -0.03948545455932617, -0.037995338439941406, -0.03650522232055664, -0.035015106201171875, -0.03352499008178711, -0.032034873962402344, -0.030544757843017578, -0.029054641723632812, -0.027564525604248047, -0.02607440948486328, -0.024584293365478516, -0.02309417724609375, -0.021604061126708984, -0.02011394500732422, -0.018623828887939453, -0.017133712768554688, -0.015643596649169922, -0.014153480529785156, -0.01266336441040039, -0.011173248291015625, -0.00968313217163086, -0.008193016052246094, -0.006702899932861328, -0.0052127838134765625, -0.003722667694091797, -0.0022325515747070312, -0.0007424354553222656, 0.0007476806640625, 0.0022377967834472656, 0.0037279129028320312, 0.005218029022216797, 0.0067081451416015625, 0.008198261260986328, 0.009688377380371094, 0.01117849349975586, 0.012668609619140625, 0.01415872573852539, 0.015648841857910156, 0.017138957977294922, 0.018629074096679688, 0.020119190216064453, 0.02160930633544922, 0.023099422454833984, 0.02458953857421875, 0.026079654693603516, 0.02756977081298828, 0.029059886932373047, 0.030550003051757812, 0.03204011917114258, 0.033530235290527344, 0.03502035140991211, 0.036510467529296875, 0.03800058364868164, 0.039490699768066406, 0.04098081588745117, 0.04247093200683594, 0.0439610481262207, 0.04545116424560547, 0.046941280364990234, 0.048431396484375]}, "gradients/decoder.transformer.h.4.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 2.0, 3.0, 3.0, 4.0, 8.0, 8.0, 7.0, 9.0, 8.0, 21.0, 17.0, 16.0, 34.0, 27.0, 32.0, 35.0, 36.0, 33.0, 58.0, 72.0, 102.0, 172.0, 1342.0, 323.0, 177.0, 96.0, 68.0, 52.0, 45.0, 43.0, 36.0, 36.0, 22.0, 20.0, 15.0, 17.0, 13.0, 16.0, 10.0, 6.0, 1.0, 4.0, 5.0, 2.0, 4.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.10101318359375, -0.09752941131591797, -0.09404563903808594, -0.0905618667602539, -0.08707809448242188, -0.08359432220458984, -0.08011054992675781, -0.07662677764892578, -0.07314300537109375, -0.06965923309326172, -0.06617546081542969, -0.06269168853759766, -0.059207916259765625, -0.055724143981933594, -0.05224037170410156, -0.04875659942626953, -0.0452728271484375, -0.04178905487060547, -0.03830528259277344, -0.034821510314941406, -0.031337738037109375, -0.027853965759277344, -0.024370193481445312, -0.02088642120361328, -0.01740264892578125, -0.013918876647949219, -0.010435104370117188, -0.006951332092285156, -0.003467559814453125, 1.621246337890625e-05, 0.0034999847412109375, 0.006983757019042969, 0.010467529296875, 0.013951301574707031, 0.017435073852539062, 0.020918846130371094, 0.024402618408203125, 0.027886390686035156, 0.03137016296386719, 0.03485393524169922, 0.03833770751953125, 0.04182147979736328, 0.04530525207519531, 0.048789024353027344, 0.052272796630859375, 0.055756568908691406, 0.05924034118652344, 0.06272411346435547, 0.0662078857421875, 0.06969165802001953, 0.07317543029785156, 0.0766592025756836, 0.08014297485351562, 0.08362674713134766, 0.08711051940917969, 0.09059429168701172, 0.09407806396484375, 0.09756183624267578, 0.10104560852050781, 0.10452938079833984, 0.10801315307617188, 0.1114969253540039, 0.11498069763183594, 0.11846446990966797, 0.1219482421875]}, "gradients/decoder.transformer.h.4.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 7.0, 6.0, 3.0, 5.0, 9.0, 13.0, 17.0, 21.0, 43.0, 46.0, 63.0, 122.0, 216.0, 391.0, 1097.0, 3580.0, 13156.0, 56469.0, 523976.0, 2384143.0, 126764.0, 25843.0, 6494.0, 1898.0, 639.0, 233.0, 131.0, 84.0, 63.0, 54.0, 41.0, 26.0, 18.0, 13.0, 11.0, 5.0, 1.0, 2.0, 3.0, 2.0, 4.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.149658203125, -0.14528656005859375, -0.1409149169921875, -0.13654327392578125, -0.132171630859375, -0.12779998779296875, -0.1234283447265625, -0.11905670166015625, -0.11468505859375, -0.11031341552734375, -0.1059417724609375, -0.10157012939453125, -0.097198486328125, -0.09282684326171875, -0.0884552001953125, -0.08408355712890625, -0.0797119140625, -0.07534027099609375, -0.0709686279296875, -0.06659698486328125, -0.062225341796875, -0.05785369873046875, -0.0534820556640625, -0.04911041259765625, -0.04473876953125, -0.04036712646484375, -0.0359954833984375, -0.03162384033203125, -0.027252197265625, -0.02288055419921875, -0.0185089111328125, -0.01413726806640625, -0.009765625, -0.00539398193359375, -0.0010223388671875, 0.00334930419921875, 0.007720947265625, 0.01209259033203125, 0.0164642333984375, 0.02083587646484375, 0.02520751953125, 0.02957916259765625, 0.0339508056640625, 0.03832244873046875, 0.042694091796875, 0.04706573486328125, 0.0514373779296875, 0.05580902099609375, 0.0601806640625, 0.06455230712890625, 0.0689239501953125, 0.07329559326171875, 0.077667236328125, 0.08203887939453125, 0.0864105224609375, 0.09078216552734375, 0.09515380859375, 0.09952545166015625, 0.1038970947265625, 0.10826873779296875, 0.112640380859375, 0.11701202392578125, 0.1213836669921875, 0.12575531005859375, 0.130126953125]}, "gradients/decoder.transformer.h.4.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 14.0, 42.0, 106.0, 187.0, 223.0, 187.0, 142.0, 70.0, 22.0, 13.0, 6.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.34630221128463745, -0.3303598165512085, -0.31441742181777954, -0.2984750270843506, -0.28253263235092163, -0.2665902376174927, -0.2506478428840637, -0.23470543324947357, -0.21876303851604462, -0.20282064378261566, -0.1868782490491867, -0.17093583941459656, -0.1549934446811676, -0.13905104994773865, -0.12310865521430969, -0.10716626048088074, -0.09122386574745178, -0.07528147101402283, -0.059339072555303574, -0.04339667409658432, -0.027454279363155365, -0.01151188462972641, 0.004430517554283142, 0.020372912287712097, 0.03631530702114105, 0.05225770175457001, 0.06820009648799896, 0.08414249867200851, 0.10008489340543747, 0.11602728813886642, 0.13196969032287598, 0.14791208505630493, 0.1638544797897339, 0.17979687452316284, 0.1957392692565918, 0.21168166399002075, 0.2276240587234497, 0.24356645345687866, 0.2595088481903076, 0.2754512429237366, 0.2913936376571655, 0.3073360323905945, 0.32327842712402344, 0.3392208218574524, 0.35516321659088135, 0.3711056113243103, 0.38704800605773926, 0.4029904007911682, 0.41893282532691956, 0.4348752200603485, 0.45081761479377747, 0.4667600095272064, 0.4827024042606354, 0.49864479899406433, 0.5145872235298157, 0.5305296182632446, 0.5464720129966736, 0.5624144077301025, 0.5783568024635315, 0.5942991971969604, 0.6102415919303894, 0.6261839866638184, 0.6421263813972473, 0.6580687761306763, 0.6740111708641052]}, "gradients/decoder.transformer.h.4.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 6.0, 0.0, 3.0, 6.0, 5.0, 9.0, 4.0, 9.0, 4.0, 11.0, 17.0, 19.0, 17.0, 29.0, 22.0, 30.0, 37.0, 37.0, 32.0, 41.0, 37.0, 40.0, 38.0, 44.0, 47.0, 44.0, 43.0, 32.0, 48.0, 37.0, 39.0, 31.0, 30.0, 29.0, 21.0, 20.0, 13.0, 10.0, 18.0, 11.0, 5.0, 8.0, 4.0, 7.0, 5.0, 6.0, 0.0, 3.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.2907615900039673, -0.2819337546825409, -0.2731059193611145, -0.2642780840396881, -0.2554502487182617, -0.24662242829799652, -0.23779460787773132, -0.22896677255630493, -0.22013893723487854, -0.21131110191345215, -0.20248326659202576, -0.19365544617176056, -0.18482761085033417, -0.17599977552890778, -0.16717195510864258, -0.1583441197872162, -0.1495162844657898, -0.1406884491443634, -0.131860613822937, -0.12303279340267181, -0.11420495808124542, -0.10537712275981903, -0.09654929488897324, -0.08772146701812744, -0.07889363169670105, -0.07006579637527466, -0.061237968504428864, -0.05241013690829277, -0.04358230531215668, -0.034754473716020584, -0.02592664211988449, -0.017098810523748398, -0.008270978927612305, 0.0005568526685237885, 0.009384684264659882, 0.018212515860795975, 0.027040347456932068, 0.03586817905306816, 0.044696010649204254, 0.05352384224534035, 0.06235167384147644, 0.07117950916290283, 0.08000733703374863, 0.08883516490459442, 0.09766300022602081, 0.1064908355474472, 0.115318663418293, 0.1241464912891388, 0.13297432661056519, 0.14180216193199158, 0.15062999725341797, 0.15945781767368317, 0.16828565299510956, 0.17711348831653595, 0.18594130873680115, 0.19476914405822754, 0.20359697937965393, 0.21242481470108032, 0.2212526500225067, 0.2300804704427719, 0.2389083057641983, 0.2477361410856247, 0.2565639615058899, 0.2653917968273163, 0.2742196321487427]}, "gradients/decoder.transformer.h.3.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 5.0, 4.0, 3.0, 6.0, 12.0, 7.0, 7.0, 17.0, 13.0, 13.0, 19.0, 22.0, 21.0, 34.0, 30.0, 31.0, 28.0, 41.0, 36.0, 34.0, 39.0, 49.0, 43.0, 45.0, 34.0, 34.0, 39.0, 55.0, 42.0, 20.0, 28.0, 21.0, 30.0, 18.0, 21.0, 23.0, 9.0, 18.0, 8.0, 11.0, 10.0, 8.0, 7.0, 5.0, 3.0, 1.0, 2.0, 4.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0419921875, -0.040780067443847656, -0.03956794738769531, -0.03835582733154297, -0.037143707275390625, -0.03593158721923828, -0.03471946716308594, -0.033507347106933594, -0.03229522705078125, -0.031083106994628906, -0.029870986938476562, -0.02865886688232422, -0.027446746826171875, -0.02623462677001953, -0.025022506713867188, -0.023810386657714844, -0.0225982666015625, -0.021386146545410156, -0.020174026489257812, -0.01896190643310547, -0.017749786376953125, -0.01653766632080078, -0.015325546264648438, -0.014113426208496094, -0.01290130615234375, -0.011689186096191406, -0.010477066040039062, -0.009264945983886719, -0.008052825927734375, -0.006840705871582031, -0.0056285858154296875, -0.004416465759277344, -0.003204345703125, -0.0019922256469726562, -0.0007801055908203125, 0.00043201446533203125, 0.001644134521484375, 0.0028562545776367188, 0.0040683746337890625, 0.005280494689941406, 0.00649261474609375, 0.007704734802246094, 0.008916854858398438, 0.010128974914550781, 0.011341094970703125, 0.012553215026855469, 0.013765335083007812, 0.014977455139160156, 0.0161895751953125, 0.017401695251464844, 0.018613815307617188, 0.01982593536376953, 0.021038055419921875, 0.02225017547607422, 0.023462295532226562, 0.024674415588378906, 0.02588653564453125, 0.027098655700683594, 0.028310775756835938, 0.02952289581298828, 0.030735015869140625, 0.03194713592529297, 0.03315925598144531, 0.034371376037597656, 0.03558349609375]}, "gradients/decoder.transformer.h.3.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 4.0, 3.0, 6.0, 6.0, 6.0, 16.0, 20.0, 19.0, 32.0, 29.0, 74.0, 75.0, 102.0, 179.0, 276.0, 484.0, 2303.0, 4065922.0, 122703.0, 926.0, 393.0, 219.0, 143.0, 86.0, 65.0, 53.0, 35.0, 35.0, 21.0, 15.0, 11.0, 11.0, 6.0, 4.0, 4.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6767578125, -0.6524276733398438, -0.6280975341796875, -0.6037673950195312, -0.579437255859375, -0.5551071166992188, -0.5307769775390625, -0.5064468383789062, -0.48211669921875, -0.45778656005859375, -0.4334564208984375, -0.40912628173828125, -0.384796142578125, -0.36046600341796875, -0.3361358642578125, -0.31180572509765625, -0.2874755859375, -0.26314544677734375, -0.2388153076171875, -0.21448516845703125, -0.190155029296875, -0.16582489013671875, -0.1414947509765625, -0.11716461181640625, -0.09283447265625, -0.06850433349609375, -0.0441741943359375, -0.01984405517578125, 0.004486083984375, 0.02881622314453125, 0.0531463623046875, 0.07747650146484375, 0.101806640625, 0.12613677978515625, 0.1504669189453125, 0.17479705810546875, 0.199127197265625, 0.22345733642578125, 0.2477874755859375, 0.27211761474609375, 0.29644775390625, 0.32077789306640625, 0.3451080322265625, 0.36943817138671875, 0.393768310546875, 0.41809844970703125, 0.4424285888671875, 0.46675872802734375, 0.4910888671875, 0.5154190063476562, 0.5397491455078125, 0.5640792846679688, 0.588409423828125, 0.6127395629882812, 0.6370697021484375, 0.6613998413085938, 0.68572998046875, 0.7100601196289062, 0.7343902587890625, 0.7587203979492188, 0.783050537109375, 0.8073806762695312, 0.8317108154296875, 0.8560409545898438, 0.88037109375]}, "gradients/decoder.transformer.h.3.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 4.0, 4.0, 4.0, 6.0, 8.0, 10.0, 12.0, 17.0, 18.0, 26.0, 34.0, 46.0, 48.0, 66.0, 96.0, 121.0, 158.0, 225.0, 362.0, 507.0, 649.0, 461.0, 327.0, 222.0, 149.0, 121.0, 101.0, 62.0, 38.0, 48.0, 33.0, 20.0, 18.0, 14.0, 13.0, 8.0, 7.0, 4.0, 1.0, 5.0, 3.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0718994140625, -0.06987428665161133, -0.06784915924072266, -0.06582403182983398, -0.06379890441894531, -0.06177377700805664, -0.05974864959716797, -0.0577235221862793, -0.055698394775390625, -0.05367326736450195, -0.05164813995361328, -0.04962301254272461, -0.04759788513183594, -0.045572757720947266, -0.043547630310058594, -0.04152250289916992, -0.03949737548828125, -0.03747224807739258, -0.035447120666503906, -0.033421993255615234, -0.03139686584472656, -0.02937173843383789, -0.02734661102294922, -0.025321483612060547, -0.023296356201171875, -0.021271228790283203, -0.01924610137939453, -0.01722097396850586, -0.015195846557617188, -0.013170719146728516, -0.011145591735839844, -0.009120464324951172, -0.0070953369140625, -0.005070209503173828, -0.0030450820922851562, -0.0010199546813964844, 0.0010051727294921875, 0.0030303001403808594, 0.005055427551269531, 0.007080554962158203, 0.009105682373046875, 0.011130809783935547, 0.013155937194824219, 0.01518106460571289, 0.017206192016601562, 0.019231319427490234, 0.021256446838378906, 0.023281574249267578, 0.02530670166015625, 0.027331829071044922, 0.029356956481933594, 0.031382083892822266, 0.03340721130371094, 0.03543233871459961, 0.03745746612548828, 0.03948259353637695, 0.041507720947265625, 0.0435328483581543, 0.04555797576904297, 0.04758310317993164, 0.04960823059082031, 0.051633358001708984, 0.053658485412597656, 0.05568361282348633, 0.057708740234375]}, "gradients/decoder.transformer.h.3.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 3.0, 2.0, 5.0, 3.0, 1.0, 11.0, 10.0, 14.0, 26.0, 23.0, 44.0, 67.0, 121.0, 235.0, 631.0, 2092.0, 11639.0, 109398.0, 3332128.0, 692741.0, 37885.0, 5155.0, 1156.0, 397.0, 182.0, 89.0, 64.0, 36.0, 39.0, 18.0, 24.0, 12.0, 11.0, 5.0, 4.0, 7.0, 5.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2177734375, -0.2109222412109375, -0.204071044921875, -0.1972198486328125, -0.19036865234375, -0.1835174560546875, -0.176666259765625, -0.1698150634765625, -0.1629638671875, -0.1561126708984375, -0.149261474609375, -0.1424102783203125, -0.13555908203125, -0.1287078857421875, -0.121856689453125, -0.1150054931640625, -0.108154296875, -0.1013031005859375, -0.094451904296875, -0.0876007080078125, -0.08074951171875, -0.0738983154296875, -0.067047119140625, -0.0601959228515625, -0.0533447265625, -0.0464935302734375, -0.039642333984375, -0.0327911376953125, -0.02593994140625, -0.0190887451171875, -0.012237548828125, -0.0053863525390625, 0.00146484375, 0.0083160400390625, 0.015167236328125, 0.0220184326171875, 0.02886962890625, 0.0357208251953125, 0.042572021484375, 0.0494232177734375, 0.0562744140625, 0.0631256103515625, 0.069976806640625, 0.0768280029296875, 0.08367919921875, 0.0905303955078125, 0.097381591796875, 0.1042327880859375, 0.111083984375, 0.1179351806640625, 0.124786376953125, 0.1316375732421875, 0.13848876953125, 0.1453399658203125, 0.152191162109375, 0.1590423583984375, 0.1658935546875, 0.1727447509765625, 0.179595947265625, 0.1864471435546875, 0.19329833984375, 0.2001495361328125, 0.207000732421875, 0.2138519287109375, 0.220703125]}, "gradients/decoder.transformer.h.3.ln_2.weight": {"_type": "histogram", "values": [3.0, 95.0, 579.0, 310.0, 33.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17676660418510437, -0.11371784657239914, -0.05066908895969391, 0.012379676103591919, 0.07542842626571655, 0.1384771764278412, 0.2015259563922882, 0.26457470655441284, 0.3276234567165375, 0.3906722068786621, 0.45372098684310913, 0.5167697668075562, 0.5798184871673584, 0.6428672075271606, 0.7059160470962524, 0.7689647674560547, 0.8320134878158569, 0.895062267780304, 0.9581109881401062, 1.0211597681045532, 1.0842084884643555, 1.1472573280334473, 1.2103060483932495, 1.2733547687530518, 1.3364036083221436, 1.3994523286819458, 1.4625011682510376, 1.5255498886108398, 1.588598608970642, 1.6516473293304443, 1.7146961688995361, 1.7777448892593384, 1.8407938480377197, 1.903842568397522, 1.9668914079666138, 2.029940128326416, 2.092988967895508, 2.1560375690460205, 2.2190864086151123, 2.282135248184204, 2.345183849334717, 2.4082326889038086, 2.4712812900543213, 2.534330129623413, 2.597378969192505, 2.6604275703430176, 2.7234764099121094, 2.786525249481201, 2.849574089050293, 2.9126229286193848, 2.9756715297698975, 3.0387203693389893, 3.101769208908081, 3.1648178100585938, 3.2278666496276855, 3.2909154891967773, 3.35396409034729, 3.417012929916382, 3.4800615310668945, 3.5431103706359863, 3.606159210205078, 3.669207811355591, 3.7322566509246826, 3.7953054904937744, 3.858354091644287]}, "gradients/decoder.transformer.h.3.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 11.0, 4.0, 4.0, 6.0, 9.0, 8.0, 11.0, 14.0, 15.0, 21.0, 13.0, 24.0, 28.0, 27.0, 37.0, 33.0, 32.0, 27.0, 36.0, 46.0, 39.0, 27.0, 32.0, 47.0, 40.0, 42.0, 39.0, 39.0, 37.0, 33.0, 37.0, 23.0, 32.0, 19.0, 24.0, 21.0, 13.0, 16.0, 11.0, 6.0, 8.0, 5.0, 3.0, 5.0, 2.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.23844122886657715, -0.230868399143219, -0.22329555451869965, -0.2157227098941803, -0.20814988017082214, -0.200577050447464, -0.19300420582294464, -0.1854313611984253, -0.17785853147506714, -0.17028570175170898, -0.16271285712718964, -0.1551400125026703, -0.14756718277931213, -0.13999435305595398, -0.13242150843143463, -0.12484867125749588, -0.11727583408355713, -0.10970299690961838, -0.10213015973567963, -0.09455732256174088, -0.08698448538780212, -0.07941164821386337, -0.07183881103992462, -0.06426597386598587, -0.05669313669204712, -0.04912029951810837, -0.04154746234416962, -0.033974625170230865, -0.026401787996292114, -0.018828950822353363, -0.011256113648414612, -0.0036832764744758606, 0.0038895606994628906, 0.011462397873401642, 0.019035235047340393, 0.026608072221279144, 0.034180909395217896, 0.04175374656915665, 0.0493265837430954, 0.05689942091703415, 0.0644722580909729, 0.07204509526491165, 0.0796179324388504, 0.08719076961278915, 0.0947636067867279, 0.10233644396066666, 0.10990928113460541, 0.11748211830854416, 0.1250549554824829, 0.13262778520584106, 0.1402006298303604, 0.14777347445487976, 0.15534630417823792, 0.16291913390159607, 0.17049197852611542, 0.17806482315063477, 0.18563765287399292, 0.19321048259735107, 0.20078332722187042, 0.20835617184638977, 0.21592900156974792, 0.22350183129310608, 0.23107467591762543, 0.23864752054214478, 0.24622035026550293]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 6.0, 8.0, 7.0, 5.0, 13.0, 8.0, 8.0, 19.0, 24.0, 18.0, 23.0, 40.0, 33.0, 32.0, 41.0, 47.0, 35.0, 49.0, 34.0, 53.0, 54.0, 53.0, 36.0, 43.0, 37.0, 38.0, 41.0, 35.0, 30.0, 26.0, 14.0, 24.0, 18.0, 10.0, 8.0, 6.0, 3.0, 6.0, 6.0, 6.0, 5.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.048309326171875, -0.046953678131103516, -0.04559803009033203, -0.04424238204956055, -0.04288673400878906, -0.04153108596801758, -0.040175437927246094, -0.03881978988647461, -0.037464141845703125, -0.03610849380493164, -0.034752845764160156, -0.03339719772338867, -0.03204154968261719, -0.030685901641845703, -0.02933025360107422, -0.027974605560302734, -0.02661895751953125, -0.025263309478759766, -0.02390766143798828, -0.022552013397216797, -0.021196365356445312, -0.019840717315673828, -0.018485069274902344, -0.01712942123413086, -0.015773773193359375, -0.01441812515258789, -0.013062477111816406, -0.011706829071044922, -0.010351181030273438, -0.008995532989501953, -0.007639884948730469, -0.006284236907958984, -0.0049285888671875, -0.0035729408264160156, -0.0022172927856445312, -0.0008616447448730469, 0.0004940032958984375, 0.0018496513366699219, 0.0032052993774414062, 0.004560947418212891, 0.005916595458984375, 0.007272243499755859, 0.008627891540527344, 0.009983539581298828, 0.011339187622070312, 0.012694835662841797, 0.014050483703613281, 0.015406131744384766, 0.01676177978515625, 0.018117427825927734, 0.01947307586669922, 0.020828723907470703, 0.022184371948242188, 0.023540019989013672, 0.024895668029785156, 0.02625131607055664, 0.027606964111328125, 0.02896261215209961, 0.030318260192871094, 0.03167390823364258, 0.03302955627441406, 0.03438520431518555, 0.03574085235595703, 0.037096500396728516, 0.0384521484375]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 4.0, 2.0, 4.0, 8.0, 4.0, 12.0, 25.0, 37.0, 58.0, 82.0, 106.0, 178.0, 312.0, 499.0, 830.0, 1288.0, 1887.0, 3260.0, 5508.0, 8874.0, 15602.0, 27261.0, 50445.0, 97819.0, 247584.0, 347092.0, 110664.0, 56498.0, 30534.0, 17043.0, 9819.0, 5878.0, 3417.0, 2243.0, 1388.0, 821.0, 528.0, 338.0, 228.0, 144.0, 80.0, 47.0, 31.0, 29.0, 22.0, 16.0, 11.0, 3.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0], "bins": [-0.00036406517028808594, -0.00035338476300239563, -0.0003427043557167053, -0.000332023948431015, -0.0003213435411453247, -0.0003106631338596344, -0.0002999827265739441, -0.0002893023192882538, -0.0002786219120025635, -0.00026794150471687317, -0.00025726109743118286, -0.00024658069014549255, -0.00023590028285980225, -0.00022521987557411194, -0.00021453946828842163, -0.00020385906100273132, -0.00019317865371704102, -0.0001824982464313507, -0.0001718178391456604, -0.0001611374318599701, -0.00015045702457427979, -0.00013977661728858948, -0.00012909621000289917, -0.00011841580271720886, -0.00010773539543151855, -9.705498814582825e-05, -8.637458086013794e-05, -7.569417357444763e-05, -6.501376628875732e-05, -5.4333359003067017e-05, -4.365295171737671e-05, -3.29725444316864e-05, -2.2292137145996094e-05, -1.1611729860305786e-05, -9.313225746154785e-07, 9.749084711074829e-06, 2.0429491996765137e-05, 3.1109899282455444e-05, 4.179030656814575e-05, 5.247071385383606e-05, 6.315112113952637e-05, 7.383152842521667e-05, 8.451193571090698e-05, 9.519234299659729e-05, 0.0001058727502822876, 0.0001165531575679779, 0.0001272335648536682, 0.00013791397213935852, 0.00014859437942504883, 0.00015927478671073914, 0.00016995519399642944, 0.00018063560128211975, 0.00019131600856781006, 0.00020199641585350037, 0.00021267682313919067, 0.00022335723042488098, 0.0002340376377105713, 0.0002447180449962616, 0.0002553984522819519, 0.0002660788595676422, 0.0002767592668533325, 0.00028743967413902283, 0.00029812008142471313, 0.00030880048871040344, 0.00031948089599609375]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 1.0, 5.0, 4.0, 3.0, 8.0, 8.0, 3.0, 11.0, 12.0, 17.0, 11.0, 16.0, 22.0, 16.0, 24.0, 29.0, 22.0, 30.0, 35.0, 37.0, 31.0, 25.0, 38.0, 37.0, 1060.0, 42.0, 36.0, 34.0, 37.0, 42.0, 40.0, 35.0, 36.0, 31.0, 28.0, 34.0, 19.0, 13.0, 13.0, 14.0, 8.0, 16.0, 15.0, 9.0, 8.0, 7.0, 7.0, 2.0, 3.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.03240966796875, -0.03129100799560547, -0.030172348022460938, -0.029053688049316406, -0.027935028076171875, -0.026816368103027344, -0.025697708129882812, -0.02457904815673828, -0.02346038818359375, -0.02234172821044922, -0.021223068237304688, -0.020104408264160156, -0.018985748291015625, -0.017867088317871094, -0.016748428344726562, -0.01562976837158203, -0.0145111083984375, -0.013392448425292969, -0.012273788452148438, -0.011155128479003906, -0.010036468505859375, -0.008917808532714844, -0.0077991485595703125, -0.006680488586425781, -0.00556182861328125, -0.004443168640136719, -0.0033245086669921875, -0.0022058486938476562, -0.001087188720703125, 3.147125244140625e-05, 0.0011501312255859375, 0.0022687911987304688, 0.003387451171875, 0.004506111145019531, 0.0056247711181640625, 0.006743431091308594, 0.007862091064453125, 0.008980751037597656, 0.010099411010742188, 0.011218070983886719, 0.01233673095703125, 0.013455390930175781, 0.014574050903320312, 0.015692710876464844, 0.016811370849609375, 0.017930030822753906, 0.019048690795898438, 0.02016735076904297, 0.0212860107421875, 0.02240467071533203, 0.023523330688476562, 0.024641990661621094, 0.025760650634765625, 0.026879310607910156, 0.027997970581054688, 0.02911663055419922, 0.03023529052734375, 0.03135395050048828, 0.03247261047363281, 0.033591270446777344, 0.034709930419921875, 0.035828590393066406, 0.03694725036621094, 0.03806591033935547, 0.0391845703125]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 2.0, 7.0, 5.0, 7.0, 14.0, 9.0, 14.0, 11.0, 16.0, 9.0, 20.0, 19.0, 21.0, 40.0, 26.0, 35.0, 33.0, 46.0, 90.0, 174.0, 500.0, 2677.0, 45136.0, 2042755.0, 4134.0, 703.0, 220.0, 83.0, 50.0, 40.0, 19.0, 29.0, 26.0, 28.0, 14.0, 22.0, 18.0, 11.0, 18.0, 9.0, 10.0, 7.0, 6.0, 10.0, 2.0, 5.0, 4.0, 1.0, 3.0, 2.0, 0.0, 1.0], "bins": [-4.38690185546875e-05, -4.262011498212814e-05, -4.137121140956879e-05, -4.012230783700943e-05, -3.887340426445007e-05, -3.7624500691890717e-05, -3.637559711933136e-05, -3.5126693546772e-05, -3.3877789974212646e-05, -3.262888640165329e-05, -3.137998282909393e-05, -3.0131079256534576e-05, -2.888217568397522e-05, -2.7633272111415863e-05, -2.6384368538856506e-05, -2.513546496629715e-05, -2.3886561393737793e-05, -2.2637657821178436e-05, -2.138875424861908e-05, -2.0139850676059723e-05, -1.8890947103500366e-05, -1.764204353094101e-05, -1.6393139958381653e-05, -1.5144236385822296e-05, -1.389533281326294e-05, -1.2646429240703583e-05, -1.1397525668144226e-05, -1.014862209558487e-05, -8.899718523025513e-06, -7.650814950466156e-06, -6.401911377906799e-06, -5.153007805347443e-06, -3.904104232788086e-06, -2.6552006602287292e-06, -1.4062970876693726e-06, -1.5739351511001587e-07, 1.0915100574493408e-06, 2.3404136300086975e-06, 3.589317202568054e-06, 4.838220775127411e-06, 6.087124347686768e-06, 7.336027920246124e-06, 8.584931492805481e-06, 9.833835065364838e-06, 1.1082738637924194e-05, 1.2331642210483551e-05, 1.3580545783042908e-05, 1.4829449355602264e-05, 1.607835292816162e-05, 1.7327256500720978e-05, 1.8576160073280334e-05, 1.982506364583969e-05, 2.1073967218399048e-05, 2.2322870790958405e-05, 2.357177436351776e-05, 2.4820677936077118e-05, 2.6069581508636475e-05, 2.731848508119583e-05, 2.8567388653755188e-05, 2.9816292226314545e-05, 3.10651957988739e-05, 3.231409937143326e-05, 3.3563002943992615e-05, 3.481190651655197e-05, 3.606081008911133e-05]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 6.0, 8.0, 7.0, 5.0, 13.0, 8.0, 8.0, 19.0, 24.0, 18.0, 23.0, 40.0, 33.0, 32.0, 41.0, 47.0, 35.0, 49.0, 34.0, 53.0, 54.0, 53.0, 36.0, 43.0, 37.0, 38.0, 41.0, 35.0, 30.0, 26.0, 14.0, 24.0, 18.0, 10.0, 8.0, 6.0, 3.0, 6.0, 6.0, 6.0, 5.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.048309326171875, -0.046953678131103516, -0.04559803009033203, -0.04424238204956055, -0.04288673400878906, -0.04153108596801758, -0.040175437927246094, -0.03881978988647461, -0.037464141845703125, -0.03610849380493164, -0.034752845764160156, -0.03339719772338867, -0.03204154968261719, -0.030685901641845703, -0.02933025360107422, -0.027974605560302734, -0.02661895751953125, -0.025263309478759766, -0.02390766143798828, -0.022552013397216797, -0.021196365356445312, -0.019840717315673828, -0.018485069274902344, -0.01712942123413086, -0.015773773193359375, -0.01441812515258789, -0.013062477111816406, -0.011706829071044922, -0.010351181030273438, -0.008995532989501953, -0.007639884948730469, -0.006284236907958984, -0.0049285888671875, -0.0035729408264160156, -0.0022172927856445312, -0.0008616447448730469, 0.0004940032958984375, 0.0018496513366699219, 0.0032052993774414062, 0.004560947418212891, 0.005916595458984375, 0.007272243499755859, 0.008627891540527344, 0.009983539581298828, 0.011339187622070312, 0.012694835662841797, 0.014050483703613281, 0.015406131744384766, 0.01676177978515625, 0.018117427825927734, 0.01947307586669922, 0.020828723907470703, 0.022184371948242188, 0.023540019989013672, 0.024895668029785156, 0.02625131607055664, 0.027606964111328125, 0.02896261215209961, 0.030318260192871094, 0.03167390823364258, 0.03302955627441406, 0.03438520431518555, 0.03574085235595703, 0.037096500396728516, 0.0384521484375]}, "gradients/decoder.transformer.h.3.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 7.0, 6.0, 18.0, 25.0, 22.0, 40.0, 54.0, 94.0, 111.0, 179.0, 311.0, 430.0, 739.0, 1040.0, 1672.0, 2546.0, 4145.0, 6647.0, 10773.0, 17685.0, 29695.0, 51469.0, 91803.0, 162704.0, 225507.0, 185266.0, 107942.0, 60245.0, 34163.0, 20540.0, 12213.0, 7469.0, 4691.0, 2930.0, 1868.0, 1270.0, 759.0, 510.0, 327.0, 228.0, 133.0, 98.0, 58.0, 31.0, 29.0, 24.0, 11.0, 12.0, 9.0, 6.0, 5.0, 4.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.045440673828125, -0.044048309326171875, -0.04265594482421875, -0.041263580322265625, -0.0398712158203125, -0.038478851318359375, -0.03708648681640625, -0.035694122314453125, -0.0343017578125, -0.032909393310546875, -0.03151702880859375, -0.030124664306640625, -0.0287322998046875, -0.027339935302734375, -0.02594757080078125, -0.024555206298828125, -0.023162841796875, -0.021770477294921875, -0.02037811279296875, -0.018985748291015625, -0.0175933837890625, -0.016201019287109375, -0.01480865478515625, -0.013416290283203125, -0.01202392578125, -0.010631561279296875, -0.00923919677734375, -0.007846832275390625, -0.0064544677734375, -0.005062103271484375, -0.00366973876953125, -0.002277374267578125, -0.000885009765625, 0.000507354736328125, 0.00189971923828125, 0.003292083740234375, 0.0046844482421875, 0.006076812744140625, 0.00746917724609375, 0.008861541748046875, 0.01025390625, 0.011646270751953125, 0.01303863525390625, 0.014430999755859375, 0.0158233642578125, 0.017215728759765625, 0.01860809326171875, 0.020000457763671875, 0.021392822265625, 0.022785186767578125, 0.02417755126953125, 0.025569915771484375, 0.0269622802734375, 0.028354644775390625, 0.02974700927734375, 0.031139373779296875, 0.03253173828125, 0.033924102783203125, 0.03531646728515625, 0.036708831787109375, 0.0381011962890625, 0.039493560791015625, 0.04088592529296875, 0.042278289794921875, 0.043670654296875]}, "gradients/decoder.transformer.h.3.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 1.0, 0.0, 3.0, 1.0, 4.0, 4.0, 6.0, 1.0, 6.0, 1.0, 8.0, 9.0, 8.0, 12.0, 15.0, 16.0, 13.0, 21.0, 26.0, 29.0, 34.0, 25.0, 45.0, 41.0, 43.0, 60.0, 91.0, 146.0, 196.0, 1336.0, 232.0, 119.0, 75.0, 69.0, 56.0, 36.0, 35.0, 35.0, 36.0, 22.0, 23.0, 21.0, 20.0, 12.0, 14.0, 12.0, 8.0, 6.0, 4.0, 4.0, 7.0, 4.0, 3.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 3.0], "bins": [-0.0966796875, -0.09380340576171875, -0.0909271240234375, -0.08805084228515625, -0.085174560546875, -0.08229827880859375, -0.0794219970703125, -0.07654571533203125, -0.07366943359375, -0.07079315185546875, -0.0679168701171875, -0.06504058837890625, -0.062164306640625, -0.05928802490234375, -0.0564117431640625, -0.05353546142578125, -0.0506591796875, -0.04778289794921875, -0.0449066162109375, -0.04203033447265625, -0.039154052734375, -0.03627777099609375, -0.0334014892578125, -0.03052520751953125, -0.02764892578125, -0.02477264404296875, -0.0218963623046875, -0.01902008056640625, -0.016143798828125, -0.01326751708984375, -0.0103912353515625, -0.00751495361328125, -0.004638671875, -0.00176239013671875, 0.0011138916015625, 0.00399017333984375, 0.006866455078125, 0.00974273681640625, 0.0126190185546875, 0.01549530029296875, 0.01837158203125, 0.02124786376953125, 0.0241241455078125, 0.02700042724609375, 0.029876708984375, 0.03275299072265625, 0.0356292724609375, 0.03850555419921875, 0.0413818359375, 0.04425811767578125, 0.0471343994140625, 0.05001068115234375, 0.052886962890625, 0.05576324462890625, 0.0586395263671875, 0.06151580810546875, 0.06439208984375, 0.06726837158203125, 0.0701446533203125, 0.07302093505859375, 0.075897216796875, 0.07877349853515625, 0.0816497802734375, 0.08452606201171875, 0.08740234375]}, "gradients/decoder.transformer.h.3.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 4.0, 1.0, 9.0, 7.0, 7.0, 5.0, 16.0, 17.0, 20.0, 34.0, 37.0, 67.0, 82.0, 105.0, 164.0, 235.0, 357.0, 757.0, 2956.0, 30434.0, 1884888.0, 1196410.0, 24636.0, 2547.0, 735.0, 388.0, 245.0, 161.0, 110.0, 74.0, 49.0, 40.0, 27.0, 22.0, 17.0, 8.0, 10.0, 10.0, 6.0, 3.0, 3.0, 2.0, 0.0, 0.0, 4.0, 3.0, 1.0, 0.0, 3.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.2022705078125, -0.19594192504882812, -0.18961334228515625, -0.18328475952148438, -0.1769561767578125, -0.17062759399414062, -0.16429901123046875, -0.15797042846679688, -0.151641845703125, -0.14531326293945312, -0.13898468017578125, -0.13265609741210938, -0.1263275146484375, -0.11999893188476562, -0.11367034912109375, -0.10734176635742188, -0.10101318359375, -0.09468460083007812, -0.08835601806640625, -0.08202743530273438, -0.0756988525390625, -0.06937026977539062, -0.06304168701171875, -0.056713104248046875, -0.050384521484375, -0.044055938720703125, -0.03772735595703125, -0.031398773193359375, -0.0250701904296875, -0.018741607666015625, -0.01241302490234375, -0.006084442138671875, 0.000244140625, 0.006572723388671875, 0.01290130615234375, 0.019229888916015625, 0.0255584716796875, 0.031887054443359375, 0.03821563720703125, 0.044544219970703125, 0.050872802734375, 0.057201385498046875, 0.06352996826171875, 0.06985855102539062, 0.0761871337890625, 0.08251571655273438, 0.08884429931640625, 0.09517288208007812, 0.10150146484375, 0.10783004760742188, 0.11415863037109375, 0.12048721313476562, 0.1268157958984375, 0.13314437866210938, 0.13947296142578125, 0.14580154418945312, 0.152130126953125, 0.15845870971679688, 0.16478729248046875, 0.17111587524414062, 0.1774444580078125, 0.18377304077148438, 0.19010162353515625, 0.19643020629882812, 0.2027587890625]}, "gradients/decoder.transformer.h.3.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 13.0, 82.0, 309.0, 411.0, 169.0, 28.0, 6.0, 0.0, 0.0, 1.0], "bins": [-2.4707703590393066, -2.427605152130127, -2.3844399452209473, -2.3412747383117676, -2.298109531402588, -2.254944324493408, -2.2117791175842285, -2.168613910675049, -2.125448703765869, -2.0822834968566895, -2.0391182899475098, -1.99595308303833, -1.9527878761291504, -1.9096226692199707, -1.866457462310791, -1.8232922554016113, -1.780126929283142, -1.7369617223739624, -1.6937965154647827, -1.650631308555603, -1.6074661016464233, -1.5643008947372437, -1.5211355686187744, -1.4779703617095947, -1.434805154800415, -1.3916399478912354, -1.3484747409820557, -1.305309534072876, -1.2621443271636963, -1.2189791202545166, -1.175813913345337, -1.1326487064361572, -1.0894834995269775, -1.0463182926177979, -1.0031530857086182, -0.9599878787994385, -0.9168226718902588, -0.8736574649810791, -0.8304921984672546, -0.787326991558075, -0.7441617846488953, -0.7009965777397156, -0.6578313708305359, -0.6146661043167114, -0.5715008974075317, -0.528335690498352, -0.48517048358917236, -0.4420052766799927, -0.398840069770813, -0.3556748628616333, -0.3125096559524536, -0.26934441924095154, -0.22617921233177185, -0.18301400542259216, -0.1398487687110901, -0.0966835618019104, -0.05351835489273071, -0.010353140532970428, 0.032812073826789856, 0.07597729563713074, 0.11914250254631042, 0.1623077094554901, 0.2054729461669922, 0.24863815307617188, 0.29180335998535156]}, "gradients/decoder.transformer.h.3.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 4.0, 4.0, 7.0, 4.0, 11.0, 7.0, 20.0, 17.0, 21.0, 25.0, 25.0, 26.0, 36.0, 27.0, 41.0, 43.0, 51.0, 46.0, 33.0, 37.0, 50.0, 33.0, 50.0, 51.0, 37.0, 44.0, 29.0, 31.0, 31.0, 21.0, 27.0, 16.0, 12.0, 19.0, 11.0, 9.0, 6.0, 6.0, 9.0, 10.0, 3.0, 8.0, 5.0, 0.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3907548189163208, -0.37912899255752563, -0.3675031363964081, -0.3558773100376129, -0.34425148367881775, -0.3326256275177002, -0.32099980115890503, -0.30937397480010986, -0.2977481484413147, -0.28612232208251953, -0.274496465921402, -0.2628706395626068, -0.25124481320381165, -0.23961897194385529, -0.22799313068389893, -0.21636730432510376, -0.2047414481639862, -0.19311560690402985, -0.18148978054523468, -0.16986393928527832, -0.15823811292648315, -0.1466122716665268, -0.13498643040657043, -0.12336059659719467, -0.11173476278781891, -0.10010892897844315, -0.08848309516906738, -0.07685725390911102, -0.06523142009973526, -0.0536055862903595, -0.04197974503040314, -0.030353911221027374, -0.01872807741165161, -0.007102241739630699, 0.004523593932390213, 0.016149431467056274, 0.027775265276432037, 0.0394010990858078, 0.05102694034576416, 0.06265277415513992, 0.07427860796451569, 0.08590444177389145, 0.09753027558326721, 0.10915611684322357, 0.12078195065259933, 0.1324077844619751, 0.14403362572193146, 0.15565946698188782, 0.16728529334068298, 0.17891113460063934, 0.1905369609594345, 0.20216280221939087, 0.21378862857818604, 0.2254144698381424, 0.23704031109809875, 0.24866613745689392, 0.2602919936180115, 0.27191781997680664, 0.2835436761379242, 0.29516950249671936, 0.3067953288555145, 0.3184211850166321, 0.33004701137542725, 0.3416728377342224, 0.3532986640930176]}, "gradients/decoder.transformer.h.2.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 2.0, 2.0, 6.0, 3.0, 8.0, 13.0, 6.0, 8.0, 13.0, 11.0, 14.0, 18.0, 14.0, 13.0, 25.0, 26.0, 33.0, 46.0, 36.0, 31.0, 37.0, 39.0, 34.0, 54.0, 46.0, 39.0, 43.0, 46.0, 36.0, 31.0, 42.0, 25.0, 23.0, 26.0, 28.0, 24.0, 18.0, 20.0, 15.0, 7.0, 10.0, 6.0, 7.0, 5.0, 3.0, 6.0, 5.0, 1.0, 1.0, 4.0, 4.0, 1.0], "bins": [-0.04437255859375, -0.04314470291137695, -0.041916847229003906, -0.04068899154663086, -0.03946113586425781, -0.038233280181884766, -0.03700542449951172, -0.03577756881713867, -0.034549713134765625, -0.03332185745239258, -0.03209400177001953, -0.030866146087646484, -0.029638290405273438, -0.02841043472290039, -0.027182579040527344, -0.025954723358154297, -0.02472686767578125, -0.023499011993408203, -0.022271156311035156, -0.02104330062866211, -0.019815444946289062, -0.018587589263916016, -0.01735973358154297, -0.016131877899169922, -0.014904022216796875, -0.013676166534423828, -0.012448310852050781, -0.011220455169677734, -0.009992599487304688, -0.00876474380493164, -0.007536888122558594, -0.006309032440185547, -0.0050811767578125, -0.003853321075439453, -0.0026254653930664062, -0.0013976097106933594, -0.0001697540283203125, 0.0010581016540527344, 0.0022859573364257812, 0.003513813018798828, 0.004741668701171875, 0.005969524383544922, 0.007197380065917969, 0.008425235748291016, 0.009653091430664062, 0.01088094711303711, 0.012108802795410156, 0.013336658477783203, 0.01456451416015625, 0.015792369842529297, 0.017020225524902344, 0.01824808120727539, 0.019475936889648438, 0.020703792572021484, 0.02193164825439453, 0.023159503936767578, 0.024387359619140625, 0.025615215301513672, 0.02684307098388672, 0.028070926666259766, 0.029298782348632812, 0.03052663803100586, 0.031754493713378906, 0.03298234939575195, 0.034210205078125]}, "gradients/decoder.transformer.h.2.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 1.0, 5.0, 12.0, 6.0, 10.0, 10.0, 23.0, 30.0, 40.0, 71.0, 96.0, 133.0, 193.0, 260.0, 458.0, 704.0, 1171.0, 2119.0, 3931.0, 7870.0, 17425.0, 44779.0, 191058.0, 1145256.0, 2164892.0, 476406.0, 87272.0, 26742.0, 11274.0, 5333.0, 2805.0, 1477.0, 910.0, 524.0, 326.0, 218.0, 166.0, 94.0, 62.0, 41.0, 34.0, 25.0, 8.0, 12.0, 6.0, 1.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.07110595703125, -0.06883049011230469, -0.06655502319335938, -0.06427955627441406, -0.06200408935546875, -0.05972862243652344, -0.057453155517578125, -0.05517768859863281, -0.0529022216796875, -0.05062675476074219, -0.048351287841796875, -0.04607582092285156, -0.04380035400390625, -0.04152488708496094, -0.039249420166015625, -0.03697395324707031, -0.034698486328125, -0.03242301940917969, -0.030147552490234375, -0.027872085571289062, -0.02559661865234375, -0.023321151733398438, -0.021045684814453125, -0.018770217895507812, -0.0164947509765625, -0.014219284057617188, -0.011943817138671875, -0.009668350219726562, -0.00739288330078125, -0.0051174163818359375, -0.002841949462890625, -0.0005664825439453125, 0.001708984375, 0.0039844512939453125, 0.006259918212890625, 0.008535385131835938, 0.01081085205078125, 0.013086318969726562, 0.015361785888671875, 0.017637252807617188, 0.0199127197265625, 0.022188186645507812, 0.024463653564453125, 0.026739120483398438, 0.02901458740234375, 0.03129005432128906, 0.033565521240234375, 0.03584098815917969, 0.038116455078125, 0.04039192199707031, 0.042667388916015625, 0.04494285583496094, 0.04721832275390625, 0.04949378967285156, 0.051769256591796875, 0.05404472351074219, 0.0563201904296875, 0.05859565734863281, 0.060871124267578125, 0.06314659118652344, 0.06542205810546875, 0.06769752502441406, 0.06997299194335938, 0.07224845886230469, 0.07452392578125]}, "gradients/decoder.transformer.h.2.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 2.0, 2.0, 5.0, 10.0, 6.0, 16.0, 27.0, 49.0, 55.0, 54.0, 78.0, 108.0, 145.0, 182.0, 227.0, 363.0, 501.0, 591.0, 468.0, 330.0, 238.0, 186.0, 106.0, 91.0, 71.0, 45.0, 35.0, 24.0, 15.0, 14.0, 8.0, 3.0, 4.0, 8.0, 6.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.0791015625, -0.07692861557006836, -0.07475566864013672, -0.07258272171020508, -0.07040977478027344, -0.0682368278503418, -0.06606388092041016, -0.06389093399047852, -0.061717987060546875, -0.059545040130615234, -0.057372093200683594, -0.05519914627075195, -0.05302619934082031, -0.05085325241088867, -0.04868030548095703, -0.04650735855102539, -0.04433441162109375, -0.04216146469116211, -0.03998851776123047, -0.03781557083129883, -0.03564262390136719, -0.03346967697143555, -0.031296730041503906, -0.029123783111572266, -0.026950836181640625, -0.024777889251708984, -0.022604942321777344, -0.020431995391845703, -0.018259048461914062, -0.016086101531982422, -0.013913154602050781, -0.01174020767211914, -0.0095672607421875, -0.007394313812255859, -0.005221366882324219, -0.003048419952392578, -0.0008754730224609375, 0.0012974739074707031, 0.0034704208374023438, 0.005643367767333984, 0.007816314697265625, 0.009989261627197266, 0.012162208557128906, 0.014335155487060547, 0.016508102416992188, 0.018681049346923828, 0.02085399627685547, 0.02302694320678711, 0.02519989013671875, 0.02737283706665039, 0.02954578399658203, 0.03171873092651367, 0.03389167785644531, 0.03606462478637695, 0.038237571716308594, 0.040410518646240234, 0.042583465576171875, 0.044756412506103516, 0.046929359436035156, 0.0491023063659668, 0.05127525329589844, 0.05344820022583008, 0.05562114715576172, 0.05779409408569336, 0.059967041015625]}, "gradients/decoder.transformer.h.2.mlp.c_fc.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 3.0, 4.0, 2.0, 1.0, 11.0, 12.0, 23.0, 20.0, 37.0, 53.0, 111.0, 158.0, 247.0, 403.0, 827.0, 1508.0, 3298.0, 7916.0, 22759.0, 85180.0, 471266.0, 2800081.0, 648545.0, 107605.0, 27504.0, 9166.0, 3727.0, 1697.0, 883.0, 495.0, 280.0, 174.0, 120.0, 68.0, 33.0, 26.0, 11.0, 4.0, 7.0, 7.0, 6.0, 2.0, 2.0, 3.0, 1.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09490966796875, -0.0919961929321289, -0.08908271789550781, -0.08616924285888672, -0.08325576782226562, -0.08034229278564453, -0.07742881774902344, -0.07451534271240234, -0.07160186767578125, -0.06868839263916016, -0.06577491760253906, -0.06286144256591797, -0.059947967529296875, -0.05703449249267578, -0.05412101745605469, -0.051207542419433594, -0.0482940673828125, -0.045380592346191406, -0.04246711730957031, -0.03955364227294922, -0.036640167236328125, -0.03372669219970703, -0.030813217163085938, -0.027899742126464844, -0.02498626708984375, -0.022072792053222656, -0.019159317016601562, -0.01624584197998047, -0.013332366943359375, -0.010418891906738281, -0.0075054168701171875, -0.004591941833496094, -0.001678466796875, 0.0012350082397460938, 0.0041484832763671875, 0.007061958312988281, 0.009975433349609375, 0.012888908386230469, 0.015802383422851562, 0.018715858459472656, 0.02162933349609375, 0.024542808532714844, 0.027456283569335938, 0.03036975860595703, 0.033283233642578125, 0.03619670867919922, 0.03911018371582031, 0.042023658752441406, 0.0449371337890625, 0.047850608825683594, 0.05076408386230469, 0.05367755889892578, 0.056591033935546875, 0.05950450897216797, 0.06241798400878906, 0.06533145904541016, 0.06824493408203125, 0.07115840911865234, 0.07407188415527344, 0.07698535919189453, 0.07989883422851562, 0.08281230926513672, 0.08572578430175781, 0.0886392593383789, 0.091552734375]}, "gradients/decoder.transformer.h.2.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 31.0, 279.0, 543.0, 148.0, 11.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.29713204503059387, -0.2419077306985855, -0.18668341636657715, -0.13145911693572998, -0.07623480260372162, -0.021010488271713257, 0.03421381115913391, 0.08943814039230347, 0.14466243982315063, 0.199886754155159, 0.25511106848716736, 0.3103353679180145, 0.3655596971511841, 0.42078399658203125, 0.4760082960128784, 0.5312325954437256, 0.5864568948745728, 0.6416811943054199, 0.6969054937362671, 0.7521297931671143, 0.8073541522026062, 0.8625784516334534, 0.9178027510643005, 0.9730271100997925, 1.0282514095306396, 1.0834757089614868, 1.138700008392334, 1.1939243078231812, 1.2491486072540283, 1.304373025894165, 1.3595972061157227, 1.4148216247558594, 1.4700459241867065, 1.5252702236175537, 1.5804945230484009, 1.635718822479248, 1.6909431219100952, 1.7461674213409424, 1.801391839981079, 1.8566161394119263, 1.9118404388427734, 1.9670647382736206, 2.0222890377044678, 2.0775134563446045, 2.132737636566162, 2.187962055206299, 2.2431862354278564, 2.298410654067993, 2.353634834289551, 2.4088592529296875, 2.464083433151245, 2.519307851791382, 2.5745320320129395, 2.629756450653076, 2.684980630874634, 2.7402050495147705, 2.7954294681549072, 2.850653886795044, 2.9058780670166016, 2.9611024856567383, 3.016326665878296, 3.0715510845184326, 3.1267752647399902, 3.181999683380127, 3.2372238636016846]}, "gradients/decoder.transformer.h.2.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 0.0, 3.0, 4.0, 4.0, 9.0, 8.0, 14.0, 15.0, 11.0, 27.0, 30.0, 31.0, 35.0, 39.0, 43.0, 45.0, 44.0, 64.0, 50.0, 60.0, 58.0, 50.0, 49.0, 48.0, 44.0, 29.0, 36.0, 31.0, 20.0, 20.0, 22.0, 17.0, 22.0, 9.0, 5.0, 6.0, 1.0, 4.0, 5.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.39326047897338867, -0.3835213780403137, -0.37378227710723877, -0.3640432059764862, -0.35430410504341125, -0.3445650041103363, -0.33482593297958374, -0.3250868320465088, -0.31534773111343384, -0.3056086301803589, -0.29586952924728394, -0.28613045811653137, -0.2763913571834564, -0.26665225625038147, -0.2569131851196289, -0.24717408418655396, -0.237434983253479, -0.22769588232040405, -0.2179567962884903, -0.20821771025657654, -0.1984786093235016, -0.18873950839042664, -0.17900042235851288, -0.16926133632659912, -0.15952223539352417, -0.14978313446044922, -0.14004404842853546, -0.1303049623966217, -0.12056586146354675, -0.1108267679810524, -0.10108767449855804, -0.09134858101606369, -0.08160948753356934, -0.07187039405107498, -0.06213130056858063, -0.05239220708608627, -0.04265311360359192, -0.032914020121097565, -0.02317492663860321, -0.013435833156108856, -0.003696739673614502, 0.006042353808879852, 0.015781447291374207, 0.02552054077386856, 0.035259634256362915, 0.04499872773885727, 0.054737821221351624, 0.06447691470384598, 0.07421600818634033, 0.08395510166883469, 0.09369419515132904, 0.1034332886338234, 0.11317238211631775, 0.1229114755988121, 0.13265056908130646, 0.14238965511322021, 0.15212875604629517, 0.16186785697937012, 0.17160694301128387, 0.18134602904319763, 0.19108512997627258, 0.20082423090934753, 0.2105633169412613, 0.22030240297317505, 0.23004150390625]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 2.0, 6.0, 4.0, 8.0, 7.0, 7.0, 7.0, 19.0, 8.0, 14.0, 9.0, 21.0, 22.0, 25.0, 25.0, 34.0, 38.0, 29.0, 38.0, 34.0, 38.0, 43.0, 37.0, 37.0, 51.0, 51.0, 38.0, 37.0, 28.0, 35.0, 26.0, 31.0, 35.0, 31.0, 20.0, 20.0, 12.0, 18.0, 9.0, 11.0, 6.0, 10.0, 6.0, 3.0, 4.0, 6.0, 2.0, 5.0, 1.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.040924072265625, -0.039734840393066406, -0.03854560852050781, -0.03735637664794922, -0.036167144775390625, -0.03497791290283203, -0.03378868103027344, -0.032599449157714844, -0.03141021728515625, -0.030220985412597656, -0.029031753540039062, -0.02784252166748047, -0.026653289794921875, -0.02546405792236328, -0.024274826049804688, -0.023085594177246094, -0.0218963623046875, -0.020707130432128906, -0.019517898559570312, -0.01832866668701172, -0.017139434814453125, -0.01595020294189453, -0.014760971069335938, -0.013571739196777344, -0.01238250732421875, -0.011193275451660156, -0.010004043579101562, -0.008814811706542969, -0.007625579833984375, -0.006436347961425781, -0.0052471160888671875, -0.004057884216308594, -0.00286865234375, -0.0016794204711914062, -0.0004901885986328125, 0.0006990432739257812, 0.001888275146484375, 0.0030775070190429688, 0.0042667388916015625, 0.005455970764160156, 0.00664520263671875, 0.007834434509277344, 0.009023666381835938, 0.010212898254394531, 0.011402130126953125, 0.012591361999511719, 0.013780593872070312, 0.014969825744628906, 0.0161590576171875, 0.017348289489746094, 0.018537521362304688, 0.01972675323486328, 0.020915985107421875, 0.02210521697998047, 0.023294448852539062, 0.024483680725097656, 0.02567291259765625, 0.026862144470214844, 0.028051376342773438, 0.02924060821533203, 0.030429840087890625, 0.03161907196044922, 0.03280830383300781, 0.033997535705566406, 0.035186767578125]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.weight": {"_type": "histogram", "values": [4.0, 1.0, 0.0, 5.0, 2.0, 12.0, 11.0, 20.0, 25.0, 29.0, 51.0, 90.0, 136.0, 178.0, 276.0, 395.0, 623.0, 962.0, 1391.0, 2169.0, 3249.0, 4833.0, 7263.0, 11245.0, 17391.0, 27511.0, 43878.0, 72669.0, 137351.0, 346879.0, 157663.0, 80116.0, 48228.0, 29755.0, 18851.0, 11825.0, 7971.0, 5170.0, 3493.0, 2279.0, 1505.0, 1049.0, 659.0, 446.0, 294.0, 215.0, 131.0, 80.0, 66.0, 39.0, 28.0, 23.0, 14.0, 7.0, 7.0, 5.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0002455711364746094, -0.00023727118968963623, -0.00022897124290466309, -0.00022067129611968994, -0.0002123713493347168, -0.00020407140254974365, -0.0001957714557647705, -0.00018747150897979736, -0.00017917156219482422, -0.00017087161540985107, -0.00016257166862487793, -0.00015427172183990479, -0.00014597177505493164, -0.0001376718282699585, -0.00012937188148498535, -0.00012107193470001221, -0.00011277198791503906, -0.00010447204113006592, -9.617209434509277e-05, -8.787214756011963e-05, -7.957220077514648e-05, -7.127225399017334e-05, -6.29723072052002e-05, -5.467236042022705e-05, -4.6372413635253906e-05, -3.807246685028076e-05, -2.9772520065307617e-05, -2.1472573280334473e-05, -1.3172626495361328e-05, -4.872679710388184e-06, 3.427267074584961e-06, 1.1727213859558105e-05, 2.002716064453125e-05, 2.8327107429504395e-05, 3.662705421447754e-05, 4.4927000999450684e-05, 5.322694778442383e-05, 6.152689456939697e-05, 6.982684135437012e-05, 7.812678813934326e-05, 8.64267349243164e-05, 9.472668170928955e-05, 0.0001030266284942627, 0.00011132657527923584, 0.00011962652206420898, 0.00012792646884918213, 0.00013622641563415527, 0.00014452636241912842, 0.00015282630920410156, 0.0001611262559890747, 0.00016942620277404785, 0.000177726149559021, 0.00018602609634399414, 0.00019432604312896729, 0.00020262598991394043, 0.00021092593669891357, 0.00021922588348388672, 0.00022752583026885986, 0.000235825777053833, 0.00024412572383880615, 0.0002524256706237793, 0.00026072561740875244, 0.0002690255641937256, 0.00027732551097869873, 0.0002856254577636719]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 7.0, 8.0, 11.0, 12.0, 9.0, 11.0, 16.0, 18.0, 31.0, 29.0, 25.0, 31.0, 38.0, 46.0, 42.0, 48.0, 48.0, 42.0, 1065.0, 54.0, 52.0, 44.0, 35.0, 53.0, 40.0, 34.0, 36.0, 35.0, 21.0, 21.0, 17.0, 5.0, 14.0, 14.0, 6.0, 5.0, 5.0, 2.0, 3.0, 0.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.040283203125, -0.038930416107177734, -0.03757762908935547, -0.0362248420715332, -0.03487205505371094, -0.03351926803588867, -0.032166481018066406, -0.03081369400024414, -0.029460906982421875, -0.02810811996459961, -0.026755332946777344, -0.025402545928955078, -0.024049758911132812, -0.022696971893310547, -0.02134418487548828, -0.019991397857666016, -0.01863861083984375, -0.017285823822021484, -0.01593303680419922, -0.014580249786376953, -0.013227462768554688, -0.011874675750732422, -0.010521888732910156, -0.00916910171508789, -0.007816314697265625, -0.006463527679443359, -0.005110740661621094, -0.003757953643798828, -0.0024051666259765625, -0.0010523796081542969, 0.00030040740966796875, 0.0016531944274902344, 0.0030059814453125, 0.004358768463134766, 0.005711555480957031, 0.007064342498779297, 0.008417129516601562, 0.009769916534423828, 0.011122703552246094, 0.01247549057006836, 0.013828277587890625, 0.01518106460571289, 0.016533851623535156, 0.017886638641357422, 0.019239425659179688, 0.020592212677001953, 0.02194499969482422, 0.023297786712646484, 0.02465057373046875, 0.026003360748291016, 0.02735614776611328, 0.028708934783935547, 0.030061721801757812, 0.03141450881958008, 0.032767295837402344, 0.03412008285522461, 0.035472869873046875, 0.03682565689086914, 0.038178443908691406, 0.03953123092651367, 0.04088401794433594, 0.0422368049621582, 0.04358959197998047, 0.044942378997802734, 0.046295166015625]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 2.0, 0.0, 2.0, 1.0, 6.0, 4.0, 3.0, 12.0, 16.0, 6.0, 9.0, 16.0, 29.0, 28.0, 35.0, 36.0, 29.0, 54.0, 65.0, 166.0, 511.0, 3719.0, 2070161.0, 19892.0, 1608.0, 281.0, 124.0, 42.0, 51.0, 33.0, 28.0, 29.0, 29.0, 28.0, 17.0, 15.0, 7.0, 11.0, 10.0, 14.0, 6.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.155801773071289e-05, -5.0076283514499664e-05, -4.859454929828644e-05, -4.711281508207321e-05, -4.5631080865859985e-05, -4.414934664964676e-05, -4.266761243343353e-05, -4.1185878217220306e-05, -3.970414400100708e-05, -3.8222409784793854e-05, -3.674067556858063e-05, -3.52589413523674e-05, -3.3777207136154175e-05, -3.229547291994095e-05, -3.081373870372772e-05, -2.9332004487514496e-05, -2.785027027130127e-05, -2.6368536055088043e-05, -2.4886801838874817e-05, -2.340506762266159e-05, -2.1923333406448364e-05, -2.0441599190235138e-05, -1.895986497402191e-05, -1.7478130757808685e-05, -1.599639654159546e-05, -1.4514662325382233e-05, -1.3032928109169006e-05, -1.155119389295578e-05, -1.0069459676742554e-05, -8.587725460529327e-06, -7.105991244316101e-06, -5.624257028102875e-06, -4.1425228118896484e-06, -2.660788595676422e-06, -1.1790543794631958e-06, 3.026798367500305e-07, 1.7844140529632568e-06, 3.266148269176483e-06, 4.7478824853897095e-06, 6.229616701602936e-06, 7.711350917816162e-06, 9.193085134029388e-06, 1.0674819350242615e-05, 1.2156553566455841e-05, 1.3638287782669067e-05, 1.5120021998882294e-05, 1.660175621509552e-05, 1.8083490431308746e-05, 1.9565224647521973e-05, 2.10469588637352e-05, 2.2528693079948425e-05, 2.401042729616165e-05, 2.5492161512374878e-05, 2.6973895728588104e-05, 2.845562994480133e-05, 2.9937364161014557e-05, 3.141909837722778e-05, 3.290083259344101e-05, 3.4382566809654236e-05, 3.586430102586746e-05, 3.734603524208069e-05, 3.8827769458293915e-05, 4.030950367450714e-05, 4.179123789072037e-05, 4.3272972106933594e-05]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 2.0, 6.0, 4.0, 8.0, 7.0, 7.0, 7.0, 19.0, 8.0, 14.0, 9.0, 21.0, 22.0, 25.0, 25.0, 34.0, 38.0, 29.0, 38.0, 34.0, 38.0, 43.0, 37.0, 37.0, 51.0, 51.0, 38.0, 37.0, 28.0, 35.0, 26.0, 31.0, 35.0, 31.0, 20.0, 20.0, 12.0, 18.0, 9.0, 11.0, 6.0, 10.0, 6.0, 3.0, 4.0, 6.0, 2.0, 5.0, 1.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.040924072265625, -0.039734840393066406, -0.03854560852050781, -0.03735637664794922, -0.036167144775390625, -0.03497791290283203, -0.03378868103027344, -0.032599449157714844, -0.03141021728515625, -0.030220985412597656, -0.029031753540039062, -0.02784252166748047, -0.026653289794921875, -0.02546405792236328, -0.024274826049804688, -0.023085594177246094, -0.0218963623046875, -0.020707130432128906, -0.019517898559570312, -0.01832866668701172, -0.017139434814453125, -0.01595020294189453, -0.014760971069335938, -0.013571739196777344, -0.01238250732421875, -0.011193275451660156, -0.010004043579101562, -0.008814811706542969, -0.007625579833984375, -0.006436347961425781, -0.0052471160888671875, -0.004057884216308594, -0.00286865234375, -0.0016794204711914062, -0.0004901885986328125, 0.0006990432739257812, 0.001888275146484375, 0.0030775070190429688, 0.0042667388916015625, 0.005455970764160156, 0.00664520263671875, 0.007834434509277344, 0.009023666381835938, 0.010212898254394531, 0.011402130126953125, 0.012591361999511719, 0.013780593872070312, 0.014969825744628906, 0.0161590576171875, 0.017348289489746094, 0.018537521362304688, 0.01972675323486328, 0.020915985107421875, 0.02210521697998047, 0.023294448852539062, 0.024483680725097656, 0.02567291259765625, 0.026862144470214844, 0.028051376342773438, 0.02924060821533203, 0.030429840087890625, 0.03161907196044922, 0.03280830383300781, 0.033997535705566406, 0.035186767578125]}, "gradients/decoder.transformer.h.2.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 5.0, 4.0, 11.0, 17.0, 21.0, 42.0, 51.0, 101.0, 176.0, 265.0, 418.0, 703.0, 1192.0, 1970.0, 3357.0, 5809.0, 10019.0, 16981.0, 31270.0, 66258.0, 162508.0, 346923.0, 223646.0, 87680.0, 39705.0, 20771.0, 11735.0, 6926.0, 3988.0, 2428.0, 1394.0, 858.0, 520.0, 282.0, 216.0, 113.0, 71.0, 43.0, 28.0, 31.0, 12.0, 7.0, 4.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.049346923828125, -0.04778861999511719, -0.046230316162109375, -0.04467201232910156, -0.04311370849609375, -0.04155540466308594, -0.039997100830078125, -0.03843879699707031, -0.0368804931640625, -0.03532218933105469, -0.033763885498046875, -0.03220558166503906, -0.03064727783203125, -0.029088973999023438, -0.027530670166015625, -0.025972366333007812, -0.0244140625, -0.022855758666992188, -0.021297454833984375, -0.019739151000976562, -0.01818084716796875, -0.016622543334960938, -0.015064239501953125, -0.013505935668945312, -0.0119476318359375, -0.010389328002929688, -0.008831024169921875, -0.0072727203369140625, -0.00571441650390625, -0.0041561126708984375, -0.002597808837890625, -0.0010395050048828125, 0.000518798828125, 0.0020771026611328125, 0.003635406494140625, 0.0051937103271484375, 0.00675201416015625, 0.008310317993164062, 0.009868621826171875, 0.011426925659179688, 0.0129852294921875, 0.014543533325195312, 0.016101837158203125, 0.017660140991210938, 0.01921844482421875, 0.020776748657226562, 0.022335052490234375, 0.023893356323242188, 0.02545166015625, 0.027009963989257812, 0.028568267822265625, 0.030126571655273438, 0.03168487548828125, 0.03324317932128906, 0.034801483154296875, 0.03635978698730469, 0.0379180908203125, 0.03947639465332031, 0.041034698486328125, 0.04259300231933594, 0.04415130615234375, 0.04570960998535156, 0.047267913818359375, 0.04882621765136719, 0.050384521484375]}, "gradients/decoder.transformer.h.2.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 1.0, 2.0, 4.0, 4.0, 1.0, 7.0, 6.0, 10.0, 9.0, 14.0, 18.0, 16.0, 19.0, 21.0, 29.0, 33.0, 37.0, 49.0, 61.0, 69.0, 114.0, 141.0, 279.0, 1373.0, 165.0, 130.0, 75.0, 67.0, 49.0, 46.0, 36.0, 37.0, 24.0, 24.0, 15.0, 9.0, 11.0, 11.0, 10.0, 5.0, 8.0, 3.0, 7.0, 0.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.10577392578125, -0.1025848388671875, -0.099395751953125, -0.0962066650390625, -0.093017578125, -0.0898284912109375, -0.086639404296875, -0.0834503173828125, -0.08026123046875, -0.0770721435546875, -0.073883056640625, -0.0706939697265625, -0.0675048828125, -0.0643157958984375, -0.061126708984375, -0.0579376220703125, -0.05474853515625, -0.0515594482421875, -0.048370361328125, -0.0451812744140625, -0.0419921875, -0.0388031005859375, -0.035614013671875, -0.0324249267578125, -0.02923583984375, -0.0260467529296875, -0.022857666015625, -0.0196685791015625, -0.0164794921875, -0.0132904052734375, -0.010101318359375, -0.0069122314453125, -0.00372314453125, -0.0005340576171875, 0.002655029296875, 0.0058441162109375, 0.009033203125, 0.0122222900390625, 0.015411376953125, 0.0186004638671875, 0.02178955078125, 0.0249786376953125, 0.028167724609375, 0.0313568115234375, 0.0345458984375, 0.0377349853515625, 0.040924072265625, 0.0441131591796875, 0.04730224609375, 0.0504913330078125, 0.053680419921875, 0.0568695068359375, 0.06005859375, 0.0632476806640625, 0.066436767578125, 0.0696258544921875, 0.07281494140625, 0.0760040283203125, 0.079193115234375, 0.0823822021484375, 0.0855712890625, 0.0887603759765625, 0.091949462890625, 0.0951385498046875, 0.09832763671875]}, "gradients/decoder.transformer.h.2.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 6.0, 4.0, 4.0, 5.0, 8.0, 20.0, 17.0, 21.0, 44.0, 72.0, 106.0, 139.0, 277.0, 414.0, 850.0, 4275.0, 192006.0, 2921635.0, 22778.0, 1541.0, 553.0, 332.0, 207.0, 125.0, 101.0, 48.0, 31.0, 20.0, 20.0, 15.0, 11.0, 8.0, 8.0, 3.0, 0.0, 2.0, 5.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22265625, -0.21529769897460938, -0.20793914794921875, -0.20058059692382812, -0.1932220458984375, -0.18586349487304688, -0.17850494384765625, -0.17114639282226562, -0.163787841796875, -0.15642929077148438, -0.14907073974609375, -0.14171218872070312, -0.1343536376953125, -0.12699508666992188, -0.11963653564453125, -0.11227798461914062, -0.10491943359375, -0.09756088256835938, -0.09020233154296875, -0.08284378051757812, -0.0754852294921875, -0.06812667846679688, -0.06076812744140625, -0.053409576416015625, -0.046051025390625, -0.038692474365234375, -0.03133392333984375, -0.023975372314453125, -0.0166168212890625, -0.009258270263671875, -0.00189971923828125, 0.005458831787109375, 0.0128173828125, 0.020175933837890625, 0.02753448486328125, 0.034893035888671875, 0.0422515869140625, 0.049610137939453125, 0.05696868896484375, 0.06432723999023438, 0.071685791015625, 0.07904434204101562, 0.08640289306640625, 0.09376144409179688, 0.1011199951171875, 0.10847854614257812, 0.11583709716796875, 0.12319564819335938, 0.13055419921875, 0.13791275024414062, 0.14527130126953125, 0.15262985229492188, 0.1599884033203125, 0.16734695434570312, 0.17470550537109375, 0.18206405639648438, 0.189422607421875, 0.19678115844726562, 0.20413970947265625, 0.21149826049804688, 0.2188568115234375, 0.22621536254882812, 0.23357391357421875, 0.24093246459960938, 0.248291015625]}, "gradients/decoder.transformer.h.2.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 7.0, 29.0, 97.0, 245.0, 337.0, 196.0, 73.0, 26.0, 5.0, 0.0, 1.0], "bins": [-1.9552525281906128, -1.921156883239746, -1.8870612382888794, -1.8529655933380127, -1.818869948387146, -1.7847743034362793, -1.7506786584854126, -1.716583013534546, -1.6824872493743896, -1.648391604423523, -1.6142959594726562, -1.5802003145217896, -1.5461046695709229, -1.5120090246200562, -1.4779133796691895, -1.4438176155090332, -1.409722089767456, -1.3756264448165894, -1.3415307998657227, -1.307435154914856, -1.2733395099639893, -1.2392438650131226, -1.2051482200622559, -1.1710524559020996, -1.1369569301605225, -1.1028612852096558, -1.068765640258789, -1.0346699953079224, -1.0005743503570557, -0.966478705406189, -0.9323830008506775, -0.8982873558998108, -0.8641916513442993, -0.8300960063934326, -0.7960003614425659, -0.7619047164916992, -0.7278090715408325, -0.6937134265899658, -0.6596177220344543, -0.6255220770835876, -0.591426432132721, -0.5573307871818542, -0.5232351422309875, -0.48913946747779846, -0.45504382252693176, -0.42094817757606506, -0.386852502822876, -0.3527568578720093, -0.3186612129211426, -0.2845655679702759, -0.2504699230194092, -0.2163742482662201, -0.1822786033153534, -0.1481829583644867, -0.1140872985124588, -0.07999163866043091, -0.0458960086107254, -0.011800356209278107, 0.02229529619216919, 0.056390948593616486, 0.09048660099506378, 0.12458224594593048, 0.15867790579795837, 0.19277356564998627, 0.22686921060085297]}, "gradients/decoder.transformer.h.2.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 6.0, 6.0, 5.0, 6.0, 13.0, 12.0, 18.0, 15.0, 25.0, 20.0, 31.0, 34.0, 29.0, 21.0, 40.0, 45.0, 32.0, 30.0, 42.0, 61.0, 39.0, 36.0, 50.0, 40.0, 37.0, 43.0, 38.0, 30.0, 25.0, 36.0, 27.0, 21.0, 20.0, 14.0, 16.0, 7.0, 11.0, 6.0, 7.0, 5.0, 6.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3902324438095093, -0.3785570561885834, -0.3668816387653351, -0.3552062511444092, -0.3435308635234833, -0.3318554759025574, -0.3201800584793091, -0.3085046708583832, -0.2968292832374573, -0.28515389561653137, -0.2734784781932831, -0.2618030905723572, -0.2501277029514313, -0.23845230042934418, -0.22677689790725708, -0.21510151028633118, -0.20342609286308289, -0.1917506903409958, -0.18007530272006989, -0.1683999001979828, -0.15672451257705688, -0.1450491100549698, -0.1333737075328827, -0.12169831246137619, -0.11002291738986969, -0.09834752231836319, -0.08667212724685669, -0.07499672472476959, -0.06332132965326309, -0.05164593458175659, -0.039970532059669495, -0.028295136988162994, -0.016619741916656494, -0.004944344982504845, 0.006731051951646805, 0.018406450748443604, 0.030081845819950104, 0.041757240891456604, 0.0534326434135437, 0.0651080384850502, 0.0767834335565567, 0.0884588286280632, 0.1001342236995697, 0.1118096262216568, 0.1234850212931633, 0.1351604163646698, 0.1468358188867569, 0.158511221408844, 0.1701866090297699, 0.181862011551857, 0.1935373991727829, 0.20521280169487, 0.2168881893157959, 0.228563591837883, 0.2402389943599701, 0.251914381980896, 0.2635897994041443, 0.2752651870250702, 0.2869406044483185, 0.2986159920692444, 0.3102913796901703, 0.3219667673110962, 0.3336421847343445, 0.3453175723552704, 0.3569929599761963]}, "gradients/decoder.transformer.h.1.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 5.0, 4.0, 4.0, 7.0, 6.0, 9.0, 5.0, 14.0, 14.0, 14.0, 19.0, 18.0, 22.0, 30.0, 22.0, 28.0, 36.0, 32.0, 41.0, 38.0, 41.0, 41.0, 40.0, 42.0, 43.0, 40.0, 44.0, 48.0, 40.0, 24.0, 42.0, 24.0, 18.0, 23.0, 20.0, 17.0, 25.0, 10.0, 17.0, 10.0, 9.0, 5.0, 2.0, 5.0, 5.0, 2.0, 3.0, 3.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.044586181640625, -0.0433197021484375, -0.04205322265625, -0.0407867431640625, -0.039520263671875, -0.0382537841796875, -0.0369873046875, -0.0357208251953125, -0.034454345703125, -0.0331878662109375, -0.03192138671875, -0.0306549072265625, -0.029388427734375, -0.0281219482421875, -0.02685546875, -0.0255889892578125, -0.024322509765625, -0.0230560302734375, -0.02178955078125, -0.0205230712890625, -0.019256591796875, -0.0179901123046875, -0.0167236328125, -0.0154571533203125, -0.014190673828125, -0.0129241943359375, -0.01165771484375, -0.0103912353515625, -0.009124755859375, -0.0078582763671875, -0.006591796875, -0.0053253173828125, -0.004058837890625, -0.0027923583984375, -0.00152587890625, -0.0002593994140625, 0.001007080078125, 0.0022735595703125, 0.0035400390625, 0.0048065185546875, 0.006072998046875, 0.0073394775390625, 0.00860595703125, 0.0098724365234375, 0.011138916015625, 0.0124053955078125, 0.013671875, 0.0149383544921875, 0.016204833984375, 0.0174713134765625, 0.01873779296875, 0.0200042724609375, 0.021270751953125, 0.0225372314453125, 0.0238037109375, 0.0250701904296875, 0.026336669921875, 0.0276031494140625, 0.02886962890625, 0.0301361083984375, 0.031402587890625, 0.0326690673828125, 0.033935546875, 0.0352020263671875, 0.036468505859375]}, "gradients/decoder.transformer.h.1.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 4.0, 3.0, 3.0, 5.0, 15.0, 11.0, 19.0, 22.0, 48.0, 73.0, 91.0, 165.0, 216.0, 306.0, 455.0, 690.0, 1083.0, 1791.0, 2981.0, 5086.0, 9567.0, 19477.0, 53908.0, 464697.0, 2750316.0, 757963.0, 76574.0, 23288.0, 10862.0, 5870.0, 3304.0, 1948.0, 1216.0, 739.0, 496.0, 333.0, 218.0, 147.0, 88.0, 61.0, 39.0, 36.0, 27.0, 21.0, 9.0, 10.0, 4.0, 2.0, 0.0, 2.0, 3.0, 0.0, 1.0], "bins": [-0.110107421875, -0.10701465606689453, -0.10392189025878906, -0.1008291244506836, -0.09773635864257812, -0.09464359283447266, -0.09155082702636719, -0.08845806121826172, -0.08536529541015625, -0.08227252960205078, -0.07917976379394531, -0.07608699798583984, -0.07299423217773438, -0.0699014663696289, -0.06680870056152344, -0.06371593475341797, -0.0606231689453125, -0.05753040313720703, -0.05443763732910156, -0.051344871520996094, -0.048252105712890625, -0.045159339904785156, -0.04206657409667969, -0.03897380828857422, -0.03588104248046875, -0.03278827667236328, -0.029695510864257812, -0.026602745056152344, -0.023509979248046875, -0.020417213439941406, -0.017324447631835938, -0.014231681823730469, -0.011138916015625, -0.008046150207519531, -0.0049533843994140625, -0.0018606185913085938, 0.001232147216796875, 0.004324913024902344, 0.0074176788330078125, 0.010510444641113281, 0.01360321044921875, 0.01669597625732422, 0.019788742065429688, 0.022881507873535156, 0.025974273681640625, 0.029067039489746094, 0.03215980529785156, 0.03525257110595703, 0.0383453369140625, 0.04143810272216797, 0.04453086853027344, 0.047623634338378906, 0.050716400146484375, 0.053809165954589844, 0.05690193176269531, 0.05999469757080078, 0.06308746337890625, 0.06618022918701172, 0.06927299499511719, 0.07236576080322266, 0.07545852661132812, 0.0785512924194336, 0.08164405822753906, 0.08473682403564453, 0.08782958984375]}, "gradients/decoder.transformer.h.1.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 2.0, 3.0, 3.0, 6.0, 7.0, 8.0, 14.0, 8.0, 12.0, 12.0, 20.0, 29.0, 50.0, 63.0, 75.0, 104.0, 166.0, 217.0, 334.0, 477.0, 660.0, 500.0, 402.0, 236.0, 194.0, 120.0, 103.0, 72.0, 47.0, 41.0, 26.0, 18.0, 18.0, 3.0, 5.0, 6.0, 4.0, 2.0, 7.0, 3.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0699462890625, -0.06798696517944336, -0.06602764129638672, -0.06406831741333008, -0.06210899353027344, -0.0601496696472168, -0.058190345764160156, -0.056231021881103516, -0.054271697998046875, -0.052312374114990234, -0.050353050231933594, -0.04839372634887695, -0.04643440246582031, -0.04447507858276367, -0.04251575469970703, -0.04055643081665039, -0.03859710693359375, -0.03663778305053711, -0.03467845916748047, -0.03271913528442383, -0.030759811401367188, -0.028800487518310547, -0.026841163635253906, -0.024881839752197266, -0.022922515869140625, -0.020963191986083984, -0.019003868103027344, -0.017044544219970703, -0.015085220336914062, -0.013125896453857422, -0.011166572570800781, -0.00920724868774414, -0.0072479248046875, -0.005288600921630859, -0.0033292770385742188, -0.0013699531555175781, 0.0005893707275390625, 0.002548694610595703, 0.004508018493652344, 0.006467342376708984, 0.008426666259765625, 0.010385990142822266, 0.012345314025878906, 0.014304637908935547, 0.016263961791992188, 0.018223285675048828, 0.02018260955810547, 0.02214193344116211, 0.02410125732421875, 0.02606058120727539, 0.02801990509033203, 0.029979228973388672, 0.03193855285644531, 0.03389787673950195, 0.035857200622558594, 0.037816524505615234, 0.039775848388671875, 0.041735172271728516, 0.043694496154785156, 0.0456538200378418, 0.04761314392089844, 0.04957246780395508, 0.05153179168701172, 0.05349111557006836, 0.055450439453125]}, "gradients/decoder.transformer.h.1.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 6.0, 5.0, 4.0, 4.0, 11.0, 14.0, 21.0, 31.0, 46.0, 103.0, 198.0, 375.0, 814.0, 2030.0, 5606.0, 21139.0, 140348.0, 3117111.0, 831132.0, 57460.0, 11632.0, 3580.0, 1373.0, 592.0, 261.0, 159.0, 84.0, 42.0, 23.0, 25.0, 13.0, 16.0, 8.0, 5.0, 6.0, 6.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.118896484375, -0.11476707458496094, -0.11063766479492188, -0.10650825500488281, -0.10237884521484375, -0.09824943542480469, -0.09412002563476562, -0.08999061584472656, -0.0858612060546875, -0.08173179626464844, -0.07760238647460938, -0.07347297668457031, -0.06934356689453125, -0.06521415710449219, -0.061084747314453125, -0.05695533752441406, -0.052825927734375, -0.04869651794433594, -0.044567108154296875, -0.04043769836425781, -0.03630828857421875, -0.03217887878417969, -0.028049468994140625, -0.023920059204101562, -0.0197906494140625, -0.015661239624023438, -0.011531829833984375, -0.0074024200439453125, -0.00327301025390625, 0.0008563995361328125, 0.004985809326171875, 0.009115219116210938, 0.01324462890625, 0.017374038696289062, 0.021503448486328125, 0.025632858276367188, 0.02976226806640625, 0.03389167785644531, 0.038021087646484375, 0.04215049743652344, 0.0462799072265625, 0.05040931701660156, 0.054538726806640625, 0.05866813659667969, 0.06279754638671875, 0.06692695617675781, 0.07105636596679688, 0.07518577575683594, 0.079315185546875, 0.08344459533691406, 0.08757400512695312, 0.09170341491699219, 0.09583282470703125, 0.09996223449707031, 0.10409164428710938, 0.10822105407714844, 0.1123504638671875, 0.11647987365722656, 0.12060928344726562, 0.12473869323730469, 0.12886810302734375, 0.1329975128173828, 0.13712692260742188, 0.14125633239746094, 0.1453857421875]}, "gradients/decoder.transformer.h.1.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 5.0, 12.0, 30.0, 45.0, 95.0, 160.0, 166.0, 180.0, 142.0, 74.0, 53.0, 30.0, 12.0, 3.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.26514339447021484, -0.24789175391197205, -0.23064011335372925, -0.21338848769664764, -0.19613684713840485, -0.17888520658016205, -0.16163358092308044, -0.14438194036483765, -0.12713029980659485, -0.10987865924835205, -0.09262702614068985, -0.07537539303302765, -0.05812375247478485, -0.04087211191654205, -0.023620478808879852, -0.006368845701217651, 0.010882794857025146, 0.028134431689977646, 0.045386068522930145, 0.06263770163059235, 0.07988934218883514, 0.09714098274707794, 0.11439261585474014, 0.13164424896240234, 0.14889588952064514, 0.16614753007888794, 0.18339917063713074, 0.20065079629421234, 0.21790243685245514, 0.23515407741069794, 0.25240570306777954, 0.26965734362602234, 0.28690898418426514, 0.30416062474250793, 0.32141226530075073, 0.33866390585899353, 0.35591554641723633, 0.37316715717315674, 0.39041879773139954, 0.40767043828964233, 0.42492207884788513, 0.44217371940612793, 0.4594253599643707, 0.4766770005226135, 0.49392861127853394, 0.5111802816390991, 0.5284318923950195, 0.5456835031509399, 0.5629351735115051, 0.5801867842674255, 0.5974384546279907, 0.6146900653839111, 0.6319417357444763, 0.6491933465003967, 0.6664450168609619, 0.6836966276168823, 0.7009482383728027, 0.7181998491287231, 0.7354515194892883, 0.7527031302452087, 0.7699548006057739, 0.7872064113616943, 0.8044580817222595, 0.8217096924781799, 0.8389613628387451]}, "gradients/decoder.transformer.h.1.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 2.0, 6.0, 5.0, 3.0, 5.0, 6.0, 11.0, 9.0, 16.0, 13.0, 25.0, 21.0, 23.0, 25.0, 26.0, 24.0, 20.0, 39.0, 36.0, 35.0, 36.0, 30.0, 42.0, 33.0, 44.0, 42.0, 33.0, 40.0, 29.0, 39.0, 46.0, 33.0, 21.0, 31.0, 29.0, 21.0, 18.0, 14.0, 11.0, 13.0, 11.0, 9.0, 7.0, 3.0, 7.0, 4.0, 5.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.2256087064743042, -0.21871383488178253, -0.21181896328926086, -0.2049240916967392, -0.19802922010421753, -0.19113436341285706, -0.1842394918203354, -0.17734462022781372, -0.17044974863529205, -0.16355487704277039, -0.15666000545024872, -0.14976513385772705, -0.14287027716636658, -0.13597539067268372, -0.12908053398132324, -0.12218566238880157, -0.11529079079627991, -0.10839591920375824, -0.10150104761123657, -0.0946061834692955, -0.08771131187677383, -0.08081644028425217, -0.0739215761423111, -0.06702670454978943, -0.06013183295726776, -0.053236961364746094, -0.046342093497514725, -0.039447225630283356, -0.03255235403776169, -0.02565748244524002, -0.01876261457800865, -0.011867746710777283, -0.004972875118255615, 0.001921994611620903, 0.008816864341497421, 0.01571173407137394, 0.022606603801250458, 0.029501475393772125, 0.036396343261003494, 0.04329121112823486, 0.05018608272075653, 0.0570809543132782, 0.06397582590579987, 0.07087069004774094, 0.0777655616402626, 0.08466043323278427, 0.09155529737472534, 0.09845016896724701, 0.10534504055976868, 0.11223991215229034, 0.11913478374481201, 0.12602965533733368, 0.13292452692985535, 0.13981938362121582, 0.1467142552137375, 0.15360912680625916, 0.16050399839878082, 0.1673988699913025, 0.17429374158382416, 0.18118861317634583, 0.1880834698677063, 0.19497835636138916, 0.20187321305274963, 0.2087680846452713, 0.21566295623779297]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 0.0, 6.0, 4.0, 7.0, 8.0, 7.0, 14.0, 10.0, 8.0, 17.0, 26.0, 27.0, 28.0, 32.0, 31.0, 39.0, 30.0, 33.0, 40.0, 31.0, 45.0, 39.0, 43.0, 46.0, 47.0, 39.0, 42.0, 32.0, 41.0, 21.0, 30.0, 23.0, 26.0, 24.0, 12.0, 21.0, 16.0, 17.0, 9.0, 6.0, 5.0, 7.0, 6.0, 2.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.047119140625, -0.045812129974365234, -0.04450511932373047, -0.0431981086730957, -0.04189109802246094, -0.04058408737182617, -0.039277076721191406, -0.03797006607055664, -0.036663055419921875, -0.03535604476928711, -0.034049034118652344, -0.03274202346801758, -0.03143501281738281, -0.030128002166748047, -0.02882099151611328, -0.027513980865478516, -0.02620697021484375, -0.024899959564208984, -0.02359294891357422, -0.022285938262939453, -0.020978927612304688, -0.019671916961669922, -0.018364906311035156, -0.01705789566040039, -0.015750885009765625, -0.01444387435913086, -0.013136863708496094, -0.011829853057861328, -0.010522842407226562, -0.009215831756591797, -0.007908821105957031, -0.006601810455322266, -0.0052947998046875, -0.003987789154052734, -0.0026807785034179688, -0.0013737678527832031, -6.67572021484375e-05, 0.0012402534484863281, 0.0025472640991210938, 0.0038542747497558594, 0.005161285400390625, 0.006468296051025391, 0.007775306701660156, 0.009082317352294922, 0.010389328002929688, 0.011696338653564453, 0.013003349304199219, 0.014310359954833984, 0.01561737060546875, 0.016924381256103516, 0.01823139190673828, 0.019538402557373047, 0.020845413208007812, 0.022152423858642578, 0.023459434509277344, 0.02476644515991211, 0.026073455810546875, 0.02738046646118164, 0.028687477111816406, 0.029994487762451172, 0.03130149841308594, 0.0326085090637207, 0.03391551971435547, 0.035222530364990234, 0.036529541015625]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 7.0, 6.0, 6.0, 12.0, 13.0, 22.0, 32.0, 57.0, 69.0, 110.0, 155.0, 234.0, 346.0, 574.0, 905.0, 1421.0, 2209.0, 3532.0, 5435.0, 8830.0, 13807.0, 21723.0, 34644.0, 57234.0, 102775.0, 249793.0, 280920.0, 107579.0, 59327.0, 35658.0, 22262.0, 14162.0, 8844.0, 5763.0, 3651.0, 2357.0, 1467.0, 948.0, 590.0, 398.0, 255.0, 162.0, 95.0, 63.0, 41.0, 28.0, 19.0, 7.0, 8.0, 6.0, 1.0, 3.0, 2.0, 1.0], "bins": [-0.0004336833953857422, -0.00042164698243141174, -0.0004096105694770813, -0.00039757415652275085, -0.0003855377435684204, -0.00037350133061408997, -0.0003614649176597595, -0.0003494285047054291, -0.00033739209175109863, -0.0003253556787967682, -0.00031331926584243774, -0.0003012828528881073, -0.00028924643993377686, -0.0002772100269794464, -0.00026517361402511597, -0.0002531372010707855, -0.00024110078811645508, -0.00022906437516212463, -0.0002170279622077942, -0.00020499154925346375, -0.0001929551362991333, -0.00018091872334480286, -0.0001688823103904724, -0.00015684589743614197, -0.00014480948448181152, -0.00013277307152748108, -0.00012073665857315063, -0.00010870024561882019, -9.666383266448975e-05, -8.46274197101593e-05, -7.259100675582886e-05, -6.055459380149841e-05, -4.851818084716797e-05, -3.6481767892837524e-05, -2.444535493850708e-05, -1.2408941984176636e-05, -3.725290298461914e-07, 1.1663883924484253e-05, 2.3700296878814697e-05, 3.573670983314514e-05, 4.7773122787475586e-05, 5.980953574180603e-05, 7.184594869613647e-05, 8.388236165046692e-05, 9.591877460479736e-05, 0.00010795518755912781, 0.00011999160051345825, 0.0001320280134677887, 0.00014406442642211914, 0.00015610083937644958, 0.00016813725233078003, 0.00018017366528511047, 0.00019221007823944092, 0.00020424649119377136, 0.0002162829041481018, 0.00022831931710243225, 0.0002403557300567627, 0.00025239214301109314, 0.0002644285559654236, 0.00027646496891975403, 0.00028850138187408447, 0.0003005377948284149, 0.00031257420778274536, 0.0003246106207370758, 0.00033664703369140625]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 3.0, 1.0, 0.0, 1.0, 4.0, 1.0, 11.0, 4.0, 13.0, 10.0, 13.0, 17.0, 11.0, 25.0, 26.0, 21.0, 29.0, 28.0, 35.0, 24.0, 40.0, 39.0, 58.0, 47.0, 37.0, 1065.0, 28.0, 31.0, 43.0, 39.0, 32.0, 34.0, 32.0, 29.0, 32.0, 17.0, 16.0, 24.0, 21.0, 27.0, 10.0, 19.0, 17.0, 7.0, 6.0, 5.0, 3.0, 2.0, 1.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0447998046875, -0.04312849044799805, -0.041457176208496094, -0.03978586196899414, -0.03811454772949219, -0.036443233489990234, -0.03477191925048828, -0.03310060501098633, -0.031429290771484375, -0.029757976531982422, -0.02808666229248047, -0.026415348052978516, -0.024744033813476562, -0.02307271957397461, -0.021401405334472656, -0.019730091094970703, -0.01805877685546875, -0.016387462615966797, -0.014716148376464844, -0.01304483413696289, -0.011373519897460938, -0.009702205657958984, -0.008030891418457031, -0.006359577178955078, -0.004688262939453125, -0.003016948699951172, -0.0013456344604492188, 0.0003256797790527344, 0.0019969940185546875, 0.0036683082580566406, 0.005339622497558594, 0.007010936737060547, 0.0086822509765625, 0.010353565216064453, 0.012024879455566406, 0.01369619369506836, 0.015367507934570312, 0.017038822174072266, 0.01871013641357422, 0.020381450653076172, 0.022052764892578125, 0.023724079132080078, 0.02539539337158203, 0.027066707611083984, 0.028738021850585938, 0.03040933609008789, 0.032080650329589844, 0.0337519645690918, 0.03542327880859375, 0.0370945930480957, 0.038765907287597656, 0.04043722152709961, 0.04210853576660156, 0.043779850006103516, 0.04545116424560547, 0.04712247848510742, 0.048793792724609375, 0.05046510696411133, 0.05213642120361328, 0.053807735443115234, 0.05547904968261719, 0.05715036392211914, 0.058821678161621094, 0.06049299240112305, 0.062164306640625]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 0.0, 4.0, 1.0, 5.0, 7.0, 5.0, 19.0, 19.0, 12.0, 28.0, 20.0, 23.0, 14.0, 21.0, 28.0, 32.0, 33.0, 38.0, 64.0, 167.0, 458.0, 2724.0, 62671.0, 2025869.0, 3658.0, 615.0, 210.0, 74.0, 44.0, 33.0, 29.0, 27.0, 36.0, 20.0, 20.0, 28.0, 10.0, 17.0, 12.0, 8.0, 14.0, 7.0, 7.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 3.0], "bins": [-6.830692291259766e-05, -6.646476686000824e-05, -6.462261080741882e-05, -6.27804547548294e-05, -6.093829870223999e-05, -5.9096142649650574e-05, -5.725398659706116e-05, -5.541183054447174e-05, -5.3569674491882324e-05, -5.172751843929291e-05, -4.988536238670349e-05, -4.8043206334114075e-05, -4.620105028152466e-05, -4.435889422893524e-05, -4.2516738176345825e-05, -4.067458212375641e-05, -3.883242607116699e-05, -3.6990270018577576e-05, -3.514811396598816e-05, -3.330595791339874e-05, -3.1463801860809326e-05, -2.962164580821991e-05, -2.7779489755630493e-05, -2.5937333703041077e-05, -2.409517765045166e-05, -2.2253021597862244e-05, -2.0410865545272827e-05, -1.856870949268341e-05, -1.6726553440093994e-05, -1.4884397387504578e-05, -1.3042241334915161e-05, -1.1200085282325745e-05, -9.357929229736328e-06, -7.515773177146912e-06, -5.673617124557495e-06, -3.831461071968079e-06, -1.989305019378662e-06, -1.471489667892456e-07, 1.695007085800171e-06, 3.5371631383895874e-06, 5.379319190979004e-06, 7.22147524356842e-06, 9.063631296157837e-06, 1.0905787348747253e-05, 1.274794340133667e-05, 1.4590099453926086e-05, 1.6432255506515503e-05, 1.827441155910492e-05, 2.0116567611694336e-05, 2.1958723664283752e-05, 2.380087971687317e-05, 2.5643035769462585e-05, 2.7485191822052002e-05, 2.932734787464142e-05, 3.1169503927230835e-05, 3.301165997982025e-05, 3.485381603240967e-05, 3.6695972084999084e-05, 3.85381281375885e-05, 4.038028419017792e-05, 4.2222440242767334e-05, 4.406459629535675e-05, 4.590675234794617e-05, 4.7748908400535583e-05, 4.9591064453125e-05]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 0.0, 6.0, 4.0, 7.0, 8.0, 7.0, 14.0, 10.0, 8.0, 17.0, 26.0, 27.0, 28.0, 32.0, 31.0, 39.0, 30.0, 33.0, 40.0, 31.0, 45.0, 39.0, 43.0, 46.0, 47.0, 39.0, 42.0, 32.0, 41.0, 21.0, 30.0, 23.0, 26.0, 24.0, 12.0, 21.0, 16.0, 17.0, 9.0, 6.0, 5.0, 7.0, 6.0, 2.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.047119140625, -0.045812129974365234, -0.04450511932373047, -0.0431981086730957, -0.04189109802246094, -0.04058408737182617, -0.039277076721191406, -0.03797006607055664, -0.036663055419921875, -0.03535604476928711, -0.034049034118652344, -0.03274202346801758, -0.03143501281738281, -0.030128002166748047, -0.02882099151611328, -0.027513980865478516, -0.02620697021484375, -0.024899959564208984, -0.02359294891357422, -0.022285938262939453, -0.020978927612304688, -0.019671916961669922, -0.018364906311035156, -0.01705789566040039, -0.015750885009765625, -0.01444387435913086, -0.013136863708496094, -0.011829853057861328, -0.010522842407226562, -0.009215831756591797, -0.007908821105957031, -0.006601810455322266, -0.0052947998046875, -0.003987789154052734, -0.0026807785034179688, -0.0013737678527832031, -6.67572021484375e-05, 0.0012402534484863281, 0.0025472640991210938, 0.0038542747497558594, 0.005161285400390625, 0.006468296051025391, 0.007775306701660156, 0.009082317352294922, 0.010389328002929688, 0.011696338653564453, 0.013003349304199219, 0.014310359954833984, 0.01561737060546875, 0.016924381256103516, 0.01823139190673828, 0.019538402557373047, 0.020845413208007812, 0.022152423858642578, 0.023459434509277344, 0.02476644515991211, 0.026073455810546875, 0.02738046646118164, 0.028687477111816406, 0.029994487762451172, 0.03130149841308594, 0.0326085090637207, 0.03391551971435547, 0.035222530364990234, 0.036529541015625]}, "gradients/decoder.transformer.h.1.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 5.0, 6.0, 7.0, 10.0, 17.0, 17.0, 23.0, 37.0, 69.0, 99.0, 117.0, 237.0, 291.0, 514.0, 778.0, 1215.0, 2062.0, 3621.0, 6480.0, 12726.0, 26662.0, 62684.0, 163186.0, 367876.0, 237492.0, 89569.0, 36526.0, 16529.0, 8426.0, 4544.0, 2555.0, 1538.0, 951.0, 565.0, 340.0, 261.0, 176.0, 114.0, 70.0, 47.0, 40.0, 23.0, 17.0, 13.0, 12.0, 5.0, 6.0, 3.0, 2.0, 1.0, 4.0, 0.0, 3.0], "bins": [-0.04559326171875, -0.04427909851074219, -0.042964935302734375, -0.04165077209472656, -0.04033660888671875, -0.03902244567871094, -0.037708282470703125, -0.03639411926269531, -0.0350799560546875, -0.03376579284667969, -0.032451629638671875, -0.031137466430664062, -0.02982330322265625, -0.028509140014648438, -0.027194976806640625, -0.025880813598632812, -0.024566650390625, -0.023252487182617188, -0.021938323974609375, -0.020624160766601562, -0.01930999755859375, -0.017995834350585938, -0.016681671142578125, -0.015367507934570312, -0.0140533447265625, -0.012739181518554688, -0.011425018310546875, -0.010110855102539062, -0.00879669189453125, -0.0074825286865234375, -0.006168365478515625, -0.0048542022705078125, -0.0035400390625, -0.0022258758544921875, -0.000911712646484375, 0.0004024505615234375, 0.00171661376953125, 0.0030307769775390625, 0.004344940185546875, 0.0056591033935546875, 0.0069732666015625, 0.008287429809570312, 0.009601593017578125, 0.010915756225585938, 0.01222991943359375, 0.013544082641601562, 0.014858245849609375, 0.016172409057617188, 0.017486572265625, 0.018800735473632812, 0.020114898681640625, 0.021429061889648438, 0.02274322509765625, 0.024057388305664062, 0.025371551513671875, 0.026685714721679688, 0.0279998779296875, 0.029314041137695312, 0.030628204345703125, 0.03194236755371094, 0.03325653076171875, 0.03457069396972656, 0.035884857177734375, 0.03719902038574219, 0.03851318359375]}, "gradients/decoder.transformer.h.1.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 3.0, 8.0, 6.0, 5.0, 11.0, 25.0, 24.0, 26.0, 23.0, 35.0, 30.0, 35.0, 57.0, 73.0, 145.0, 254.0, 1578.0, 219.0, 108.0, 54.0, 71.0, 58.0, 45.0, 32.0, 33.0, 19.0, 25.0, 15.0, 10.0, 5.0, 7.0, 7.0, 6.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.138916015625, -0.13449859619140625, -0.1300811767578125, -0.12566375732421875, -0.121246337890625, -0.11682891845703125, -0.1124114990234375, -0.10799407958984375, -0.10357666015625, -0.09915924072265625, -0.0947418212890625, -0.09032440185546875, -0.085906982421875, -0.08148956298828125, -0.0770721435546875, -0.07265472412109375, -0.0682373046875, -0.06381988525390625, -0.0594024658203125, -0.05498504638671875, -0.050567626953125, -0.04615020751953125, -0.0417327880859375, -0.03731536865234375, -0.03289794921875, -0.02848052978515625, -0.0240631103515625, -0.01964569091796875, -0.015228271484375, -0.01081085205078125, -0.0063934326171875, -0.00197601318359375, 0.00244140625, 0.00685882568359375, 0.0112762451171875, 0.01569366455078125, 0.020111083984375, 0.02452850341796875, 0.0289459228515625, 0.03336334228515625, 0.03778076171875, 0.04219818115234375, 0.0466156005859375, 0.05103302001953125, 0.055450439453125, 0.05986785888671875, 0.0642852783203125, 0.06870269775390625, 0.0731201171875, 0.07753753662109375, 0.0819549560546875, 0.08637237548828125, 0.090789794921875, 0.09520721435546875, 0.0996246337890625, 0.10404205322265625, 0.10845947265625, 0.11287689208984375, 0.1172943115234375, 0.12171173095703125, 0.126129150390625, 0.13054656982421875, 0.1349639892578125, 0.13938140869140625, 0.143798828125]}, "gradients/decoder.transformer.h.1.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 3.0, 4.0, 5.0, 5.0, 9.0, 8.0, 20.0, 21.0, 20.0, 25.0, 42.0, 64.0, 67.0, 101.0, 114.0, 210.0, 385.0, 1574.0, 18075.0, 2777533.0, 338538.0, 7079.0, 903.0, 288.0, 168.0, 106.0, 88.0, 54.0, 63.0, 32.0, 27.0, 25.0, 19.0, 9.0, 9.0, 6.0, 7.0, 5.0, 1.0, 5.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.201171875, -0.19504547119140625, -0.1889190673828125, -0.18279266357421875, -0.176666259765625, -0.17053985595703125, -0.1644134521484375, -0.15828704833984375, -0.15216064453125, -0.14603424072265625, -0.1399078369140625, -0.13378143310546875, -0.127655029296875, -0.12152862548828125, -0.1154022216796875, -0.10927581787109375, -0.1031494140625, -0.09702301025390625, -0.0908966064453125, -0.08477020263671875, -0.078643798828125, -0.07251739501953125, -0.0663909912109375, -0.06026458740234375, -0.05413818359375, -0.04801177978515625, -0.0418853759765625, -0.03575897216796875, -0.029632568359375, -0.02350616455078125, -0.0173797607421875, -0.01125335693359375, -0.005126953125, 0.00099945068359375, 0.0071258544921875, 0.01325225830078125, 0.019378662109375, 0.02550506591796875, 0.0316314697265625, 0.03775787353515625, 0.04388427734375, 0.05001068115234375, 0.0561370849609375, 0.06226348876953125, 0.068389892578125, 0.07451629638671875, 0.0806427001953125, 0.08676910400390625, 0.0928955078125, 0.09902191162109375, 0.1051483154296875, 0.11127471923828125, 0.117401123046875, 0.12352752685546875, 0.1296539306640625, 0.13578033447265625, 0.14190673828125, 0.14803314208984375, 0.1541595458984375, 0.16028594970703125, 0.166412353515625, 0.17253875732421875, 0.1786651611328125, 0.18479156494140625, 0.19091796875]}, "gradients/decoder.transformer.h.1.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 12.0, 129.0, 600.0, 248.0, 27.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.1059839725494385, -2.0577542781829834, -2.0095245838165283, -1.9612948894500732, -1.9130650758743286, -1.8648353815078735, -1.8166056871414185, -1.7683759927749634, -1.7201461791992188, -1.6719164848327637, -1.6236867904663086, -1.5754570960998535, -1.5272272825241089, -1.4789975881576538, -1.4307678937911987, -1.3825381994247437, -1.3343085050582886, -1.2860788106918335, -1.2378491163253784, -1.1896193027496338, -1.1413896083831787, -1.0931599140167236, -1.0449302196502686, -0.9967005252838135, -0.9484707713127136, -0.9002410769462585, -0.8520113229751587, -0.8037816286087036, -0.7555519342422485, -0.7073221802711487, -0.6590924859046936, -0.6108627319335938, -0.5626330375671387, -0.5144033432006836, -0.46617358922958374, -0.41794389486312866, -0.3697141706943512, -0.32148444652557373, -0.27325475215911865, -0.2250250279903412, -0.17679530382156372, -0.12856557965278625, -0.08033587038516998, -0.03210616111755371, 0.016123563051223755, 0.06435328722000122, 0.1125829815864563, 0.16081270575523376, 0.20904242992401123, 0.2572721540927887, 0.30550187826156616, 0.35373157262802124, 0.4019612967967987, 0.45019102096557617, 0.49842071533203125, 0.5466504096984863, 0.5948801636695862, 0.6431098580360413, 0.6913396120071411, 0.7395693063735962, 0.7877990007400513, 0.8360287547111511, 0.8842584490776062, 0.932488203048706, 0.9807178974151611]}, "gradients/decoder.transformer.h.1.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 5.0, 2.0, 7.0, 7.0, 7.0, 11.0, 15.0, 10.0, 18.0, 22.0, 26.0, 18.0, 36.0, 28.0, 29.0, 36.0, 32.0, 55.0, 26.0, 36.0, 42.0, 38.0, 40.0, 34.0, 45.0, 40.0, 33.0, 36.0, 33.0, 35.0, 23.0, 14.0, 23.0, 19.0, 21.0, 19.0, 16.0, 14.0, 16.0, 10.0, 9.0, 1.0, 6.0, 2.0, 4.0, 3.0, 2.0, 3.0, 2.0, 1.0], "bins": [-0.38921576738357544, -0.37905094027519226, -0.3688861131668091, -0.3587212562561035, -0.34855642914772034, -0.33839160203933716, -0.328226774930954, -0.3180619478225708, -0.3078971207141876, -0.29773229360580444, -0.28756746649742126, -0.2774026393890381, -0.2672377824783325, -0.25707295536994934, -0.24690812826156616, -0.23674330115318298, -0.2265784591436386, -0.21641363203525543, -0.20624879002571106, -0.19608396291732788, -0.1859191358089447, -0.17575430870056152, -0.16558946669101715, -0.15542463958263397, -0.1452597975730896, -0.13509497046470642, -0.12493013590574265, -0.11476530134677887, -0.10460047423839569, -0.09443563967943192, -0.08427080512046814, -0.07410597801208496, -0.06394115090370178, -0.053776320070028305, -0.04361148923635483, -0.03344665467739105, -0.023281823843717575, -0.013116993010044098, -0.0029521584510803223, 0.0072126686573028564, 0.017377503216266632, 0.02754233404994011, 0.037707164883613586, 0.04787199944257736, 0.05803683027625084, 0.06820166110992432, 0.07836649566888809, 0.08853132277727127, 0.09869615733623505, 0.10886099189519882, 0.119025819003582, 0.12919065356254578, 0.13935548067092896, 0.14952030777931213, 0.1596851497888565, 0.16984997689723969, 0.18001481890678406, 0.19017964601516724, 0.2003444880247116, 0.2105093151330948, 0.22067414224147797, 0.23083898425102234, 0.24100381135940552, 0.2511686384677887, 0.2613334655761719]}, "gradients/decoder.transformer.h.0.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 2.0, 0.0, 3.0, 5.0, 2.0, 8.0, 7.0, 3.0, 5.0, 13.0, 8.0, 17.0, 15.0, 25.0, 19.0, 27.0, 38.0, 36.0, 38.0, 34.0, 49.0, 45.0, 37.0, 40.0, 57.0, 49.0, 52.0, 35.0, 44.0, 33.0, 42.0, 31.0, 35.0, 26.0, 26.0, 22.0, 13.0, 14.0, 14.0, 11.0, 11.0, 4.0, 2.0, 7.0, 4.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.054046630859375, -0.05251455307006836, -0.05098247528076172, -0.04945039749145508, -0.04791831970214844, -0.0463862419128418, -0.044854164123535156, -0.043322086334228516, -0.041790008544921875, -0.040257930755615234, -0.038725852966308594, -0.03719377517700195, -0.03566169738769531, -0.03412961959838867, -0.03259754180908203, -0.03106546401977539, -0.02953338623046875, -0.02800130844116211, -0.02646923065185547, -0.024937152862548828, -0.023405075073242188, -0.021872997283935547, -0.020340919494628906, -0.018808841705322266, -0.017276763916015625, -0.015744686126708984, -0.014212608337402344, -0.012680530548095703, -0.011148452758789062, -0.009616374969482422, -0.008084297180175781, -0.006552219390869141, -0.0050201416015625, -0.0034880638122558594, -0.0019559860229492188, -0.0004239082336425781, 0.0011081695556640625, 0.002640247344970703, 0.004172325134277344, 0.005704402923583984, 0.007236480712890625, 0.008768558502197266, 0.010300636291503906, 0.011832714080810547, 0.013364791870117188, 0.014896869659423828, 0.01642894744873047, 0.01796102523803711, 0.01949310302734375, 0.02102518081665039, 0.02255725860595703, 0.024089336395263672, 0.025621414184570312, 0.027153491973876953, 0.028685569763183594, 0.030217647552490234, 0.031749725341796875, 0.033281803131103516, 0.034813880920410156, 0.0363459587097168, 0.03787803649902344, 0.03941011428833008, 0.04094219207763672, 0.04247426986694336, 0.04400634765625]}, "gradients/decoder.transformer.h.0.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 3.0, 4.0, 0.0, 4.0, 1.0, 7.0, 7.0, 13.0, 5.0, 14.0, 20.0, 23.0, 31.0, 43.0, 66.0, 85.0, 117.0, 170.0, 218.0, 298.0, 423.0, 623.0, 1018.0, 1990.0, 5921.0, 31485.0, 269737.0, 3162223.0, 644044.0, 60224.0, 9227.0, 2563.0, 1186.0, 730.0, 499.0, 312.0, 248.0, 178.0, 156.0, 105.0, 87.0, 53.0, 40.0, 23.0, 18.0, 19.0, 4.0, 11.0, 5.0, 6.0, 3.0, 4.0, 3.0, 0.0, 1.0, 1.0], "bins": [-0.326904296875, -0.3177375793457031, -0.30857086181640625, -0.2994041442871094, -0.2902374267578125, -0.2810707092285156, -0.27190399169921875, -0.2627372741699219, -0.253570556640625, -0.24440383911132812, -0.23523712158203125, -0.22607040405273438, -0.2169036865234375, -0.20773696899414062, -0.19857025146484375, -0.18940353393554688, -0.18023681640625, -0.17107009887695312, -0.16190338134765625, -0.15273666381835938, -0.1435699462890625, -0.13440322875976562, -0.12523651123046875, -0.11606979370117188, -0.106903076171875, -0.09773635864257812, -0.08856964111328125, -0.07940292358398438, -0.0702362060546875, -0.061069488525390625, -0.05190277099609375, -0.042736053466796875, -0.0335693359375, -0.024402618408203125, -0.01523590087890625, -0.006069183349609375, 0.0030975341796875, 0.012264251708984375, 0.02143096923828125, 0.030597686767578125, 0.039764404296875, 0.048931121826171875, 0.05809783935546875, 0.06726455688476562, 0.0764312744140625, 0.08559799194335938, 0.09476470947265625, 0.10393142700195312, 0.11309814453125, 0.12226486206054688, 0.13143157958984375, 0.14059829711914062, 0.1497650146484375, 0.15893173217773438, 0.16809844970703125, 0.17726516723632812, 0.186431884765625, 0.19559860229492188, 0.20476531982421875, 0.21393203735351562, 0.2230987548828125, 0.23226547241210938, 0.24143218994140625, 0.2505989074707031, 0.259765625]}, "gradients/decoder.transformer.h.0.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 6.0, 5.0, 4.0, 6.0, 5.0, 6.0, 11.0, 21.0, 22.0, 26.0, 43.0, 47.0, 46.0, 87.0, 99.0, 148.0, 175.0, 176.0, 242.0, 303.0, 391.0, 412.0, 378.0, 260.0, 236.0, 204.0, 157.0, 157.0, 92.0, 79.0, 43.0, 44.0, 41.0, 23.0, 34.0, 14.0, 13.0, 1.0, 4.0, 5.0, 5.0, 3.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09490966796875, -0.09168338775634766, -0.08845710754394531, -0.08523082733154297, -0.08200454711914062, -0.07877826690673828, -0.07555198669433594, -0.0723257064819336, -0.06909942626953125, -0.0658731460571289, -0.06264686584472656, -0.05942058563232422, -0.056194305419921875, -0.05296802520751953, -0.04974174499511719, -0.046515464782714844, -0.0432891845703125, -0.040062904357910156, -0.03683662414550781, -0.03361034393310547, -0.030384063720703125, -0.02715778350830078, -0.023931503295898438, -0.020705223083496094, -0.01747894287109375, -0.014252662658691406, -0.011026382446289062, -0.007800102233886719, -0.004573822021484375, -0.0013475418090820312, 0.0018787384033203125, 0.005105018615722656, 0.008331298828125, 0.011557579040527344, 0.014783859252929688, 0.01801013946533203, 0.021236419677734375, 0.02446269989013672, 0.027688980102539062, 0.030915260314941406, 0.03414154052734375, 0.037367820739746094, 0.04059410095214844, 0.04382038116455078, 0.047046661376953125, 0.05027294158935547, 0.05349922180175781, 0.056725502014160156, 0.0599517822265625, 0.06317806243896484, 0.06640434265136719, 0.06963062286376953, 0.07285690307617188, 0.07608318328857422, 0.07930946350097656, 0.0825357437133789, 0.08576202392578125, 0.0889883041381836, 0.09221458435058594, 0.09544086456298828, 0.09866714477539062, 0.10189342498779297, 0.10511970520019531, 0.10834598541259766, 0.111572265625]}, "gradients/decoder.transformer.h.0.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0, 2.0, 4.0, 2.0, 5.0, 14.0, 14.0, 24.0, 24.0, 31.0, 56.0, 122.0, 189.0, 317.0, 634.0, 1249.0, 2570.0, 6325.0, 16607.0, 51048.0, 177604.0, 716120.0, 2186946.0, 763428.0, 187978.0, 53781.0, 17384.0, 6394.0, 2711.0, 1244.0, 632.0, 325.0, 207.0, 110.0, 63.0, 36.0, 27.0, 20.0, 16.0, 8.0, 4.0, 7.0, 4.0, 0.0, 0.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1412353515625, -0.1370220184326172, -0.13280868530273438, -0.12859535217285156, -0.12438201904296875, -0.12016868591308594, -0.11595535278320312, -0.11174201965332031, -0.1075286865234375, -0.10331535339355469, -0.09910202026367188, -0.09488868713378906, -0.09067535400390625, -0.08646202087402344, -0.08224868774414062, -0.07803535461425781, -0.073822021484375, -0.06960868835449219, -0.06539535522460938, -0.06118202209472656, -0.05696868896484375, -0.05275535583496094, -0.048542022705078125, -0.04432868957519531, -0.0401153564453125, -0.03590202331542969, -0.031688690185546875, -0.027475357055664062, -0.02326202392578125, -0.019048690795898438, -0.014835357666015625, -0.010622024536132812, -0.00640869140625, -0.0021953582763671875, 0.002017974853515625, 0.0062313079833984375, 0.01044464111328125, 0.014657974243164062, 0.018871307373046875, 0.023084640502929688, 0.0272979736328125, 0.03151130676269531, 0.035724639892578125, 0.03993797302246094, 0.04415130615234375, 0.04836463928222656, 0.052577972412109375, 0.05679130554199219, 0.061004638671875, 0.06521797180175781, 0.06943130493164062, 0.07364463806152344, 0.07785797119140625, 0.08207130432128906, 0.08628463745117188, 0.09049797058105469, 0.0947113037109375, 0.09892463684082031, 0.10313796997070312, 0.10735130310058594, 0.11156463623046875, 0.11577796936035156, 0.11999130249023438, 0.12420463562011719, 0.12841796875]}, "gradients/decoder.transformer.h.0.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 2.0, 0.0, 9.0, 8.0, 6.0, 12.0, 17.0, 19.0, 15.0, 26.0, 32.0, 44.0, 50.0, 50.0, 59.0, 63.0, 77.0, 87.0, 68.0, 69.0, 43.0, 46.0, 37.0, 27.0, 29.0, 24.0, 17.0, 18.0, 15.0, 2.0, 10.0, 10.0, 2.0, 3.0, 5.0, 6.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.909918487071991, -0.8838598728179932, -0.8578012585639954, -0.8317426443099976, -0.8056840300559998, -0.779625415802002, -0.7535667419433594, -0.7275081872940063, -0.7014495134353638, -0.675390899181366, -0.6493322849273682, -0.6232736706733704, -0.5972150564193726, -0.5711564421653748, -0.545097827911377, -0.5190391540527344, -0.49298059940338135, -0.46692198514938354, -0.44086337089538574, -0.41480475664138794, -0.38874614238739014, -0.36268752813339233, -0.33662888407707214, -0.31057026982307434, -0.28451165556907654, -0.25845304131507874, -0.23239442706108093, -0.20633579790592194, -0.18027718365192413, -0.15421856939792633, -0.12815994024276733, -0.10210132598876953, -0.07604265213012695, -0.04998403415083885, -0.02392541617155075, 0.002133205533027649, 0.02819181978702545, 0.054250434041023254, 0.08030906319618225, 0.10636767745018005, 0.13242629170417786, 0.15848490595817566, 0.18454352021217346, 0.21060214936733246, 0.23666076362133026, 0.26271939277648926, 0.28877800703048706, 0.31483662128448486, 0.34089523553848267, 0.36695384979248047, 0.39301246404647827, 0.4190710783004761, 0.4451296925544739, 0.4711883068084717, 0.49724695086479187, 0.5233055353164673, 0.5493642091751099, 0.5754228234291077, 0.6014814376831055, 0.6275400519371033, 0.6535986661911011, 0.6796572804450989, 0.7057158946990967, 0.7317745685577393, 0.7578331232070923]}, "gradients/decoder.transformer.h.0.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 1.0, 3.0, 2.0, 0.0, 3.0, 4.0, 4.0, 8.0, 13.0, 4.0, 15.0, 11.0, 15.0, 12.0, 23.0, 13.0, 16.0, 9.0, 19.0, 23.0, 22.0, 26.0, 25.0, 36.0, 42.0, 42.0, 36.0, 42.0, 40.0, 30.0, 39.0, 25.0, 40.0, 28.0, 34.0, 35.0, 33.0, 29.0, 18.0, 32.0, 14.0, 24.0, 12.0, 16.0, 18.0, 12.0, 13.0, 5.0, 9.0, 9.0, 6.0, 7.0, 5.0, 3.0, 3.0, 6.0, 2.0, 0.0, 1.0], "bins": [-0.5583981275558472, -0.5419148206710815, -0.5254315137863159, -0.5089482665061951, -0.49246495962142944, -0.4759816527366638, -0.4594983458518982, -0.44301503896713257, -0.42653176188468933, -0.4100484549999237, -0.39356517791748047, -0.37708187103271484, -0.3605985641479492, -0.344115287065506, -0.32763198018074036, -0.3111487030982971, -0.2946653962135315, -0.27818208932876587, -0.26169881224632263, -0.245215505361557, -0.22873221337795258, -0.21224892139434814, -0.19576561450958252, -0.1792823225259781, -0.16279903054237366, -0.14631573855876923, -0.1298324465751648, -0.11334913969039917, -0.09686584770679474, -0.08038255572319031, -0.06389925628900528, -0.04741595685482025, -0.03093266487121582, -0.01444936916232109, 0.002033926546573639, 0.01851722225546837, 0.0350005179643631, 0.05148380994796753, 0.06796710938215256, 0.08445040881633759, 0.10093370079994202, 0.11741699278354645, 0.13390028476715088, 0.1503835916519165, 0.16686688363552094, 0.18335017561912537, 0.199833482503891, 0.21631677448749542, 0.23280006647109985, 0.24928335845470428, 0.2657666504383087, 0.28224995732307434, 0.2987332344055176, 0.3152165412902832, 0.33169984817504883, 0.34818315505981445, 0.3646664321422577, 0.3811497390270233, 0.39763301610946655, 0.4141163229942322, 0.4305996298789978, 0.44708290696144104, 0.46356621384620667, 0.4800494909286499, 0.4965327978134155]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 0.0, 4.0, 2.0, 2.0, 5.0, 4.0, 4.0, 6.0, 10.0, 10.0, 12.0, 11.0, 20.0, 10.0, 16.0, 16.0, 13.0, 19.0, 20.0, 20.0, 28.0, 43.0, 27.0, 34.0, 41.0, 31.0, 45.0, 46.0, 40.0, 41.0, 24.0, 44.0, 36.0, 33.0, 40.0, 28.0, 25.0, 27.0, 20.0, 14.0, 30.0, 17.0, 11.0, 16.0, 12.0, 10.0, 4.0, 9.0, 16.0, 2.0, 5.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.1015625, -1.0672760009765625, -1.032989501953125, -0.9987030029296875, -0.96441650390625, -0.9301300048828125, -0.895843505859375, -0.8615570068359375, -0.8272705078125, -0.7929840087890625, -0.758697509765625, -0.7244110107421875, -0.69012451171875, -0.6558380126953125, -0.621551513671875, -0.5872650146484375, -0.552978515625, -0.5186920166015625, -0.484405517578125, -0.4501190185546875, -0.41583251953125, -0.3815460205078125, -0.347259521484375, -0.3129730224609375, -0.2786865234375, -0.2444000244140625, -0.210113525390625, -0.1758270263671875, -0.14154052734375, -0.1072540283203125, -0.072967529296875, -0.0386810302734375, -0.00439453125, 0.0298919677734375, 0.064178466796875, 0.0984649658203125, 0.13275146484375, 0.1670379638671875, 0.201324462890625, 0.2356109619140625, 0.2698974609375, 0.3041839599609375, 0.338470458984375, 0.3727569580078125, 0.40704345703125, 0.4413299560546875, 0.475616455078125, 0.5099029541015625, 0.544189453125, 0.5784759521484375, 0.612762451171875, 0.6470489501953125, 0.68133544921875, 0.7156219482421875, 0.749908447265625, 0.7841949462890625, 0.8184814453125, 0.8527679443359375, 0.887054443359375, 0.9213409423828125, 0.95562744140625, 0.9899139404296875, 1.024200439453125, 1.0584869384765625, 1.0927734375]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 6.0, 9.0, 10.0, 8.0, 27.0, 22.0, 44.0, 57.0, 99.0, 116.0, 166.0, 228.0, 328.0, 472.0, 643.0, 999.0, 1362.0, 1957.0, 2753.0, 3949.0, 5669.0, 8044.0, 11754.0, 17036.0, 25961.0, 39848.0, 64301.0, 111522.0, 291541.0, 197722.0, 95897.0, 56729.0, 35313.0, 22867.0, 15526.0, 10704.0, 7443.0, 5268.0, 3686.0, 2576.0, 1809.0, 1272.0, 871.0, 606.0, 426.0, 306.0, 187.0, 152.0, 92.0, 52.0, 49.0, 22.0, 25.0, 10.0, 3.0, 11.0, 2.0, 6.0, 5.0, 0.0, 2.0], "bins": [-0.006137847900390625, -0.005945265293121338, -0.005752682685852051, -0.005560100078582764, -0.0053675174713134766, -0.0051749348640441895, -0.004982352256774902, -0.004789769649505615, -0.004597187042236328, -0.004404604434967041, -0.004212021827697754, -0.004019439220428467, -0.0038268566131591797, -0.0036342740058898926, -0.0034416913986206055, -0.0032491087913513184, -0.0030565261840820312, -0.002863943576812744, -0.002671360969543457, -0.00247877836227417, -0.002286195755004883, -0.0020936131477355957, -0.0019010305404663086, -0.0017084479331970215, -0.0015158653259277344, -0.0013232827186584473, -0.0011307001113891602, -0.000938117504119873, -0.0007455348968505859, -0.0005529522895812988, -0.0003603696823120117, -0.0001677870750427246, 2.47955322265625e-05, 0.0002173781394958496, 0.0004099607467651367, 0.0006025433540344238, 0.0007951259613037109, 0.000987708568572998, 0.0011802911758422852, 0.0013728737831115723, 0.0015654563903808594, 0.0017580389976501465, 0.0019506216049194336, 0.0021432042121887207, 0.002335786819458008, 0.002528369426727295, 0.002720952033996582, 0.002913534641265869, 0.0031061172485351562, 0.0032986998558044434, 0.0034912824630737305, 0.0036838650703430176, 0.0038764476776123047, 0.004069030284881592, 0.004261612892150879, 0.004454195499420166, 0.004646778106689453, 0.00483936071395874, 0.005031943321228027, 0.0052245259284973145, 0.0054171085357666016, 0.005609691143035889, 0.005802273750305176, 0.005994856357574463, 0.00618743896484375]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 4.0, 6.0, 5.0, 5.0, 4.0, 12.0, 9.0, 11.0, 19.0, 13.0, 20.0, 13.0, 24.0, 42.0, 30.0, 35.0, 39.0, 38.0, 44.0, 38.0, 51.0, 38.0, 1071.0, 45.0, 40.0, 38.0, 50.0, 39.0, 26.0, 33.0, 34.0, 28.0, 23.0, 14.0, 18.0, 14.0, 12.0, 13.0, 7.0, 11.0, 6.0, 4.0, 0.0, 2.0, 2.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-1.1572265625, -1.12335205078125, -1.0894775390625, -1.05560302734375, -1.021728515625, -0.98785400390625, -0.9539794921875, -0.92010498046875, -0.88623046875, -0.85235595703125, -0.8184814453125, -0.78460693359375, -0.750732421875, -0.71685791015625, -0.6829833984375, -0.64910888671875, -0.615234375, -0.58135986328125, -0.5474853515625, -0.51361083984375, -0.479736328125, -0.44586181640625, -0.4119873046875, -0.37811279296875, -0.34423828125, -0.31036376953125, -0.2764892578125, -0.24261474609375, -0.208740234375, -0.17486572265625, -0.1409912109375, -0.10711669921875, -0.0732421875, -0.03936767578125, -0.0054931640625, 0.02838134765625, 0.062255859375, 0.09613037109375, 0.1300048828125, 0.16387939453125, 0.19775390625, 0.23162841796875, 0.2655029296875, 0.29937744140625, 0.333251953125, 0.36712646484375, 0.4010009765625, 0.43487548828125, 0.46875, 0.50262451171875, 0.5364990234375, 0.57037353515625, 0.604248046875, 0.63812255859375, 0.6719970703125, 0.70587158203125, 0.73974609375, 0.77362060546875, 0.8074951171875, 0.84136962890625, 0.875244140625, 0.90911865234375, 0.9429931640625, 0.97686767578125, 1.0107421875]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 4.0, 1.0, 0.0, 3.0, 10.0, 7.0, 10.0, 16.0, 10.0, 16.0, 20.0, 8.0, 34.0, 27.0, 31.0, 33.0, 39.0, 66.0, 106.0, 284.0, 1150.0, 9761.0, 2076590.0, 7286.0, 955.0, 240.0, 97.0, 54.0, 43.0, 34.0, 30.0, 39.0, 18.0, 14.0, 16.0, 15.0, 17.0, 11.0, 8.0, 11.0, 4.0, 3.0, 8.0, 5.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0010986328125, -0.0010613203048706055, -0.001024007797241211, -0.0009866952896118164, -0.0009493827819824219, -0.0009120702743530273, -0.0008747577667236328, -0.0008374452590942383, -0.0008001327514648438, -0.0007628202438354492, -0.0007255077362060547, -0.0006881952285766602, -0.0006508827209472656, -0.0006135702133178711, -0.0005762577056884766, -0.000538945198059082, -0.0005016326904296875, -0.00046432018280029297, -0.00042700767517089844, -0.0003896951675415039, -0.0003523826599121094, -0.00031507015228271484, -0.0002777576446533203, -0.00024044513702392578, -0.00020313262939453125, -0.00016582012176513672, -0.0001285076141357422, -9.119510650634766e-05, -5.3882598876953125e-05, -1.6570091247558594e-05, 2.0742416381835938e-05, 5.805492401123047e-05, 9.5367431640625e-05, 0.00013267993927001953, 0.00016999244689941406, 0.0002073049545288086, 0.0002446174621582031, 0.00028192996978759766, 0.0003192424774169922, 0.0003565549850463867, 0.00039386749267578125, 0.0004311800003051758, 0.0004684925079345703, 0.0005058050155639648, 0.0005431175231933594, 0.0005804300308227539, 0.0006177425384521484, 0.000655055046081543, 0.0006923675537109375, 0.000729680061340332, 0.0007669925689697266, 0.0008043050765991211, 0.0008416175842285156, 0.0008789300918579102, 0.0009162425994873047, 0.0009535551071166992, 0.0009908676147460938, 0.0010281801223754883, 0.0010654926300048828, 0.0011028051376342773, 0.0011401176452636719, 0.0011774301528930664, 0.001214742660522461, 0.0012520551681518555, 0.00128936767578125]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 984.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 4.0, 1.0, 2.0, 0.0, 3.0, 5.0, 1.0, 3.0, 0.0, 9.0, 3.0, 13.0, 10.0, 0.0, 19.0, 18.0, 24.0, 61.0, 0.0, 151.0, 295.0, 951.0, 2193.0, 0.0, 5384.0, 10950.0, 1008419.0, 10992.0, 0.0, 5276.0, 2195.0, 950.0, 319.0, 0.0, 130.0, 56.0, 34.0, 14.0, 0.0, 29.0, 4.0, 12.0, 4.0, 0.0, 11.0, 4.0, 2.0, 7.0, 0.0, 1.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0], "bins": [-1.5497207641601562e-06, -1.5022233128547668e-06, -1.4547258615493774e-06, -1.407228410243988e-06, -1.3597309589385986e-06, -1.3122335076332092e-06, -1.2647360563278198e-06, -1.2172386050224304e-06, -1.169741153717041e-06, -1.1222437024116516e-06, -1.0747462511062622e-06, -1.0272487998008728e-06, -9.797513484954834e-07, -9.32253897190094e-07, -8.847564458847046e-07, -8.372589945793152e-07, -7.897615432739258e-07, -7.422640919685364e-07, -6.94766640663147e-07, -6.472691893577576e-07, -5.997717380523682e-07, -5.522742867469788e-07, -5.047768354415894e-07, -4.5727938413619995e-07, -4.0978193283081055e-07, -3.6228448152542114e-07, -3.1478703022003174e-07, -2.6728957891464233e-07, -2.1979212760925293e-07, -1.7229467630386353e-07, -1.2479722499847412e-07, -7.729977369308472e-08, -2.9802322387695312e-08, 1.7695128917694092e-08, 6.51925802230835e-08, 1.126900315284729e-07, 1.601874828338623e-07, 2.076849341392517e-07, 2.551823854446411e-07, 3.026798367500305e-07, 3.501772880554199e-07, 3.976747393608093e-07, 4.4517219066619873e-07, 4.926696419715881e-07, 5.401670932769775e-07, 5.876645445823669e-07, 6.351619958877563e-07, 6.826594471931458e-07, 7.301568984985352e-07, 7.776543498039246e-07, 8.25151801109314e-07, 8.726492524147034e-07, 9.201467037200928e-07, 9.676441550254822e-07, 1.0151416063308716e-06, 1.062639057636261e-06, 1.1101365089416504e-06, 1.1576339602470398e-06, 1.2051314115524292e-06, 1.2526288628578186e-06, 1.300126314163208e-06, 1.3476237654685974e-06, 1.3951212167739868e-06, 1.4426186680793762e-06, 1.4901161193847656e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 4.0, 8.0, 12.0, 9.0, 13.0, 20.0, 14.0, 25.0, 39.0, 41.0, 638.0, 47.0, 25.0, 27.0, 15.0, 23.0, 12.0, 9.0, 9.0, 6.0, 4.0, 5.0, 1.0, 1.0, 2.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.418879140961508e-07, -5.270183009997709e-07, -5.121486310599721e-07, -4.972790179635922e-07, -4.824094048672123e-07, -4.675397349274135e-07, -4.526701218310336e-07, -4.3780048031294427e-07, -4.2293083879485494e-07, -4.080611972767656e-07, -3.931915841803857e-07, -3.7832194266229635e-07, -3.63452301144207e-07, -3.485826596261177e-07, -3.3371304652973777e-07, -3.1884340501164843e-07, -3.039737634935591e-07, -2.8910412197546975e-07, -2.7423450887908984e-07, -2.593648673610005e-07, -2.4449522584291117e-07, -2.2962559853567654e-07, -2.1475597122844192e-07, -1.9988632971035258e-07, -1.8501671661397268e-07, -1.7014708930673805e-07, -1.5527744778864871e-07, -1.404078204814141e-07, -1.2553817896332475e-07, -1.1066855165609013e-07, -9.579891724342815e-08, -8.092928283076617e-08, -6.605964131267683e-08, -5.119000690001485e-08, -3.632037248735287e-08, -2.1450741627404568e-08, -6.5811072147425875e-09, 8.288523645205714e-09, 2.3158158057867695e-08, 3.8027792470529675e-08, 5.2897426883191656e-08, 6.776706129585364e-08, 8.263669570851562e-08, 9.75063301211776e-08, 1.1237595742841222e-07, 1.2724558473564684e-07, 1.4211522625373618e-07, 1.5698486777182552e-07, 1.7185449507906014e-07, 1.8672412238629477e-07, 2.015937639043841e-07, 2.1646339121161873e-07, 2.3133303272970807e-07, 2.462026600369427e-07, 2.6107230155503203e-07, 2.7594194307312137e-07, 2.9081155616950127e-07, 3.056811976875906e-07, 3.205508107839705e-07, 3.3542045230205986e-07, 3.502900938201492e-07, 3.6515973533823853e-07, 3.8002934843461844e-07, 3.948989899527078e-07, 4.097686314707971e-07]}, "gradients/decoder.transformer.h.0.ln_cross_attn.bias": {"_type": "histogram", "values": [13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 27.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 137.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 649.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 152.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 41.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/decoder.transformer.h.0.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 0.0, 4.0, 2.0, 2.0, 5.0, 4.0, 4.0, 6.0, 10.0, 10.0, 12.0, 11.0, 20.0, 10.0, 16.0, 16.0, 13.0, 19.0, 20.0, 20.0, 28.0, 43.0, 27.0, 34.0, 41.0, 31.0, 45.0, 46.0, 40.0, 41.0, 24.0, 44.0, 36.0, 33.0, 40.0, 28.0, 25.0, 27.0, 20.0, 14.0, 30.0, 17.0, 11.0, 16.0, 12.0, 10.0, 4.0, 9.0, 16.0, 2.0, 5.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.1015625, -1.0672760009765625, -1.032989501953125, -0.9987030029296875, -0.96441650390625, -0.9301300048828125, -0.895843505859375, -0.8615570068359375, -0.8272705078125, -0.7929840087890625, -0.758697509765625, -0.7244110107421875, -0.69012451171875, -0.6558380126953125, -0.621551513671875, -0.5872650146484375, -0.552978515625, -0.5186920166015625, -0.484405517578125, -0.4501190185546875, -0.41583251953125, -0.3815460205078125, -0.347259521484375, -0.3129730224609375, -0.2786865234375, -0.2444000244140625, -0.210113525390625, -0.1758270263671875, -0.14154052734375, -0.1072540283203125, -0.072967529296875, -0.0386810302734375, -0.00439453125, 0.0298919677734375, 0.064178466796875, 0.0984649658203125, 0.13275146484375, 0.1670379638671875, 0.201324462890625, 0.2356109619140625, 0.2698974609375, 0.3041839599609375, 0.338470458984375, 0.3727569580078125, 0.40704345703125, 0.4413299560546875, 0.475616455078125, 0.5099029541015625, 0.544189453125, 0.5784759521484375, 0.612762451171875, 0.6470489501953125, 0.68133544921875, 0.7156219482421875, 0.749908447265625, 0.7841949462890625, 0.8184814453125, 0.8527679443359375, 0.887054443359375, 0.9213409423828125, 0.95562744140625, 0.9899139404296875, 1.024200439453125, 1.0584869384765625, 1.0927734375]}, "gradients/decoder.transformer.h.0.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 1.0, 4.0, 3.0, 2.0, 5.0, 5.0, 7.0, 8.0, 13.0, 9.0, 15.0, 15.0, 26.0, 15.0, 16.0, 23.0, 55.0, 66.0, 106.0, 186.0, 295.0, 517.0, 1193.0, 4391.0, 24586.0, 177050.0, 592330.0, 210588.0, 29176.0, 5080.0, 1271.0, 574.0, 316.0, 197.0, 101.0, 76.0, 51.0, 34.0, 28.0, 21.0, 21.0, 16.0, 8.0, 15.0, 5.0, 8.0, 14.0, 8.0, 4.0, 4.0, 4.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.1856689453125, -0.1799640655517578, -0.17425918579101562, -0.16855430603027344, -0.16284942626953125, -0.15714454650878906, -0.15143966674804688, -0.1457347869873047, -0.1400299072265625, -0.1343250274658203, -0.12862014770507812, -0.12291526794433594, -0.11721038818359375, -0.11150550842285156, -0.10580062866210938, -0.10009574890136719, -0.094390869140625, -0.08868598937988281, -0.08298110961914062, -0.07727622985839844, -0.07157135009765625, -0.06586647033691406, -0.060161590576171875, -0.05445671081542969, -0.0487518310546875, -0.04304695129394531, -0.037342071533203125, -0.03163719177246094, -0.02593231201171875, -0.020227432250976562, -0.014522552490234375, -0.008817672729492188, -0.00311279296875, 0.0025920867919921875, 0.008296966552734375, 0.014001846313476562, 0.01970672607421875, 0.025411605834960938, 0.031116485595703125, 0.03682136535644531, 0.0425262451171875, 0.04823112487792969, 0.053936004638671875, 0.05964088439941406, 0.06534576416015625, 0.07105064392089844, 0.07675552368164062, 0.08246040344238281, 0.088165283203125, 0.09387016296386719, 0.09957504272460938, 0.10527992248535156, 0.11098480224609375, 0.11668968200683594, 0.12239456176757812, 0.1280994415283203, 0.1338043212890625, 0.1395092010498047, 0.14521408081054688, 0.15091896057128906, 0.15662384033203125, 0.16232872009277344, 0.16803359985351562, 0.1737384796142578, 0.179443359375]}, "gradients/decoder.transformer.h.0.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 5.0, 5.0, 4.0, 5.0, 4.0, 14.0, 10.0, 22.0, 24.0, 27.0, 34.0, 48.0, 52.0, 72.0, 62.0, 77.0, 2085.0, 98.0, 70.0, 58.0, 61.0, 51.0, 36.0, 35.0, 31.0, 17.0, 13.0, 15.0, 7.0, 6.0, 6.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.380859375, -2.292144775390625, -2.20343017578125, -2.114715576171875, -2.0260009765625, -1.937286376953125, -1.84857177734375, -1.759857177734375, -1.671142578125, -1.582427978515625, -1.49371337890625, -1.404998779296875, -1.3162841796875, -1.227569580078125, -1.13885498046875, -1.050140380859375, -0.96142578125, -0.872711181640625, -0.78399658203125, -0.695281982421875, -0.6065673828125, -0.517852783203125, -0.42913818359375, -0.340423583984375, -0.251708984375, -0.162994384765625, -0.07427978515625, 0.014434814453125, 0.1031494140625, 0.191864013671875, 0.28057861328125, 0.369293212890625, 0.4580078125, 0.546722412109375, 0.63543701171875, 0.724151611328125, 0.8128662109375, 0.901580810546875, 0.99029541015625, 1.079010009765625, 1.167724609375, 1.256439208984375, 1.34515380859375, 1.433868408203125, 1.5225830078125, 1.611297607421875, 1.70001220703125, 1.788726806640625, 1.87744140625, 1.966156005859375, 2.05487060546875, 2.143585205078125, 2.2322998046875, 2.321014404296875, 2.40972900390625, 2.498443603515625, 2.587158203125, 2.675872802734375, 2.76458740234375, 2.853302001953125, 2.9420166015625, 3.030731201171875, 3.11944580078125, 3.208160400390625, 3.296875]}, "gradients/decoder.transformer.h.0.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 3.0, 2.0, 5.0, 5.0, 7.0, 14.0, 16.0, 21.0, 46.0, 63.0, 131.0, 270.0, 532.0, 1442.0, 5969.0, 91729.0, 2989003.0, 49923.0, 4267.0, 1262.0, 506.0, 233.0, 119.0, 70.0, 29.0, 11.0, 15.0, 8.0, 4.0, 4.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.337890625, -0.3288593292236328, -0.3198280334472656, -0.31079673767089844, -0.30176544189453125, -0.29273414611816406, -0.2837028503417969, -0.2746715545654297, -0.2656402587890625, -0.2566089630126953, -0.24757766723632812, -0.23854637145996094, -0.22951507568359375, -0.22048377990722656, -0.21145248413085938, -0.2024211883544922, -0.193389892578125, -0.1843585968017578, -0.17532730102539062, -0.16629600524902344, -0.15726470947265625, -0.14823341369628906, -0.13920211791992188, -0.1301708221435547, -0.1211395263671875, -0.11210823059082031, -0.10307693481445312, -0.09404563903808594, -0.08501434326171875, -0.07598304748535156, -0.06695175170898438, -0.05792045593261719, -0.04888916015625, -0.03985786437988281, -0.030826568603515625, -0.021795272827148438, -0.01276397705078125, -0.0037326812744140625, 0.005298614501953125, 0.014329910278320312, 0.0233612060546875, 0.03239250183105469, 0.041423797607421875, 0.05045509338378906, 0.05948638916015625, 0.06851768493652344, 0.07754898071289062, 0.08658027648925781, 0.095611572265625, 0.10464286804199219, 0.11367416381835938, 0.12270545959472656, 0.13173675537109375, 0.14076805114746094, 0.14979934692382812, 0.1588306427001953, 0.1678619384765625, 0.1768932342529297, 0.18592453002929688, 0.19495582580566406, 0.20398712158203125, 0.21301841735839844, 0.22204971313476562, 0.2310810089111328, 0.2401123046875]}, "gradients/decoder.transformer.h.0.ln_1.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 4.0, 6.0, 4.0, 10.0, 8.0, 11.0, 23.0, 22.0, 37.0, 58.0, 91.0, 111.0, 142.0, 126.0, 109.0, 71.0, 52.0, 30.0, 18.0, 16.0, 12.0, 13.0, 7.0, 7.0, 2.0, 3.0, 5.0, 4.0, 0.0, 3.0, 2.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.8811519145965576, -2.769111156463623, -2.6570701599121094, -2.545029401779175, -2.4329886436462402, -2.3209476470947266, -2.208906888961792, -2.0968661308288574, -1.9848251342773438, -1.8727842569351196, -1.7607433795928955, -1.648702621459961, -1.5366617441177368, -1.4246208667755127, -1.3125801086425781, -1.200539231300354, -1.0884983539581299, -0.9764574766159058, -0.8644166588783264, -0.7523758411407471, -0.640334963798523, -0.5282940864562988, -0.4162532687187195, -0.30421245098114014, -0.19217157363891602, -0.08013072609901428, 0.03191012144088745, 0.14395096898078918, 0.2559918165206909, 0.36803269386291504, 0.4800735116004944, 0.5921143293380737, 0.7041549682617188, 0.8161958456039429, 0.9282366633415222, 1.0402774810791016, 1.1523183584213257, 1.2643592357635498, 1.3763999938964844, 1.4884408712387085, 1.6004817485809326, 1.7125226259231567, 1.8245635032653809, 1.9366042613983154, 2.04864501953125, 2.1606860160827637, 2.2727267742156982, 2.384767532348633, 2.4968085289001465, 2.608849287033081, 2.7208902835845947, 2.8329310417175293, 2.944972038269043, 3.0570127964019775, 3.169053554534912, 3.281094551086426, 3.3931353092193604, 3.505176067352295, 3.6172170639038086, 3.729257822036743, 3.8412985801696777, 3.9533395767211914, 4.065380573272705, 4.1774210929870605, 4.289462089538574]}, "gradients/decoder.transformer.h.0.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 4.0, 1.0, 3.0, 3.0, 2.0, 2.0, 5.0, 9.0, 9.0, 6.0, 10.0, 9.0, 17.0, 18.0, 22.0, 34.0, 25.0, 31.0, 31.0, 36.0, 42.0, 53.0, 44.0, 48.0, 53.0, 38.0, 43.0, 54.0, 51.0, 35.0, 28.0, 34.0, 36.0, 34.0, 25.0, 24.0, 15.0, 15.0, 18.0, 5.0, 11.0, 6.0, 9.0, 4.0, 4.0, 1.0, 5.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.142597198486328, -4.012853145599365, -3.883108615875244, -3.7533645629882812, -3.6236202716827393, -3.4938759803771973, -3.3641319274902344, -3.2343876361846924, -3.1046433448791504, -2.9748990535736084, -2.8451547622680664, -2.7154107093811035, -2.5856664180755615, -2.4559221267700195, -2.3261780738830566, -2.1964337825775146, -2.0666894912719727, -1.9369451999664307, -1.8072010278701782, -1.6774568557739258, -1.5477125644683838, -1.4179682731628418, -1.2882241010665894, -1.158479928970337, -1.028735637664795, -0.8989914059638977, -0.7692471742630005, -0.6395029425621033, -0.509758710861206, -0.38001447916030884, -0.2502702474594116, -0.1205260157585144, 0.009218215942382812, 0.13896244764328003, 0.26870667934417725, 0.39845091104507446, 0.5281951427459717, 0.6579393744468689, 0.7876836061477661, 0.9174278378486633, 1.0471720695495605, 1.1769163608551025, 1.306660532951355, 1.4364047050476074, 1.5661489963531494, 1.6958932876586914, 1.8256374597549438, 1.9553816318511963, 2.0851259231567383, 2.2148702144622803, 2.3446145057678223, 2.474358558654785, 2.604102849960327, 2.733847141265869, 2.863591194152832, 2.993335485458374, 3.123079776763916, 3.252824068069458, 3.382568359375, 3.512312412261963, 3.642056703567505, 3.771800994873047, 3.9015450477600098, 4.031289577484131, 4.161033630371094]}, "gradients/decoder.transformer.wpe.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 5.0, 3.0, 3.0, 4.0, 6.0, 2.0, 9.0, 9.0, 15.0, 14.0, 16.0, 27.0, 31.0, 49.0, 57.0, 65.0, 83.0, 144.0, 164.0, 188.0, 308.0, 408.0, 583.0, 753.0, 1240.0, 1041111.0, 816.0, 612.0, 477.0, 333.0, 236.0, 190.0, 155.0, 99.0, 71.0, 54.0, 45.0, 35.0, 32.0, 19.0, 16.0, 21.0, 12.0, 14.0, 7.0, 9.0, 7.0, 2.0, 4.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.8108595013618469, -0.7848710417747498, -0.7588826417922974, -0.7328941822052002, -0.7069057822227478, -0.6809173226356506, -0.6549289226531982, -0.6289404630661011, -0.6029520034790039, -0.5769635438919067, -0.5509751439094543, -0.5249866843223572, -0.4989982545375824, -0.4730098247528076, -0.44702139496803284, -0.42103296518325806, -0.3950445353984833, -0.3690561056137085, -0.3430676758289337, -0.31707924604415894, -0.29109078645706177, -0.265102356672287, -0.2391139268875122, -0.21312548220157623, -0.18713705241680145, -0.16114862263202667, -0.1351601779460907, -0.10917174816131592, -0.08318331092596054, -0.057194873690605164, -0.031206443905830383, -0.005217999219894409, 0.02077043056488037, 0.04675886780023575, 0.07274730503559113, 0.0987357348203659, 0.12472417205572128, 0.15071260929107666, 0.17670103907585144, 0.20268948376178741, 0.2286779135465622, 0.25466635823249817, 0.28065478801727295, 0.30664321780204773, 0.3326316475868225, 0.3586201071739197, 0.38460850715637207, 0.41059696674346924, 0.436585396528244, 0.4625738263130188, 0.4885622560977936, 0.5145506858825684, 0.5405391454696655, 0.5665276050567627, 0.5925160050392151, 0.6185044646263123, 0.6444928646087646, 0.6704813241958618, 0.6964697241783142, 0.7224581837654114, 0.7484465837478638, 0.7744350433349609, 0.8004235029220581, 0.8264119029045105, 0.8524003624916077]}, "gradients/decoder.transformer.wte.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 6.0, 3.0, 5.0, 5.0, 5.0, 1.0, 6.0, 11.0, 6.0, 15.0, 29.0, 25.0, 66.0, 114.0, 587.0, 51450820.0, 11003.0, 266.0, 76.0, 48.0, 20.0, 16.0, 13.0, 8.0, 3.0, 4.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-21.74983787536621, -21.27509117126465, -20.800344467163086, -20.32559585571289, -19.850849151611328, -19.376102447509766, -18.901355743408203, -18.42660903930664, -17.951862335205078, -17.477115631103516, -17.002368927001953, -16.52762222290039, -16.052873611450195, -15.578126907348633, -15.10338020324707, -14.628633499145508, -14.153885841369629, -13.679139137268066, -13.204391479492188, -12.729644775390625, -12.254898071289062, -11.7801513671875, -11.305403709411621, -10.830657005310059, -10.35590934753418, -9.881162643432617, -9.406414985656738, -8.931668281555176, -8.456921577453613, -7.982174396514893, -7.507427215576172, -7.032680511474609, -6.5579328536987305, -6.08318567276001, -5.608438968658447, -5.133691787719727, -4.658945083618164, -4.184197902679443, -3.7094507217407227, -3.234703779220581, -2.7599568367004395, -2.285209894180298, -1.8104628324508667, -1.3357157707214355, -0.860968828201294, -0.38622188568115234, 0.08852529525756836, 0.56327223777771, 1.0380191802978516, 1.5127661228179932, 1.9875131845474243, 2.4622602462768555, 2.937007188796997, 3.4117541313171387, 3.8865013122558594, 4.361248016357422, 4.835995197296143, 5.310742378234863, 5.785489082336426, 6.2602362632751465, 6.734983444213867, 7.20973014831543, 7.68447732925415, 8.159224510192871, 8.633971214294434]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 4.0, 0.0, 9.0, 6.0, 6.0, 13.0, 4.0, 12.0, 14.0, 14.0, 21.0, 28.0, 16.0, 31.0, 51.0, 40.0, 56.0, 78.0, 87.0, 143.0, 287.0, 614.0, 1735.0, 9414.0, 6268303.0, 7629.0, 1420.0, 533.0, 277.0, 159.0, 83.0, 58.0, 53.0, 33.0, 38.0, 30.0, 21.0, 19.0, 20.0, 10.0, 12.0, 14.0, 11.0, 11.0, 9.0, 7.0, 4.0, 5.0, 1.0, 0.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0009365081787109375, -0.0009067431092262268, -0.0008769780397415161, -0.0008472129702568054, -0.0008174479007720947, -0.000787682831287384, -0.0007579177618026733, -0.0007281526923179626, -0.000698387622833252, -0.0006686225533485413, -0.0006388574838638306, -0.0006090924143791199, -0.0005793273448944092, -0.0005495622754096985, -0.0005197972059249878, -0.0004900321364402771, -0.0004602670669555664, -0.0004305019974708557, -0.000400736927986145, -0.0003709718585014343, -0.00034120678901672363, -0.00031144171953201294, -0.00028167665004730225, -0.00025191158056259155, -0.00022214651107788086, -0.00019238144159317017, -0.00016261637210845947, -0.00013285130262374878, -0.00010308623313903809, -7.332116365432739e-05, -4.35560941696167e-05, -1.3791024684906006e-05, 1.5974044799804688e-05, 4.573911428451538e-05, 7.550418376922607e-05, 0.00010526925325393677, 0.00013503432273864746, 0.00016479939222335815, 0.00019456446170806885, 0.00022432953119277954, 0.00025409460067749023, 0.00028385967016220093, 0.0003136247396469116, 0.0003433898091316223, 0.000373154878616333, 0.0004029199481010437, 0.0004326850175857544, 0.0004624500870704651, 0.0004922151565551758, 0.0005219802260398865, 0.0005517452955245972, 0.0005815103650093079, 0.0006112754344940186, 0.0006410405039787292, 0.0006708055734634399, 0.0007005706429481506, 0.0007303357124328613, 0.000760100781917572, 0.0007898658514022827, 0.0008196309208869934, 0.0008493959903717041, 0.0008791610598564148, 0.0009089261293411255, 0.0009386911988258362, 0.0009684562683105469]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 1.0, 0.0, 4.0, 10.0, 49.0, 1800.0, 129.0, 16.0, 13.0, 5.0, 4.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000362396240234375, -0.0003513246774673462, -0.0003402531147003174, -0.0003291815519332886, -0.00031810998916625977, -0.00030703842639923096, -0.00029596686363220215, -0.00028489530086517334, -0.00027382373809814453, -0.0002627521753311157, -0.0002516806125640869, -0.0002406090497970581, -0.0002295374870300293, -0.0002184659242630005, -0.00020739436149597168, -0.00019632279872894287, -0.00018525123596191406, -0.00017417967319488525, -0.00016310811042785645, -0.00015203654766082764, -0.00014096498489379883, -0.00012989342212677002, -0.00011882185935974121, -0.0001077502965927124, -9.66787338256836e-05, -8.560717105865479e-05, -7.453560829162598e-05, -6.346404552459717e-05, -5.239248275756836e-05, -4.132091999053955e-05, -3.0249357223510742e-05, -1.9177794456481934e-05, -8.106231689453125e-06, 2.9653310775756836e-06, 1.4036893844604492e-05, 2.51084566116333e-05, 3.618001937866211e-05, 4.725158214569092e-05, 5.8323144912719727e-05, 6.939470767974854e-05, 8.046627044677734e-05, 9.153783321380615e-05, 0.00010260939598083496, 0.00011368095874786377, 0.00012475252151489258, 0.0001358240842819214, 0.0001468956470489502, 0.000157967209815979, 0.0001690387725830078, 0.00018011033535003662, 0.00019118189811706543, 0.00020225346088409424, 0.00021332502365112305, 0.00022439658641815186, 0.00023546814918518066, 0.00024653971195220947, 0.0002576112747192383, 0.0002686828374862671, 0.0002797544002532959, 0.0002908259630203247, 0.0003018975257873535, 0.0003129690885543823, 0.00032404065132141113, 0.00033511221408843994, 0.00034618377685546875]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 10.0, 8.0, 6.0, 13.0, 5.0, 18.0, 39.0, 37.0, 92.0, 221.0, 749.0, 4465.0, 5230968.0, 1049383.0, 4254.0, 702.0, 232.0, 105.0, 50.0, 26.0, 16.0, 15.0, 10.0, 8.0, 3.0, 3.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0002187490463256836, -0.00021388661116361618, -0.00020902417600154877, -0.00020416174083948135, -0.00019929930567741394, -0.00019443687051534653, -0.00018957443535327911, -0.0001847120001912117, -0.0001798495650291443, -0.00017498712986707687, -0.00017012469470500946, -0.00016526225954294205, -0.00016039982438087463, -0.00015553738921880722, -0.0001506749540567398, -0.0001458125188946724, -0.00014095008373260498, -0.00013608764857053757, -0.00013122521340847015, -0.00012636277824640274, -0.00012150034308433533, -0.00011663790792226791, -0.0001117754727602005, -0.00010691303759813309, -0.00010205060243606567, -9.718816727399826e-05, -9.232573211193085e-05, -8.746329694986343e-05, -8.260086178779602e-05, -7.773842662572861e-05, -7.28759914636612e-05, -6.801355630159378e-05, -6.315112113952637e-05, -5.8288685977458954e-05, -5.342625081539154e-05, -4.856381565332413e-05, -4.3701380491256714e-05, -3.88389453291893e-05, -3.397651016712189e-05, -2.9114075005054474e-05, -2.425163984298706e-05, -1.9389204680919647e-05, -1.4526769518852234e-05, -9.66433435678482e-06, -4.801899194717407e-06, 6.05359673500061e-08, 4.9229711294174194e-06, 9.785406291484833e-06, 1.4647841453552246e-05, 1.951027661561966e-05, 2.4372711777687073e-05, 2.9235146939754486e-05, 3.40975821018219e-05, 3.896001726388931e-05, 4.3822452425956726e-05, 4.868488758802414e-05, 5.354732275009155e-05, 5.8409757912158966e-05, 6.327219307422638e-05, 6.813462823629379e-05, 7.29970633983612e-05, 7.785949856042862e-05, 8.272193372249603e-05, 8.758436888456345e-05, 9.244680404663086e-05]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 2.0, 3.0, 2.0, 2.0, 10.0, 5.0, 29.0, 30.0, 90.0, 187.0, 714.0, 649.0, 170.0, 59.0, 21.0, 19.0, 12.0, 8.0, 4.0, 4.0, 5.0, 1.0, 3.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00025916099548339844, -0.0002533961087465286, -0.0002476312220096588, -0.000241866335272789, -0.0002361014485359192, -0.00023033656179904938, -0.00022457167506217957, -0.00021880678832530975, -0.00021304190158843994, -0.00020727701485157013, -0.00020151212811470032, -0.0001957472413778305, -0.0001899823546409607, -0.00018421746790409088, -0.00017845258116722107, -0.00017268769443035126, -0.00016692280769348145, -0.00016115792095661163, -0.00015539303421974182, -0.000149628147482872, -0.0001438632607460022, -0.00013809837400913239, -0.00013233348727226257, -0.00012656860053539276, -0.00012080371379852295, -0.00011503882706165314, -0.00010927394032478333, -0.00010350905358791351, -9.77441668510437e-05, -9.197928011417389e-05, -8.621439337730408e-05, -8.044950664043427e-05, -7.468461990356445e-05, -6.891973316669464e-05, -6.315484642982483e-05, -5.738995969295502e-05, -5.1625072956085205e-05, -4.586018621921539e-05, -4.009529948234558e-05, -3.433041274547577e-05, -2.8565526008605957e-05, -2.2800639271736145e-05, -1.7035752534866333e-05, -1.1270865797996521e-05, -5.505979061126709e-06, 2.5890767574310303e-07, 6.023794412612915e-06, 1.1788681149482727e-05, 1.755356788635254e-05, 2.331845462322235e-05, 2.9083341360092163e-05, 3.4848228096961975e-05, 4.061311483383179e-05, 4.63780015707016e-05, 5.214288830757141e-05, 5.790777504444122e-05, 6.367266178131104e-05, 6.943754851818085e-05, 7.520243525505066e-05, 8.096732199192047e-05, 8.673220872879028e-05, 9.24970954656601e-05, 9.826198220252991e-05, 0.00010402686893939972, 0.00010979175567626953]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 5.0, 2.0, 2.0, 5.0, 5.0, 1.0, 12.0, 2.0, 7.0, 7.0, 9.0, 20.0, 50.0, 70.0, 95.0, 166.0, 320.0, 756.0, 2180.0, 9900.0, 381015.0, 5879815.0, 12828.0, 2567.0, 844.0, 334.0, 173.0, 84.0, 54.0, 21.0, 22.0, 17.0, 16.0, 7.0, 11.0, 5.0, 5.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 3.0, 0.0, 2.0, 2.0], "bins": [-0.00011551380157470703, -0.0001120222732424736, -0.00010853074491024017, -0.00010503921657800674, -0.00010154768824577332, -9.805615991353989e-05, -9.456463158130646e-05, -9.107310324907303e-05, -8.75815749168396e-05, -8.409004658460617e-05, -8.059851825237274e-05, -7.710698992013931e-05, -7.361546158790588e-05, -7.012393325567245e-05, -6.663240492343903e-05, -6.31408765912056e-05, -5.964934825897217e-05, -5.615781992673874e-05, -5.266629159450531e-05, -4.917476326227188e-05, -4.568323493003845e-05, -4.219170659780502e-05, -3.8700178265571594e-05, -3.5208649933338165e-05, -3.1717121601104736e-05, -2.8225593268871307e-05, -2.473406493663788e-05, -2.124253660440445e-05, -1.775100827217102e-05, -1.4259479939937592e-05, -1.0767951607704163e-05, -7.276423275470734e-06, -3.7848949432373047e-06, -2.9336661100387573e-07, 3.1981617212295532e-06, 6.689690053462982e-06, 1.0181218385696411e-05, 1.367274671792984e-05, 1.716427505016327e-05, 2.0655803382396698e-05, 2.4147331714630127e-05, 2.7638860046863556e-05, 3.1130388379096985e-05, 3.4621916711330414e-05, 3.811344504356384e-05, 4.160497337579727e-05, 4.50965017080307e-05, 4.858803004026413e-05, 5.207955837249756e-05, 5.557108670473099e-05, 5.9062615036964417e-05, 6.255414336919785e-05, 6.604567170143127e-05, 6.95372000336647e-05, 7.302872836589813e-05, 7.652025669813156e-05, 8.001178503036499e-05, 8.350331336259842e-05, 8.699484169483185e-05, 9.048637002706528e-05, 9.39778983592987e-05, 9.746942669153214e-05, 0.00010096095502376556, 0.00010445248335599899, 0.00010794401168823242]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 3.0, 3.0, 5.0, 4.0, 10.0, 17.0, 28.0, 55.0, 76.0, 108.0, 253.0, 627.0, 542.0, 110.0, 69.0, 49.0, 32.0, 19.0, 13.0, 8.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00014901161193847656, -0.00014578085392713547, -0.00014255009591579437, -0.00013931933790445328, -0.00013608857989311218, -0.0001328578218817711, -0.00012962706387043, -0.0001263963058590889, -0.0001231655478477478, -0.00011993478983640671, -0.00011670403182506561, -0.00011347327381372452, -0.00011024251580238342, -0.00010701175779104233, -0.00010378099977970123, -0.00010055024176836014, -9.731948375701904e-05, -9.408872574567795e-05, -9.085796773433685e-05, -8.762720972299576e-05, -8.439645171165466e-05, -8.116569370031357e-05, -7.793493568897247e-05, -7.470417767763138e-05, -7.147341966629028e-05, -6.824266165494919e-05, -6.50119036436081e-05, -6.1781145632267e-05, -5.85503876209259e-05, -5.531962960958481e-05, -5.208887159824371e-05, -4.885811358690262e-05, -4.5627355575561523e-05, -4.239659756422043e-05, -3.9165839552879333e-05, -3.593508154153824e-05, -3.2704323530197144e-05, -2.947356551885605e-05, -2.6242807507514954e-05, -2.301204949617386e-05, -1.9781291484832764e-05, -1.655053347349167e-05, -1.3319775462150574e-05, -1.0089017450809479e-05, -6.858259439468384e-06, -3.627501428127289e-06, -3.9674341678619385e-07, 2.834014594554901e-06, 6.064772605895996e-06, 9.295530617237091e-06, 1.2526288628578186e-05, 1.575704663991928e-05, 1.8987804651260376e-05, 2.221856266260147e-05, 2.5449320673942566e-05, 2.868007868528366e-05, 3.1910836696624756e-05, 3.514159470796585e-05, 3.8372352719306946e-05, 4.160311073064804e-05, 4.4833868741989136e-05, 4.806462675333023e-05, 5.1295384764671326e-05, 5.452614277601242e-05, 5.7756900787353516e-05]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 6.0, 4.0, 9.0, 7.0, 10.0, 10.0, 19.0, 15.0, 13.0, 17.0, 19.0, 25.0, 26.0, 34.0, 26.0, 32.0, 36.0, 40.0, 113.0, 110.0, 65.0, 60.0, 48.0, 41.0, 31.0, 19.0, 32.0, 27.0, 34.0, 17.0, 21.0, 10.0, 3.0, 5.0, 4.0, 3.0, 3.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.001305190846323967, -0.00126779789570719, -0.001230404945090413, -0.001193012110888958, -0.001155619160272181, -0.001118226209655404, -0.0010808332590386271, -0.0010434403084218502, -0.001006047474220395, -0.0009686545236036181, -0.0009312616311945021, -0.0008938686805777252, -0.0008564757881686091, -0.0008190828375518322, -0.0007816898869350553, -0.0007442969945259392, -0.0007069040439091623, -0.0006695110932923853, -0.0006321182008832693, -0.0005947252502664924, -0.0005573323578573763, -0.0005199394072405994, -0.0004825464857276529, -0.0004451535642147064, -0.00040776064270175993, -0.00037036772118881345, -0.00033297479967586696, -0.0002955818781629205, -0.00025818892754614353, -0.00022079602058511227, -0.00018340308452025056, -0.00014601016300730407, -0.00010861724149435759, -7.12243199814111e-05, -3.3831391192507e-05, 3.561537596397102e-06, 4.095445910934359e-05, 7.834738062229007e-05, 0.00011574031668715179, 0.00015313323820009828, 0.00019052615971304476, 0.00022791908122599125, 0.00026531200273893774, 0.0003027049242518842, 0.00034009787486866117, 0.0003774907672777772, 0.00041488371789455414, 0.0004522766394075006, 0.0004896695609204471, 0.0005270625115372241, 0.0005644554039463401, 0.000601848354563117, 0.0006392412469722331, 0.00067663419758901, 0.000714027089998126, 0.000751420040614903, 0.0007888129912316799, 0.0008262059418484569, 0.0008635988342575729, 0.0009009917848743498, 0.0009383846772834659, 0.0009757776279002428, 0.0010131705785170197, 0.0010505635291337967, 0.0010879563633352518]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 3.0, 2.0, 3.0, 8.0, 7.0, 11.0, 12.0, 5.0, 13.0, 18.0, 16.0, 30.0, 31.0, 24.0, 27.0, 21.0, 22.0, 40.0, 47.0, 47.0, 35.0, 46.0, 50.0, 35.0, 47.0, 45.0, 39.0, 36.0, 34.0, 24.0, 30.0, 29.0, 24.0, 29.0, 20.0, 20.0, 18.0, 12.0, 9.0, 6.0, 11.0, 5.0, 8.0, 3.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0008781552314758301, -0.0008478127419948578, -0.0008174702525138855, -0.0007871277630329132, -0.0007567852735519409, -0.0007264427840709686, -0.0006961002945899963, -0.000665757805109024, -0.0006354153156280518, -0.0006050728261470795, -0.0005747303366661072, -0.0005443878471851349, -0.0005140453577041626, -0.0004837028682231903, -0.000453360378742218, -0.00042301788926124573, -0.00039267539978027344, -0.00036233291029930115, -0.00033199042081832886, -0.00030164793133735657, -0.0002713054418563843, -0.000240962952375412, -0.0002106204628944397, -0.0001802779734134674, -0.00014993548393249512, -0.00011959299445152283, -8.925050497055054e-05, -5.890801548957825e-05, -2.8565526008605957e-05, 1.776963472366333e-06, 3.211945295333862e-05, 6.246194243431091e-05, 9.28044319152832e-05, 0.0001231469213962555, 0.00015348941087722778, 0.00018383190035820007, 0.00021417438983917236, 0.00024451687932014465, 0.00027485936880111694, 0.00030520185828208923, 0.0003355443477630615, 0.0003658868372440338, 0.0003962293267250061, 0.0004265718162059784, 0.0004569143056869507, 0.000487256795167923, 0.0005175992846488953, 0.0005479417741298676, 0.0005782842636108398, 0.0006086267530918121, 0.0006389692425727844, 0.0006693117320537567, 0.000699654221534729, 0.0007299967110157013, 0.0007603392004966736, 0.0007906816899776459, 0.0008210241794586182, 0.0008513666689395905, 0.0008817091584205627, 0.000912051647901535, 0.0009423941373825073, 0.0009727366268634796, 0.001003079116344452, 0.0010334216058254242, 0.0010637640953063965]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8388608.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 128.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 524288.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "eval/loss": 5.242259502410889, "eval/wer": 1.918048393494645, "eval/runtime": 938.3919, "eval/samples_per_second": 2.815, "eval/steps_per_second": 0.353, "train/train_runtime": 8711.5909, "train/train_samples_per_second": 3.276, "train/train_steps_per_second": 0.205, "train/total_flos": 0.0, "train/train_loss": 7.005254806691756}
\ No newline at end of file