diff --git "a/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json" "b/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json"
--- "a/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json"
+++ "b/wandb/run-20220303_004520-25bnjrx1/files/wandb-summary.json"
@@ -1 +1 @@
-{"train/loss": 5.2015, "train/learning_rate": 0.000618380062305296, "train/epoch": 0.56, "train/global_step": 1000, "_runtime": 5135, "_timestamp": 1646273455, "_step": 1001, "gradients/decoder.transformer.ln_f.weight": {"_type": "histogram", "values": [1.0, 3.0, 1008.0, 7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.8206629753112793, -0.491364985704422, -0.1620669960975647, 0.16723096370697021, 0.4965289831161499, 0.8258270025253296, 1.1551249027252197, 1.4844229221343994, 1.813720941543579, 2.143018960952759, 2.4723169803619385, 2.801614761352539, 3.1309127807617188, 3.4602108001708984, 3.789508819580078, 4.118806838989258, 4.4481048583984375, 4.777402877807617, 5.106700897216797, 5.435998916625977, 5.765296936035156, 6.094594955444336, 6.423892974853516, 6.753190994262695, 7.082489013671875, 7.411787033081055, 7.741085052490234, 8.070383071899414, 8.399681091308594, 8.728979110717773, 9.058277130126953, 9.387575149536133, 9.716872215270996, 10.046170234680176, 10.375468254089355, 10.704766273498535, 11.034064292907715, 11.363362312316895, 11.692660331726074, 12.021958351135254, 12.351256370544434, 12.680554389953613, 13.009852409362793, 13.339150428771973, 13.668448448181152, 13.997746467590332, 14.327044486999512, 14.656342506408691, 14.985639572143555, 15.314937591552734, 15.644235610961914, 15.973533630371094, 16.302831649780273, 16.632129669189453, 16.961427688598633, 17.290725708007812, 17.620023727416992, 17.949321746826172, 18.27861976623535, 18.60791778564453, 18.93721580505371, 19.26651382446289, 19.59581184387207, 19.92510986328125, 20.25440788269043]}, "gradients/decoder.transformer.ln_f.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 4.0, 8.0, 8.0, 11.0, 12.0, 19.0, 31.0, 29.0, 37.0, 42.0, 44.0, 66.0, 54.0, 59.0, 72.0, 68.0, 49.0, 60.0, 45.0, 57.0, 52.0, 30.0, 34.0, 29.0, 20.0, 18.0, 9.0, 8.0, 13.0, 5.0, 6.0, 1.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7765464782714844, -1.7110514640808105, -1.6455564498901367, -1.580061435699463, -1.514566421508789, -1.4490714073181152, -1.3835763931274414, -1.3180813789367676, -1.2525863647460938, -1.18709135055542, -1.121596336364746, -1.0561013221740723, -0.9906063079833984, -0.9251112937927246, -0.8596163392066956, -0.7941213250160217, -0.7286263704299927, -0.6631313562393188, -0.597636342048645, -0.5321413278579712, -0.46664634346961975, -0.4011513292789459, -0.3356563448905945, -0.27016133069992065, -0.20466631650924683, -0.139171302318573, -0.07367630302906036, -0.00818130373954773, 0.0573137104511261, 0.12280872464179993, 0.18830370903015137, 0.2537987232208252, 0.319293737411499, 0.38478875160217285, 0.4502837657928467, 0.5157787799835205, 0.5812737941741943, 0.6467688083648682, 0.7122637629508972, 0.777758777141571, 0.8432537913322449, 0.9087488055229187, 0.9742438197135925, 1.0397387742996216, 1.1052337884902954, 1.1707288026809692, 1.236223816871643, 1.301718831062317, 1.3672138452529907, 1.4327088594436646, 1.4982038736343384, 1.5636988878250122, 1.629193902015686, 1.6946889162063599, 1.7601838111877441, 1.825678825378418, 1.8911738395690918, 1.9566688537597656, 2.0221638679504395, 2.0876588821411133, 2.153153896331787, 2.218648910522461, 2.2841439247131348, 2.3496389389038086, 2.4151339530944824]}, "gradients/decoder.transformer.h.23.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 6.0, 10.0, 22.0, 22.0, 27.0, 36.0, 57.0, 69.0, 72.0, 76.0, 105.0, 96.0, 66.0, 60.0, 77.0, 58.0, 35.0, 37.0, 22.0, 16.0, 11.0, 10.0, 7.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.020172119140625, -0.019563674926757812, -0.018955230712890625, -0.018346786499023438, -0.01773834228515625, -0.017129898071289062, -0.016521453857421875, -0.015913009643554688, -0.0153045654296875, -0.014696121215820312, -0.014087677001953125, -0.013479232788085938, -0.01287078857421875, -0.012262344360351562, -0.011653900146484375, -0.011045455932617188, -0.01043701171875, -0.009828567504882812, -0.009220123291015625, -0.008611679077148438, -0.00800323486328125, -0.0073947906494140625, -0.006786346435546875, -0.0061779022216796875, -0.0055694580078125, -0.0049610137939453125, -0.004352569580078125, -0.0037441253662109375, -0.00313568115234375, -0.0025272369384765625, -0.001918792724609375, -0.0013103485107421875, -0.000701904296875, -9.34600830078125e-05, 0.000514984130859375, 0.0011234283447265625, 0.00173187255859375, 0.0023403167724609375, 0.002948760986328125, 0.0035572052001953125, 0.0041656494140625, 0.0047740936279296875, 0.005382537841796875, 0.0059909820556640625, 0.00659942626953125, 0.0072078704833984375, 0.007816314697265625, 0.008424758911132812, 0.009033203125, 0.009641647338867188, 0.010250091552734375, 0.010858535766601562, 0.01146697998046875, 0.012075424194335938, 0.012683868408203125, 0.013292312622070312, 0.0139007568359375, 0.014509201049804688, 0.015117645263671875, 0.015726089477539062, 0.01633453369140625, 0.016942977905273438, 0.017551422119140625, 0.018159866333007812, 0.018768310546875]}, "gradients/decoder.transformer.h.23.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 3.0, 3.0, 0.0, 1.0, 4.0, 7.0, 2.0, 3.0, 11.0, 9.0, 14.0, 16.0, 27.0, 37.0, 76.0, 125.0, 195.0, 349.0, 593.0, 1205.0, 2528.0, 6882.0, 31455.0, 4077623.0, 57421.0, 9138.0, 3200.0, 1537.0, 743.0, 412.0, 243.0, 154.0, 94.0, 56.0, 45.0, 24.0, 14.0, 15.0, 8.0, 3.0, 5.0, 9.0, 1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.2431640625, -0.23570823669433594, -0.22825241088867188, -0.2207965850830078, -0.21334075927734375, -0.2058849334716797, -0.19842910766601562, -0.19097328186035156, -0.1835174560546875, -0.17606163024902344, -0.16860580444335938, -0.1611499786376953, -0.15369415283203125, -0.1462383270263672, -0.13878250122070312, -0.13132667541503906, -0.123870849609375, -0.11641502380371094, -0.10895919799804688, -0.10150337219238281, -0.09404754638671875, -0.08659172058105469, -0.07913589477539062, -0.07168006896972656, -0.0642242431640625, -0.05676841735839844, -0.049312591552734375, -0.04185676574707031, -0.03440093994140625, -0.026945114135742188, -0.019489288330078125, -0.012033462524414062, -0.00457763671875, 0.0028781890869140625, 0.010334014892578125, 0.017789840698242188, 0.02524566650390625, 0.03270149230957031, 0.040157318115234375, 0.04761314392089844, 0.0550689697265625, 0.06252479553222656, 0.06998062133789062, 0.07743644714355469, 0.08489227294921875, 0.09234809875488281, 0.09980392456054688, 0.10725975036621094, 0.114715576171875, 0.12217140197753906, 0.12962722778320312, 0.1370830535888672, 0.14453887939453125, 0.1519947052001953, 0.15945053100585938, 0.16690635681152344, 0.1743621826171875, 0.18181800842285156, 0.18927383422851562, 0.1967296600341797, 0.20418548583984375, 0.2116413116455078, 0.21909713745117188, 0.22655296325683594, 0.2340087890625]}, "gradients/decoder.transformer.h.23.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 4.0, 4.0, 0.0, 4.0, 11.0, 12.0, 10.0, 27.0, 34.0, 48.0, 76.0, 136.0, 395.0, 1730.0, 970.0, 293.0, 129.0, 96.0, 48.0, 21.0, 11.0, 6.0, 7.0, 3.0, 3.0, 3.0, 4.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.061492919921875, -0.0580296516418457, -0.054566383361816406, -0.05110311508178711, -0.04763984680175781, -0.044176578521728516, -0.04071331024169922, -0.03725004196166992, -0.033786773681640625, -0.030323505401611328, -0.02686023712158203, -0.023396968841552734, -0.019933700561523438, -0.01647043228149414, -0.013007164001464844, -0.009543895721435547, -0.00608062744140625, -0.002617359161376953, 0.0008459091186523438, 0.004309177398681641, 0.0077724456787109375, 0.011235713958740234, 0.014698982238769531, 0.018162250518798828, 0.021625518798828125, 0.025088787078857422, 0.02855205535888672, 0.032015323638916016, 0.03547859191894531, 0.03894186019897461, 0.042405128479003906, 0.0458683967590332, 0.0493316650390625, 0.0527949333190918, 0.056258201599121094, 0.05972146987915039, 0.06318473815917969, 0.06664800643920898, 0.07011127471923828, 0.07357454299926758, 0.07703781127929688, 0.08050107955932617, 0.08396434783935547, 0.08742761611938477, 0.09089088439941406, 0.09435415267944336, 0.09781742095947266, 0.10128068923950195, 0.10474395751953125, 0.10820722579956055, 0.11167049407958984, 0.11513376235961914, 0.11859703063964844, 0.12206029891967773, 0.12552356719970703, 0.12898683547973633, 0.13245010375976562, 0.13591337203979492, 0.13937664031982422, 0.14283990859985352, 0.1463031768798828, 0.1497664451599121, 0.1532297134399414, 0.1566929817199707, 0.16015625]}, "gradients/decoder.transformer.h.23.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 3.0, 5.0, 4.0, 7.0, 11.0, 12.0, 37.0, 77.0, 146.0, 363.0, 1398.0, 1661083.0, 2528681.0, 1794.0, 370.0, 118.0, 62.0, 51.0, 20.0, 16.0, 16.0, 3.0, 3.0, 3.0, 3.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.57958984375, -0.56671142578125, -0.5538330078125, -0.54095458984375, -0.528076171875, -0.51519775390625, -0.5023193359375, -0.48944091796875, -0.4765625, -0.46368408203125, -0.4508056640625, -0.43792724609375, -0.425048828125, -0.41217041015625, -0.3992919921875, -0.38641357421875, -0.37353515625, -0.36065673828125, -0.3477783203125, -0.33489990234375, -0.322021484375, -0.30914306640625, -0.2962646484375, -0.28338623046875, -0.2705078125, -0.25762939453125, -0.2447509765625, -0.23187255859375, -0.218994140625, -0.20611572265625, -0.1932373046875, -0.18035888671875, -0.16748046875, -0.15460205078125, -0.1417236328125, -0.12884521484375, -0.115966796875, -0.10308837890625, -0.0902099609375, -0.07733154296875, -0.064453125, -0.05157470703125, -0.0386962890625, -0.02581787109375, -0.012939453125, -6.103515625e-05, 0.0128173828125, 0.02569580078125, 0.03857421875, 0.05145263671875, 0.0643310546875, 0.07720947265625, 0.090087890625, 0.10296630859375, 0.1158447265625, 0.12872314453125, 0.1416015625, 0.15447998046875, 0.1673583984375, 0.18023681640625, 0.193115234375, 0.20599365234375, 0.2188720703125, 0.23175048828125, 0.24462890625]}, "gradients/decoder.transformer.h.23.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 5.0, 65.0, 636.0, 284.0, 18.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.3497223854064941, -1.3241785764694214, -1.2986348867416382, -1.2730910778045654, -1.2475472688674927, -1.2220035791397095, -1.1964597702026367, -1.170915961265564, -1.1453722715377808, -1.119828462600708, -1.0942847728729248, -1.068740963935852, -1.0431971549987793, -1.017653465270996, -0.9921096563339233, -0.9665659070014954, -0.9410220980644226, -0.9154783487319946, -0.8899345397949219, -0.8643907904624939, -0.8388470411300659, -0.8133032321929932, -0.7877594828605652, -0.7622157335281372, -0.7366719245910645, -0.7111281752586365, -0.6855843663215637, -0.6600406169891357, -0.6344968676567078, -0.6089531183242798, -0.583409309387207, -0.557865560054779, -0.5323218107223511, -0.5067780613899231, -0.48123428225517273, -0.45569050312042236, -0.4301467537879944, -0.404602974653244, -0.37905919551849365, -0.3535154461860657, -0.3279716372489929, -0.30242785811424255, -0.2768841087818146, -0.2513403296470642, -0.22579656541347504, -0.20025280117988586, -0.1747090220451355, -0.14916525781154633, -0.12362149357795715, -0.09807772934436798, -0.07253395766019821, -0.04699018597602844, -0.02144642174243927, 0.004097342491149902, 0.02964112162590027, 0.05518488585948944, 0.08072865009307861, 0.10627241432666779, 0.13181617856025696, 0.15735995769500732, 0.1829037219285965, 0.20844748616218567, 0.23399126529693604, 0.259535014629364, 0.2850787937641144]}, "gradients/decoder.transformer.h.23.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 5.0, 2.0, 8.0, 7.0, 3.0, 8.0, 5.0, 8.0, 15.0, 19.0, 22.0, 29.0, 38.0, 29.0, 41.0, 56.0, 51.0, 53.0, 49.0, 55.0, 42.0, 42.0, 42.0, 46.0, 50.0, 41.0, 37.0, 34.0, 26.0, 27.0, 25.0, 28.0, 16.0, 9.0, 12.0, 7.0, 9.0, 9.0, 3.0, 3.0, 3.0, 0.0, 2.0], "bins": [-0.507222056388855, -0.4948320984840393, -0.48244214057922363, -0.47005221247673035, -0.4576622545719147, -0.445272296667099, -0.4328823387622833, -0.42049241065979004, -0.40810245275497437, -0.3957124948501587, -0.383322536945343, -0.37093260884284973, -0.35854265093803406, -0.3461526930332184, -0.3337627351284027, -0.3213728070259094, -0.30898284912109375, -0.2965928912162781, -0.2842029333114624, -0.2718130052089691, -0.25942304730415344, -0.24703308939933777, -0.2346431314945221, -0.22225318849086761, -0.20986321568489075, -0.19747325778007507, -0.1850833147764206, -0.17269335687160492, -0.16030341386795044, -0.14791345596313477, -0.1355234980583191, -0.12313355505466461, -0.11074361205101013, -0.09835366159677505, -0.08596371114253998, -0.0735737532377243, -0.061183806508779526, -0.04879385605454445, -0.036403901875019073, -0.024013951420783997, -0.01162400096654892, 0.0007659504190087318, 0.013155901804566383, 0.02554585412144661, 0.037935804575681686, 0.05032575502991676, 0.06271570920944214, 0.07510565966367722, 0.08749561011791229, 0.09988556057214737, 0.11227551102638245, 0.12466546893119812, 0.1370554119348526, 0.14944536983966827, 0.16183531284332275, 0.17422527074813843, 0.1866152286529541, 0.19900518655776978, 0.21139512956142426, 0.22378508746623993, 0.2361750304698944, 0.24856498837471008, 0.26095494627952576, 0.27334487438201904, 0.2857348322868347]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 1.0, 2.0, 7.0, 6.0, 11.0, 25.0, 23.0, 28.0, 52.0, 60.0, 72.0, 74.0, 91.0, 90.0, 84.0, 66.0, 59.0, 75.0, 52.0, 41.0, 24.0, 21.0, 13.0, 10.0, 10.0, 5.0, 4.0, 2.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0218048095703125, -0.021193981170654297, -0.020583152770996094, -0.01997232437133789, -0.019361495971679688, -0.018750667572021484, -0.01813983917236328, -0.017529010772705078, -0.016918182373046875, -0.016307353973388672, -0.01569652557373047, -0.015085697174072266, -0.014474868774414062, -0.01386404037475586, -0.013253211975097656, -0.012642383575439453, -0.01203155517578125, -0.011420726776123047, -0.010809898376464844, -0.01019906997680664, -0.009588241577148438, -0.008977413177490234, -0.008366584777832031, -0.007755756378173828, -0.007144927978515625, -0.006534099578857422, -0.005923271179199219, -0.005312442779541016, -0.0047016143798828125, -0.004090785980224609, -0.0034799575805664062, -0.002869129180908203, -0.00225830078125, -0.0016474723815917969, -0.0010366439819335938, -0.0004258155822753906, 0.0001850128173828125, 0.0007958412170410156, 0.0014066696166992188, 0.002017498016357422, 0.002628326416015625, 0.003239154815673828, 0.0038499832153320312, 0.004460811614990234, 0.0050716400146484375, 0.005682468414306641, 0.006293296813964844, 0.006904125213623047, 0.00751495361328125, 0.008125782012939453, 0.008736610412597656, 0.00934743881225586, 0.009958267211914062, 0.010569095611572266, 0.011179924011230469, 0.011790752410888672, 0.012401580810546875, 0.013012409210205078, 0.013623237609863281, 0.014234066009521484, 0.014844894409179688, 0.01545572280883789, 0.016066551208496094, 0.016677379608154297, 0.0172882080078125]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 2.0, 6.0, 4.0, 4.0, 6.0, 15.0, 14.0, 19.0, 26.0, 36.0, 47.0, 62.0, 70.0, 101.0, 131.0, 188.0, 279.0, 451.0, 704.0, 1324.0, 2484.0, 5031.0, 10506.0, 23472.0, 55584.0, 133679.0, 440230.0, 222151.0, 85760.0, 35456.0, 15505.0, 7237.0, 3518.0, 1736.0, 983.0, 533.0, 341.0, 229.0, 154.0, 125.0, 79.0, 75.0, 49.0, 45.0, 28.0, 27.0, 15.0, 11.0, 11.0, 6.0, 6.0, 3.0, 4.0, 5.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0002434253692626953, -0.00023599155247211456, -0.0002285577356815338, -0.00022112391889095306, -0.00021369010210037231, -0.00020625628530979156, -0.00019882246851921082, -0.00019138865172863007, -0.00018395483493804932, -0.00017652101814746857, -0.00016908720135688782, -0.00016165338456630707, -0.00015421956777572632, -0.00014678575098514557, -0.00013935193419456482, -0.00013191811740398407, -0.00012448430061340332, -0.00011705048382282257, -0.00010961666703224182, -0.00010218285024166107, -9.474903345108032e-05, -8.731521666049957e-05, -7.988139986991882e-05, -7.244758307933807e-05, -6.501376628875732e-05, -5.7579949498176575e-05, -5.0146132707595825e-05, -4.2712315917015076e-05, -3.5278499126434326e-05, -2.7844682335853577e-05, -2.0410865545272827e-05, -1.2977048754692078e-05, -5.543231964111328e-06, 1.8905848264694214e-06, 9.324401617050171e-06, 1.675821840763092e-05, 2.419203519821167e-05, 3.162585198879242e-05, 3.905966877937317e-05, 4.649348556995392e-05, 5.392730236053467e-05, 6.136111915111542e-05, 6.879493594169617e-05, 7.622875273227692e-05, 8.366256952285767e-05, 9.109638631343842e-05, 9.853020310401917e-05, 0.00010596401989459991, 0.00011339783668518066, 0.00012083165347576141, 0.00012826547026634216, 0.0001356992870569229, 0.00014313310384750366, 0.0001505669206380844, 0.00015800073742866516, 0.0001654345542192459, 0.00017286837100982666, 0.0001803021878004074, 0.00018773600459098816, 0.0001951698213815689, 0.00020260363817214966, 0.0002100374549627304, 0.00021747127175331116, 0.0002249050885438919, 0.00023233890533447266]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 7.0, 3.0, 6.0, 3.0, 7.0, 9.0, 10.0, 8.0, 16.0, 16.0, 14.0, 23.0, 18.0, 29.0, 29.0, 29.0, 28.0, 38.0, 37.0, 42.0, 39.0, 33.0, 1069.0, 46.0, 45.0, 41.0, 46.0, 40.0, 38.0, 46.0, 23.0, 30.0, 31.0, 23.0, 21.0, 10.0, 15.0, 19.0, 11.0, 8.0, 8.0, 3.0, 3.0, 8.0, 0.0, 0.0, 4.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.0138397216796875, -0.01340639591217041, -0.01297307014465332, -0.01253974437713623, -0.01210641860961914, -0.01167309284210205, -0.011239767074584961, -0.010806441307067871, -0.010373115539550781, -0.009939789772033691, -0.009506464004516602, -0.009073138236999512, -0.008639812469482422, -0.008206486701965332, -0.007773160934448242, -0.007339835166931152, -0.0069065093994140625, -0.006473183631896973, -0.006039857864379883, -0.005606532096862793, -0.005173206329345703, -0.004739880561828613, -0.0043065547943115234, -0.0038732290267944336, -0.0034399032592773438, -0.003006577491760254, -0.002573251724243164, -0.0021399259567260742, -0.0017066001892089844, -0.0012732744216918945, -0.0008399486541748047, -0.00040662288665771484, 2.6702880859375e-05, 0.00046002864837646484, 0.0008933544158935547, 0.0013266801834106445, 0.0017600059509277344, 0.0021933317184448242, 0.002626657485961914, 0.003059983253479004, 0.0034933090209960938, 0.003926634788513184, 0.0043599605560302734, 0.004793286323547363, 0.005226612091064453, 0.005659937858581543, 0.006093263626098633, 0.006526589393615723, 0.0069599151611328125, 0.007393240928649902, 0.007826566696166992, 0.008259892463684082, 0.008693218231201172, 0.009126543998718262, 0.009559869766235352, 0.009993195533752441, 0.010426521301269531, 0.010859847068786621, 0.011293172836303711, 0.0117264986038208, 0.01215982437133789, 0.01259315013885498, 0.01302647590637207, 0.01345980167388916, 0.01389312744140625]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 2.0, 2.0, 2.0, 0.0, 7.0, 3.0, 6.0, 6.0, 4.0, 15.0, 18.0, 17.0, 7.0, 24.0, 23.0, 36.0, 35.0, 38.0, 51.0, 65.0, 151.0, 231.0, 608.0, 2343.0, 19465.0, 2067520.0, 4596.0, 1007.0, 288.0, 169.0, 79.0, 60.0, 41.0, 46.0, 27.0, 21.0, 17.0, 21.0, 18.0, 14.0, 8.0, 10.0, 7.0, 10.0, 4.0, 6.0, 3.0, 8.0, 0.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.0013580322265625e-05, -9.702518582344055e-06, -9.391456842422485e-06, -9.080395102500916e-06, -8.769333362579346e-06, -8.458271622657776e-06, -8.147209882736206e-06, -7.836148142814636e-06, -7.525086402893066e-06, -7.214024662971497e-06, -6.902962923049927e-06, -6.591901183128357e-06, -6.280839443206787e-06, -5.969777703285217e-06, -5.6587159633636475e-06, -5.347654223442078e-06, -5.036592483520508e-06, -4.725530743598938e-06, -4.414469003677368e-06, -4.103407263755798e-06, -3.7923455238342285e-06, -3.4812837839126587e-06, -3.170222043991089e-06, -2.859160304069519e-06, -2.5480985641479492e-06, -2.2370368242263794e-06, -1.9259750843048096e-06, -1.6149133443832397e-06, -1.30385160446167e-06, -9.927898645401e-07, -6.817281246185303e-07, -3.7066638469696045e-07, -5.960464477539063e-08, 2.514570951461792e-07, 5.62518835067749e-07, 8.735805749893188e-07, 1.1846423149108887e-06, 1.4957040548324585e-06, 1.8067657947540283e-06, 2.117827534675598e-06, 2.428889274597168e-06, 2.739951014518738e-06, 3.0510127544403076e-06, 3.3620744943618774e-06, 3.6731362342834473e-06, 3.984197974205017e-06, 4.295259714126587e-06, 4.606321454048157e-06, 4.9173831939697266e-06, 5.228444933891296e-06, 5.539506673812866e-06, 5.850568413734436e-06, 6.161630153656006e-06, 6.472691893577576e-06, 6.7837536334991455e-06, 7.094815373420715e-06, 7.405877113342285e-06, 7.716938853263855e-06, 8.028000593185425e-06, 8.339062333106995e-06, 8.650124073028564e-06, 8.961185812950134e-06, 9.272247552871704e-06, 9.583309292793274e-06, 9.894371032714844e-06]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 1.0, 2.0, 7.0, 6.0, 11.0, 25.0, 23.0, 28.0, 52.0, 60.0, 72.0, 74.0, 91.0, 90.0, 84.0, 66.0, 59.0, 75.0, 52.0, 41.0, 24.0, 21.0, 13.0, 10.0, 10.0, 5.0, 4.0, 2.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0218048095703125, -0.021193981170654297, -0.020583152770996094, -0.01997232437133789, -0.019361495971679688, -0.018750667572021484, -0.01813983917236328, -0.017529010772705078, -0.016918182373046875, -0.016307353973388672, -0.01569652557373047, -0.015085697174072266, -0.014474868774414062, -0.01386404037475586, -0.013253211975097656, -0.012642383575439453, -0.01203155517578125, -0.011420726776123047, -0.010809898376464844, -0.01019906997680664, -0.009588241577148438, -0.008977413177490234, -0.008366584777832031, -0.007755756378173828, -0.007144927978515625, -0.006534099578857422, -0.005923271179199219, -0.005312442779541016, -0.0047016143798828125, -0.004090785980224609, -0.0034799575805664062, -0.002869129180908203, -0.00225830078125, -0.0016474723815917969, -0.0010366439819335938, -0.0004258155822753906, 0.0001850128173828125, 0.0007958412170410156, 0.0014066696166992188, 0.002017498016357422, 0.002628326416015625, 0.003239154815673828, 0.0038499832153320312, 0.004460811614990234, 0.0050716400146484375, 0.005682468414306641, 0.006293296813964844, 0.006904125213623047, 0.00751495361328125, 0.008125782012939453, 0.008736610412597656, 0.00934743881225586, 0.009958267211914062, 0.010569095611572266, 0.011179924011230469, 0.011790752410888672, 0.012401580810546875, 0.013012409210205078, 0.013623237609863281, 0.014234066009521484, 0.014844894409179688, 0.01545572280883789, 0.016066551208496094, 0.016677379608154297, 0.0172882080078125]}, "gradients/decoder.transformer.h.23.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 2.0, 5.0, 5.0, 7.0, 6.0, 9.0, 6.0, 12.0, 15.0, 23.0, 38.0, 57.0, 93.0, 187.0, 313.0, 534.0, 877.0, 1768.0, 3431.0, 8150.0, 40870.0, 946321.0, 31537.0, 7311.0, 3312.0, 1560.0, 902.0, 479.0, 288.0, 168.0, 101.0, 47.0, 34.0, 21.0, 16.0, 12.0, 11.0, 8.0, 5.0, 1.0, 5.0, 5.0, 1.0, 4.0, 5.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.32080078125, -0.31060028076171875, -0.3003997802734375, -0.29019927978515625, -0.279998779296875, -0.26979827880859375, -0.2595977783203125, -0.24939727783203125, -0.23919677734375, -0.22899627685546875, -0.2187957763671875, -0.20859527587890625, -0.198394775390625, -0.18819427490234375, -0.1779937744140625, -0.16779327392578125, -0.1575927734375, -0.14739227294921875, -0.1371917724609375, -0.12699127197265625, -0.116790771484375, -0.10659027099609375, -0.0963897705078125, -0.08618927001953125, -0.07598876953125, -0.06578826904296875, -0.0555877685546875, -0.04538726806640625, -0.035186767578125, -0.02498626708984375, -0.0147857666015625, -0.00458526611328125, 0.005615234375, 0.01581573486328125, 0.0260162353515625, 0.03621673583984375, 0.046417236328125, 0.05661773681640625, 0.0668182373046875, 0.07701873779296875, 0.08721923828125, 0.09741973876953125, 0.1076202392578125, 0.11782073974609375, 0.128021240234375, 0.13822174072265625, 0.1484222412109375, 0.15862274169921875, 0.1688232421875, 0.17902374267578125, 0.1892242431640625, 0.19942474365234375, 0.209625244140625, 0.21982574462890625, 0.2300262451171875, 0.24022674560546875, 0.25042724609375, 0.26062774658203125, 0.2708282470703125, 0.28102874755859375, 0.291229248046875, 0.30142974853515625, 0.3116302490234375, 0.32183074951171875, 0.33203125]}, "gradients/decoder.transformer.h.23.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 2.0, 6.0, 2.0, 6.0, 6.0, 12.0, 21.0, 18.0, 15.0, 23.0, 24.0, 25.0, 43.0, 33.0, 49.0, 53.0, 48.0, 62.0, 81.0, 179.0, 1778.0, 94.0, 65.0, 52.0, 40.0, 45.0, 41.0, 38.0, 23.0, 37.0, 22.0, 21.0, 22.0, 19.0, 11.0, 11.0, 5.0, 6.0, 5.0, 5.0, 1.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.032958984375, -0.031744956970214844, -0.030530929565429688, -0.02931690216064453, -0.028102874755859375, -0.02688884735107422, -0.025674819946289062, -0.024460792541503906, -0.02324676513671875, -0.022032737731933594, -0.020818710327148438, -0.01960468292236328, -0.018390655517578125, -0.01717662811279297, -0.015962600708007812, -0.014748573303222656, -0.0135345458984375, -0.012320518493652344, -0.011106491088867188, -0.009892463684082031, -0.008678436279296875, -0.007464408874511719, -0.0062503814697265625, -0.005036354064941406, -0.00382232666015625, -0.0026082992553710938, -0.0013942718505859375, -0.00018024444580078125, 0.001033782958984375, 0.0022478103637695312, 0.0034618377685546875, 0.004675865173339844, 0.005889892578125, 0.007103919982910156, 0.008317947387695312, 0.009531974792480469, 0.010746002197265625, 0.011960029602050781, 0.013174057006835938, 0.014388084411621094, 0.01560211181640625, 0.016816139221191406, 0.018030166625976562, 0.01924419403076172, 0.020458221435546875, 0.02167224884033203, 0.022886276245117188, 0.024100303649902344, 0.0253143310546875, 0.026528358459472656, 0.027742385864257812, 0.02895641326904297, 0.030170440673828125, 0.03138446807861328, 0.03259849548339844, 0.033812522888183594, 0.03502655029296875, 0.036240577697753906, 0.03745460510253906, 0.03866863250732422, 0.039882659912109375, 0.04109668731689453, 0.04231071472167969, 0.043524742126464844, 0.04473876953125]}, "gradients/decoder.transformer.h.23.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 1.0, 5.0, 4.0, 9.0, 8.0, 10.0, 11.0, 15.0, 18.0, 22.0, 24.0, 33.0, 40.0, 42.0, 54.0, 84.0, 163.0, 337.0, 859.0, 8666.0, 2924705.0, 206249.0, 3044.0, 567.0, 241.0, 120.0, 93.0, 71.0, 46.0, 29.0, 28.0, 24.0, 21.0, 20.0, 15.0, 12.0, 8.0, 4.0, 3.0, 5.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.1767578125, -0.17195892333984375, -0.1671600341796875, -0.16236114501953125, -0.157562255859375, -0.15276336669921875, -0.1479644775390625, -0.14316558837890625, -0.13836669921875, -0.13356781005859375, -0.1287689208984375, -0.12397003173828125, -0.119171142578125, -0.11437225341796875, -0.1095733642578125, -0.10477447509765625, -0.0999755859375, -0.09517669677734375, -0.0903778076171875, -0.08557891845703125, -0.080780029296875, -0.07598114013671875, -0.0711822509765625, -0.06638336181640625, -0.06158447265625, -0.05678558349609375, -0.0519866943359375, -0.04718780517578125, -0.042388916015625, -0.03759002685546875, -0.0327911376953125, -0.02799224853515625, -0.023193359375, -0.01839447021484375, -0.0135955810546875, -0.00879669189453125, -0.003997802734375, 0.00080108642578125, 0.0055999755859375, 0.01039886474609375, 0.01519775390625, 0.01999664306640625, 0.0247955322265625, 0.02959442138671875, 0.034393310546875, 0.03919219970703125, 0.0439910888671875, 0.04878997802734375, 0.0535888671875, 0.05838775634765625, 0.0631866455078125, 0.06798553466796875, 0.072784423828125, 0.07758331298828125, 0.0823822021484375, 0.08718109130859375, 0.09197998046875, 0.09677886962890625, 0.1015777587890625, 0.10637664794921875, 0.111175537109375, 0.11597442626953125, 0.1207733154296875, 0.12557220458984375, 0.13037109375]}, "gradients/decoder.transformer.h.23.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 6.0, 38.0, 183.0, 426.0, 246.0, 83.0, 25.0, 5.0, 1.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3196319043636322, -0.3106372654438019, -0.30164262652397156, -0.29264798760414124, -0.2836533486843109, -0.2746587097644806, -0.26566407084465027, -0.25666943192481995, -0.24767479300498962, -0.2386801540851593, -0.22968551516532898, -0.22069087624549866, -0.21169623732566833, -0.202701598405838, -0.1937069594860077, -0.18471232056617737, -0.17571769654750824, -0.16672305762767792, -0.1577284187078476, -0.14873377978801727, -0.13973914086818695, -0.13074450194835663, -0.1217498704791069, -0.11275523155927658, -0.10376059263944626, -0.09476595371961594, -0.08577131479978561, -0.07677668333053589, -0.06778204441070557, -0.058787401765584946, -0.04979276657104492, -0.0407981276512146, -0.03180348873138428, -0.022808849811553955, -0.013814212754368782, -0.004819575697183609, 0.004175063222646713, 0.013169702142477036, 0.02216433733701706, 0.03115897625684738, 0.040153615176677704, 0.049148254096508026, 0.05814289301633835, 0.06713752448558807, 0.0761321634054184, 0.08512680232524872, 0.09412144124507904, 0.10311608016490936, 0.11211071908473969, 0.12110535800457001, 0.13009999692440033, 0.13909463584423065, 0.14808927476406097, 0.1570839136838913, 0.16607853770256042, 0.17507317662239075, 0.18406781554222107, 0.1930624544620514, 0.2020570933818817, 0.21105173230171204, 0.22004637122154236, 0.22904101014137268, 0.238035649061203, 0.24703028798103333, 0.25602492690086365]}, "gradients/decoder.transformer.h.23.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 6.0, 1.0, 4.0, 6.0, 5.0, 5.0, 7.0, 11.0, 8.0, 7.0, 17.0, 18.0, 23.0, 21.0, 29.0, 34.0, 29.0, 26.0, 32.0, 49.0, 37.0, 45.0, 48.0, 42.0, 45.0, 35.0, 45.0, 41.0, 46.0, 35.0, 27.0, 39.0, 29.0, 17.0, 23.0, 17.0, 13.0, 18.0, 8.0, 9.0, 10.0, 11.0, 11.0, 7.0, 6.0, 3.0, 5.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.14601391553878784, -0.14168280363082886, -0.13735167682170868, -0.1330205500125885, -0.12868943810462952, -0.12435831874608994, -0.12002719938755035, -0.11569608002901077, -0.11136496067047119, -0.10703384131193161, -0.10270272195339203, -0.09837160259485245, -0.09404048323631287, -0.08970936387777328, -0.0853782445192337, -0.08104712516069412, -0.07671600580215454, -0.07238488644361496, -0.06805376708507538, -0.0637226477265358, -0.059391528367996216, -0.055060409009456635, -0.05072928965091705, -0.04639817029237747, -0.04206705093383789, -0.03773593157529831, -0.03340481221675873, -0.029073692858219147, -0.024742573499679565, -0.020411454141139984, -0.016080334782600403, -0.011749215424060822, -0.00741809606552124, -0.003086976706981659, 0.0012441426515579224, 0.005575262010097504, 0.009906381368637085, 0.014237500727176666, 0.018568620085716248, 0.02289973944425583, 0.02723085880279541, 0.03156197816133499, 0.03589309751987457, 0.040224216878414154, 0.044555336236953735, 0.04888645559549332, 0.0532175749540329, 0.05754869431257248, 0.06187981367111206, 0.06621093302965164, 0.07054205238819122, 0.0748731717467308, 0.07920429110527039, 0.08353541046380997, 0.08786652982234955, 0.09219764918088913, 0.09652876853942871, 0.10085988789796829, 0.10519100725650787, 0.10952212661504745, 0.11385324597358704, 0.11818436533212662, 0.1225154846906662, 0.12684661149978638, 0.13117772340774536]}, "gradients/decoder.transformer.h.22.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 3.0, 1.0, 5.0, 7.0, 11.0, 15.0, 21.0, 33.0, 35.0, 57.0, 74.0, 80.0, 82.0, 97.0, 75.0, 71.0, 70.0, 60.0, 63.0, 45.0, 31.0, 19.0, 22.0, 10.0, 7.0, 10.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.022491455078125, -0.021867990493774414, -0.021244525909423828, -0.020621061325073242, -0.019997596740722656, -0.01937413215637207, -0.018750667572021484, -0.0181272029876709, -0.017503738403320312, -0.016880273818969727, -0.01625680923461914, -0.015633344650268555, -0.015009880065917969, -0.014386415481567383, -0.013762950897216797, -0.013139486312866211, -0.012516021728515625, -0.011892557144165039, -0.011269092559814453, -0.010645627975463867, -0.010022163391113281, -0.009398698806762695, -0.00877523422241211, -0.008151769638061523, -0.0075283050537109375, -0.0069048404693603516, -0.006281375885009766, -0.00565791130065918, -0.005034446716308594, -0.004410982131958008, -0.003787517547607422, -0.003164052963256836, -0.00254058837890625, -0.001917123794555664, -0.0012936592102050781, -0.0006701946258544922, -4.673004150390625e-05, 0.0005767345428466797, 0.0012001991271972656, 0.0018236637115478516, 0.0024471282958984375, 0.0030705928802490234, 0.0036940574645996094, 0.004317522048950195, 0.004940986633300781, 0.005564451217651367, 0.006187915802001953, 0.006811380386352539, 0.007434844970703125, 0.008058309555053711, 0.008681774139404297, 0.009305238723754883, 0.009928703308105469, 0.010552167892456055, 0.01117563247680664, 0.011799097061157227, 0.012422561645507812, 0.013046026229858398, 0.013669490814208984, 0.01429295539855957, 0.014916419982910156, 0.015539884567260742, 0.016163349151611328, 0.016786813735961914, 0.0174102783203125]}, "gradients/decoder.transformer.h.22.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 3.0, 5.0, 8.0, 7.0, 9.0, 15.0, 29.0, 31.0, 54.0, 106.0, 188.0, 325.0, 605.0, 1473.0, 5383.0, 203185.0, 3967901.0, 10995.0, 2130.0, 880.0, 401.0, 211.0, 133.0, 72.0, 48.0, 29.0, 17.0, 18.0, 9.0, 5.0, 6.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.225341796875, -0.2183361053466797, -0.21133041381835938, -0.20432472229003906, -0.19731903076171875, -0.19031333923339844, -0.18330764770507812, -0.1763019561767578, -0.1692962646484375, -0.1622905731201172, -0.15528488159179688, -0.14827919006347656, -0.14127349853515625, -0.13426780700683594, -0.12726211547851562, -0.12025642395019531, -0.113250732421875, -0.10624504089355469, -0.09923934936523438, -0.09223365783691406, -0.08522796630859375, -0.07822227478027344, -0.07121658325195312, -0.06421089172363281, -0.0572052001953125, -0.05019950866699219, -0.043193817138671875, -0.03618812561035156, -0.02918243408203125, -0.022176742553710938, -0.015171051025390625, -0.008165359497070312, -0.00115966796875, 0.0058460235595703125, 0.012851715087890625, 0.019857406616210938, 0.02686309814453125, 0.03386878967285156, 0.040874481201171875, 0.04788017272949219, 0.0548858642578125, 0.06189155578613281, 0.06889724731445312, 0.07590293884277344, 0.08290863037109375, 0.08991432189941406, 0.09692001342773438, 0.10392570495605469, 0.110931396484375, 0.11793708801269531, 0.12494277954101562, 0.13194847106933594, 0.13895416259765625, 0.14595985412597656, 0.15296554565429688, 0.1599712371826172, 0.1669769287109375, 0.1739826202392578, 0.18098831176757812, 0.18799400329589844, 0.19499969482421875, 0.20200538635253906, 0.20901107788085938, 0.2160167694091797, 0.2230224609375]}, "gradients/decoder.transformer.h.22.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 3.0, 1.0, 4.0, 0.0, 7.0, 9.0, 11.0, 14.0, 30.0, 42.0, 65.0, 95.0, 146.0, 232.0, 366.0, 782.0, 972.0, 526.0, 237.0, 185.0, 104.0, 64.0, 39.0, 35.0, 21.0, 18.0, 15.0, 14.0, 5.0, 8.0, 8.0, 2.0, 3.0, 3.0, 4.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0418701171875, -0.0403289794921875, -0.038787841796875, -0.0372467041015625, -0.03570556640625, -0.0341644287109375, -0.032623291015625, -0.0310821533203125, -0.029541015625, -0.0279998779296875, -0.026458740234375, -0.0249176025390625, -0.02337646484375, -0.0218353271484375, -0.020294189453125, -0.0187530517578125, -0.0172119140625, -0.0156707763671875, -0.014129638671875, -0.0125885009765625, -0.01104736328125, -0.0095062255859375, -0.007965087890625, -0.0064239501953125, -0.0048828125, -0.0033416748046875, -0.001800537109375, -0.0002593994140625, 0.00128173828125, 0.0028228759765625, 0.004364013671875, 0.0059051513671875, 0.0074462890625, 0.0089874267578125, 0.010528564453125, 0.0120697021484375, 0.01361083984375, 0.0151519775390625, 0.016693115234375, 0.0182342529296875, 0.019775390625, 0.0213165283203125, 0.022857666015625, 0.0243988037109375, 0.02593994140625, 0.0274810791015625, 0.029022216796875, 0.0305633544921875, 0.0321044921875, 0.0336456298828125, 0.035186767578125, 0.0367279052734375, 0.03826904296875, 0.0398101806640625, 0.041351318359375, 0.0428924560546875, 0.04443359375, 0.0459747314453125, 0.047515869140625, 0.0490570068359375, 0.05059814453125, 0.0521392822265625, 0.053680419921875, 0.0552215576171875, 0.0567626953125]}, "gradients/decoder.transformer.h.22.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 5.0, 1.0, 4.0, 6.0, 9.0, 10.0, 12.0, 22.0, 31.0, 53.0, 66.0, 152.0, 227.0, 418.0, 959.0, 2346.0, 6970.0, 34818.0, 374548.0, 3531685.0, 208703.0, 24055.0, 5482.0, 1973.0, 793.0, 434.0, 208.0, 123.0, 57.0, 37.0, 24.0, 14.0, 19.0, 3.0, 6.0, 4.0, 5.0, 3.0, 2.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0], "bins": [-0.10845947265625, -0.10563468933105469, -0.10280990600585938, -0.09998512268066406, -0.09716033935546875, -0.09433555603027344, -0.09151077270507812, -0.08868598937988281, -0.0858612060546875, -0.08303642272949219, -0.08021163940429688, -0.07738685607910156, -0.07456207275390625, -0.07173728942871094, -0.06891250610351562, -0.06608772277832031, -0.063262939453125, -0.06043815612792969, -0.057613372802734375, -0.05478858947753906, -0.05196380615234375, -0.04913902282714844, -0.046314239501953125, -0.04348945617675781, -0.0406646728515625, -0.03783988952636719, -0.035015106201171875, -0.03219032287597656, -0.02936553955078125, -0.026540756225585938, -0.023715972900390625, -0.020891189575195312, -0.01806640625, -0.015241622924804688, -0.012416839599609375, -0.009592056274414062, -0.00676727294921875, -0.0039424896240234375, -0.001117706298828125, 0.0017070770263671875, 0.0045318603515625, 0.0073566436767578125, 0.010181427001953125, 0.013006210327148438, 0.01583099365234375, 0.018655776977539062, 0.021480560302734375, 0.024305343627929688, 0.027130126953125, 0.029954910278320312, 0.032779693603515625, 0.03560447692871094, 0.03842926025390625, 0.04125404357910156, 0.044078826904296875, 0.04690361022949219, 0.0497283935546875, 0.05255317687988281, 0.055377960205078125, 0.05820274353027344, 0.06102752685546875, 0.06385231018066406, 0.06667709350585938, 0.06950187683105469, 0.07232666015625]}, "gradients/decoder.transformer.h.22.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 3.0, 60.0, 273.0, 403.0, 208.0, 55.0, 7.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17427460849285126, -0.15563726425170898, -0.1369999200105667, -0.11836258322000504, -0.09972523897886276, -0.08108789473772049, -0.062450557947158813, -0.04381321370601654, -0.025175869464874268, -0.006538527086377144, 0.01209881529211998, 0.030736155807971954, 0.04937350004911423, 0.0680108442902565, 0.08664818108081818, 0.10528552532196045, 0.12392286956310272, 0.142560213804245, 0.16119755804538727, 0.17983490228652954, 0.19847223162651062, 0.2171095907688141, 0.23574692010879517, 0.25438427925109863, 0.2730216085910797, 0.2916589379310608, 0.31029629707336426, 0.32893362641334534, 0.3475709855556488, 0.3662083148956299, 0.38484567403793335, 0.40348300337791443, 0.4221203923225403, 0.44075772166252136, 0.45939508080482483, 0.4780324101448059, 0.4966697692871094, 0.5153071284294128, 0.5339444279670715, 0.552581787109375, 0.5712191462516785, 0.5898565053939819, 0.6084938049316406, 0.6271311640739441, 0.6457685232162476, 0.664405882358551, 0.6830431818962097, 0.7016805410385132, 0.7203178405761719, 0.7389551997184753, 0.757592499256134, 0.7762298583984375, 0.794867217540741, 0.8135045766830444, 0.8321418762207031, 0.8507792353630066, 0.8694165945053101, 0.8880539536476135, 0.9066912531852722, 0.9253286123275757, 0.9439659714698792, 0.9626033306121826, 0.9812406301498413, 0.9998779892921448, 1.0185153484344482]}, "gradients/decoder.transformer.h.22.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 3.0, 4.0, 2.0, 13.0, 3.0, 8.0, 11.0, 17.0, 13.0, 10.0, 24.0, 22.0, 20.0, 19.0, 24.0, 26.0, 42.0, 47.0, 40.0, 48.0, 35.0, 48.0, 41.0, 49.0, 42.0, 40.0, 41.0, 50.0, 34.0, 31.0, 23.0, 32.0, 22.0, 22.0, 27.0, 14.0, 9.0, 15.0, 6.0, 9.0, 8.0, 10.0, 3.0, 3.0, 0.0, 3.0, 2.0], "bins": [-0.22649717330932617, -0.22064490616321564, -0.2147926390171051, -0.20894035696983337, -0.20308808982372284, -0.1972358226776123, -0.19138355553150177, -0.18553128838539124, -0.1796790063381195, -0.17382673919200897, -0.16797447204589844, -0.1621221899986267, -0.15626992285251617, -0.15041765570640564, -0.1445653885602951, -0.13871312141418457, -0.13286085426807404, -0.1270085871219635, -0.12115631252527237, -0.11530404537916183, -0.1094517707824707, -0.10359950363636017, -0.09774723649024963, -0.0918949693441391, -0.08604269474744797, -0.08019042760133743, -0.0743381530046463, -0.06848588585853577, -0.06263361871242523, -0.0567813441157341, -0.050929076969623566, -0.04507680609822273, -0.0392245352268219, -0.033372264355421066, -0.027519995346665382, -0.0216677263379097, -0.015815455466508865, -0.009963184595108032, -0.0041109174489974976, 0.0017413534224033356, 0.007593624293804169, 0.013445894233882427, 0.019298164173960686, 0.02515043318271637, 0.031002704054117203, 0.036854974925518036, 0.04270724207162857, 0.048559512943029404, 0.05441178381443024, 0.06026405468583107, 0.0661163255572319, 0.07196859270334244, 0.07782086730003357, 0.0836731344461441, 0.08952540159225464, 0.09537766873836517, 0.1012299433350563, 0.10708221048116684, 0.11293448507785797, 0.1187867522239685, 0.12463901937007904, 0.13049128651618958, 0.1363435685634613, 0.14219583570957184, 0.14804810285568237]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 6.0, 5.0, 9.0, 13.0, 14.0, 28.0, 32.0, 43.0, 56.0, 64.0, 88.0, 73.0, 70.0, 80.0, 67.0, 60.0, 66.0, 52.0, 41.0, 40.0, 28.0, 27.0, 9.0, 14.0, 4.0, 5.0, 3.0, 5.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0225067138671875, -0.02191615104675293, -0.02132558822631836, -0.02073502540588379, -0.02014446258544922, -0.01955389976501465, -0.018963336944580078, -0.018372774124145508, -0.017782211303710938, -0.017191648483276367, -0.016601085662841797, -0.016010522842407227, -0.015419960021972656, -0.014829397201538086, -0.014238834381103516, -0.013648271560668945, -0.013057708740234375, -0.012467145919799805, -0.011876583099365234, -0.011286020278930664, -0.010695457458496094, -0.010104894638061523, -0.009514331817626953, -0.008923768997192383, -0.008333206176757812, -0.007742643356323242, -0.007152080535888672, -0.0065615177154541016, -0.005970954895019531, -0.005380392074584961, -0.004789829254150391, -0.00419926643371582, -0.00360870361328125, -0.0030181407928466797, -0.0024275779724121094, -0.001837015151977539, -0.0012464523315429688, -0.0006558895111083984, -6.532669067382812e-05, 0.0005252361297607422, 0.0011157989501953125, 0.0017063617706298828, 0.002296924591064453, 0.0028874874114990234, 0.0034780502319335938, 0.004068613052368164, 0.004659175872802734, 0.005249738693237305, 0.005840301513671875, 0.006430864334106445, 0.007021427154541016, 0.007611989974975586, 0.008202552795410156, 0.008793115615844727, 0.009383678436279297, 0.009974241256713867, 0.010564804077148438, 0.011155366897583008, 0.011745929718017578, 0.012336492538452148, 0.012927055358886719, 0.013517618179321289, 0.01410818099975586, 0.01469874382019043, 0.015289306640625]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 3.0, 4.0, 6.0, 3.0, 8.0, 13.0, 12.0, 17.0, 18.0, 31.0, 41.0, 45.0, 79.0, 115.0, 161.0, 258.0, 374.0, 656.0, 1050.0, 1990.0, 3655.0, 7398.0, 15793.0, 36143.0, 86120.0, 258503.0, 430004.0, 118908.0, 47129.0, 20463.0, 9286.0, 4552.0, 2349.0, 1247.0, 734.0, 433.0, 281.0, 186.0, 138.0, 86.0, 74.0, 48.0, 37.0, 33.0, 22.0, 15.0, 13.0, 7.0, 6.0, 5.0, 6.0, 3.0, 2.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.00029349327087402344, -0.00028464198112487793, -0.0002757906913757324, -0.0002669394016265869, -0.0002580881118774414, -0.0002492368221282959, -0.0002403855323791504, -0.00023153424263000488, -0.00022268295288085938, -0.00021383166313171387, -0.00020498037338256836, -0.00019612908363342285, -0.00018727779388427734, -0.00017842650413513184, -0.00016957521438598633, -0.00016072392463684082, -0.0001518726348876953, -0.0001430213451385498, -0.0001341700553894043, -0.0001253187656402588, -0.00011646747589111328, -0.00010761618614196777, -9.876489639282227e-05, -8.991360664367676e-05, -8.106231689453125e-05, -7.221102714538574e-05, -6.335973739624023e-05, -5.4508447647094727e-05, -4.565715789794922e-05, -3.680586814880371e-05, -2.7954578399658203e-05, -1.9103288650512695e-05, -1.0251998901367188e-05, -1.4007091522216797e-06, 7.450580596923828e-06, 1.6301870346069336e-05, 2.5153160095214844e-05, 3.400444984436035e-05, 4.285573959350586e-05, 5.170702934265137e-05, 6.0558319091796875e-05, 6.940960884094238e-05, 7.826089859008789e-05, 8.71121883392334e-05, 9.59634780883789e-05, 0.00010481476783752441, 0.00011366605758666992, 0.00012251734733581543, 0.00013136863708496094, 0.00014021992683410645, 0.00014907121658325195, 0.00015792250633239746, 0.00016677379608154297, 0.00017562508583068848, 0.00018447637557983398, 0.0001933276653289795, 0.000202178955078125, 0.0002110302448272705, 0.00021988153457641602, 0.00022873282432556152, 0.00023758411407470703, 0.00024643540382385254, 0.00025528669357299805, 0.00026413798332214355, 0.00027298927307128906]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 5.0, 6.0, 6.0, 6.0, 11.0, 6.0, 12.0, 9.0, 9.0, 13.0, 28.0, 12.0, 28.0, 31.0, 25.0, 24.0, 23.0, 33.0, 41.0, 36.0, 38.0, 38.0, 31.0, 31.0, 1055.0, 37.0, 41.0, 32.0, 32.0, 32.0, 36.0, 29.0, 29.0, 25.0, 28.0, 22.0, 16.0, 22.0, 13.0, 9.0, 13.0, 13.0, 9.0, 5.0, 11.0, 5.0, 5.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 2.0], "bins": [-0.01611328125, -0.015604972839355469, -0.015096664428710938, -0.014588356018066406, -0.014080047607421875, -0.013571739196777344, -0.013063430786132812, -0.012555122375488281, -0.01204681396484375, -0.011538505554199219, -0.011030197143554688, -0.010521888732910156, -0.010013580322265625, -0.009505271911621094, -0.008996963500976562, -0.008488655090332031, -0.0079803466796875, -0.007472038269042969, -0.0069637298583984375, -0.006455421447753906, -0.005947113037109375, -0.005438804626464844, -0.0049304962158203125, -0.004422187805175781, -0.00391387939453125, -0.0034055709838867188, -0.0028972625732421875, -0.0023889541625976562, -0.001880645751953125, -0.0013723373413085938, -0.0008640289306640625, -0.00035572052001953125, 0.000152587890625, 0.0006608963012695312, 0.0011692047119140625, 0.0016775131225585938, 0.002185821533203125, 0.0026941299438476562, 0.0032024383544921875, 0.0037107467651367188, 0.00421905517578125, 0.004727363586425781, 0.0052356719970703125, 0.005743980407714844, 0.006252288818359375, 0.006760597229003906, 0.0072689056396484375, 0.007777214050292969, 0.0082855224609375, 0.008793830871582031, 0.009302139282226562, 0.009810447692871094, 0.010318756103515625, 0.010827064514160156, 0.011335372924804688, 0.011843681335449219, 0.01235198974609375, 0.012860298156738281, 0.013368606567382812, 0.013876914978027344, 0.014385223388671875, 0.014893531799316406, 0.015401840209960938, 0.01591014862060547, 0.01641845703125]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 6.0, 4.0, 4.0, 13.0, 4.0, 10.0, 11.0, 15.0, 5.0, 19.0, 16.0, 22.0, 22.0, 27.0, 32.0, 46.0, 54.0, 79.0, 108.0, 245.0, 592.0, 1961.0, 9955.0, 2070522.0, 10005.0, 1999.0, 541.0, 256.0, 128.0, 70.0, 59.0, 49.0, 32.0, 24.0, 33.0, 35.0, 12.0, 24.0, 19.0, 10.0, 11.0, 8.0, 7.0, 13.0, 7.0, 5.0, 6.0, 6.0, 0.0, 0.0, 4.0, 1.0, 1.0, 1.0, 2.0], "bins": [-1.2099742889404297e-05, -1.1727213859558105e-05, -1.1354684829711914e-05, -1.0982155799865723e-05, -1.0609626770019531e-05, -1.023709774017334e-05, -9.864568710327148e-06, -9.492039680480957e-06, -9.119510650634766e-06, -8.746981620788574e-06, -8.374452590942383e-06, -8.001923561096191e-06, -7.62939453125e-06, -7.256865501403809e-06, -6.884336471557617e-06, -6.511807441711426e-06, -6.139278411865234e-06, -5.766749382019043e-06, -5.3942203521728516e-06, -5.02169132232666e-06, -4.649162292480469e-06, -4.276633262634277e-06, -3.904104232788086e-06, -3.5315752029418945e-06, -3.159046173095703e-06, -2.7865171432495117e-06, -2.4139881134033203e-06, -2.041459083557129e-06, -1.6689300537109375e-06, -1.296401023864746e-06, -9.238719940185547e-07, -5.513429641723633e-07, -1.7881393432617188e-07, 1.9371509552001953e-07, 5.662441253662109e-07, 9.387731552124023e-07, 1.3113021850585938e-06, 1.6838312149047852e-06, 2.0563602447509766e-06, 2.428889274597168e-06, 2.8014183044433594e-06, 3.1739473342895508e-06, 3.546476364135742e-06, 3.919005393981934e-06, 4.291534423828125e-06, 4.664063453674316e-06, 5.036592483520508e-06, 5.409121513366699e-06, 5.781650543212891e-06, 6.154179573059082e-06, 6.5267086029052734e-06, 6.899237632751465e-06, 7.271766662597656e-06, 7.644295692443848e-06, 8.016824722290039e-06, 8.38935375213623e-06, 8.761882781982422e-06, 9.134411811828613e-06, 9.506940841674805e-06, 9.879469871520996e-06, 1.0251998901367188e-05, 1.0624527931213379e-05, 1.099705696105957e-05, 1.1369585990905762e-05, 1.1742115020751953e-05]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 6.0, 5.0, 9.0, 13.0, 14.0, 28.0, 32.0, 43.0, 56.0, 64.0, 88.0, 73.0, 70.0, 80.0, 67.0, 60.0, 66.0, 52.0, 41.0, 40.0, 28.0, 27.0, 9.0, 14.0, 4.0, 5.0, 3.0, 5.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0225067138671875, -0.02191615104675293, -0.02132558822631836, -0.02073502540588379, -0.02014446258544922, -0.01955389976501465, -0.018963336944580078, -0.018372774124145508, -0.017782211303710938, -0.017191648483276367, -0.016601085662841797, -0.016010522842407227, -0.015419960021972656, -0.014829397201538086, -0.014238834381103516, -0.013648271560668945, -0.013057708740234375, -0.012467145919799805, -0.011876583099365234, -0.011286020278930664, -0.010695457458496094, -0.010104894638061523, -0.009514331817626953, -0.008923768997192383, -0.008333206176757812, -0.007742643356323242, -0.007152080535888672, -0.0065615177154541016, -0.005970954895019531, -0.005380392074584961, -0.004789829254150391, -0.00419926643371582, -0.00360870361328125, -0.0030181407928466797, -0.0024275779724121094, -0.001837015151977539, -0.0012464523315429688, -0.0006558895111083984, -6.532669067382812e-05, 0.0005252361297607422, 0.0011157989501953125, 0.0017063617706298828, 0.002296924591064453, 0.0028874874114990234, 0.0034780502319335938, 0.004068613052368164, 0.004659175872802734, 0.005249738693237305, 0.005840301513671875, 0.006430864334106445, 0.007021427154541016, 0.007611989974975586, 0.008202552795410156, 0.008793115615844727, 0.009383678436279297, 0.009974241256713867, 0.010564804077148438, 0.011155366897583008, 0.011745929718017578, 0.012336492538452148, 0.012927055358886719, 0.013517618179321289, 0.01410818099975586, 0.01469874382019043, 0.015289306640625]}, "gradients/decoder.transformer.h.22.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 5.0, 6.0, 5.0, 5.0, 12.0, 8.0, 23.0, 23.0, 43.0, 58.0, 98.0, 167.0, 385.0, 734.0, 1745.0, 4558.0, 13817.0, 52658.0, 409031.0, 485865.0, 56540.0, 14683.0, 4681.0, 1759.0, 794.0, 365.0, 177.0, 112.0, 64.0, 36.0, 32.0, 18.0, 16.0, 13.0, 4.0, 5.0, 3.0, 2.0, 5.0, 5.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0380859375, -0.036773681640625, -0.03546142578125, -0.034149169921875, -0.0328369140625, -0.031524658203125, -0.03021240234375, -0.028900146484375, -0.027587890625, -0.026275634765625, -0.02496337890625, -0.023651123046875, -0.0223388671875, -0.021026611328125, -0.01971435546875, -0.018402099609375, -0.01708984375, -0.015777587890625, -0.01446533203125, -0.013153076171875, -0.0118408203125, -0.010528564453125, -0.00921630859375, -0.007904052734375, -0.006591796875, -0.005279541015625, -0.00396728515625, -0.002655029296875, -0.0013427734375, -3.0517578125e-05, 0.00128173828125, 0.002593994140625, 0.00390625, 0.005218505859375, 0.00653076171875, 0.007843017578125, 0.0091552734375, 0.010467529296875, 0.01177978515625, 0.013092041015625, 0.014404296875, 0.015716552734375, 0.01702880859375, 0.018341064453125, 0.0196533203125, 0.020965576171875, 0.02227783203125, 0.023590087890625, 0.02490234375, 0.026214599609375, 0.02752685546875, 0.028839111328125, 0.0301513671875, 0.031463623046875, 0.03277587890625, 0.034088134765625, 0.035400390625, 0.036712646484375, 0.03802490234375, 0.039337158203125, 0.0406494140625, 0.041961669921875, 0.04327392578125, 0.044586181640625, 0.0458984375]}, "gradients/decoder.transformer.h.22.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 3.0, 3.0, 5.0, 6.0, 15.0, 4.0, 9.0, 11.0, 22.0, 17.0, 19.0, 21.0, 29.0, 30.0, 29.0, 32.0, 34.0, 42.0, 32.0, 46.0, 80.0, 126.0, 1708.0, 254.0, 81.0, 55.0, 42.0, 33.0, 33.0, 33.0, 34.0, 21.0, 20.0, 18.0, 21.0, 22.0, 11.0, 9.0, 8.0, 7.0, 4.0, 6.0, 4.0, 8.0, 2.0, 0.0, 2.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.040283203125, -0.0390162467956543, -0.037749290466308594, -0.03648233413696289, -0.03521537780761719, -0.033948421478271484, -0.03268146514892578, -0.03141450881958008, -0.030147552490234375, -0.028880596160888672, -0.02761363983154297, -0.026346683502197266, -0.025079727172851562, -0.02381277084350586, -0.022545814514160156, -0.021278858184814453, -0.02001190185546875, -0.018744945526123047, -0.017477989196777344, -0.01621103286743164, -0.014944076538085938, -0.013677120208740234, -0.012410163879394531, -0.011143207550048828, -0.009876251220703125, -0.008609294891357422, -0.007342338562011719, -0.006075382232666016, -0.0048084259033203125, -0.0035414695739746094, -0.0022745132446289062, -0.0010075569152832031, 0.0002593994140625, 0.0015263557434082031, 0.0027933120727539062, 0.004060268402099609, 0.0053272247314453125, 0.006594181060791016, 0.007861137390136719, 0.009128093719482422, 0.010395050048828125, 0.011662006378173828, 0.012928962707519531, 0.014195919036865234, 0.015462875366210938, 0.01672983169555664, 0.017996788024902344, 0.019263744354248047, 0.02053070068359375, 0.021797657012939453, 0.023064613342285156, 0.02433156967163086, 0.025598526000976562, 0.026865482330322266, 0.02813243865966797, 0.029399394989013672, 0.030666351318359375, 0.03193330764770508, 0.03320026397705078, 0.034467220306396484, 0.03573417663574219, 0.03700113296508789, 0.038268089294433594, 0.0395350456237793, 0.040802001953125]}, "gradients/decoder.transformer.h.22.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 6.0, 5.0, 4.0, 7.0, 4.0, 5.0, 14.0, 23.0, 14.0, 16.0, 32.0, 28.0, 36.0, 53.0, 71.0, 103.0, 196.0, 670.0, 4210.0, 187309.0, 2936746.0, 13992.0, 1242.0, 332.0, 154.0, 93.0, 60.0, 51.0, 38.0, 27.0, 27.0, 26.0, 17.0, 20.0, 20.0, 9.0, 11.0, 7.0, 11.0, 5.0, 5.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.10614013671875, -0.10284423828125, -0.09954833984375, -0.09625244140625, -0.09295654296875, -0.08966064453125, -0.08636474609375, -0.08306884765625, -0.07977294921875, -0.07647705078125, -0.07318115234375, -0.06988525390625, -0.06658935546875, -0.06329345703125, -0.05999755859375, -0.05670166015625, -0.05340576171875, -0.05010986328125, -0.04681396484375, -0.04351806640625, -0.04022216796875, -0.03692626953125, -0.03363037109375, -0.03033447265625, -0.02703857421875, -0.02374267578125, -0.02044677734375, -0.01715087890625, -0.01385498046875, -0.01055908203125, -0.00726318359375, -0.00396728515625, -0.00067138671875, 0.00262451171875, 0.00592041015625, 0.00921630859375, 0.01251220703125, 0.01580810546875, 0.01910400390625, 0.02239990234375, 0.02569580078125, 0.02899169921875, 0.03228759765625, 0.03558349609375, 0.03887939453125, 0.04217529296875, 0.04547119140625, 0.04876708984375, 0.05206298828125, 0.05535888671875, 0.05865478515625, 0.06195068359375, 0.06524658203125, 0.06854248046875, 0.07183837890625, 0.07513427734375, 0.07843017578125, 0.08172607421875, 0.08502197265625, 0.08831787109375, 0.09161376953125, 0.09490966796875, 0.09820556640625, 0.10150146484375, 0.10479736328125]}, "gradients/decoder.transformer.h.22.ln_1.weight": {"_type": "histogram", "values": [190.0, 830.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.05180354788899422, -0.005556516349315643, 0.04069051519036293, 0.0869375467300415, 0.13318458199501038, 0.17943161725997925, 0.22567863762378693, 0.2719256579875946, 0.3181726932525635, 0.36441972851753235, 0.4106667637825012, 0.4569137692451477, 0.503160834312439, 0.5494078397750854, 0.5956548452377319, 0.6419019103050232, 0.6881489753723145, 0.7343959808349609, 0.7806430459022522, 0.8268900513648987, 0.8731371164321899, 0.9193841218948364, 0.9656311273574829, 1.011878252029419, 1.0581252574920654, 1.104372262954712, 1.1506192684173584, 1.1968663930892944, 1.243113398551941, 1.2893604040145874, 1.3356074094772339, 1.38185453414917, 1.4281014204025269, 1.4743484258651733, 1.5205954313278198, 1.5668425559997559, 1.6130895614624023, 1.6593365669250488, 1.7055835723876953, 1.7518305778503418, 1.7980777025222778, 1.8443247079849243, 1.8905717134475708, 1.9368188381195068, 1.9830658435821533, 2.0293128490448, 2.0755598545074463, 2.1218068599700928, 2.1680538654327393, 2.2143008708953857, 2.2605478763580322, 2.3067948818206787, 2.353041887283325, 2.399289131164551, 2.4455361366271973, 2.4917831420898438, 2.5380301475524902, 2.5842771530151367, 2.630524158477783, 2.6767711639404297, 2.723018169403076, 2.7692654132843018, 2.8155124187469482, 2.8617594242095947, 2.908006429672241]}, "gradients/decoder.transformer.h.22.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 2.0, 1.0, 3.0, 3.0, 0.0, 4.0, 3.0, 4.0, 7.0, 10.0, 11.0, 16.0, 14.0, 10.0, 22.0, 20.0, 27.0, 20.0, 16.0, 16.0, 23.0, 28.0, 31.0, 30.0, 48.0, 41.0, 38.0, 43.0, 38.0, 35.0, 35.0, 46.0, 37.0, 36.0, 22.0, 33.0, 27.0, 23.0, 26.0, 27.0, 24.0, 24.0, 8.0, 18.0, 12.0, 8.0, 6.0, 6.0, 9.0, 4.0, 7.0, 5.0, 3.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.13482171297073364, -0.13050809502601624, -0.12619449198246002, -0.12188087403774261, -0.11756725609302521, -0.1132536455988884, -0.10894003510475159, -0.10462641716003418, -0.10031280666589737, -0.09599919617176056, -0.09168557822704315, -0.08737196773290634, -0.08305835723876953, -0.07874473929405212, -0.07443112879991531, -0.0701175183057785, -0.0658039003610611, -0.06149028614163399, -0.05717667192220688, -0.05286306142807007, -0.04854944720864296, -0.04423583298921585, -0.03992222249507904, -0.03560860827565193, -0.03129499405622482, -0.026981379836797714, -0.022667767480015755, -0.018354155123233795, -0.014040540903806686, -0.009726926684379578, -0.005413314327597618, -0.0010997019708156586, 0.00321391224861145, 0.007527525536715984, 0.011841138824820518, 0.016154751181602478, 0.020468365401029587, 0.024781979620456696, 0.029095591977238655, 0.033409204334020615, 0.03772281855344772, 0.04203643277287483, 0.04635004699230194, 0.05066365748643875, 0.05497727170586586, 0.05929088592529297, 0.06360449641942978, 0.06791810691356659, 0.072231724858284, 0.0765453353524208, 0.08085895329713821, 0.08517256379127502, 0.08948618173599243, 0.09379979223012924, 0.09811340272426605, 0.10242702066898346, 0.10674063116312027, 0.11105424165725708, 0.11536785960197449, 0.1196814700961113, 0.12399508059024811, 0.12830869853496552, 0.13262231647968292, 0.13693591952323914, 0.14124953746795654]}, "gradients/decoder.transformer.h.21.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 4.0, 4.0, 6.0, 11.0, 15.0, 16.0, 22.0, 41.0, 49.0, 59.0, 57.0, 86.0, 82.0, 66.0, 76.0, 69.0, 59.0, 59.0, 52.0, 47.0, 38.0, 19.0, 27.0, 10.0, 12.0, 3.0, 6.0, 5.0, 4.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0223541259765625, -0.021764039993286133, -0.021173954010009766, -0.0205838680267334, -0.01999378204345703, -0.019403696060180664, -0.018813610076904297, -0.01822352409362793, -0.017633438110351562, -0.017043352127075195, -0.016453266143798828, -0.01586318016052246, -0.015273094177246094, -0.014683008193969727, -0.01409292221069336, -0.013502836227416992, -0.012912750244140625, -0.012322664260864258, -0.01173257827758789, -0.011142492294311523, -0.010552406311035156, -0.009962320327758789, -0.009372234344482422, -0.008782148361206055, -0.008192062377929688, -0.00760197639465332, -0.007011890411376953, -0.006421804428100586, -0.005831718444824219, -0.0052416324615478516, -0.004651546478271484, -0.004061460494995117, -0.00347137451171875, -0.002881288528442383, -0.0022912025451660156, -0.0017011165618896484, -0.0011110305786132812, -0.0005209445953369141, 6.914138793945312e-05, 0.0006592273712158203, 0.0012493133544921875, 0.0018393993377685547, 0.002429485321044922, 0.003019571304321289, 0.0036096572875976562, 0.0041997432708740234, 0.004789829254150391, 0.005379915237426758, 0.005970001220703125, 0.006560087203979492, 0.007150173187255859, 0.0077402591705322266, 0.008330345153808594, 0.008920431137084961, 0.009510517120361328, 0.010100603103637695, 0.010690689086914062, 0.01128077507019043, 0.011870861053466797, 0.012460947036743164, 0.013051033020019531, 0.013641119003295898, 0.014231204986572266, 0.014821290969848633, 0.015411376953125]}, "gradients/decoder.transformer.h.21.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 2.0, 4.0, 4.0, 5.0, 6.0, 8.0, 16.0, 19.0, 30.0, 53.0, 53.0, 86.0, 130.0, 210.0, 452.0, 1257.0, 5173.0, 76072.0, 3980393.0, 120901.0, 6853.0, 1407.0, 455.0, 243.0, 144.0, 100.0, 58.0, 49.0, 23.0, 29.0, 14.0, 9.0, 7.0, 5.0, 6.0, 4.0, 4.0, 3.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1378173828125, -0.13414764404296875, -0.1304779052734375, -0.12680816650390625, -0.123138427734375, -0.11946868896484375, -0.1157989501953125, -0.11212921142578125, -0.10845947265625, -0.10478973388671875, -0.1011199951171875, -0.09745025634765625, -0.093780517578125, -0.09011077880859375, -0.0864410400390625, -0.08277130126953125, -0.0791015625, -0.07543182373046875, -0.0717620849609375, -0.06809234619140625, -0.064422607421875, -0.06075286865234375, -0.0570831298828125, -0.05341339111328125, -0.04974365234375, -0.04607391357421875, -0.0424041748046875, -0.03873443603515625, -0.035064697265625, -0.03139495849609375, -0.0277252197265625, -0.02405548095703125, -0.0203857421875, -0.01671600341796875, -0.0130462646484375, -0.00937652587890625, -0.005706787109375, -0.00203704833984375, 0.0016326904296875, 0.00530242919921875, 0.00897216796875, 0.01264190673828125, 0.0163116455078125, 0.01998138427734375, 0.023651123046875, 0.02732086181640625, 0.0309906005859375, 0.03466033935546875, 0.038330078125, 0.04199981689453125, 0.0456695556640625, 0.04933929443359375, 0.053009033203125, 0.05667877197265625, 0.0603485107421875, 0.06401824951171875, 0.06768798828125, 0.07135772705078125, 0.0750274658203125, 0.07869720458984375, 0.082366943359375, 0.08603668212890625, 0.0897064208984375, 0.09337615966796875, 0.0970458984375]}, "gradients/decoder.transformer.h.21.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 3.0, 2.0, 4.0, 4.0, 5.0, 11.0, 7.0, 16.0, 14.0, 21.0, 33.0, 47.0, 75.0, 86.0, 143.0, 189.0, 351.0, 559.0, 739.0, 609.0, 371.0, 263.0, 171.0, 92.0, 70.0, 51.0, 34.0, 32.0, 22.0, 18.0, 8.0, 7.0, 6.0, 6.0, 2.0, 3.0, 1.0, 2.0, 1.0, 3.0, 0.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.041015625, -0.039675235748291016, -0.03833484649658203, -0.03699445724487305, -0.03565406799316406, -0.03431367874145508, -0.032973289489746094, -0.03163290023803711, -0.030292510986328125, -0.02895212173461914, -0.027611732482910156, -0.026271343231201172, -0.024930953979492188, -0.023590564727783203, -0.02225017547607422, -0.020909786224365234, -0.01956939697265625, -0.018229007720947266, -0.01688861846923828, -0.015548229217529297, -0.014207839965820312, -0.012867450714111328, -0.011527061462402344, -0.01018667221069336, -0.008846282958984375, -0.007505893707275391, -0.006165504455566406, -0.004825115203857422, -0.0034847259521484375, -0.002144336700439453, -0.0008039474487304688, 0.0005364418029785156, 0.0018768310546875, 0.0032172203063964844, 0.004557609558105469, 0.005897998809814453, 0.0072383880615234375, 0.008578777313232422, 0.009919166564941406, 0.01125955581665039, 0.012599945068359375, 0.01394033432006836, 0.015280723571777344, 0.016621112823486328, 0.017961502075195312, 0.019301891326904297, 0.02064228057861328, 0.021982669830322266, 0.02332305908203125, 0.024663448333740234, 0.02600383758544922, 0.027344226837158203, 0.028684616088867188, 0.030025005340576172, 0.031365394592285156, 0.03270578384399414, 0.034046173095703125, 0.03538656234741211, 0.036726951599121094, 0.03806734085083008, 0.03940773010253906, 0.04074811935424805, 0.04208850860595703, 0.043428897857666016, 0.044769287109375]}, "gradients/decoder.transformer.h.21.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 0.0, 3.0, 4.0, 6.0, 3.0, 3.0, 10.0, 9.0, 19.0, 30.0, 36.0, 57.0, 90.0, 144.0, 268.0, 552.0, 1199.0, 3351.0, 13666.0, 103428.0, 2470946.0, 1506837.0, 77644.0, 11010.0, 2770.0, 1105.0, 501.0, 234.0, 142.0, 83.0, 46.0, 28.0, 28.0, 10.0, 7.0, 8.0, 4.0, 0.0, 7.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.106689453125, -0.10372066497802734, -0.10075187683105469, -0.09778308868408203, -0.09481430053710938, -0.09184551239013672, -0.08887672424316406, -0.0859079360961914, -0.08293914794921875, -0.0799703598022461, -0.07700157165527344, -0.07403278350830078, -0.07106399536132812, -0.06809520721435547, -0.06512641906738281, -0.062157630920410156, -0.0591888427734375, -0.056220054626464844, -0.05325126647949219, -0.05028247833251953, -0.047313690185546875, -0.04434490203857422, -0.04137611389160156, -0.038407325744628906, -0.03543853759765625, -0.032469749450683594, -0.029500961303710938, -0.02653217315673828, -0.023563385009765625, -0.02059459686279297, -0.017625808715820312, -0.014657020568847656, -0.011688232421875, -0.008719444274902344, -0.0057506561279296875, -0.0027818679809570312, 0.000186920166015625, 0.0031557083129882812, 0.0061244964599609375, 0.009093284606933594, 0.01206207275390625, 0.015030860900878906, 0.017999649047851562, 0.02096843719482422, 0.023937225341796875, 0.02690601348876953, 0.029874801635742188, 0.032843589782714844, 0.0358123779296875, 0.038781166076660156, 0.04174995422363281, 0.04471874237060547, 0.047687530517578125, 0.05065631866455078, 0.05362510681152344, 0.056593894958496094, 0.05956268310546875, 0.0625314712524414, 0.06550025939941406, 0.06846904754638672, 0.07143783569335938, 0.07440662384033203, 0.07737541198730469, 0.08034420013427734, 0.08331298828125]}, "gradients/decoder.transformer.h.21.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 3.0, 7.0, 33.0, 126.0, 290.0, 320.0, 172.0, 51.0, 13.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1400444209575653, -0.12303582578897476, -0.10602723062038422, -0.08901862800121307, -0.07201003283262253, -0.05500143766403198, -0.03799283504486084, -0.020984239876270294, -0.0039756447076797485, 0.013032952323555946, 0.03004154935479164, 0.047050148248672485, 0.06405874341726303, 0.08106733858585358, 0.09807594120502472, 0.11508453637361526, 0.1320931315422058, 0.14910173416137695, 0.1661103218793869, 0.18311892449855804, 0.200127512216568, 0.21713611483573914, 0.23414471745491028, 0.2511533200740814, 0.2681618928909302, 0.2851704955101013, 0.30217909812927246, 0.3191877007484436, 0.33619627356529236, 0.3532048761844635, 0.37021347880363464, 0.3872220814228058, 0.40423065423965454, 0.4212392568588257, 0.4382478594779968, 0.45525646209716797, 0.4722650349140167, 0.48927363753318787, 0.5062822103500366, 0.5232908129692078, 0.5402994155883789, 0.55730801820755, 0.5743166208267212, 0.5913252234458923, 0.6083338260650635, 0.6253423690795898, 0.6423510313034058, 0.6593595743179321, 0.676368236541748, 0.6933768391609192, 0.7103854417800903, 0.7273940443992615, 0.7444026470184326, 0.761411190032959, 0.7784198522567749, 0.7954283952713013, 0.8124369978904724, 0.8294456005096436, 0.8464542031288147, 0.8634628057479858, 0.880471408367157, 0.8974800109863281, 0.9144885540008545, 0.9314971566200256, 0.9485057592391968]}, "gradients/decoder.transformer.h.21.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 6.0, 7.0, 1.0, 6.0, 6.0, 11.0, 13.0, 15.0, 23.0, 22.0, 23.0, 31.0, 26.0, 40.0, 34.0, 38.0, 41.0, 42.0, 26.0, 39.0, 43.0, 45.0, 41.0, 47.0, 48.0, 35.0, 36.0, 31.0, 27.0, 30.0, 29.0, 30.0, 24.0, 15.0, 17.0, 7.0, 11.0, 6.0, 7.0, 8.0, 9.0, 4.0, 5.0, 1.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.13555872440338135, -0.13127432763576508, -0.1269899308681488, -0.12270552664995193, -0.11842112243175507, -0.1141367256641388, -0.10985232889652252, -0.10556793212890625, -0.10128352791070938, -0.09699913114309311, -0.09271472692489624, -0.08843033015727997, -0.0841459333896637, -0.07986152917146683, -0.07557713240385056, -0.07129272818565369, -0.06700833141803741, -0.06272393465042114, -0.058439530432224274, -0.054155133664608, -0.04987073317170143, -0.04558633267879486, -0.04130193591117859, -0.03701753541827202, -0.03273313492536545, -0.028448734432458878, -0.024164335802197456, -0.019879937171936035, -0.015595536679029465, -0.011311136186122894, -0.007026737555861473, -0.002742338925600052, 0.0015420615673065186, 0.005826461128890514, 0.01011086069047451, 0.014395260252058506, 0.018679659813642502, 0.022964060306549072, 0.027248458936810493, 0.031532857567071915, 0.035817258059978485, 0.040101658552885056, 0.044386059045791626, 0.0486704558134079, 0.05295485630631447, 0.05723925679922104, 0.06152365356683731, 0.06580805778503418, 0.07009245455265045, 0.07437685132026672, 0.07866125553846359, 0.08294565230607986, 0.08723005652427673, 0.091514453291893, 0.09579885005950928, 0.10008324682712555, 0.10436765104532242, 0.10865204781293869, 0.11293645203113556, 0.11722084879875183, 0.1215052455663681, 0.12578964233398438, 0.13007405400276184, 0.1343584507703781, 0.13864284753799438]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 5.0, 4.0, 4.0, 7.0, 11.0, 15.0, 19.0, 25.0, 39.0, 50.0, 61.0, 68.0, 70.0, 73.0, 72.0, 71.0, 60.0, 61.0, 68.0, 44.0, 42.0, 35.0, 31.0, 24.0, 17.0, 5.0, 5.0, 7.0, 6.0, 4.0, 2.0, 2.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.022735595703125, -0.022150158882141113, -0.021564722061157227, -0.02097928524017334, -0.020393848419189453, -0.019808411598205566, -0.01922297477722168, -0.018637537956237793, -0.018052101135253906, -0.01746666431427002, -0.016881227493286133, -0.016295790672302246, -0.01571035385131836, -0.015124917030334473, -0.014539480209350586, -0.0139540433883667, -0.013368606567382812, -0.012783169746398926, -0.012197732925415039, -0.011612296104431152, -0.011026859283447266, -0.010441422462463379, -0.009855985641479492, -0.009270548820495605, -0.008685111999511719, -0.008099675178527832, -0.007514238357543945, -0.006928801536560059, -0.006343364715576172, -0.005757927894592285, -0.0051724910736083984, -0.004587054252624512, -0.004001617431640625, -0.0034161806106567383, -0.0028307437896728516, -0.002245306968688965, -0.0016598701477050781, -0.0010744333267211914, -0.0004889965057373047, 9.644031524658203e-05, 0.0006818771362304688, 0.0012673139572143555, 0.0018527507781982422, 0.002438187599182129, 0.0030236244201660156, 0.0036090612411499023, 0.004194498062133789, 0.004779934883117676, 0.0053653717041015625, 0.005950808525085449, 0.006536245346069336, 0.007121682167053223, 0.007707118988037109, 0.008292555809020996, 0.008877992630004883, 0.00946342945098877, 0.010048866271972656, 0.010634303092956543, 0.01121973991394043, 0.011805176734924316, 0.012390613555908203, 0.01297605037689209, 0.013561487197875977, 0.014146924018859863, 0.01473236083984375]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 3.0, 5.0, 7.0, 12.0, 15.0, 18.0, 17.0, 35.0, 46.0, 72.0, 86.0, 147.0, 227.0, 346.0, 581.0, 924.0, 1647.0, 3067.0, 5932.0, 12429.0, 27710.0, 65544.0, 175554.0, 479962.0, 162978.0, 61502.0, 25563.0, 11593.0, 5616.0, 2843.0, 1543.0, 893.0, 550.0, 343.0, 224.0, 151.0, 106.0, 68.0, 49.0, 35.0, 31.0, 25.0, 12.0, 14.0, 8.0, 8.0, 7.0, 1.0, 6.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00022685527801513672, -0.00021964497864246368, -0.00021243467926979065, -0.00020522437989711761, -0.00019801408052444458, -0.00019080378115177155, -0.0001835934817790985, -0.00017638318240642548, -0.00016917288303375244, -0.0001619625836610794, -0.00015475228428840637, -0.00014754198491573334, -0.0001403316855430603, -0.00013312138617038727, -0.00012591108679771423, -0.0001187007874250412, -0.00011149048805236816, -0.00010428018867969513, -9.70698893070221e-05, -8.985958993434906e-05, -8.264929056167603e-05, -7.543899118900299e-05, -6.822869181632996e-05, -6.101839244365692e-05, -5.380809307098389e-05, -4.659779369831085e-05, -3.938749432563782e-05, -3.217719495296478e-05, -2.4966895580291748e-05, -1.7756596207618713e-05, -1.0546296834945679e-05, -3.335997462272644e-06, 3.874301910400391e-06, 1.1084601283073425e-05, 1.829490065574646e-05, 2.5505200028419495e-05, 3.271549940109253e-05, 3.9925798773765564e-05, 4.71360981464386e-05, 5.434639751911163e-05, 6.155669689178467e-05, 6.87669962644577e-05, 7.597729563713074e-05, 8.318759500980377e-05, 9.03978943824768e-05, 9.760819375514984e-05, 0.00010481849312782288, 0.00011202879250049591, 0.00011923909187316895, 0.00012644939124584198, 0.00013365969061851501, 0.00014086998999118805, 0.00014808028936386108, 0.00015529058873653412, 0.00016250088810920715, 0.0001697111874818802, 0.00017692148685455322, 0.00018413178622722626, 0.0001913420855998993, 0.00019855238497257233, 0.00020576268434524536, 0.0002129729837179184, 0.00022018328309059143, 0.00022739358246326447, 0.0002346038818359375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 1.0, 1.0, 3.0, 2.0, 2.0, 11.0, 7.0, 5.0, 7.0, 15.0, 13.0, 13.0, 20.0, 14.0, 18.0, 27.0, 26.0, 39.0, 24.0, 27.0, 29.0, 41.0, 31.0, 34.0, 44.0, 34.0, 1065.0, 36.0, 31.0, 35.0, 24.0, 26.0, 33.0, 22.0, 33.0, 25.0, 31.0, 23.0, 17.0, 26.0, 13.0, 12.0, 25.0, 10.0, 12.0, 8.0, 12.0, 9.0, 5.0, 2.0, 6.0, 4.0, 5.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.01470184326171875, -0.014240860939025879, -0.013779878616333008, -0.013318896293640137, -0.012857913970947266, -0.012396931648254395, -0.011935949325561523, -0.011474967002868652, -0.011013984680175781, -0.01055300235748291, -0.010092020034790039, -0.009631037712097168, -0.009170055389404297, -0.008709073066711426, -0.008248090744018555, -0.007787108421325684, -0.0073261260986328125, -0.006865143775939941, -0.00640416145324707, -0.005943179130554199, -0.005482196807861328, -0.005021214485168457, -0.004560232162475586, -0.004099249839782715, -0.0036382675170898438, -0.0031772851943969727, -0.0027163028717041016, -0.0022553205490112305, -0.0017943382263183594, -0.0013333559036254883, -0.0008723735809326172, -0.0004113912582397461, 4.9591064453125e-05, 0.0005105733871459961, 0.0009715557098388672, 0.0014325380325317383, 0.0018935203552246094, 0.0023545026779174805, 0.0028154850006103516, 0.0032764673233032227, 0.0037374496459960938, 0.004198431968688965, 0.004659414291381836, 0.005120396614074707, 0.005581378936767578, 0.006042361259460449, 0.00650334358215332, 0.006964325904846191, 0.0074253082275390625, 0.007886290550231934, 0.008347272872924805, 0.008808255195617676, 0.009269237518310547, 0.009730219841003418, 0.010191202163696289, 0.01065218448638916, 0.011113166809082031, 0.011574149131774902, 0.012035131454467773, 0.012496113777160645, 0.012957096099853516, 0.013418078422546387, 0.013879060745239258, 0.014340043067932129, 0.014801025390625]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 3.0, 9.0, 4.0, 2.0, 12.0, 11.0, 8.0, 9.0, 12.0, 25.0, 10.0, 19.0, 24.0, 17.0, 23.0, 38.0, 36.0, 55.0, 62.0, 86.0, 130.0, 300.0, 1055.0, 3459.0, 74800.0, 2010022.0, 4528.0, 1337.0, 399.0, 171.0, 93.0, 67.0, 51.0, 26.0, 43.0, 31.0, 21.0, 26.0, 16.0, 19.0, 13.0, 16.0, 13.0, 4.0, 9.0, 7.0, 8.0, 3.0, 2.0, 2.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 2.0], "bins": [-1.0907649993896484e-05, -1.0567717254161835e-05, -1.0227784514427185e-05, -9.887851774692535e-06, -9.547919034957886e-06, -9.207986295223236e-06, -8.868053555488586e-06, -8.528120815753937e-06, -8.188188076019287e-06, -7.848255336284637e-06, -7.508322596549988e-06, -7.168389856815338e-06, -6.8284571170806885e-06, -6.488524377346039e-06, -6.148591637611389e-06, -5.8086588978767395e-06, -5.46872615814209e-06, -5.12879341840744e-06, -4.7888606786727905e-06, -4.448927938938141e-06, -4.108995199203491e-06, -3.7690624594688416e-06, -3.429129719734192e-06, -3.0891969799995422e-06, -2.7492642402648926e-06, -2.409331500530243e-06, -2.0693987607955933e-06, -1.7294660210609436e-06, -1.389533281326294e-06, -1.0496005415916443e-06, -7.096678018569946e-07, -3.6973506212234497e-07, -2.9802322387695312e-08, 3.1013041734695435e-07, 6.50063157081604e-07, 9.899958968162537e-07, 1.3299286365509033e-06, 1.669861376285553e-06, 2.0097941160202026e-06, 2.3497268557548523e-06, 2.689659595489502e-06, 3.0295923352241516e-06, 3.3695250749588013e-06, 3.709457814693451e-06, 4.049390554428101e-06, 4.38932329416275e-06, 4.7292560338974e-06, 5.0691887736320496e-06, 5.409121513366699e-06, 5.749054253101349e-06, 6.0889869928359985e-06, 6.428919732570648e-06, 6.768852472305298e-06, 7.1087852120399475e-06, 7.448717951774597e-06, 7.788650691509247e-06, 8.128583431243896e-06, 8.468516170978546e-06, 8.808448910713196e-06, 9.148381650447845e-06, 9.488314390182495e-06, 9.828247129917145e-06, 1.0168179869651794e-05, 1.0508112609386444e-05, 1.0848045349121094e-05]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 5.0, 4.0, 4.0, 7.0, 11.0, 15.0, 19.0, 25.0, 39.0, 50.0, 61.0, 68.0, 70.0, 73.0, 72.0, 71.0, 60.0, 61.0, 68.0, 44.0, 42.0, 35.0, 31.0, 24.0, 17.0, 5.0, 5.0, 7.0, 6.0, 4.0, 2.0, 2.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.022735595703125, -0.022150158882141113, -0.021564722061157227, -0.02097928524017334, -0.020393848419189453, -0.019808411598205566, -0.01922297477722168, -0.018637537956237793, -0.018052101135253906, -0.01746666431427002, -0.016881227493286133, -0.016295790672302246, -0.01571035385131836, -0.015124917030334473, -0.014539480209350586, -0.0139540433883667, -0.013368606567382812, -0.012783169746398926, -0.012197732925415039, -0.011612296104431152, -0.011026859283447266, -0.010441422462463379, -0.009855985641479492, -0.009270548820495605, -0.008685111999511719, -0.008099675178527832, -0.007514238357543945, -0.006928801536560059, -0.006343364715576172, -0.005757927894592285, -0.0051724910736083984, -0.004587054252624512, -0.004001617431640625, -0.0034161806106567383, -0.0028307437896728516, -0.002245306968688965, -0.0016598701477050781, -0.0010744333267211914, -0.0004889965057373047, 9.644031524658203e-05, 0.0006818771362304688, 0.0012673139572143555, 0.0018527507781982422, 0.002438187599182129, 0.0030236244201660156, 0.0036090612411499023, 0.004194498062133789, 0.004779934883117676, 0.0053653717041015625, 0.005950808525085449, 0.006536245346069336, 0.007121682167053223, 0.007707118988037109, 0.008292555809020996, 0.008877992630004883, 0.00946342945098877, 0.010048866271972656, 0.010634303092956543, 0.01121973991394043, 0.011805176734924316, 0.012390613555908203, 0.01297605037689209, 0.013561487197875977, 0.014146924018859863, 0.01473236083984375]}, "gradients/decoder.transformer.h.21.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 4.0, 4.0, 4.0, 13.0, 13.0, 17.0, 19.0, 36.0, 55.0, 76.0, 122.0, 155.0, 332.0, 515.0, 933.0, 1685.0, 3212.0, 6350.0, 13029.0, 29526.0, 111845.0, 717792.0, 107367.0, 29024.0, 13026.0, 6331.0, 3204.0, 1644.0, 884.0, 492.0, 294.0, 193.0, 113.0, 77.0, 58.0, 31.0, 14.0, 25.0, 9.0, 6.0, 12.0, 5.0, 2.0, 2.0, 3.0, 1.0, 3.0, 0.0, 2.0, 2.0, 1.0], "bins": [-0.0267333984375, -0.02595829963684082, -0.02518320083618164, -0.02440810203552246, -0.02363300323486328, -0.0228579044342041, -0.022082805633544922, -0.021307706832885742, -0.020532608032226562, -0.019757509231567383, -0.018982410430908203, -0.018207311630249023, -0.017432212829589844, -0.016657114028930664, -0.015882015228271484, -0.015106916427612305, -0.014331817626953125, -0.013556718826293945, -0.012781620025634766, -0.012006521224975586, -0.011231422424316406, -0.010456323623657227, -0.009681224822998047, -0.008906126022338867, -0.008131027221679688, -0.007355928421020508, -0.006580829620361328, -0.0058057308197021484, -0.005030632019042969, -0.004255533218383789, -0.0034804344177246094, -0.0027053356170654297, -0.00193023681640625, -0.0011551380157470703, -0.0003800392150878906, 0.00039505958557128906, 0.0011701583862304688, 0.0019452571868896484, 0.002720355987548828, 0.003495454788208008, 0.0042705535888671875, 0.005045652389526367, 0.005820751190185547, 0.0065958499908447266, 0.007370948791503906, 0.008146047592163086, 0.008921146392822266, 0.009696245193481445, 0.010471343994140625, 0.011246442794799805, 0.012021541595458984, 0.012796640396118164, 0.013571739196777344, 0.014346837997436523, 0.015121936798095703, 0.015897035598754883, 0.016672134399414062, 0.017447233200073242, 0.018222332000732422, 0.0189974308013916, 0.01977252960205078, 0.02054762840270996, 0.02132272720336914, 0.02209782600402832, 0.0228729248046875]}, "gradients/decoder.transformer.h.21.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 0.0, 0.0, 2.0, 4.0, 2.0, 5.0, 3.0, 8.0, 4.0, 3.0, 6.0, 10.0, 14.0, 14.0, 17.0, 21.0, 23.0, 19.0, 22.0, 31.0, 30.0, 42.0, 39.0, 34.0, 41.0, 72.0, 107.0, 1647.0, 287.0, 88.0, 56.0, 72.0, 37.0, 34.0, 33.0, 35.0, 30.0, 30.0, 25.0, 26.0, 16.0, 6.0, 11.0, 10.0, 8.0, 9.0, 6.0, 7.0, 8.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.045166015625, -0.04383659362792969, -0.042507171630859375, -0.04117774963378906, -0.03984832763671875, -0.03851890563964844, -0.037189483642578125, -0.03586006164550781, -0.0345306396484375, -0.03320121765136719, -0.031871795654296875, -0.030542373657226562, -0.02921295166015625, -0.027883529663085938, -0.026554107666015625, -0.025224685668945312, -0.023895263671875, -0.022565841674804688, -0.021236419677734375, -0.019906997680664062, -0.01857757568359375, -0.017248153686523438, -0.015918731689453125, -0.014589309692382812, -0.0132598876953125, -0.011930465698242188, -0.010601043701171875, -0.009271621704101562, -0.00794219970703125, -0.0066127777099609375, -0.005283355712890625, -0.0039539337158203125, -0.00262451171875, -0.0012950897216796875, 3.4332275390625e-05, 0.0013637542724609375, 0.00269317626953125, 0.0040225982666015625, 0.005352020263671875, 0.0066814422607421875, 0.0080108642578125, 0.009340286254882812, 0.010669708251953125, 0.011999130249023438, 0.01332855224609375, 0.014657974243164062, 0.015987396240234375, 0.017316818237304688, 0.018646240234375, 0.019975662231445312, 0.021305084228515625, 0.022634506225585938, 0.02396392822265625, 0.025293350219726562, 0.026622772216796875, 0.027952194213867188, 0.0292816162109375, 0.030611038208007812, 0.031940460205078125, 0.03326988220214844, 0.03459930419921875, 0.03592872619628906, 0.037258148193359375, 0.03858757019042969, 0.0399169921875]}, "gradients/decoder.transformer.h.21.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 5.0, 4.0, 7.0, 3.0, 8.0, 7.0, 8.0, 9.0, 9.0, 9.0, 16.0, 25.0, 28.0, 26.0, 40.0, 49.0, 55.0, 101.0, 147.0, 394.0, 1372.0, 8673.0, 159730.0, 2942093.0, 28289.0, 3201.0, 696.0, 217.0, 128.0, 87.0, 45.0, 43.0, 33.0, 28.0, 22.0, 20.0, 18.0, 15.0, 7.0, 15.0, 6.0, 4.0, 2.0, 2.0, 8.0, 4.0, 3.0, 3.0, 2.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.08746337890625, -0.08457183837890625, -0.0816802978515625, -0.07878875732421875, -0.075897216796875, -0.07300567626953125, -0.0701141357421875, -0.06722259521484375, -0.0643310546875, -0.06143951416015625, -0.0585479736328125, -0.05565643310546875, -0.052764892578125, -0.04987335205078125, -0.0469818115234375, -0.04409027099609375, -0.04119873046875, -0.03830718994140625, -0.0354156494140625, -0.03252410888671875, -0.029632568359375, -0.02674102783203125, -0.0238494873046875, -0.02095794677734375, -0.01806640625, -0.01517486572265625, -0.0122833251953125, -0.00939178466796875, -0.006500244140625, -0.00360870361328125, -0.0007171630859375, 0.00217437744140625, 0.00506591796875, 0.00795745849609375, 0.0108489990234375, 0.01374053955078125, 0.016632080078125, 0.01952362060546875, 0.0224151611328125, 0.02530670166015625, 0.0281982421875, 0.03108978271484375, 0.0339813232421875, 0.03687286376953125, 0.039764404296875, 0.04265594482421875, 0.0455474853515625, 0.04843902587890625, 0.05133056640625, 0.05422210693359375, 0.0571136474609375, 0.06000518798828125, 0.062896728515625, 0.06578826904296875, 0.0686798095703125, 0.07157135009765625, 0.074462890625, 0.07735443115234375, 0.0802459716796875, 0.08313751220703125, 0.086029052734375, 0.08892059326171875, 0.0918121337890625, 0.09470367431640625, 0.09759521484375]}, "gradients/decoder.transformer.h.21.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 6.0, 124.0, 807.0, 81.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.20443716645240784, -0.18270885944366455, -0.16098055243492126, -0.13925224542617798, -0.1175239309668541, -0.09579562395811081, -0.07406730949878693, -0.05233900249004364, -0.030610695481300354, -0.008882386609911919, 0.012845922261476517, 0.0345742329955101, 0.05630254000425339, 0.07803084701299667, 0.09975916147232056, 0.12148746848106384, 0.14321577548980713, 0.16494408249855042, 0.1866723895072937, 0.208400696516037, 0.23012900352478027, 0.25185731053352356, 0.27358561754226685, 0.2953139543533325, 0.3170422315597534, 0.3387705385684967, 0.36049884557724, 0.3822271525859833, 0.40395545959472656, 0.42568376660346985, 0.44741207361221313, 0.4691404104232788, 0.4908687472343445, 0.5125970840454102, 0.534325361251831, 0.5560536980628967, 0.5777819752693176, 0.5995103120803833, 0.6212385892868042, 0.6429669260978699, 0.6646952033042908, 0.6864235401153564, 0.7081518173217773, 0.729880154132843, 0.7516084313392639, 0.7733367681503296, 0.7950650453567505, 0.8167933821678162, 0.8385217189788818, 0.8602500557899475, 0.8819783329963684, 0.9037066698074341, 0.925434947013855, 0.9471632838249207, 0.9688915610313416, 0.9906198978424072, 1.0123481750488281, 1.034076452255249, 1.0558048486709595, 1.0775331258773804, 1.0992614030838013, 1.1209896802902222, 1.1427180767059326, 1.1644463539123535, 1.1861746311187744]}, "gradients/decoder.transformer.h.21.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 1.0, 4.0, 3.0, 3.0, 3.0, 6.0, 7.0, 7.0, 9.0, 17.0, 7.0, 8.0, 21.0, 8.0, 21.0, 20.0, 23.0, 23.0, 36.0, 35.0, 28.0, 37.0, 41.0, 41.0, 39.0, 38.0, 39.0, 41.0, 34.0, 42.0, 39.0, 42.0, 29.0, 35.0, 29.0, 30.0, 21.0, 28.0, 18.0, 26.0, 13.0, 12.0, 10.0, 15.0, 8.0, 7.0, 2.0, 1.0, 4.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.14200955629348755, -0.1373070329427719, -0.13260449469089508, -0.12790197134017944, -0.12319944053888321, -0.11849690973758698, -0.11379438638687134, -0.1090918555855751, -0.10438932478427887, -0.09968679398298264, -0.0949842631816864, -0.09028173983097076, -0.08557920902967453, -0.0808766782283783, -0.07617415487766266, -0.07147162407636642, -0.06676909327507019, -0.062066562473773956, -0.05736403539776802, -0.052661508321762085, -0.04795897752046585, -0.04325644671916962, -0.03855391964316368, -0.033851392567157745, -0.02914886176586151, -0.024446332827210426, -0.01974380388855934, -0.015041274949908257, -0.010338746011257172, -0.005636217072606087, -0.0009336881339550018, 0.003768838942050934, 0.008471369743347168, 0.013173898681998253, 0.017876427620649338, 0.022578956559300423, 0.027281485497951508, 0.03198401629924774, 0.03668654337525368, 0.04138907045125961, 0.04609160125255585, 0.05079413205385208, 0.05549665912985802, 0.06019918620586395, 0.06490171700716019, 0.06960424780845642, 0.07430677115917206, 0.07900930196046829, 0.08371183276176453, 0.08841436356306076, 0.093116894364357, 0.09781941771507263, 0.10252194851636887, 0.1072244793176651, 0.11192700266838074, 0.11662953346967697, 0.1213320642709732, 0.12603458762168884, 0.13073712587356567, 0.1354396492242813, 0.14014217257499695, 0.14484471082687378, 0.14954723417758942, 0.15424975752830505, 0.15895229578018188]}, "gradients/decoder.transformer.h.20.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 5.0, 5.0, 4.0, 5.0, 11.0, 18.0, 22.0, 20.0, 41.0, 57.0, 59.0, 63.0, 80.0, 67.0, 68.0, 68.0, 67.0, 59.0, 58.0, 46.0, 40.0, 40.0, 28.0, 23.0, 19.0, 6.0, 5.0, 7.0, 5.0, 6.0, 2.0, 2.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.022735595703125, -0.022149205207824707, -0.021562814712524414, -0.02097642421722412, -0.020390033721923828, -0.019803643226623535, -0.019217252731323242, -0.01863086223602295, -0.018044471740722656, -0.017458081245422363, -0.01687169075012207, -0.016285300254821777, -0.015698909759521484, -0.015112519264221191, -0.014526128768920898, -0.013939738273620605, -0.013353347778320312, -0.01276695728302002, -0.012180566787719727, -0.011594176292419434, -0.01100778579711914, -0.010421395301818848, -0.009835004806518555, -0.009248614311218262, -0.008662223815917969, -0.008075833320617676, -0.007489442825317383, -0.00690305233001709, -0.006316661834716797, -0.005730271339416504, -0.005143880844116211, -0.004557490348815918, -0.003971099853515625, -0.003384709358215332, -0.002798318862915039, -0.002211928367614746, -0.0016255378723144531, -0.0010391473770141602, -0.0004527568817138672, 0.00013363361358642578, 0.0007200241088867188, 0.0013064146041870117, 0.0018928050994873047, 0.0024791955947875977, 0.0030655860900878906, 0.0036519765853881836, 0.0042383670806884766, 0.0048247575759887695, 0.0054111480712890625, 0.0059975385665893555, 0.0065839290618896484, 0.007170319557189941, 0.007756710052490234, 0.008343100547790527, 0.00892949104309082, 0.009515881538391113, 0.010102272033691406, 0.0106886625289917, 0.011275053024291992, 0.011861443519592285, 0.012447834014892578, 0.013034224510192871, 0.013620615005493164, 0.014207005500793457, 0.01479339599609375]}, "gradients/decoder.transformer.h.20.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 2.0, 5.0, 2.0, 5.0, 5.0, 8.0, 20.0, 29.0, 48.0, 85.0, 165.0, 356.0, 1069.0, 4499.0, 52092.0, 3824799.0, 297279.0, 10803.0, 1921.0, 614.0, 237.0, 87.0, 61.0, 40.0, 18.0, 15.0, 11.0, 8.0, 3.0, 6.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.12261962890625, -0.11908721923828125, -0.1155548095703125, -0.11202239990234375, -0.108489990234375, -0.10495758056640625, -0.1014251708984375, -0.09789276123046875, -0.0943603515625, -0.09082794189453125, -0.0872955322265625, -0.08376312255859375, -0.080230712890625, -0.07669830322265625, -0.0731658935546875, -0.06963348388671875, -0.06610107421875, -0.06256866455078125, -0.0590362548828125, -0.05550384521484375, -0.051971435546875, -0.04843902587890625, -0.0449066162109375, -0.04137420654296875, -0.037841796875, -0.03430938720703125, -0.0307769775390625, -0.02724456787109375, -0.023712158203125, -0.02017974853515625, -0.0166473388671875, -0.01311492919921875, -0.00958251953125, -0.00605010986328125, -0.0025177001953125, 0.00101470947265625, 0.004547119140625, 0.00807952880859375, 0.0116119384765625, 0.01514434814453125, 0.0186767578125, 0.02220916748046875, 0.0257415771484375, 0.02927398681640625, 0.032806396484375, 0.03633880615234375, 0.0398712158203125, 0.04340362548828125, 0.04693603515625, 0.05046844482421875, 0.0540008544921875, 0.05753326416015625, 0.061065673828125, 0.06459808349609375, 0.0681304931640625, 0.07166290283203125, 0.0751953125, 0.07872772216796875, 0.0822601318359375, 0.08579254150390625, 0.089324951171875, 0.09285736083984375, 0.0963897705078125, 0.09992218017578125, 0.10345458984375]}, "gradients/decoder.transformer.h.20.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 4.0, 5.0, 4.0, 9.0, 18.0, 24.0, 32.0, 55.0, 101.0, 124.0, 222.0, 358.0, 607.0, 857.0, 696.0, 398.0, 217.0, 116.0, 66.0, 46.0, 39.0, 22.0, 16.0, 12.0, 7.0, 8.0, 9.0, 0.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.05902099609375, -0.057360172271728516, -0.05569934844970703, -0.05403852462768555, -0.05237770080566406, -0.05071687698364258, -0.049056053161621094, -0.04739522933959961, -0.045734405517578125, -0.04407358169555664, -0.042412757873535156, -0.04075193405151367, -0.03909111022949219, -0.0374302864074707, -0.03576946258544922, -0.034108638763427734, -0.03244781494140625, -0.030786991119384766, -0.02912616729736328, -0.027465343475341797, -0.025804519653320312, -0.024143695831298828, -0.022482872009277344, -0.02082204818725586, -0.019161224365234375, -0.01750040054321289, -0.015839576721191406, -0.014178752899169922, -0.012517929077148438, -0.010857105255126953, -0.009196281433105469, -0.007535457611083984, -0.0058746337890625, -0.004213809967041016, -0.0025529861450195312, -0.0008921623229980469, 0.0007686614990234375, 0.002429485321044922, 0.004090309143066406, 0.005751132965087891, 0.007411956787109375, 0.00907278060913086, 0.010733604431152344, 0.012394428253173828, 0.014055252075195312, 0.015716075897216797, 0.01737689971923828, 0.019037723541259766, 0.02069854736328125, 0.022359371185302734, 0.02402019500732422, 0.025681018829345703, 0.027341842651367188, 0.029002666473388672, 0.030663490295410156, 0.03232431411743164, 0.033985137939453125, 0.03564596176147461, 0.037306785583496094, 0.03896760940551758, 0.04062843322753906, 0.04228925704956055, 0.04395008087158203, 0.045610904693603516, 0.047271728515625]}, "gradients/decoder.transformer.h.20.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 8.0, 8.0, 6.0, 11.0, 14.0, 18.0, 20.0, 51.0, 69.0, 135.0, 299.0, 698.0, 2025.0, 9216.0, 141224.0, 3703600.0, 317744.0, 14943.0, 2562.0, 846.0, 394.0, 180.0, 91.0, 45.0, 25.0, 15.0, 14.0, 9.0, 4.0, 7.0, 4.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1356201171875, -0.13118934631347656, -0.12675857543945312, -0.12232780456542969, -0.11789703369140625, -0.11346626281738281, -0.10903549194335938, -0.10460472106933594, -0.1001739501953125, -0.09574317932128906, -0.09131240844726562, -0.08688163757324219, -0.08245086669921875, -0.07802009582519531, -0.07358932495117188, -0.06915855407714844, -0.064727783203125, -0.06029701232910156, -0.055866241455078125, -0.05143547058105469, -0.04700469970703125, -0.04257392883300781, -0.038143157958984375, -0.03371238708496094, -0.0292816162109375, -0.024850845336914062, -0.020420074462890625, -0.015989303588867188, -0.01155853271484375, -0.0071277618408203125, -0.002696990966796875, 0.0017337799072265625, 0.00616455078125, 0.010595321655273438, 0.015026092529296875, 0.019456863403320312, 0.02388763427734375, 0.028318405151367188, 0.032749176025390625, 0.03717994689941406, 0.0416107177734375, 0.04604148864746094, 0.050472259521484375, 0.05490303039550781, 0.05933380126953125, 0.06376457214355469, 0.06819534301757812, 0.07262611389160156, 0.077056884765625, 0.08148765563964844, 0.08591842651367188, 0.09034919738769531, 0.09477996826171875, 0.09921073913574219, 0.10364151000976562, 0.10807228088378906, 0.1125030517578125, 0.11693382263183594, 0.12136459350585938, 0.1257953643798828, 0.13022613525390625, 0.1346569061279297, 0.13908767700195312, 0.14351844787597656, 0.14794921875]}, "gradients/decoder.transformer.h.20.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 20.0, 54.0, 189.0, 315.0, 280.0, 119.0, 26.0, 11.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.14561493694782257, -0.1247507780790329, -0.10388661175966263, -0.08302244544029236, -0.062158286571502686, -0.04129412770271301, -0.020429953932762146, 0.00043420493602752686, 0.0212983638048172, 0.04216252639889717, 0.06302668899297714, 0.08389085531234741, 0.10475501418113708, 0.12561917304992676, 0.14648334681987762, 0.1673475056886673, 0.18821166455745697, 0.20907582342624664, 0.2299399971961975, 0.2508041560649872, 0.27166831493377686, 0.29253247380256653, 0.3133966326713562, 0.33426082134246826, 0.35512495040893555, 0.3759891092777252, 0.3968532681465149, 0.41771745681762695, 0.43858158588409424, 0.4594457745552063, 0.48030993342399597, 0.5011740922927856, 0.5220382213592529, 0.542902410030365, 0.5637665390968323, 0.5846307277679443, 0.6054948568344116, 0.6263590455055237, 0.6472232341766357, 0.668087363243103, 0.6889514923095703, 0.7098156809806824, 0.7306798100471497, 0.7515439987182617, 0.772408127784729, 0.7932723164558411, 0.8141365051269531, 0.8350006341934204, 0.8558648228645325, 0.8767290115356445, 0.8975931406021118, 0.9184573292732239, 0.9393214583396912, 0.9601856470108032, 0.9810497760772705, 1.0019140243530273, 1.0227781534194946, 1.043642282485962, 1.0645065307617188, 1.085370659828186, 1.1062347888946533, 1.1270989179611206, 1.1479631662368774, 1.1688272953033447, 1.189691424369812]}, "gradients/decoder.transformer.h.20.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 6.0, 2.0, 3.0, 4.0, 3.0, 5.0, 7.0, 7.0, 18.0, 17.0, 14.0, 23.0, 20.0, 25.0, 30.0, 21.0, 32.0, 42.0, 41.0, 56.0, 56.0, 51.0, 42.0, 41.0, 46.0, 44.0, 57.0, 44.0, 45.0, 36.0, 41.0, 20.0, 22.0, 21.0, 12.0, 17.0, 11.0, 8.0, 13.0, 2.0, 5.0, 2.0, 2.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17510324716567993, -0.1698933243751526, -0.16468341648578644, -0.1594734936952591, -0.15426358580589294, -0.1490536630153656, -0.14384374022483826, -0.1386338323354721, -0.13342392444610596, -0.1282140016555786, -0.12300409376621246, -0.11779417097568512, -0.11258426308631897, -0.10737434029579163, -0.10216442495584488, -0.09695450961589813, -0.09174458682537079, -0.08653467148542404, -0.0813247561454773, -0.07611483335494995, -0.0709049254655838, -0.06569500267505646, -0.06048508733510971, -0.055275171995162964, -0.05006525665521622, -0.04485534131526947, -0.03964542597532272, -0.03443550691008568, -0.02922559157013893, -0.024015676230192184, -0.01880575716495514, -0.013595841825008392, -0.008385926485061646, -0.003176010213792324, 0.0020339060574769974, 0.007243823260068893, 0.01245373860001564, 0.017663653939962387, 0.022873573005199432, 0.02808348834514618, 0.033293403685092926, 0.03850331902503967, 0.04371323436498642, 0.048923153430223465, 0.05413306877017021, 0.05934298411011696, 0.064552903175354, 0.06976281851530075, 0.0749727338552475, 0.08018264919519424, 0.08539256453514099, 0.09060248732566833, 0.09581239521503448, 0.10102231800556183, 0.10623223334550858, 0.11144214868545532, 0.11665206402540207, 0.12186197936534882, 0.12707190215587616, 0.1322818100452423, 0.13749173283576965, 0.1427016407251358, 0.14791156351566315, 0.1531214714050293, 0.15833139419555664]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 4.0, 3.0, 3.0, 3.0, 8.0, 2.0, 9.0, 12.0, 21.0, 22.0, 29.0, 32.0, 47.0, 53.0, 56.0, 58.0, 70.0, 57.0, 61.0, 60.0, 54.0, 67.0, 40.0, 44.0, 42.0, 29.0, 31.0, 27.0, 22.0, 7.0, 10.0, 7.0, 5.0, 6.0, 2.0, 2.0, 6.0, 0.0, 2.0, 0.0, 3.0, 1.0], "bins": [-0.02191162109375, -0.021368980407714844, -0.020826339721679688, -0.02028369903564453, -0.019741058349609375, -0.01919841766357422, -0.018655776977539062, -0.018113136291503906, -0.01757049560546875, -0.017027854919433594, -0.016485214233398438, -0.01594257354736328, -0.015399932861328125, -0.014857292175292969, -0.014314651489257812, -0.013772010803222656, -0.0132293701171875, -0.012686729431152344, -0.012144088745117188, -0.011601448059082031, -0.011058807373046875, -0.010516166687011719, -0.009973526000976562, -0.009430885314941406, -0.00888824462890625, -0.008345603942871094, -0.0078029632568359375, -0.007260322570800781, -0.006717681884765625, -0.006175041198730469, -0.0056324005126953125, -0.005089759826660156, -0.004547119140625, -0.004004478454589844, -0.0034618377685546875, -0.0029191970825195312, -0.002376556396484375, -0.0018339157104492188, -0.0012912750244140625, -0.0007486343383789062, -0.00020599365234375, 0.00033664703369140625, 0.0008792877197265625, 0.0014219284057617188, 0.001964569091796875, 0.0025072097778320312, 0.0030498504638671875, 0.0035924911499023438, 0.0041351318359375, 0.004677772521972656, 0.0052204132080078125, 0.005763053894042969, 0.006305694580078125, 0.006848335266113281, 0.0073909759521484375, 0.007933616638183594, 0.00847625732421875, 0.009018898010253906, 0.009561538696289062, 0.010104179382324219, 0.010646820068359375, 0.011189460754394531, 0.011732101440429688, 0.012274742126464844, 0.0128173828125]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 7.0, 8.0, 8.0, 12.0, 19.0, 22.0, 36.0, 50.0, 99.0, 134.0, 225.0, 386.0, 663.0, 1116.0, 1991.0, 3890.0, 8706.0, 19494.0, 50024.0, 150450.0, 501264.0, 200725.0, 64341.0, 24252.0, 10384.0, 4817.0, 2413.0, 1224.0, 700.0, 404.0, 214.0, 149.0, 92.0, 71.0, 54.0, 30.0, 26.0, 17.0, 17.0, 4.0, 10.0, 6.0, 3.0, 2.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.000255584716796875, -0.0002486053854227066, -0.0002416260540485382, -0.0002346467226743698, -0.00022766739130020142, -0.00022068805992603302, -0.00021370872855186462, -0.00020672939717769623, -0.00019975006580352783, -0.00019277073442935944, -0.00018579140305519104, -0.00017881207168102264, -0.00017183274030685425, -0.00016485340893268585, -0.00015787407755851746, -0.00015089474618434906, -0.00014391541481018066, -0.00013693608343601227, -0.00012995675206184387, -0.00012297742068767548, -0.00011599808931350708, -0.00010901875793933868, -0.00010203942656517029, -9.506009519100189e-05, -8.80807638168335e-05, -8.11014324426651e-05, -7.41221010684967e-05, -6.714276969432831e-05, -6.016343832015991e-05, -5.3184106945991516e-05, -4.620477557182312e-05, -3.9225444197654724e-05, -3.224611282348633e-05, -2.5266781449317932e-05, -1.8287450075149536e-05, -1.130811870098114e-05, -4.328787326812744e-06, 2.650544047355652e-06, 9.629875421524048e-06, 1.6609206795692444e-05, 2.358853816986084e-05, 3.0567869544029236e-05, 3.754720091819763e-05, 4.452653229236603e-05, 5.1505863666534424e-05, 5.848519504070282e-05, 6.546452641487122e-05, 7.244385778903961e-05, 7.942318916320801e-05, 8.64025205373764e-05, 9.33818519115448e-05, 0.0001003611832857132, 0.00010734051465988159, 0.00011431984603404999, 0.00012129917740821838, 0.00012827850878238678, 0.00013525784015655518, 0.00014223717153072357, 0.00014921650290489197, 0.00015619583427906036, 0.00016317516565322876, 0.00017015449702739716, 0.00017713382840156555, 0.00018411315977573395, 0.00019109249114990234]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 5.0, 8.0, 10.0, 1.0, 4.0, 6.0, 21.0, 18.0, 18.0, 13.0, 21.0, 23.0, 25.0, 17.0, 38.0, 33.0, 29.0, 36.0, 42.0, 35.0, 38.0, 1070.0, 43.0, 33.0, 41.0, 23.0, 41.0, 44.0, 40.0, 30.0, 20.0, 29.0, 26.0, 19.0, 20.0, 17.0, 16.0, 15.0, 12.0, 13.0, 9.0, 7.0, 7.0, 3.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01337432861328125, -0.012911200523376465, -0.01244807243347168, -0.011984944343566895, -0.01152181625366211, -0.011058688163757324, -0.010595560073852539, -0.010132431983947754, -0.009669303894042969, -0.009206175804138184, -0.008743047714233398, -0.008279919624328613, -0.007816791534423828, -0.007353663444519043, -0.006890535354614258, -0.006427407264709473, -0.0059642791748046875, -0.005501151084899902, -0.005038022994995117, -0.004574894905090332, -0.004111766815185547, -0.0036486387252807617, -0.0031855106353759766, -0.0027223825454711914, -0.0022592544555664062, -0.001796126365661621, -0.001332998275756836, -0.0008698701858520508, -0.0004067420959472656, 5.638599395751953e-05, 0.0005195140838623047, 0.0009826421737670898, 0.001445770263671875, 0.0019088983535766602, 0.0023720264434814453, 0.0028351545333862305, 0.0032982826232910156, 0.0037614107131958008, 0.004224538803100586, 0.004687666893005371, 0.005150794982910156, 0.005613923072814941, 0.0060770511627197266, 0.006540179252624512, 0.007003307342529297, 0.007466435432434082, 0.007929563522338867, 0.008392691612243652, 0.008855819702148438, 0.009318947792053223, 0.009782075881958008, 0.010245203971862793, 0.010708332061767578, 0.011171460151672363, 0.011634588241577148, 0.012097716331481934, 0.012560844421386719, 0.013023972511291504, 0.013487100601196289, 0.013950228691101074, 0.01441335678100586, 0.014876484870910645, 0.01533961296081543, 0.015802741050720215, 0.016265869140625]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 5.0, 2.0, 6.0, 7.0, 9.0, 14.0, 14.0, 9.0, 20.0, 16.0, 20.0, 18.0, 27.0, 28.0, 31.0, 41.0, 58.0, 97.0, 134.0, 177.0, 560.0, 2529.0, 23248.0, 2059175.0, 8394.0, 1517.0, 349.0, 183.0, 110.0, 48.0, 59.0, 38.0, 26.0, 25.0, 25.0, 15.0, 15.0, 16.0, 24.0, 8.0, 6.0, 2.0, 4.0, 11.0, 8.0, 1.0, 5.0, 3.0, 1.0, 2.0, 2.0, 1.0], "bins": [-1.1980533599853516e-05, -1.1641532182693481e-05, -1.1302530765533447e-05, -1.0963529348373413e-05, -1.0624527931213379e-05, -1.0285526514053345e-05, -9.94652509689331e-06, -9.607523679733276e-06, -9.268522262573242e-06, -8.929520845413208e-06, -8.590519428253174e-06, -8.25151801109314e-06, -7.912516593933105e-06, -7.573515176773071e-06, -7.234513759613037e-06, -6.895512342453003e-06, -6.556510925292969e-06, -6.2175095081329346e-06, -5.8785080909729e-06, -5.539506673812866e-06, -5.200505256652832e-06, -4.861503839492798e-06, -4.522502422332764e-06, -4.1835010051727295e-06, -3.844499588012695e-06, -3.505498170852661e-06, -3.166496753692627e-06, -2.8274953365325928e-06, -2.4884939193725586e-06, -2.1494925022125244e-06, -1.8104910850524902e-06, -1.471489667892456e-06, -1.1324882507324219e-06, -7.934868335723877e-07, -4.544854164123535e-07, -1.1548399925231934e-07, 2.2351741790771484e-07, 5.62518835067749e-07, 9.015202522277832e-07, 1.2405216693878174e-06, 1.5795230865478516e-06, 1.9185245037078857e-06, 2.25752592086792e-06, 2.596527338027954e-06, 2.9355287551879883e-06, 3.2745301723480225e-06, 3.6135315895080566e-06, 3.952533006668091e-06, 4.291534423828125e-06, 4.630535840988159e-06, 4.969537258148193e-06, 5.3085386753082275e-06, 5.647540092468262e-06, 5.986541509628296e-06, 6.32554292678833e-06, 6.664544343948364e-06, 7.0035457611083984e-06, 7.342547178268433e-06, 7.681548595428467e-06, 8.020550012588501e-06, 8.359551429748535e-06, 8.69855284690857e-06, 9.037554264068604e-06, 9.376555681228638e-06, 9.715557098388672e-06]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 4.0, 3.0, 3.0, 3.0, 8.0, 2.0, 9.0, 12.0, 21.0, 22.0, 29.0, 32.0, 47.0, 53.0, 56.0, 58.0, 70.0, 57.0, 61.0, 60.0, 54.0, 67.0, 40.0, 44.0, 42.0, 29.0, 31.0, 27.0, 22.0, 7.0, 10.0, 7.0, 5.0, 6.0, 2.0, 2.0, 6.0, 0.0, 2.0, 0.0, 3.0, 1.0], "bins": [-0.02191162109375, -0.021368980407714844, -0.020826339721679688, -0.02028369903564453, -0.019741058349609375, -0.01919841766357422, -0.018655776977539062, -0.018113136291503906, -0.01757049560546875, -0.017027854919433594, -0.016485214233398438, -0.01594257354736328, -0.015399932861328125, -0.014857292175292969, -0.014314651489257812, -0.013772010803222656, -0.0132293701171875, -0.012686729431152344, -0.012144088745117188, -0.011601448059082031, -0.011058807373046875, -0.010516166687011719, -0.009973526000976562, -0.009430885314941406, -0.00888824462890625, -0.008345603942871094, -0.0078029632568359375, -0.007260322570800781, -0.006717681884765625, -0.006175041198730469, -0.0056324005126953125, -0.005089759826660156, -0.004547119140625, -0.004004478454589844, -0.0034618377685546875, -0.0029191970825195312, -0.002376556396484375, -0.0018339157104492188, -0.0012912750244140625, -0.0007486343383789062, -0.00020599365234375, 0.00033664703369140625, 0.0008792877197265625, 0.0014219284057617188, 0.001964569091796875, 0.0025072097778320312, 0.0030498504638671875, 0.0035924911499023438, 0.0041351318359375, 0.004677772521972656, 0.0052204132080078125, 0.005763053894042969, 0.006305694580078125, 0.006848335266113281, 0.0073909759521484375, 0.007933616638183594, 0.00847625732421875, 0.009018898010253906, 0.009561538696289062, 0.010104179382324219, 0.010646820068359375, 0.011189460754394531, 0.011732101440429688, 0.012274742126464844, 0.0128173828125]}, "gradients/decoder.transformer.h.20.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 5.0, 4.0, 5.0, 4.0, 8.0, 12.0, 18.0, 29.0, 35.0, 66.0, 105.0, 179.0, 293.0, 581.0, 1245.0, 2537.0, 5733.0, 13412.0, 38525.0, 277041.0, 620257.0, 57233.0, 17688.0, 7280.0, 3145.0, 1444.0, 732.0, 366.0, 212.0, 123.0, 68.0, 47.0, 41.0, 30.0, 15.0, 15.0, 4.0, 7.0, 5.0, 2.0, 2.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.034423828125, -0.03341555595397949, -0.032407283782958984, -0.03139901161193848, -0.03039073944091797, -0.02938246726989746, -0.028374195098876953, -0.027365922927856445, -0.026357650756835938, -0.02534937858581543, -0.024341106414794922, -0.023332834243774414, -0.022324562072753906, -0.0213162899017334, -0.02030801773071289, -0.019299745559692383, -0.018291473388671875, -0.017283201217651367, -0.01627492904663086, -0.015266656875610352, -0.014258384704589844, -0.013250112533569336, -0.012241840362548828, -0.01123356819152832, -0.010225296020507812, -0.009217023849487305, -0.008208751678466797, -0.007200479507446289, -0.006192207336425781, -0.0051839351654052734, -0.004175662994384766, -0.003167390823364258, -0.00215911865234375, -0.0011508464813232422, -0.00014257431030273438, 0.0008656978607177734, 0.0018739700317382812, 0.002882242202758789, 0.003890514373779297, 0.004898786544799805, 0.0059070587158203125, 0.00691533088684082, 0.007923603057861328, 0.008931875228881836, 0.009940147399902344, 0.010948419570922852, 0.01195669174194336, 0.012964963912963867, 0.013973236083984375, 0.014981508255004883, 0.01598978042602539, 0.0169980525970459, 0.018006324768066406, 0.019014596939086914, 0.020022869110107422, 0.02103114128112793, 0.022039413452148438, 0.023047685623168945, 0.024055957794189453, 0.02506422996520996, 0.02607250213623047, 0.027080774307250977, 0.028089046478271484, 0.029097318649291992, 0.0301055908203125]}, "gradients/decoder.transformer.h.20.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 4.0, 3.0, 8.0, 6.0, 8.0, 15.0, 12.0, 23.0, 16.0, 24.0, 22.0, 21.0, 36.0, 31.0, 50.0, 41.0, 55.0, 74.0, 85.0, 153.0, 1713.0, 140.0, 91.0, 77.0, 51.0, 42.0, 45.0, 31.0, 39.0, 27.0, 21.0, 27.0, 14.0, 11.0, 11.0, 14.0, 6.0, 6.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.052337646484375, -0.05072498321533203, -0.04911231994628906, -0.047499656677246094, -0.045886993408203125, -0.044274330139160156, -0.04266166687011719, -0.04104900360107422, -0.03943634033203125, -0.03782367706298828, -0.03621101379394531, -0.034598350524902344, -0.032985687255859375, -0.031373023986816406, -0.029760360717773438, -0.02814769744873047, -0.0265350341796875, -0.02492237091064453, -0.023309707641601562, -0.021697044372558594, -0.020084381103515625, -0.018471717834472656, -0.016859054565429688, -0.015246391296386719, -0.01363372802734375, -0.012021064758300781, -0.010408401489257812, -0.008795738220214844, -0.007183074951171875, -0.005570411682128906, -0.0039577484130859375, -0.0023450851440429688, -0.000732421875, 0.0008802413940429688, 0.0024929046630859375, 0.004105567932128906, 0.005718231201171875, 0.007330894470214844, 0.008943557739257812, 0.010556221008300781, 0.01216888427734375, 0.013781547546386719, 0.015394210815429688, 0.017006874084472656, 0.018619537353515625, 0.020232200622558594, 0.021844863891601562, 0.02345752716064453, 0.0250701904296875, 0.02668285369873047, 0.028295516967773438, 0.029908180236816406, 0.031520843505859375, 0.033133506774902344, 0.03474617004394531, 0.03635883331298828, 0.03797149658203125, 0.03958415985107422, 0.04119682312011719, 0.042809486389160156, 0.044422149658203125, 0.046034812927246094, 0.04764747619628906, 0.04926013946533203, 0.050872802734375]}, "gradients/decoder.transformer.h.20.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 7.0, 3.0, 7.0, 11.0, 9.0, 12.0, 18.0, 21.0, 27.0, 26.0, 38.0, 45.0, 63.0, 140.0, 326.0, 953.0, 4433.0, 34293.0, 2709250.0, 373710.0, 18244.0, 2756.0, 669.0, 239.0, 123.0, 69.0, 40.0, 36.0, 18.0, 25.0, 23.0, 13.0, 23.0, 7.0, 13.0, 6.0, 8.0, 3.0, 5.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09063720703125, -0.08769989013671875, -0.0847625732421875, -0.08182525634765625, -0.078887939453125, -0.07595062255859375, -0.0730133056640625, -0.07007598876953125, -0.067138671875, -0.06420135498046875, -0.0612640380859375, -0.05832672119140625, -0.055389404296875, -0.05245208740234375, -0.0495147705078125, -0.04657745361328125, -0.04364013671875, -0.04070281982421875, -0.0377655029296875, -0.03482818603515625, -0.031890869140625, -0.02895355224609375, -0.0260162353515625, -0.02307891845703125, -0.0201416015625, -0.01720428466796875, -0.0142669677734375, -0.01132965087890625, -0.008392333984375, -0.00545501708984375, -0.0025177001953125, 0.00041961669921875, 0.00335693359375, 0.00629425048828125, 0.0092315673828125, 0.01216888427734375, 0.015106201171875, 0.01804351806640625, 0.0209808349609375, 0.02391815185546875, 0.02685546875, 0.02979278564453125, 0.0327301025390625, 0.03566741943359375, 0.038604736328125, 0.04154205322265625, 0.0444793701171875, 0.04741668701171875, 0.05035400390625, 0.05329132080078125, 0.0562286376953125, 0.05916595458984375, 0.062103271484375, 0.06504058837890625, 0.0679779052734375, 0.07091522216796875, 0.0738525390625, 0.07678985595703125, 0.0797271728515625, 0.08266448974609375, 0.085601806640625, 0.08853912353515625, 0.0914764404296875, 0.09441375732421875, 0.09735107421875]}, "gradients/decoder.transformer.h.20.ln_1.weight": {"_type": "histogram", "values": [419.0, 602.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07938746362924576, -0.003853023052215576, 0.0716814175248146, 0.14721587300300598, 0.22275030612945557, 0.29828473925590515, 0.3738192021846771, 0.4493536055088043, 0.5248880386352539, 0.6004225015640259, 0.6759569048881531, 0.751491367816925, 0.8270257711410522, 0.9025602340698242, 0.9780946969985962, 1.0536291599273682, 1.1291636228561401, 1.204698085784912, 1.280232548713684, 1.355767011642456, 1.4313013553619385, 1.5068358182907104, 1.5823702812194824, 1.6579046249389648, 1.7334390878677368, 1.8089735507965088, 1.8845080137252808, 1.9600424766540527, 2.035576820373535, 2.1111111640930176, 2.186645746231079, 2.2621800899505615, 2.337714433670044, 2.4132487773895264, 2.488783359527588, 2.5643177032470703, 2.639852285385132, 2.7153866291046143, 2.790921211242676, 2.866455554962158, 2.9419898986816406, 3.017524242401123, 3.0930588245391846, 3.168593168258667, 3.2441277503967285, 3.319662094116211, 3.3951964378356934, 3.470731019973755, 3.5462656021118164, 3.621799945831299, 3.6973345279693604, 3.7728688716888428, 3.8484034538269043, 3.9239377975463867, 3.999472141265869, 4.075006484985352, 4.150540828704834, 4.226075172424316, 4.301609516143799, 4.3771443367004395, 4.452678680419922, 4.528213024139404, 4.603747367858887, 4.679281711578369, 4.75481653213501]}, "gradients/decoder.transformer.h.20.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 2.0, 3.0, 4.0, 1.0, 2.0, 7.0, 10.0, 9.0, 8.0, 12.0, 5.0, 18.0, 16.0, 23.0, 24.0, 27.0, 28.0, 29.0, 30.0, 26.0, 34.0, 38.0, 47.0, 38.0, 35.0, 36.0, 41.0, 47.0, 55.0, 36.0, 38.0, 20.0, 26.0, 33.0, 32.0, 23.0, 28.0, 23.0, 23.0, 21.0, 10.0, 7.0, 12.0, 4.0, 8.0, 5.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.17074233293533325, -0.1656692773103714, -0.16059620678424835, -0.1555231511592865, -0.15045008063316345, -0.1453770250082016, -0.14030395448207855, -0.1352308988571167, -0.13015782833099365, -0.1250847727060318, -0.12001170217990875, -0.1149386391043663, -0.10986557602882385, -0.104792520403862, -0.09971945732831955, -0.0946463942527771, -0.08957333862781525, -0.0845002755522728, -0.07942721247673035, -0.0743541494011879, -0.06928108632564545, -0.0642080307006836, -0.059134967625141144, -0.054061904549598694, -0.048988841474056244, -0.043915778398513794, -0.038842715322971344, -0.03376965597271919, -0.028696592897176743, -0.023623529821634293, -0.018550468608736992, -0.013477407395839691, -0.008404344320297241, -0.003331282176077366, 0.0017417799681425095, 0.006814842112362385, 0.01188790425658226, 0.01696096733212471, 0.02203402854502201, 0.02710708975791931, 0.03218015283346176, 0.03725321590900421, 0.04232627898454666, 0.04739933833479881, 0.05247240141034126, 0.05754546448588371, 0.06261852383613586, 0.06769158691167831, 0.07276464998722076, 0.07783771306276321, 0.08291077613830566, 0.08798383921384811, 0.09305690228939056, 0.09812995791435242, 0.10320302098989487, 0.10827608406543732, 0.11334914714097977, 0.11842221021652222, 0.12349527329206467, 0.12856833636760712, 0.13364139199256897, 0.13871446251869202, 0.14378751814365387, 0.14886057376861572, 0.15393364429473877]}, "gradients/decoder.transformer.h.19.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 5.0, 3.0, 2.0, 5.0, 4.0, 6.0, 8.0, 14.0, 12.0, 27.0, 32.0, 39.0, 36.0, 54.0, 53.0, 65.0, 66.0, 50.0, 61.0, 56.0, 60.0, 45.0, 53.0, 43.0, 41.0, 33.0, 36.0, 25.0, 23.0, 14.0, 11.0, 6.0, 6.0, 6.0, 1.0, 5.0, 1.0, 5.0, 0.0, 2.0, 2.0, 2.0], "bins": [-0.021697998046875, -0.021163225173950195, -0.02062845230102539, -0.020093679428100586, -0.01955890655517578, -0.019024133682250977, -0.018489360809326172, -0.017954587936401367, -0.017419815063476562, -0.016885042190551758, -0.016350269317626953, -0.01581549644470215, -0.015280723571777344, -0.014745950698852539, -0.014211177825927734, -0.01367640495300293, -0.013141632080078125, -0.01260685920715332, -0.012072086334228516, -0.011537313461303711, -0.011002540588378906, -0.010467767715454102, -0.009932994842529297, -0.009398221969604492, -0.008863449096679688, -0.008328676223754883, -0.007793903350830078, -0.0072591304779052734, -0.006724357604980469, -0.006189584732055664, -0.005654811859130859, -0.005120038986206055, -0.00458526611328125, -0.004050493240356445, -0.0035157203674316406, -0.002980947494506836, -0.0024461746215820312, -0.0019114017486572266, -0.0013766288757324219, -0.0008418560028076172, -0.0003070831298828125, 0.0002276897430419922, 0.0007624626159667969, 0.0012972354888916016, 0.0018320083618164062, 0.002366781234741211, 0.0029015541076660156, 0.0034363269805908203, 0.003971099853515625, 0.00450587272644043, 0.005040645599365234, 0.005575418472290039, 0.006110191345214844, 0.0066449642181396484, 0.007179737091064453, 0.007714509963989258, 0.008249282836914062, 0.008784055709838867, 0.009318828582763672, 0.009853601455688477, 0.010388374328613281, 0.010923147201538086, 0.01145792007446289, 0.011992692947387695, 0.0125274658203125]}, "gradients/decoder.transformer.h.19.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 5.0, 7.0, 1.0, 6.0, 6.0, 4.0, 8.0, 14.0, 24.0, 30.0, 47.0, 73.0, 126.0, 153.0, 277.0, 507.0, 1031.0, 2044.0, 4845.0, 13088.0, 42762.0, 189771.0, 1723611.0, 1936560.0, 207962.0, 47136.0, 14411.0, 5138.0, 2195.0, 1036.0, 584.0, 306.0, 191.0, 112.0, 69.0, 49.0, 26.0, 20.0, 10.0, 12.0, 12.0, 6.0, 8.0, 4.0, 1.0, 4.0, 3.0], "bins": [-0.049346923828125, -0.04811406135559082, -0.04688119888305664, -0.04564833641052246, -0.04441547393798828, -0.0431826114654541, -0.04194974899291992, -0.04071688652038574, -0.03948402404785156, -0.03825116157531738, -0.0370182991027832, -0.03578543663024902, -0.034552574157714844, -0.033319711685180664, -0.032086849212646484, -0.030853986740112305, -0.029621124267578125, -0.028388261795043945, -0.027155399322509766, -0.025922536849975586, -0.024689674377441406, -0.023456811904907227, -0.022223949432373047, -0.020991086959838867, -0.019758224487304688, -0.018525362014770508, -0.017292499542236328, -0.01605963706970215, -0.014826774597167969, -0.013593912124633789, -0.01236104965209961, -0.01112818717956543, -0.00989532470703125, -0.00866246223449707, -0.007429599761962891, -0.006196737289428711, -0.004963874816894531, -0.0037310123443603516, -0.002498149871826172, -0.0012652873992919922, -3.24249267578125e-05, 0.0012004375457763672, 0.002433300018310547, 0.0036661624908447266, 0.004899024963378906, 0.006131887435913086, 0.007364749908447266, 0.008597612380981445, 0.009830474853515625, 0.011063337326049805, 0.012296199798583984, 0.013529062271118164, 0.014761924743652344, 0.015994787216186523, 0.017227649688720703, 0.018460512161254883, 0.019693374633789062, 0.020926237106323242, 0.022159099578857422, 0.0233919620513916, 0.02462482452392578, 0.02585768699645996, 0.02709054946899414, 0.02832341194152832, 0.0295562744140625]}, "gradients/decoder.transformer.h.19.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 4.0, 3.0, 8.0, 10.0, 14.0, 29.0, 37.0, 77.0, 140.0, 246.0, 460.0, 897.0, 1037.0, 506.0, 281.0, 149.0, 69.0, 42.0, 20.0, 16.0, 12.0, 11.0, 4.0, 4.0, 4.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.10296630859375, -0.10062837600708008, -0.09829044342041016, -0.09595251083374023, -0.09361457824707031, -0.09127664566040039, -0.08893871307373047, -0.08660078048706055, -0.08426284790039062, -0.0819249153137207, -0.07958698272705078, -0.07724905014038086, -0.07491111755371094, -0.07257318496704102, -0.0702352523803711, -0.06789731979370117, -0.06555938720703125, -0.06322145462036133, -0.060883522033691406, -0.058545589447021484, -0.05620765686035156, -0.05386972427368164, -0.05153179168701172, -0.0491938591003418, -0.046855926513671875, -0.04451799392700195, -0.04218006134033203, -0.03984212875366211, -0.03750419616699219, -0.035166263580322266, -0.032828330993652344, -0.030490398406982422, -0.0281524658203125, -0.025814533233642578, -0.023476600646972656, -0.021138668060302734, -0.018800735473632812, -0.01646280288696289, -0.014124870300292969, -0.011786937713623047, -0.009449005126953125, -0.007111072540283203, -0.004773139953613281, -0.0024352073669433594, -9.72747802734375e-05, 0.0022406578063964844, 0.004578590393066406, 0.006916522979736328, 0.00925445556640625, 0.011592388153076172, 0.013930320739746094, 0.016268253326416016, 0.018606185913085938, 0.02094411849975586, 0.02328205108642578, 0.025619983673095703, 0.027957916259765625, 0.030295848846435547, 0.03263378143310547, 0.03497171401977539, 0.03730964660644531, 0.039647579193115234, 0.041985511779785156, 0.04432344436645508, 0.046661376953125]}, "gradients/decoder.transformer.h.19.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 1.0, 8.0, 4.0, 5.0, 4.0, 8.0, 9.0, 15.0, 13.0, 36.0, 46.0, 70.0, 118.0, 163.0, 305.0, 563.0, 1157.0, 2989.0, 10846.0, 63412.0, 769321.0, 3084058.0, 224908.0, 26583.0, 5974.0, 1857.0, 842.0, 375.0, 203.0, 142.0, 92.0, 50.0, 43.0, 20.0, 15.0, 10.0, 8.0, 7.0, 5.0, 5.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06732177734375, -0.0642995834350586, -0.06127738952636719, -0.05825519561767578, -0.055233001708984375, -0.05221080780029297, -0.04918861389160156, -0.046166419982910156, -0.04314422607421875, -0.040122032165527344, -0.03709983825683594, -0.03407764434814453, -0.031055450439453125, -0.02803325653076172, -0.025011062622070312, -0.021988868713378906, -0.0189666748046875, -0.015944480895996094, -0.012922286987304688, -0.009900093078613281, -0.006877899169921875, -0.0038557052612304688, -0.0008335113525390625, 0.0021886825561523438, 0.00521087646484375, 0.008233070373535156, 0.011255264282226562, 0.014277458190917969, 0.017299652099609375, 0.02032184600830078, 0.023344039916992188, 0.026366233825683594, 0.029388427734375, 0.032410621643066406, 0.03543281555175781, 0.03845500946044922, 0.041477203369140625, 0.04449939727783203, 0.04752159118652344, 0.050543785095214844, 0.05356597900390625, 0.056588172912597656, 0.05961036682128906, 0.06263256072998047, 0.06565475463867188, 0.06867694854736328, 0.07169914245605469, 0.0747213363647461, 0.0777435302734375, 0.0807657241821289, 0.08378791809082031, 0.08681011199951172, 0.08983230590820312, 0.09285449981689453, 0.09587669372558594, 0.09889888763427734, 0.10192108154296875, 0.10494327545166016, 0.10796546936035156, 0.11098766326904297, 0.11400985717773438, 0.11703205108642578, 0.12005424499511719, 0.1230764389038086, 0.1260986328125]}, "gradients/decoder.transformer.h.19.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 9.0, 11.0, 52.0, 94.0, 178.0, 216.0, 199.0, 154.0, 57.0, 28.0, 12.0, 5.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.23414170742034912, -0.21846503019332886, -0.2027883380651474, -0.18711166083812714, -0.17143496870994568, -0.15575829148292542, -0.14008161425590515, -0.12440492957830429, -0.10872824490070343, -0.09305156022310257, -0.07737487554550171, -0.061698198318481445, -0.046021513640880585, -0.030344828963279724, -0.01466815173625946, 0.0010085329413414001, 0.01668521761894226, 0.03236190229654312, 0.048038583248853683, 0.06371526420116425, 0.0793919488787651, 0.09506863355636597, 0.11074531078338623, 0.1264219880104065, 0.14209868013858795, 0.15777535736560822, 0.17345204949378967, 0.18912872672080994, 0.2048054039478302, 0.22048209607601166, 0.23615877330303192, 0.2518354654312134, 0.26751214265823364, 0.2831888198852539, 0.29886549711227417, 0.31454217433929443, 0.3302188813686371, 0.34589555859565735, 0.3615722358226776, 0.3772489130496979, 0.3929256200790405, 0.4086022973060608, 0.42427897453308105, 0.4399556517601013, 0.45563235878944397, 0.47130903601646423, 0.4869857132434845, 0.5026624202728271, 0.5183390378952026, 0.5340157151222229, 0.5496923923492432, 0.5653690695762634, 0.5810457468032837, 0.5967224836349487, 0.6123991012573242, 0.6280758380889893, 0.6437525153160095, 0.6594291925430298, 0.67510586977005, 0.6907825469970703, 0.7064592242240906, 0.7221359014511108, 0.7378126382827759, 0.7534893155097961, 0.7691659927368164]}, "gradients/decoder.transformer.h.19.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 2.0, 5.0, 8.0, 3.0, 7.0, 10.0, 10.0, 21.0, 18.0, 25.0, 25.0, 26.0, 18.0, 22.0, 29.0, 34.0, 32.0, 41.0, 49.0, 45.0, 43.0, 54.0, 46.0, 35.0, 44.0, 34.0, 44.0, 37.0, 31.0, 37.0, 36.0, 21.0, 19.0, 19.0, 13.0, 15.0, 12.0, 10.0, 7.0, 10.0, 4.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.17344200611114502, -0.1683739423751831, -0.16330589354038239, -0.15823782980442047, -0.15316976606845856, -0.14810171723365784, -0.14303365349769592, -0.137965589761734, -0.1328975260257721, -0.12782946228981018, -0.12276140600442886, -0.11769334971904755, -0.11262528598308563, -0.10755722969770432, -0.102489173412323, -0.09742110967636108, -0.09235306084156036, -0.08728500455617905, -0.08221694082021713, -0.07714888453483582, -0.0720808207988739, -0.06701276451349258, -0.06194470822811127, -0.05687664821743965, -0.051808588206768036, -0.04674052819609642, -0.041672468185424805, -0.03660441190004349, -0.03153635188937187, -0.026468291878700256, -0.02140023373067379, -0.016332175582647324, -0.011264115571975708, -0.006196056492626667, -0.001127997413277626, 0.003940061666071415, 0.009008120745420456, 0.014076180756092072, 0.019144238904118538, 0.024212297052145004, 0.02928035706281662, 0.034348417073488235, 0.03941647708415985, 0.04448453336954117, 0.049552593380212784, 0.0546206533908844, 0.05968870967626572, 0.06475676596164703, 0.06982482969760895, 0.07489288598299026, 0.07996094971895218, 0.0850290060043335, 0.09009706974029541, 0.09516512602567673, 0.10023318231105804, 0.10530124604701996, 0.11036930233240128, 0.11543735861778259, 0.1205054223537445, 0.12557348608970642, 0.13064153492450714, 0.13570959866046906, 0.14077766239643097, 0.1458457112312317, 0.1509137749671936]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 1.0, 5.0, 4.0, 8.0, 10.0, 11.0, 15.0, 23.0, 19.0, 35.0, 41.0, 36.0, 49.0, 43.0, 40.0, 53.0, 54.0, 55.0, 63.0, 38.0, 46.0, 49.0, 36.0, 49.0, 36.0, 29.0, 33.0, 22.0, 20.0, 17.0, 16.0, 9.0, 10.0, 6.0, 5.0, 2.0, 4.0, 3.0, 3.0, 3.0, 2.0, 3.0], "bins": [-0.01934814453125, -0.018863677978515625, -0.01837921142578125, -0.017894744873046875, -0.0174102783203125, -0.016925811767578125, -0.01644134521484375, -0.015956878662109375, -0.015472412109375, -0.014987945556640625, -0.01450347900390625, -0.014019012451171875, -0.0135345458984375, -0.013050079345703125, -0.01256561279296875, -0.012081146240234375, -0.0115966796875, -0.011112213134765625, -0.01062774658203125, -0.010143280029296875, -0.0096588134765625, -0.009174346923828125, -0.00868988037109375, -0.008205413818359375, -0.007720947265625, -0.007236480712890625, -0.00675201416015625, -0.006267547607421875, -0.0057830810546875, -0.005298614501953125, -0.00481414794921875, -0.004329681396484375, -0.00384521484375, -0.003360748291015625, -0.00287628173828125, -0.002391815185546875, -0.0019073486328125, -0.001422882080078125, -0.00093841552734375, -0.000453948974609375, 3.0517578125e-05, 0.000514984130859375, 0.00099945068359375, 0.001483917236328125, 0.0019683837890625, 0.002452850341796875, 0.00293731689453125, 0.003421783447265625, 0.00390625, 0.004390716552734375, 0.00487518310546875, 0.005359649658203125, 0.0058441162109375, 0.006328582763671875, 0.00681304931640625, 0.007297515869140625, 0.007781982421875, 0.008266448974609375, 0.00875091552734375, 0.009235382080078125, 0.0097198486328125, 0.010204315185546875, 0.01068878173828125, 0.011173248291015625, 0.01165771484375]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 4.0, 0.0, 4.0, 1.0, 9.0, 1.0, 5.0, 7.0, 11.0, 11.0, 21.0, 41.0, 52.0, 84.0, 107.0, 138.0, 195.0, 334.0, 510.0, 861.0, 1409.0, 2280.0, 3930.0, 6945.0, 12860.0, 24593.0, 49439.0, 109902.0, 368196.0, 272619.0, 97676.0, 45777.0, 22796.0, 11934.0, 6436.0, 3646.0, 2129.0, 1298.0, 807.0, 496.0, 323.0, 209.0, 138.0, 107.0, 64.0, 60.0, 35.0, 17.0, 17.0, 6.0, 10.0, 5.0, 2.0, 6.0, 6.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.00017404556274414062, -0.0001689177006483078, -0.00016378983855247498, -0.00015866197645664215, -0.00015353411436080933, -0.0001484062522649765, -0.00014327839016914368, -0.00013815052807331085, -0.00013302266597747803, -0.0001278948038816452, -0.00012276694178581238, -0.00011763907968997955, -0.00011251121759414673, -0.0001073833554983139, -0.00010225549340248108, -9.712763130664825e-05, -9.199976921081543e-05, -8.68719071149826e-05, -8.174404501914978e-05, -7.661618292331696e-05, -7.148832082748413e-05, -6.63604587316513e-05, -6.123259663581848e-05, -5.610473453998566e-05, -5.097687244415283e-05, -4.584901034832001e-05, -4.072114825248718e-05, -3.559328615665436e-05, -3.0465424060821533e-05, -2.533756196498871e-05, -2.0209699869155884e-05, -1.5081837773323059e-05, -9.953975677490234e-06, -4.82611358165741e-06, 3.0174851417541504e-07, 5.42961061000824e-06, 1.0557472705841064e-05, 1.568533480167389e-05, 2.0813196897506714e-05, 2.594105899333954e-05, 3.106892108917236e-05, 3.619678318500519e-05, 4.132464528083801e-05, 4.645250737667084e-05, 5.158036947250366e-05, 5.670823156833649e-05, 6.183609366416931e-05, 6.696395576000214e-05, 7.209181785583496e-05, 7.721967995166779e-05, 8.234754204750061e-05, 8.747540414333344e-05, 9.260326623916626e-05, 9.773112833499908e-05, 0.00010285899043083191, 0.00010798685252666473, 0.00011311471462249756, 0.00011824257671833038, 0.0001233704388141632, 0.00012849830090999603, 0.00013362616300582886, 0.00013875402510166168, 0.0001438818871974945, 0.00014900974929332733, 0.00015413761138916016]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 4.0, 9.0, 9.0, 15.0, 18.0, 17.0, 20.0, 22.0, 31.0, 29.0, 32.0, 47.0, 41.0, 41.0, 53.0, 51.0, 54.0, 1080.0, 37.0, 46.0, 50.0, 42.0, 47.0, 28.0, 28.0, 32.0, 23.0, 23.0, 17.0, 16.0, 16.0, 9.0, 11.0, 7.0, 7.0, 3.0, 5.0, 1.0, 4.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0201568603515625, -0.019513845443725586, -0.018870830535888672, -0.018227815628051758, -0.017584800720214844, -0.01694178581237793, -0.016298770904541016, -0.0156557559967041, -0.015012741088867188, -0.014369726181030273, -0.01372671127319336, -0.013083696365356445, -0.012440681457519531, -0.011797666549682617, -0.011154651641845703, -0.010511636734008789, -0.009868621826171875, -0.009225606918334961, -0.008582592010498047, -0.007939577102661133, -0.007296562194824219, -0.006653547286987305, -0.006010532379150391, -0.0053675174713134766, -0.0047245025634765625, -0.0040814876556396484, -0.0034384727478027344, -0.0027954578399658203, -0.0021524429321289062, -0.0015094280242919922, -0.0008664131164550781, -0.00022339820861816406, 0.00041961669921875, 0.001062631607055664, 0.0017056465148925781, 0.002348661422729492, 0.0029916763305664062, 0.0036346912384033203, 0.004277706146240234, 0.0049207210540771484, 0.0055637359619140625, 0.0062067508697509766, 0.006849765777587891, 0.007492780685424805, 0.008135795593261719, 0.008778810501098633, 0.009421825408935547, 0.010064840316772461, 0.010707855224609375, 0.011350870132446289, 0.011993885040283203, 0.012636899948120117, 0.013279914855957031, 0.013922929763793945, 0.01456594467163086, 0.015208959579467773, 0.015851974487304688, 0.0164949893951416, 0.017138004302978516, 0.01778101921081543, 0.018424034118652344, 0.019067049026489258, 0.019710063934326172, 0.020353078842163086, 0.02099609375]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 3.0, 2.0, 6.0, 1.0, 9.0, 8.0, 9.0, 8.0, 17.0, 20.0, 16.0, 25.0, 21.0, 44.0, 32.0, 50.0, 83.0, 139.0, 232.0, 919.0, 5454.0, 2071841.0, 15626.0, 1517.0, 450.0, 191.0, 103.0, 60.0, 49.0, 33.0, 38.0, 20.0, 24.0, 19.0, 17.0, 15.0, 13.0, 7.0, 3.0, 4.0, 5.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.5139579772949219e-05, -1.4676712453365326e-05, -1.4213845133781433e-05, -1.375097781419754e-05, -1.3288110494613647e-05, -1.2825243175029755e-05, -1.2362375855445862e-05, -1.1899508535861969e-05, -1.1436641216278076e-05, -1.0973773896694183e-05, -1.051090657711029e-05, -1.0048039257526398e-05, -9.585171937942505e-06, -9.122304618358612e-06, -8.65943729877472e-06, -8.196569979190826e-06, -7.733702659606934e-06, -7.270835340023041e-06, -6.807968020439148e-06, -6.345100700855255e-06, -5.882233381271362e-06, -5.4193660616874695e-06, -4.956498742103577e-06, -4.493631422519684e-06, -4.030764102935791e-06, -3.567896783351898e-06, -3.1050294637680054e-06, -2.6421621441841125e-06, -2.1792948246002197e-06, -1.716427505016327e-06, -1.253560185432434e-06, -7.906928658485413e-07, -3.2782554626464844e-07, 1.3504177331924438e-07, 5.979090929031372e-07, 1.06077641248703e-06, 1.5236437320709229e-06, 1.9865110516548157e-06, 2.4493783712387085e-06, 2.9122456908226013e-06, 3.375113010406494e-06, 3.837980329990387e-06, 4.30084764957428e-06, 4.763714969158173e-06, 5.2265822887420654e-06, 5.689449608325958e-06, 6.152316927909851e-06, 6.615184247493744e-06, 7.078051567077637e-06, 7.5409188866615295e-06, 8.003786206245422e-06, 8.466653525829315e-06, 8.929520845413208e-06, 9.3923881649971e-06, 9.855255484580994e-06, 1.0318122804164886e-05, 1.078099012374878e-05, 1.1243857443332672e-05, 1.1706724762916565e-05, 1.2169592082500458e-05, 1.263245940208435e-05, 1.3095326721668243e-05, 1.3558194041252136e-05, 1.4021061360836029e-05, 1.4483928680419922e-05]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 1.0, 5.0, 4.0, 8.0, 10.0, 11.0, 15.0, 23.0, 19.0, 35.0, 41.0, 36.0, 49.0, 43.0, 40.0, 53.0, 54.0, 55.0, 63.0, 38.0, 46.0, 49.0, 36.0, 49.0, 36.0, 29.0, 33.0, 22.0, 20.0, 17.0, 16.0, 9.0, 10.0, 6.0, 5.0, 2.0, 4.0, 3.0, 3.0, 3.0, 2.0, 3.0], "bins": [-0.01934814453125, -0.018863677978515625, -0.01837921142578125, -0.017894744873046875, -0.0174102783203125, -0.016925811767578125, -0.01644134521484375, -0.015956878662109375, -0.015472412109375, -0.014987945556640625, -0.01450347900390625, -0.014019012451171875, -0.0135345458984375, -0.013050079345703125, -0.01256561279296875, -0.012081146240234375, -0.0115966796875, -0.011112213134765625, -0.01062774658203125, -0.010143280029296875, -0.0096588134765625, -0.009174346923828125, -0.00868988037109375, -0.008205413818359375, -0.007720947265625, -0.007236480712890625, -0.00675201416015625, -0.006267547607421875, -0.0057830810546875, -0.005298614501953125, -0.00481414794921875, -0.004329681396484375, -0.00384521484375, -0.003360748291015625, -0.00287628173828125, -0.002391815185546875, -0.0019073486328125, -0.001422882080078125, -0.00093841552734375, -0.000453948974609375, 3.0517578125e-05, 0.000514984130859375, 0.00099945068359375, 0.001483917236328125, 0.0019683837890625, 0.002452850341796875, 0.00293731689453125, 0.003421783447265625, 0.00390625, 0.004390716552734375, 0.00487518310546875, 0.005359649658203125, 0.0058441162109375, 0.006328582763671875, 0.00681304931640625, 0.007297515869140625, 0.007781982421875, 0.008266448974609375, 0.00875091552734375, 0.009235382080078125, 0.0097198486328125, 0.010204315185546875, 0.01068878173828125, 0.011173248291015625, 0.01165771484375]}, "gradients/decoder.transformer.h.19.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 2.0, 2.0, 13.0, 9.0, 23.0, 39.0, 37.0, 70.0, 115.0, 199.0, 363.0, 670.0, 1299.0, 2350.0, 4259.0, 8355.0, 16515.0, 35196.0, 90306.0, 482036.0, 279765.0, 69183.0, 28937.0, 13671.0, 6971.0, 3680.0, 2005.0, 1095.0, 599.0, 328.0, 192.0, 95.0, 56.0, 43.0, 24.0, 26.0, 17.0, 4.0, 6.0, 3.0, 5.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0251617431640625, -0.024372339248657227, -0.023582935333251953, -0.02279353141784668, -0.022004127502441406, -0.021214723587036133, -0.02042531967163086, -0.019635915756225586, -0.018846511840820312, -0.01805710792541504, -0.017267704010009766, -0.016478300094604492, -0.01568889617919922, -0.014899492263793945, -0.014110088348388672, -0.013320684432983398, -0.012531280517578125, -0.011741876602172852, -0.010952472686767578, -0.010163068771362305, -0.009373664855957031, -0.008584260940551758, -0.007794857025146484, -0.007005453109741211, -0.0062160491943359375, -0.005426645278930664, -0.004637241363525391, -0.003847837448120117, -0.0030584335327148438, -0.0022690296173095703, -0.0014796257019042969, -0.0006902217864990234, 9.918212890625e-05, 0.0008885860443115234, 0.0016779899597167969, 0.0024673938751220703, 0.0032567977905273438, 0.004046201705932617, 0.004835605621337891, 0.005625009536743164, 0.0064144134521484375, 0.007203817367553711, 0.007993221282958984, 0.008782625198364258, 0.009572029113769531, 0.010361433029174805, 0.011150836944580078, 0.011940240859985352, 0.012729644775390625, 0.013519048690795898, 0.014308452606201172, 0.015097856521606445, 0.01588726043701172, 0.016676664352416992, 0.017466068267822266, 0.01825547218322754, 0.019044876098632812, 0.019834280014038086, 0.02062368392944336, 0.021413087844848633, 0.022202491760253906, 0.02299189567565918, 0.023781299591064453, 0.024570703506469727, 0.025360107421875]}, "gradients/decoder.transformer.h.19.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 2.0, 6.0, 2.0, 7.0, 8.0, 16.0, 16.0, 15.0, 13.0, 15.0, 17.0, 27.0, 23.0, 34.0, 36.0, 38.0, 30.0, 54.0, 55.0, 79.0, 115.0, 1444.0, 377.0, 113.0, 86.0, 67.0, 38.0, 54.0, 26.0, 29.0, 38.0, 34.0, 25.0, 19.0, 22.0, 6.0, 17.0, 5.0, 8.0, 6.0, 6.0, 11.0, 2.0, 6.0, 1.0, 7.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04803466796875, -0.04657793045043945, -0.045121192932128906, -0.04366445541381836, -0.04220771789550781, -0.040750980377197266, -0.03929424285888672, -0.03783750534057617, -0.036380767822265625, -0.03492403030395508, -0.03346729278564453, -0.032010555267333984, -0.030553817749023438, -0.02909708023071289, -0.027640342712402344, -0.026183605194091797, -0.02472686767578125, -0.023270130157470703, -0.021813392639160156, -0.02035665512084961, -0.018899917602539062, -0.017443180084228516, -0.01598644256591797, -0.014529705047607422, -0.013072967529296875, -0.011616230010986328, -0.010159492492675781, -0.008702754974365234, -0.0072460174560546875, -0.005789279937744141, -0.004332542419433594, -0.002875804901123047, -0.0014190673828125, 3.7670135498046875e-05, 0.0014944076538085938, 0.0029511451721191406, 0.0044078826904296875, 0.005864620208740234, 0.007321357727050781, 0.008778095245361328, 0.010234832763671875, 0.011691570281982422, 0.013148307800292969, 0.014605045318603516, 0.016061782836914062, 0.01751852035522461, 0.018975257873535156, 0.020431995391845703, 0.02188873291015625, 0.023345470428466797, 0.024802207946777344, 0.02625894546508789, 0.027715682983398438, 0.029172420501708984, 0.03062915802001953, 0.03208589553833008, 0.033542633056640625, 0.03499937057495117, 0.03645610809326172, 0.037912845611572266, 0.03936958312988281, 0.04082632064819336, 0.042283058166503906, 0.04373979568481445, 0.045196533203125]}, "gradients/decoder.transformer.h.19.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 6.0, 2.0, 4.0, 2.0, 3.0, 3.0, 9.0, 5.0, 7.0, 11.0, 11.0, 12.0, 36.0, 33.0, 48.0, 49.0, 85.0, 131.0, 227.0, 397.0, 920.0, 2538.0, 8401.0, 40743.0, 553066.0, 2443637.0, 76232.0, 12916.0, 3483.0, 1333.0, 567.0, 282.0, 155.0, 100.0, 63.0, 44.0, 37.0, 23.0, 15.0, 17.0, 17.0, 15.0, 8.0, 8.0, 3.0, 6.0, 4.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.066650390625, -0.06436443328857422, -0.06207847595214844, -0.059792518615722656, -0.057506561279296875, -0.055220603942871094, -0.05293464660644531, -0.05064868927001953, -0.04836273193359375, -0.04607677459716797, -0.04379081726074219, -0.041504859924316406, -0.039218902587890625, -0.036932945251464844, -0.03464698791503906, -0.03236103057861328, -0.0300750732421875, -0.02778911590576172, -0.025503158569335938, -0.023217201232910156, -0.020931243896484375, -0.018645286560058594, -0.016359329223632812, -0.014073371887207031, -0.01178741455078125, -0.009501457214355469, -0.0072154998779296875, -0.004929542541503906, -0.002643585205078125, -0.00035762786865234375, 0.0019283294677734375, 0.004214286804199219, 0.006500244140625, 0.008786201477050781, 0.011072158813476562, 0.013358116149902344, 0.015644073486328125, 0.017930030822753906, 0.020215988159179688, 0.02250194549560547, 0.02478790283203125, 0.02707386016845703, 0.029359817504882812, 0.031645774841308594, 0.033931732177734375, 0.036217689514160156, 0.03850364685058594, 0.04078960418701172, 0.0430755615234375, 0.04536151885986328, 0.04764747619628906, 0.049933433532714844, 0.052219390869140625, 0.054505348205566406, 0.05679130554199219, 0.05907726287841797, 0.06136322021484375, 0.06364917755126953, 0.06593513488769531, 0.0682210922241211, 0.07050704956054688, 0.07279300689697266, 0.07507896423339844, 0.07736492156982422, 0.07965087890625]}, "gradients/decoder.transformer.h.19.ln_1.weight": {"_type": "histogram", "values": [5.0, 53.0, 712.0, 244.0, 8.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08487346023321152, -0.053102847188711166, -0.021332234144210815, 0.010438375174999237, 0.042208991944789886, 0.07397960871458054, 0.10575021058320999, 0.13752081990242004, 0.1692914366722107, 0.20106205344200134, 0.232832670211792, 0.26460325717926025, 0.2963739037513733, 0.32814449071884155, 0.3599151074886322, 0.39168572425842285, 0.4234563410282135, 0.45522695779800415, 0.4869975745677948, 0.5187681913375854, 0.5505387783050537, 0.5823094248771667, 0.614080011844635, 0.645850658416748, 0.6776212453842163, 0.7093918323516846, 0.7411624789237976, 0.7729330658912659, 0.8047037124633789, 0.8364742994308472, 0.8682448863983154, 0.9000155329704285, 0.931786060333252, 0.9635566473007202, 0.9953272938728333, 1.0270979404449463, 1.0588685274124146, 1.0906391143798828, 1.122409701347351, 1.1541802883148193, 1.1859509944915771, 1.2177215814590454, 1.2494921684265137, 1.2812628746032715, 1.3130334615707397, 1.344804048538208, 1.3765746355056763, 1.4083452224731445, 1.4401159286499023, 1.4718865156173706, 1.5036571025848389, 1.5354278087615967, 1.567198395729065, 1.5989689826965332, 1.6307395696640015, 1.6625101566314697, 1.694280743598938, 1.7260513305664062, 1.7578219175338745, 1.7895926237106323, 1.8213632106781006, 1.8531337976455688, 1.884904384613037, 1.916675090789795, 1.9484456777572632]}, "gradients/decoder.transformer.h.19.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 2.0, 3.0, 4.0, 1.0, 4.0, 3.0, 5.0, 9.0, 9.0, 6.0, 17.0, 16.0, 19.0, 12.0, 20.0, 26.0, 19.0, 30.0, 28.0, 48.0, 39.0, 46.0, 43.0, 51.0, 33.0, 35.0, 34.0, 43.0, 39.0, 36.0, 41.0, 36.0, 30.0, 35.0, 27.0, 17.0, 16.0, 24.0, 20.0, 15.0, 12.0, 18.0, 12.0, 7.0, 3.0, 5.0, 2.0, 4.0, 3.0, 1.0, 6.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1637745499610901, -0.1588021069765091, -0.1538296788930893, -0.1488572359085083, -0.1438848078250885, -0.1389123648405075, -0.1339399367570877, -0.1289674937725067, -0.12399505823850632, -0.11902262270450592, -0.11405018717050552, -0.10907775163650513, -0.10410530865192413, -0.09913288056850433, -0.09416043758392334, -0.08918800204992294, -0.08421556651592255, -0.07924313098192215, -0.07427069544792175, -0.06929825991392136, -0.06432582437992096, -0.059353385120630264, -0.05438094586133957, -0.04940851032733917, -0.044436074793338776, -0.03946363925933838, -0.03449120372533798, -0.029518764466047287, -0.02454632893204689, -0.019573893398046494, -0.014601456001400948, -0.009629018604755402, -0.004656583070755005, 0.00031585339456796646, 0.005288289859890938, 0.01026072632521391, 0.01523316279053688, 0.020205598324537277, 0.025178035721182823, 0.03015047311782837, 0.035122908651828766, 0.04009534418582916, 0.04506777971982956, 0.050040218979120255, 0.05501265451312065, 0.05998509004712105, 0.06495752930641174, 0.06992996484041214, 0.07490240037441254, 0.07987483590841293, 0.08484727144241333, 0.08981970697641373, 0.09479214251041412, 0.09976458549499512, 0.10473702102899551, 0.10970945656299591, 0.11468189209699631, 0.1196543276309967, 0.1246267631649971, 0.1295991986989975, 0.1345716416835785, 0.1395440697669983, 0.14451651275157928, 0.14948895573616028, 0.15446138381958008]}, "gradients/decoder.transformer.h.18.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 2.0, 0.0, 3.0, 3.0, 7.0, 13.0, 9.0, 12.0, 20.0, 27.0, 31.0, 28.0, 36.0, 56.0, 47.0, 37.0, 51.0, 58.0, 49.0, 62.0, 54.0, 39.0, 51.0, 45.0, 40.0, 38.0, 31.0, 29.0, 28.0, 18.0, 14.0, 19.0, 13.0, 5.0, 6.0, 6.0, 5.0, 3.0, 1.0, 3.0, 4.0, 0.0, 3.0, 2.0], "bins": [-0.01934814453125, -0.01885390281677246, -0.018359661102294922, -0.017865419387817383, -0.017371177673339844, -0.016876935958862305, -0.016382694244384766, -0.015888452529907227, -0.015394210815429688, -0.014899969100952148, -0.01440572738647461, -0.01391148567199707, -0.013417243957519531, -0.012923002243041992, -0.012428760528564453, -0.011934518814086914, -0.011440277099609375, -0.010946035385131836, -0.010451793670654297, -0.009957551956176758, -0.009463310241699219, -0.00896906852722168, -0.00847482681274414, -0.007980585098266602, -0.0074863433837890625, -0.0069921016693115234, -0.006497859954833984, -0.006003618240356445, -0.005509376525878906, -0.005015134811401367, -0.004520893096923828, -0.004026651382446289, -0.00353240966796875, -0.003038167953491211, -0.002543926239013672, -0.002049684524536133, -0.0015554428100585938, -0.0010612010955810547, -0.0005669593811035156, -7.271766662597656e-05, 0.0004215240478515625, 0.0009157657623291016, 0.0014100074768066406, 0.0019042491912841797, 0.0023984909057617188, 0.002892732620239258, 0.003386974334716797, 0.003881216049194336, 0.004375457763671875, 0.004869699478149414, 0.005363941192626953, 0.005858182907104492, 0.006352424621582031, 0.00684666633605957, 0.007340908050537109, 0.007835149765014648, 0.008329391479492188, 0.008823633193969727, 0.009317874908447266, 0.009812116622924805, 0.010306358337402344, 0.010800600051879883, 0.011294841766357422, 0.011789083480834961, 0.0122833251953125]}, "gradients/decoder.transformer.h.18.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 2.0, 3.0, 1.0, 7.0, 6.0, 11.0, 19.0, 18.0, 21.0, 45.0, 58.0, 109.0, 171.0, 287.0, 569.0, 998.0, 2508.0, 7239.0, 25497.0, 127106.0, 1418369.0, 2368775.0, 191642.0, 35353.0, 9452.0, 3168.0, 1367.0, 620.0, 340.0, 203.0, 104.0, 64.0, 42.0, 34.0, 17.0, 25.0, 10.0, 8.0, 10.0, 4.0, 1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.05072021484375, -0.04927539825439453, -0.04783058166503906, -0.046385765075683594, -0.044940948486328125, -0.043496131896972656, -0.04205131530761719, -0.04060649871826172, -0.03916168212890625, -0.03771686553955078, -0.03627204895019531, -0.034827232360839844, -0.033382415771484375, -0.031937599182128906, -0.030492782592773438, -0.02904796600341797, -0.0276031494140625, -0.02615833282470703, -0.024713516235351562, -0.023268699645996094, -0.021823883056640625, -0.020379066467285156, -0.018934249877929688, -0.01748943328857422, -0.01604461669921875, -0.014599800109863281, -0.013154983520507812, -0.011710166931152344, -0.010265350341796875, -0.008820533752441406, -0.0073757171630859375, -0.005930900573730469, -0.004486083984375, -0.0030412673950195312, -0.0015964508056640625, -0.00015163421630859375, 0.001293182373046875, 0.0027379989624023438, 0.0041828155517578125, 0.005627632141113281, 0.00707244873046875, 0.008517265319824219, 0.009962081909179688, 0.011406898498535156, 0.012851715087890625, 0.014296531677246094, 0.015741348266601562, 0.01718616485595703, 0.0186309814453125, 0.02007579803466797, 0.021520614624023438, 0.022965431213378906, 0.024410247802734375, 0.025855064392089844, 0.027299880981445312, 0.02874469757080078, 0.03018951416015625, 0.03163433074951172, 0.03307914733886719, 0.034523963928222656, 0.035968780517578125, 0.037413597106933594, 0.03885841369628906, 0.04030323028564453, 0.041748046875]}, "gradients/decoder.transformer.h.18.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 2.0, 11.0, 8.0, 11.0, 6.0, 8.0, 20.0, 21.0, 34.0, 42.0, 60.0, 95.0, 137.0, 216.0, 348.0, 557.0, 719.0, 619.0, 377.0, 250.0, 171.0, 118.0, 84.0, 43.0, 28.0, 29.0, 18.0, 15.0, 5.0, 5.0, 6.0, 7.0, 4.0, 4.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04595947265625, -0.04445791244506836, -0.04295635223388672, -0.04145479202270508, -0.03995323181152344, -0.0384516716003418, -0.036950111389160156, -0.035448551177978516, -0.033946990966796875, -0.032445430755615234, -0.030943870544433594, -0.029442310333251953, -0.027940750122070312, -0.026439189910888672, -0.02493762969970703, -0.02343606948852539, -0.02193450927734375, -0.02043294906616211, -0.01893138885498047, -0.017429828643798828, -0.015928268432617188, -0.014426708221435547, -0.012925148010253906, -0.011423587799072266, -0.009922027587890625, -0.008420467376708984, -0.006918907165527344, -0.005417346954345703, -0.0039157867431640625, -0.002414226531982422, -0.0009126663208007812, 0.0005888938903808594, 0.0020904541015625, 0.0035920143127441406, 0.005093574523925781, 0.006595134735107422, 0.008096694946289062, 0.009598255157470703, 0.011099815368652344, 0.012601375579833984, 0.014102935791015625, 0.015604496002197266, 0.017106056213378906, 0.018607616424560547, 0.020109176635742188, 0.021610736846923828, 0.02311229705810547, 0.02461385726928711, 0.02611541748046875, 0.02761697769165039, 0.02911853790283203, 0.030620098114013672, 0.03212165832519531, 0.03362321853637695, 0.035124778747558594, 0.036626338958740234, 0.038127899169921875, 0.039629459381103516, 0.041131019592285156, 0.0426325798034668, 0.04413414001464844, 0.04563570022583008, 0.04713726043701172, 0.04863882064819336, 0.050140380859375]}, "gradients/decoder.transformer.h.18.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 2.0, 9.0, 9.0, 14.0, 18.0, 24.0, 53.0, 89.0, 220.0, 469.0, 1315.0, 4312.0, 20144.0, 198099.0, 3301723.0, 614769.0, 42855.0, 7068.0, 1848.0, 681.0, 295.0, 123.0, 56.0, 35.0, 19.0, 15.0, 10.0, 4.0, 5.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1337890625, -0.1304178237915039, -0.1270465850830078, -0.12367534637451172, -0.12030410766601562, -0.11693286895751953, -0.11356163024902344, -0.11019039154052734, -0.10681915283203125, -0.10344791412353516, -0.10007667541503906, -0.09670543670654297, -0.09333419799804688, -0.08996295928955078, -0.08659172058105469, -0.0832204818725586, -0.0798492431640625, -0.0764780044555664, -0.07310676574707031, -0.06973552703857422, -0.06636428833007812, -0.06299304962158203, -0.05962181091308594, -0.056250572204589844, -0.05287933349609375, -0.049508094787597656, -0.04613685607910156, -0.04276561737060547, -0.039394378662109375, -0.03602313995361328, -0.03265190124511719, -0.029280662536621094, -0.025909423828125, -0.022538185119628906, -0.019166946411132812, -0.01579570770263672, -0.012424468994140625, -0.009053230285644531, -0.0056819915771484375, -0.0023107528686523438, 0.00106048583984375, 0.004431724548339844, 0.0078029632568359375, 0.011174201965332031, 0.014545440673828125, 0.01791667938232422, 0.021287918090820312, 0.024659156799316406, 0.0280303955078125, 0.031401634216308594, 0.03477287292480469, 0.03814411163330078, 0.041515350341796875, 0.04488658905029297, 0.04825782775878906, 0.051629066467285156, 0.05500030517578125, 0.058371543884277344, 0.06174278259277344, 0.06511402130126953, 0.06848526000976562, 0.07185649871826172, 0.07522773742675781, 0.0785989761352539, 0.08197021484375]}, "gradients/decoder.transformer.h.18.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 2.0, 4.0, 13.0, 86.0, 144.0, 292.0, 255.0, 160.0, 46.0, 9.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2551121711730957, -0.23557230830192566, -0.21603244543075562, -0.19649259746074677, -0.17695273458957672, -0.15741287171840668, -0.13787302374839783, -0.11833316087722778, -0.09879329800605774, -0.0792534351348877, -0.05971357971429825, -0.0401737205684185, -0.020633861422538757, -0.0010939985513687134, 0.018445856869220734, 0.03798571228981018, 0.057525575160980225, 0.07706543803215027, 0.09660529345273972, 0.11614514887332916, 0.1356850117444992, 0.15522487461566925, 0.1747647225856781, 0.19430458545684814, 0.2138444483280182, 0.23338431119918823, 0.2529241740703583, 0.2724640369415283, 0.292003870010376, 0.3115437626838684, 0.33108359575271606, 0.3506234586238861, 0.37016332149505615, 0.3897031843662262, 0.40924304723739624, 0.4287829101085663, 0.44832277297973633, 0.467862606048584, 0.48740246891975403, 0.5069423317909241, 0.5264822244644165, 0.5460220575332642, 0.5655619502067566, 0.5851017832756042, 0.6046416759490967, 0.6241815090179443, 0.6437214016914368, 0.6632612347602844, 0.6828010678291321, 0.7023409008979797, 0.7218807935714722, 0.7414206266403198, 0.7609605193138123, 0.7805003523826599, 0.8000402450561523, 0.819580078125, 0.8391199111938477, 0.8586597442626953, 0.8781996369361877, 0.8977394700050354, 0.9172793626785278, 0.9368191957473755, 0.9563590884208679, 0.9758989214897156, 0.995438814163208]}, "gradients/decoder.transformer.h.18.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 1.0, 3.0, 2.0, 7.0, 4.0, 8.0, 8.0, 18.0, 20.0, 17.0, 18.0, 25.0, 17.0, 18.0, 33.0, 31.0, 33.0, 40.0, 47.0, 41.0, 43.0, 31.0, 41.0, 46.0, 39.0, 43.0, 32.0, 37.0, 39.0, 38.0, 41.0, 29.0, 25.0, 19.0, 14.0, 24.0, 14.0, 11.0, 12.0, 12.0, 8.0, 5.0, 5.0, 5.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.15325957536697388, -0.14868369698524475, -0.14410780370235443, -0.1395319253206253, -0.13495603203773499, -0.13038015365600586, -0.12580427527427673, -0.12122838944196701, -0.11665250360965729, -0.11207661777734756, -0.10750073194503784, -0.10292485356330872, -0.09834896773099899, -0.09377308189868927, -0.08919720351696014, -0.08462131768465042, -0.0800454318523407, -0.07546954602003098, -0.07089366018772125, -0.06631778180599213, -0.061741895973682404, -0.05716601014137268, -0.052590128034353256, -0.04801424592733383, -0.04343836009502411, -0.038862474262714386, -0.03428659215569496, -0.029710708186030388, -0.025134824216365814, -0.02055894024670124, -0.015983056277036667, -0.011407174170017242, -0.0068312883377075195, -0.002255404368042946, 0.002320479601621628, 0.0068963635712862015, 0.011472247540950775, 0.01604813151061535, 0.020624015480279922, 0.025199897587299347, 0.02977578341960907, 0.03435166925191879, 0.03892755135893822, 0.04350343346595764, 0.048079319298267365, 0.05265520513057709, 0.05723108723759651, 0.061806969344615936, 0.06638285517692566, 0.07095874100923538, 0.0755346268415451, 0.08011050522327423, 0.08468639105558395, 0.08926227688789368, 0.0938381552696228, 0.09841404110193253, 0.10298992693424225, 0.10756581276655197, 0.1121416985988617, 0.11671757698059082, 0.12129346281290054, 0.12586934864521027, 0.1304452270269394, 0.1350211203098297, 0.13959699869155884]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 0.0, 5.0, 3.0, 9.0, 2.0, 7.0, 9.0, 5.0, 8.0, 15.0, 25.0, 28.0, 28.0, 37.0, 32.0, 45.0, 47.0, 48.0, 42.0, 44.0, 65.0, 50.0, 45.0, 54.0, 43.0, 49.0, 40.0, 32.0, 32.0, 25.0, 31.0, 19.0, 17.0, 13.0, 19.0, 10.0, 7.0, 5.0, 2.0, 3.0, 5.0, 3.0, 3.0, 2.0, 2.0], "bins": [-0.0199432373046875, -0.01944553852081299, -0.018947839736938477, -0.018450140953063965, -0.017952442169189453, -0.01745474338531494, -0.01695704460144043, -0.016459345817565918, -0.015961647033691406, -0.015463948249816895, -0.014966249465942383, -0.014468550682067871, -0.01397085189819336, -0.013473153114318848, -0.012975454330444336, -0.012477755546569824, -0.011980056762695312, -0.0114823579788208, -0.010984659194946289, -0.010486960411071777, -0.009989261627197266, -0.009491562843322754, -0.008993864059448242, -0.00849616527557373, -0.007998466491699219, -0.007500767707824707, -0.007003068923950195, -0.006505370140075684, -0.006007671356201172, -0.00550997257232666, -0.0050122737884521484, -0.004514575004577637, -0.004016876220703125, -0.0035191774368286133, -0.0030214786529541016, -0.00252377986907959, -0.002026081085205078, -0.0015283823013305664, -0.0010306835174560547, -0.000532984733581543, -3.528594970703125e-05, 0.00046241283416748047, 0.0009601116180419922, 0.001457810401916504, 0.0019555091857910156, 0.0024532079696655273, 0.002950906753540039, 0.0034486055374145508, 0.0039463043212890625, 0.004444003105163574, 0.004941701889038086, 0.005439400672912598, 0.005937099456787109, 0.006434798240661621, 0.006932497024536133, 0.0074301958084106445, 0.007927894592285156, 0.008425593376159668, 0.00892329216003418, 0.009420990943908691, 0.009918689727783203, 0.010416388511657715, 0.010914087295532227, 0.011411786079406738, 0.01190948486328125]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 3.0, 4.0, 2.0, 9.0, 7.0, 13.0, 9.0, 21.0, 22.0, 27.0, 52.0, 80.0, 114.0, 170.0, 253.0, 375.0, 602.0, 939.0, 1535.0, 2444.0, 4138.0, 7075.0, 12227.0, 21871.0, 40038.0, 78074.0, 181307.0, 403693.0, 146537.0, 66963.0, 34692.0, 18817.0, 10393.0, 6233.0, 3714.0, 2226.0, 1402.0, 840.0, 557.0, 368.0, 247.0, 149.0, 118.0, 69.0, 42.0, 30.0, 15.0, 11.0, 9.0, 10.0, 3.0, 5.0, 3.0, 5.0, 1.0, 1.0, 2.0, 2.0], "bins": [-0.00018274784088134766, -0.00017727352678775787, -0.0001717992126941681, -0.0001663248986005783, -0.00016085058450698853, -0.00015537627041339874, -0.00014990195631980896, -0.00014442764222621918, -0.0001389533281326294, -0.0001334790140390396, -0.00012800469994544983, -0.00012253038585186005, -0.00011705607175827026, -0.00011158175766468048, -0.0001061074435710907, -0.00010063312947750092, -9.515881538391113e-05, -8.968450129032135e-05, -8.421018719673157e-05, -7.873587310314178e-05, -7.3261559009552e-05, -6.778724491596222e-05, -6.231293082237244e-05, -5.6838616728782654e-05, -5.136430263519287e-05, -4.588998854160309e-05, -4.0415674448013306e-05, -3.494136035442352e-05, -2.946704626083374e-05, -2.3992732167243958e-05, -1.8518418073654175e-05, -1.3044103980064392e-05, -7.569789886474609e-06, -2.0954757928848267e-06, 3.378838300704956e-06, 8.853152394294739e-06, 1.4327466487884521e-05, 1.9801780581474304e-05, 2.5276094675064087e-05, 3.075040876865387e-05, 3.622472286224365e-05, 4.1699036955833435e-05, 4.717335104942322e-05, 5.2647665143013e-05, 5.812197923660278e-05, 6.359629333019257e-05, 6.907060742378235e-05, 7.454492151737213e-05, 8.001923561096191e-05, 8.54935497045517e-05, 9.096786379814148e-05, 9.644217789173126e-05, 0.00010191649198532104, 0.00010739080607891083, 0.00011286512017250061, 0.00011833943426609039, 0.00012381374835968018, 0.00012928806245326996, 0.00013476237654685974, 0.00014023669064044952, 0.0001457110047340393, 0.0001511853188276291, 0.00015665963292121887, 0.00016213394701480865, 0.00016760826110839844]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 1.0, 2.0, 7.0, 4.0, 3.0, 6.0, 13.0, 10.0, 14.0, 16.0, 24.0, 20.0, 26.0, 32.0, 29.0, 29.0, 29.0, 45.0, 39.0, 30.0, 41.0, 38.0, 1070.0, 46.0, 38.0, 40.0, 47.0, 48.0, 34.0, 42.0, 30.0, 23.0, 30.0, 19.0, 20.0, 15.0, 18.0, 12.0, 11.0, 14.0, 8.0, 5.0, 5.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.019683837890625, -0.019119739532470703, -0.018555641174316406, -0.01799154281616211, -0.017427444458007812, -0.016863346099853516, -0.01629924774169922, -0.015735149383544922, -0.015171051025390625, -0.014606952667236328, -0.014042854309082031, -0.013478755950927734, -0.012914657592773438, -0.01235055923461914, -0.011786460876464844, -0.011222362518310547, -0.01065826416015625, -0.010094165802001953, -0.009530067443847656, -0.00896596908569336, -0.008401870727539062, -0.007837772369384766, -0.007273674011230469, -0.006709575653076172, -0.006145477294921875, -0.005581378936767578, -0.005017280578613281, -0.004453182220458984, -0.0038890838623046875, -0.0033249855041503906, -0.0027608871459960938, -0.002196788787841797, -0.0016326904296875, -0.0010685920715332031, -0.0005044937133789062, 5.9604644775390625e-05, 0.0006237030029296875, 0.0011878013610839844, 0.0017518997192382812, 0.002315998077392578, 0.002880096435546875, 0.003444194793701172, 0.004008293151855469, 0.004572391510009766, 0.0051364898681640625, 0.005700588226318359, 0.006264686584472656, 0.006828784942626953, 0.00739288330078125, 0.007956981658935547, 0.008521080017089844, 0.00908517837524414, 0.009649276733398438, 0.010213375091552734, 0.010777473449707031, 0.011341571807861328, 0.011905670166015625, 0.012469768524169922, 0.013033866882324219, 0.013597965240478516, 0.014162063598632812, 0.01472616195678711, 0.015290260314941406, 0.015854358673095703, 0.01641845703125]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 1.0, 8.0, 5.0, 6.0, 15.0, 8.0, 14.0, 15.0, 14.0, 22.0, 22.0, 29.0, 32.0, 34.0, 53.0, 84.0, 116.0, 218.0, 605.0, 3125.0, 76217.0, 2010995.0, 4037.0, 658.0, 279.0, 138.0, 84.0, 49.0, 38.0, 33.0, 42.0, 20.0, 23.0, 26.0, 17.0, 12.0, 11.0, 13.0, 6.0, 2.0, 3.0, 7.0, 3.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2040138244628906e-05, -1.1626631021499634e-05, -1.1213123798370361e-05, -1.0799616575241089e-05, -1.0386109352111816e-05, -9.972602128982544e-06, -9.559094905853271e-06, -9.145587682723999e-06, -8.732080459594727e-06, -8.318573236465454e-06, -7.905066013336182e-06, -7.491558790206909e-06, -7.078051567077637e-06, -6.664544343948364e-06, -6.251037120819092e-06, -5.837529897689819e-06, -5.424022674560547e-06, -5.010515451431274e-06, -4.597008228302002e-06, -4.1835010051727295e-06, -3.769993782043457e-06, -3.3564865589141846e-06, -2.942979335784912e-06, -2.5294721126556396e-06, -2.115964889526367e-06, -1.7024576663970947e-06, -1.2889504432678223e-06, -8.754432201385498e-07, -4.6193599700927734e-07, -4.842877388000488e-08, 3.650784492492676e-07, 7.7858567237854e-07, 1.1920928955078125e-06, 1.605600118637085e-06, 2.0191073417663574e-06, 2.43261456489563e-06, 2.8461217880249023e-06, 3.259629011154175e-06, 3.6731362342834473e-06, 4.08664345741272e-06, 4.500150680541992e-06, 4.913657903671265e-06, 5.327165126800537e-06, 5.7406723499298096e-06, 6.154179573059082e-06, 6.5676867961883545e-06, 6.981194019317627e-06, 7.394701242446899e-06, 7.808208465576172e-06, 8.221715688705444e-06, 8.635222911834717e-06, 9.04873013496399e-06, 9.462237358093262e-06, 9.875744581222534e-06, 1.0289251804351807e-05, 1.0702759027481079e-05, 1.1116266250610352e-05, 1.1529773473739624e-05, 1.1943280696868896e-05, 1.2356787919998169e-05, 1.2770295143127441e-05, 1.3183802366256714e-05, 1.3597309589385986e-05, 1.4010816812515259e-05, 1.4424324035644531e-05]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 0.0, 5.0, 3.0, 9.0, 2.0, 7.0, 9.0, 5.0, 8.0, 15.0, 25.0, 28.0, 28.0, 37.0, 32.0, 45.0, 47.0, 48.0, 42.0, 44.0, 65.0, 50.0, 45.0, 54.0, 43.0, 49.0, 40.0, 32.0, 32.0, 25.0, 31.0, 19.0, 17.0, 13.0, 19.0, 10.0, 7.0, 5.0, 2.0, 3.0, 5.0, 3.0, 3.0, 2.0, 2.0], "bins": [-0.0199432373046875, -0.01944553852081299, -0.018947839736938477, -0.018450140953063965, -0.017952442169189453, -0.01745474338531494, -0.01695704460144043, -0.016459345817565918, -0.015961647033691406, -0.015463948249816895, -0.014966249465942383, -0.014468550682067871, -0.01397085189819336, -0.013473153114318848, -0.012975454330444336, -0.012477755546569824, -0.011980056762695312, -0.0114823579788208, -0.010984659194946289, -0.010486960411071777, -0.009989261627197266, -0.009491562843322754, -0.008993864059448242, -0.00849616527557373, -0.007998466491699219, -0.007500767707824707, -0.007003068923950195, -0.006505370140075684, -0.006007671356201172, -0.00550997257232666, -0.0050122737884521484, -0.004514575004577637, -0.004016876220703125, -0.0035191774368286133, -0.0030214786529541016, -0.00252377986907959, -0.002026081085205078, -0.0015283823013305664, -0.0010306835174560547, -0.000532984733581543, -3.528594970703125e-05, 0.00046241283416748047, 0.0009601116180419922, 0.001457810401916504, 0.0019555091857910156, 0.0024532079696655273, 0.002950906753540039, 0.0034486055374145508, 0.0039463043212890625, 0.004444003105163574, 0.004941701889038086, 0.005439400672912598, 0.005937099456787109, 0.006434798240661621, 0.006932497024536133, 0.0074301958084106445, 0.007927894592285156, 0.008425593376159668, 0.00892329216003418, 0.009420990943908691, 0.009918689727783203, 0.010416388511657715, 0.010914087295532227, 0.011411786079406738, 0.01190948486328125]}, "gradients/decoder.transformer.h.18.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 5.0, 5.0, 5.0, 13.0, 16.0, 26.0, 41.0, 52.0, 100.0, 149.0, 269.0, 450.0, 809.0, 1394.0, 2601.0, 4823.0, 9226.0, 18604.0, 38974.0, 91056.0, 339535.0, 367589.0, 93835.0, 39578.0, 18928.0, 9519.0, 5013.0, 2528.0, 1499.0, 748.0, 461.0, 261.0, 168.0, 97.0, 65.0, 31.0, 32.0, 31.0, 12.0, 8.0, 3.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0286102294921875, -0.027837276458740234, -0.02706432342529297, -0.026291370391845703, -0.025518417358398438, -0.024745464324951172, -0.023972511291503906, -0.02319955825805664, -0.022426605224609375, -0.02165365219116211, -0.020880699157714844, -0.020107746124267578, -0.019334793090820312, -0.018561840057373047, -0.01778888702392578, -0.017015933990478516, -0.01624298095703125, -0.015470027923583984, -0.014697074890136719, -0.013924121856689453, -0.013151168823242188, -0.012378215789794922, -0.011605262756347656, -0.01083230972290039, -0.010059356689453125, -0.00928640365600586, -0.008513450622558594, -0.007740497589111328, -0.0069675445556640625, -0.006194591522216797, -0.005421638488769531, -0.004648685455322266, -0.003875732421875, -0.0031027793884277344, -0.0023298263549804688, -0.0015568733215332031, -0.0007839202880859375, -1.0967254638671875e-05, 0.0007619857788085938, 0.0015349388122558594, 0.002307891845703125, 0.0030808448791503906, 0.0038537979125976562, 0.004626750946044922, 0.0053997039794921875, 0.006172657012939453, 0.006945610046386719, 0.007718563079833984, 0.00849151611328125, 0.009264469146728516, 0.010037422180175781, 0.010810375213623047, 0.011583328247070312, 0.012356281280517578, 0.013129234313964844, 0.01390218734741211, 0.014675140380859375, 0.01544809341430664, 0.016221046447753906, 0.016993999481201172, 0.017766952514648438, 0.018539905548095703, 0.01931285858154297, 0.020085811614990234, 0.0208587646484375]}, "gradients/decoder.transformer.h.18.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 2.0, 5.0, 3.0, 4.0, 4.0, 6.0, 5.0, 9.0, 9.0, 13.0, 21.0, 18.0, 20.0, 26.0, 22.0, 38.0, 39.0, 47.0, 38.0, 60.0, 91.0, 128.0, 258.0, 1466.0, 179.0, 113.0, 80.0, 53.0, 45.0, 46.0, 37.0, 26.0, 17.0, 25.0, 22.0, 20.0, 11.0, 10.0, 10.0, 9.0, 5.0, 3.0, 4.0, 3.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0], "bins": [-0.055450439453125, -0.053832054138183594, -0.05221366882324219, -0.05059528350830078, -0.048976898193359375, -0.04735851287841797, -0.04574012756347656, -0.044121742248535156, -0.04250335693359375, -0.040884971618652344, -0.03926658630371094, -0.03764820098876953, -0.036029815673828125, -0.03441143035888672, -0.03279304504394531, -0.031174659729003906, -0.0295562744140625, -0.027937889099121094, -0.026319503784179688, -0.02470111846923828, -0.023082733154296875, -0.02146434783935547, -0.019845962524414062, -0.018227577209472656, -0.01660919189453125, -0.014990806579589844, -0.013372421264648438, -0.011754035949707031, -0.010135650634765625, -0.008517265319824219, -0.0068988800048828125, -0.005280494689941406, -0.003662109375, -0.0020437240600585938, -0.0004253387451171875, 0.0011930465698242188, 0.002811431884765625, 0.004429817199707031, 0.0060482025146484375, 0.007666587829589844, 0.00928497314453125, 0.010903358459472656, 0.012521743774414062, 0.014140129089355469, 0.015758514404296875, 0.01737689971923828, 0.018995285034179688, 0.020613670349121094, 0.0222320556640625, 0.023850440979003906, 0.025468826293945312, 0.02708721160888672, 0.028705596923828125, 0.03032398223876953, 0.03194236755371094, 0.033560752868652344, 0.03517913818359375, 0.036797523498535156, 0.03841590881347656, 0.04003429412841797, 0.041652679443359375, 0.04327106475830078, 0.04488945007324219, 0.046507835388183594, 0.048126220703125]}, "gradients/decoder.transformer.h.18.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 7.0, 5.0, 10.0, 10.0, 13.0, 15.0, 15.0, 25.0, 20.0, 33.0, 34.0, 64.0, 89.0, 173.0, 389.0, 1350.0, 6924.0, 65541.0, 2592023.0, 452087.0, 22280.0, 3146.0, 694.0, 284.0, 133.0, 73.0, 61.0, 55.0, 31.0, 21.0, 13.0, 13.0, 25.0, 9.0, 5.0, 8.0, 8.0, 2.0, 5.0, 6.0, 4.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0943603515625, -0.09119224548339844, -0.08802413940429688, -0.08485603332519531, -0.08168792724609375, -0.07851982116699219, -0.07535171508789062, -0.07218360900878906, -0.0690155029296875, -0.06584739685058594, -0.06267929077148438, -0.05951118469238281, -0.05634307861328125, -0.05317497253417969, -0.050006866455078125, -0.04683876037597656, -0.043670654296875, -0.04050254821777344, -0.037334442138671875, -0.03416633605957031, -0.03099822998046875, -0.027830123901367188, -0.024662017822265625, -0.021493911743164062, -0.0183258056640625, -0.015157699584960938, -0.011989593505859375, -0.008821487426757812, -0.00565338134765625, -0.0024852752685546875, 0.000682830810546875, 0.0038509368896484375, 0.00701904296875, 0.010187149047851562, 0.013355255126953125, 0.016523361206054688, 0.01969146728515625, 0.022859573364257812, 0.026027679443359375, 0.029195785522460938, 0.0323638916015625, 0.03553199768066406, 0.038700103759765625, 0.04186820983886719, 0.04503631591796875, 0.04820442199707031, 0.051372528076171875, 0.05454063415527344, 0.057708740234375, 0.06087684631347656, 0.06404495239257812, 0.06721305847167969, 0.07038116455078125, 0.07354927062988281, 0.07671737670898438, 0.07988548278808594, 0.0830535888671875, 0.08622169494628906, 0.08938980102539062, 0.09255790710449219, 0.09572601318359375, 0.09889411926269531, 0.10206222534179688, 0.10523033142089844, 0.1083984375]}, "gradients/decoder.transformer.h.18.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 47.0, 364.0, 488.0, 107.0, 9.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4040563404560089, -0.38049206137657166, -0.3569277822971344, -0.33336347341537476, -0.3097991943359375, -0.28623491525650024, -0.262670636177063, -0.23910635709762573, -0.21554207801818848, -0.19197779893875122, -0.16841351985931396, -0.14484922587871552, -0.12128494679927826, -0.097720667719841, -0.07415637373924255, -0.0505920946598053, -0.027027815580368042, -0.0034635327756404877, 0.020100750029087067, 0.04366503655910492, 0.06722931563854218, 0.09079359471797943, 0.11435788869857788, 0.13792216777801514, 0.1614864468574524, 0.18505072593688965, 0.2086150050163269, 0.23217929899692535, 0.2557435631752014, 0.27930784225463867, 0.3028721511363983, 0.32643643021583557, 0.3500007390975952, 0.37356501817703247, 0.3971292972564697, 0.420693576335907, 0.44425785541534424, 0.4678221344947815, 0.49138644337654114, 0.5149507522583008, 0.5385149717330933, 0.5620792508125305, 0.5856435298919678, 0.609207808971405, 0.6327720880508423, 0.6563363671302795, 0.6799006462097168, 0.7034649848937988, 0.7270292639732361, 0.7505935430526733, 0.7741578221321106, 0.7977221012115479, 0.8212863802909851, 0.8448506593704224, 0.8684149980545044, 0.8919792175292969, 0.9155435562133789, 0.9391078352928162, 0.9626721143722534, 0.9862363934516907, 1.009800672531128, 1.03336501121521, 1.0569292306900024, 1.0804935693740845, 1.104057788848877]}, "gradients/decoder.transformer.h.18.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 3.0, 5.0, 2.0, 4.0, 4.0, 6.0, 4.0, 8.0, 17.0, 12.0, 21.0, 19.0, 23.0, 33.0, 40.0, 44.0, 45.0, 38.0, 39.0, 56.0, 41.0, 51.0, 52.0, 41.0, 45.0, 36.0, 42.0, 29.0, 34.0, 33.0, 38.0, 28.0, 27.0, 18.0, 13.0, 8.0, 8.0, 11.0, 10.0, 5.0, 5.0, 3.0, 5.0, 0.0, 3.0, 1.0, 3.0, 0.0, 1.0, 1.0], "bins": [-0.21402990818023682, -0.20809388160705566, -0.2021578550338745, -0.19622182846069336, -0.1902858018875122, -0.18434977531433105, -0.1784137487411499, -0.17247772216796875, -0.1665416955947876, -0.16060566902160645, -0.1546696424484253, -0.14873361587524414, -0.142797589302063, -0.13686156272888184, -0.13092553615570068, -0.12498950213193893, -0.11905346810817719, -0.11311744153499603, -0.10718141496181488, -0.10124538838863373, -0.09530936181545258, -0.08937333524227142, -0.08343730121850967, -0.07750127464532852, -0.07156524807214737, -0.06562922149896622, -0.059693194925785065, -0.053757164627313614, -0.04782113805413246, -0.04188511148095131, -0.03594908118247986, -0.030013054609298706, -0.024077028036117554, -0.0181410014629364, -0.0122049730271101, -0.006268944591283798, -0.0003329180181026459, 0.0056031085550785065, 0.011539138853549957, 0.01747516542673111, 0.023411191999912262, 0.029347218573093414, 0.03528324514627457, 0.04121927544474602, 0.04715530201792717, 0.05309132859110832, 0.05902735888957977, 0.06496338546276093, 0.07089941203594208, 0.07683543860912323, 0.08277146518230438, 0.08870749175548553, 0.09464351832866669, 0.10057954490184784, 0.10651557892560959, 0.11245160549879074, 0.1183876320719719, 0.12432365864515305, 0.1302596926689148, 0.13619571924209595, 0.1421317458152771, 0.14806777238845825, 0.1540037989616394, 0.15993982553482056, 0.1658758521080017]}, "gradients/decoder.transformer.h.17.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 0.0, 1.0, 4.0, 2.0, 1.0, 8.0, 9.0, 6.0, 5.0, 13.0, 11.0, 16.0, 27.0, 29.0, 36.0, 29.0, 40.0, 45.0, 59.0, 39.0, 44.0, 67.0, 48.0, 49.0, 57.0, 53.0, 45.0, 33.0, 36.0, 41.0, 25.0, 27.0, 24.0, 13.0, 18.0, 17.0, 11.0, 5.0, 3.0, 3.0, 1.0, 4.0, 4.0, 4.0, 1.0, 2.0, 1.0], "bins": [-0.0201873779296875, -0.019674181938171387, -0.019160985946655273, -0.01864778995513916, -0.018134593963623047, -0.017621397972106934, -0.01710820198059082, -0.016595005989074707, -0.016081809997558594, -0.01556861400604248, -0.015055418014526367, -0.014542222023010254, -0.01402902603149414, -0.013515830039978027, -0.013002634048461914, -0.0124894380569458, -0.011976242065429688, -0.011463046073913574, -0.010949850082397461, -0.010436654090881348, -0.009923458099365234, -0.009410262107849121, -0.008897066116333008, -0.008383870124816895, -0.007870674133300781, -0.007357478141784668, -0.006844282150268555, -0.006331086158752441, -0.005817890167236328, -0.005304694175720215, -0.0047914981842041016, -0.004278302192687988, -0.003765106201171875, -0.0032519102096557617, -0.0027387142181396484, -0.002225518226623535, -0.0017123222351074219, -0.0011991262435913086, -0.0006859302520751953, -0.00017273426055908203, 0.00034046173095703125, 0.0008536577224731445, 0.0013668537139892578, 0.001880049705505371, 0.0023932456970214844, 0.0029064416885375977, 0.003419637680053711, 0.003932833671569824, 0.0044460296630859375, 0.004959225654602051, 0.005472421646118164, 0.005985617637634277, 0.006498813629150391, 0.007012009620666504, 0.007525205612182617, 0.00803840160369873, 0.008551597595214844, 0.009064793586730957, 0.00957798957824707, 0.010091185569763184, 0.010604381561279297, 0.01111757755279541, 0.011630773544311523, 0.012143969535827637, 0.01265716552734375]}, "gradients/decoder.transformer.h.17.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 3.0, 0.0, 2.0, 2.0, 2.0, 6.0, 7.0, 5.0, 12.0, 21.0, 26.0, 41.0, 51.0, 88.0, 89.0, 173.0, 258.0, 427.0, 704.0, 1255.0, 2122.0, 4143.0, 8212.0, 17299.0, 42024.0, 115638.0, 393457.0, 1774652.0, 1375859.0, 297992.0, 93300.0, 35573.0, 15180.0, 7073.0, 3612.0, 2051.0, 1143.0, 720.0, 372.0, 231.0, 166.0, 79.0, 69.0, 43.0, 40.0, 35.0, 14.0, 7.0, 13.0, 2.0, 4.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0255126953125, -0.02468705177307129, -0.023861408233642578, -0.023035764694213867, -0.022210121154785156, -0.021384477615356445, -0.020558834075927734, -0.019733190536499023, -0.018907546997070312, -0.0180819034576416, -0.01725625991821289, -0.01643061637878418, -0.015604972839355469, -0.014779329299926758, -0.013953685760498047, -0.013128042221069336, -0.012302398681640625, -0.011476755142211914, -0.010651111602783203, -0.009825468063354492, -0.008999824523925781, -0.00817418098449707, -0.007348537445068359, -0.0065228939056396484, -0.0056972503662109375, -0.0048716068267822266, -0.004045963287353516, -0.0032203197479248047, -0.0023946762084960938, -0.0015690326690673828, -0.0007433891296386719, 8.225440979003906e-05, 0.00090789794921875, 0.001733541488647461, 0.002559185028076172, 0.003384828567504883, 0.004210472106933594, 0.005036115646362305, 0.005861759185791016, 0.0066874027252197266, 0.0075130462646484375, 0.008338689804077148, 0.00916433334350586, 0.00998997688293457, 0.010815620422363281, 0.011641263961791992, 0.012466907501220703, 0.013292551040649414, 0.014118194580078125, 0.014943838119506836, 0.015769481658935547, 0.016595125198364258, 0.01742076873779297, 0.01824641227722168, 0.01907205581665039, 0.0198976993560791, 0.020723342895507812, 0.021548986434936523, 0.022374629974365234, 0.023200273513793945, 0.024025917053222656, 0.024851560592651367, 0.025677204132080078, 0.02650284767150879, 0.0273284912109375]}, "gradients/decoder.transformer.h.17.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 5.0, 7.0, 5.0, 12.0, 25.0, 24.0, 21.0, 42.0, 50.0, 59.0, 88.0, 125.0, 184.0, 268.0, 346.0, 444.0, 565.0, 469.0, 366.0, 256.0, 181.0, 149.0, 106.0, 70.0, 50.0, 36.0, 35.0, 20.0, 17.0, 13.0, 7.0, 5.0, 5.0, 4.0, 3.0, 2.0, 1.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.03961181640625, -0.03839445114135742, -0.037177085876464844, -0.035959720611572266, -0.03474235534667969, -0.03352499008178711, -0.03230762481689453, -0.031090259552001953, -0.029872894287109375, -0.028655529022216797, -0.02743816375732422, -0.02622079849243164, -0.025003433227539062, -0.023786067962646484, -0.022568702697753906, -0.021351337432861328, -0.02013397216796875, -0.018916606903076172, -0.017699241638183594, -0.016481876373291016, -0.015264511108398438, -0.01404714584350586, -0.012829780578613281, -0.011612415313720703, -0.010395050048828125, -0.009177684783935547, -0.007960319519042969, -0.006742954254150391, -0.0055255889892578125, -0.004308223724365234, -0.0030908584594726562, -0.0018734931945800781, -0.0006561279296875, 0.0005612373352050781, 0.0017786026000976562, 0.0029959678649902344, 0.0042133331298828125, 0.005430698394775391, 0.006648063659667969, 0.007865428924560547, 0.009082794189453125, 0.010300159454345703, 0.011517524719238281, 0.01273488998413086, 0.013952255249023438, 0.015169620513916016, 0.016386985778808594, 0.017604351043701172, 0.01882171630859375, 0.020039081573486328, 0.021256446838378906, 0.022473812103271484, 0.023691177368164062, 0.02490854263305664, 0.02612590789794922, 0.027343273162841797, 0.028560638427734375, 0.029778003692626953, 0.03099536895751953, 0.03221273422241211, 0.03343009948730469, 0.034647464752197266, 0.035864830017089844, 0.03708219528198242, 0.038299560546875]}, "gradients/decoder.transformer.h.17.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 4.0, 0.0, 8.0, 8.0, 7.0, 9.0, 20.0, 25.0, 32.0, 63.0, 67.0, 85.0, 156.0, 244.0, 343.0, 554.0, 1006.0, 1790.0, 3810.0, 9290.0, 27357.0, 97897.0, 443726.0, 2316619.0, 1023864.0, 192465.0, 48683.0, 14852.0, 5600.0, 2502.0, 1265.0, 691.0, 459.0, 252.0, 171.0, 112.0, 84.0, 48.0, 35.0, 19.0, 19.0, 11.0, 10.0, 7.0, 6.0, 4.0, 9.0, 1.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.054656982421875, -0.05293464660644531, -0.051212310791015625, -0.04948997497558594, -0.04776763916015625, -0.04604530334472656, -0.044322967529296875, -0.04260063171386719, -0.0408782958984375, -0.03915596008300781, -0.037433624267578125, -0.03571128845214844, -0.03398895263671875, -0.03226661682128906, -0.030544281005859375, -0.028821945190429688, -0.027099609375, -0.025377273559570312, -0.023654937744140625, -0.021932601928710938, -0.02021026611328125, -0.018487930297851562, -0.016765594482421875, -0.015043258666992188, -0.0133209228515625, -0.011598587036132812, -0.009876251220703125, -0.008153915405273438, -0.00643157958984375, -0.0047092437744140625, -0.002986907958984375, -0.0012645721435546875, 0.000457763671875, 0.0021800994873046875, 0.003902435302734375, 0.0056247711181640625, 0.00734710693359375, 0.009069442749023438, 0.010791778564453125, 0.012514114379882812, 0.0142364501953125, 0.015958786010742188, 0.017681121826171875, 0.019403457641601562, 0.02112579345703125, 0.022848129272460938, 0.024570465087890625, 0.026292800903320312, 0.02801513671875, 0.029737472534179688, 0.031459808349609375, 0.03318214416503906, 0.03490447998046875, 0.03662681579589844, 0.038349151611328125, 0.04007148742675781, 0.0417938232421875, 0.04351615905761719, 0.045238494873046875, 0.04696083068847656, 0.04868316650390625, 0.05040550231933594, 0.052127838134765625, 0.05385017395019531, 0.055572509765625]}, "gradients/decoder.transformer.h.17.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 20.0, 45.0, 129.0, 253.0, 259.0, 188.0, 86.0, 28.0, 6.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4738876223564148, -0.4544054865837097, -0.43492335081100464, -0.41544124484062195, -0.39595910906791687, -0.3764769732952118, -0.3569948673248291, -0.337512731552124, -0.31803059577941895, -0.29854846000671387, -0.2790663242340088, -0.2595842182636261, -0.24010208249092102, -0.22061994671821594, -0.20113782584667206, -0.18165570497512817, -0.1621735692024231, -0.14269143342971802, -0.12320931255817413, -0.10372718423604965, -0.08424505591392517, -0.06476292759180069, -0.04528079926967621, -0.025798678398132324, -0.006316542625427246, 0.013165585696697235, 0.032647714018821716, 0.0521298423409462, 0.07161197066307068, 0.09109409898519516, 0.11057622730731964, 0.13005834817886353, 0.14954054355621338, 0.16902267932891846, 0.18850480020046234, 0.20798692107200623, 0.2274690568447113, 0.24695119261741638, 0.2664332985877991, 0.28591543436050415, 0.30539757013320923, 0.3248797059059143, 0.3443618416786194, 0.3638439476490021, 0.38332608342170715, 0.40280821919441223, 0.4222903251647949, 0.4417724609375, 0.4612545967102051, 0.48073673248291016, 0.5002188682556152, 0.5197010040283203, 0.5391831398010254, 0.5586652159690857, 0.5781473517417908, 0.5976294875144958, 0.6171116232872009, 0.636593759059906, 0.6560758948326111, 0.6755580306053162, 0.6950401067733765, 0.7145222425460815, 0.7340043783187866, 0.7534865140914917, 0.7729686498641968]}, "gradients/decoder.transformer.h.17.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 3.0, 2.0, 1.0, 6.0, 4.0, 5.0, 6.0, 9.0, 10.0, 6.0, 14.0, 20.0, 19.0, 22.0, 14.0, 32.0, 26.0, 33.0, 36.0, 32.0, 34.0, 40.0, 43.0, 39.0, 37.0, 41.0, 47.0, 50.0, 32.0, 42.0, 42.0, 28.0, 23.0, 28.0, 25.0, 28.0, 23.0, 20.0, 15.0, 18.0, 9.0, 11.0, 9.0, 5.0, 3.0, 4.0, 5.0, 6.0, 2.0, 6.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.11455690860748291, -0.11042412370443344, -0.10629133880138397, -0.1021585613489151, -0.09802577644586563, -0.09389299154281616, -0.08976021409034729, -0.08562742918729782, -0.08149464428424835, -0.07736185938119888, -0.07322907447814941, -0.06909629702568054, -0.06496351212263107, -0.060830727219581604, -0.056697946041822433, -0.05256516486406326, -0.048432379961013794, -0.044299595057964325, -0.040166813880205154, -0.036034032702445984, -0.031901247799396515, -0.027768464758992195, -0.023635681718587875, -0.019502898678183556, -0.015370115637779236, -0.011237332597374916, -0.007104549556970596, -0.0029717665165662766, 0.0011610165238380432, 0.005293799564242363, 0.009426582604646683, 0.013559365645051003, 0.017692148685455322, 0.021824931725859642, 0.025957714766263962, 0.03009049780666828, 0.0342232808470726, 0.03835606575012207, 0.04248884692788124, 0.04662162810564041, 0.05075441300868988, 0.05488719791173935, 0.05901997908949852, 0.06315276026725769, 0.06728554517030716, 0.07141833007335663, 0.0755511075258255, 0.07968389242887497, 0.08381667733192444, 0.08794946223497391, 0.09208224713802338, 0.09621502459049225, 0.10034780949354172, 0.10448059439659119, 0.10861337184906006, 0.11274615675210953, 0.116878941655159, 0.12101172655820847, 0.12514451146125793, 0.1292772889137268, 0.13341006636619568, 0.13754285871982574, 0.14167563617229462, 0.14580842852592468, 0.14994120597839355]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 8.0, 5.0, 10.0, 11.0, 4.0, 9.0, 14.0, 7.0, 22.0, 32.0, 37.0, 26.0, 41.0, 38.0, 49.0, 39.0, 38.0, 55.0, 50.0, 50.0, 51.0, 46.0, 46.0, 33.0, 42.0, 40.0, 26.0, 22.0, 31.0, 24.0, 19.0, 19.0, 13.0, 14.0, 7.0, 5.0, 6.0, 1.0, 4.0, 4.0, 1.0, 1.0, 3.0, 4.0, 0.0, 1.0], "bins": [-0.018096923828125, -0.017607927322387695, -0.01711893081665039, -0.016629934310913086, -0.01614093780517578, -0.015651941299438477, -0.015162944793701172, -0.014673948287963867, -0.014184951782226562, -0.013695955276489258, -0.013206958770751953, -0.012717962265014648, -0.012228965759277344, -0.011739969253540039, -0.011250972747802734, -0.01076197624206543, -0.010272979736328125, -0.00978398323059082, -0.009294986724853516, -0.008805990219116211, -0.008316993713378906, -0.007827997207641602, -0.007339000701904297, -0.006850004196166992, -0.0063610076904296875, -0.005872011184692383, -0.005383014678955078, -0.0048940181732177734, -0.004405021667480469, -0.003916025161743164, -0.0034270286560058594, -0.0029380321502685547, -0.00244903564453125, -0.0019600391387939453, -0.0014710426330566406, -0.000982046127319336, -0.0004930496215820312, -4.0531158447265625e-06, 0.0004849433898925781, 0.0009739398956298828, 0.0014629364013671875, 0.0019519329071044922, 0.002440929412841797, 0.0029299259185791016, 0.0034189224243164062, 0.003907918930053711, 0.004396915435791016, 0.00488591194152832, 0.005374908447265625, 0.00586390495300293, 0.006352901458740234, 0.006841897964477539, 0.007330894470214844, 0.007819890975952148, 0.008308887481689453, 0.008797883987426758, 0.009286880493164062, 0.009775876998901367, 0.010264873504638672, 0.010753870010375977, 0.011242866516113281, 0.011731863021850586, 0.01222085952758789, 0.012709856033325195, 0.0131988525390625]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 2.0, 4.0, 7.0, 3.0, 13.0, 21.0, 37.0, 41.0, 51.0, 75.0, 88.0, 156.0, 248.0, 317.0, 502.0, 694.0, 1058.0, 1719.0, 2612.0, 4115.0, 6634.0, 11431.0, 19354.0, 35291.0, 66442.0, 136864.0, 384947.0, 188106.0, 84856.0, 43861.0, 23746.0, 13477.0, 7986.0, 4847.0, 3155.0, 1930.0, 1236.0, 833.0, 554.0, 411.0, 275.0, 165.0, 128.0, 77.0, 64.0, 37.0, 32.0, 17.0, 23.0, 11.0, 3.0, 4.0, 1.0, 1.0, 2.0, 0.0, 4.0], "bins": [-0.00017058849334716797, -0.00016552209854125977, -0.00016045570373535156, -0.00015538930892944336, -0.00015032291412353516, -0.00014525651931762695, -0.00014019012451171875, -0.00013512372970581055, -0.00013005733489990234, -0.00012499094009399414, -0.00011992454528808594, -0.00011485815048217773, -0.00010979175567626953, -0.00010472536087036133, -9.965896606445312e-05, -9.459257125854492e-05, -8.952617645263672e-05, -8.445978164672852e-05, -7.939338684082031e-05, -7.432699203491211e-05, -6.92605972290039e-05, -6.41942024230957e-05, -5.91278076171875e-05, -5.40614128112793e-05, -4.8995018005371094e-05, -4.392862319946289e-05, -3.886222839355469e-05, -3.3795833587646484e-05, -2.872943878173828e-05, -2.3663043975830078e-05, -1.8596649169921875e-05, -1.3530254364013672e-05, -8.463859558105469e-06, -3.3974647521972656e-06, 1.6689300537109375e-06, 6.735324859619141e-06, 1.1801719665527344e-05, 1.6868114471435547e-05, 2.193450927734375e-05, 2.7000904083251953e-05, 3.2067298889160156e-05, 3.713369369506836e-05, 4.220008850097656e-05, 4.7266483306884766e-05, 5.233287811279297e-05, 5.739927291870117e-05, 6.246566772460938e-05, 6.753206253051758e-05, 7.259845733642578e-05, 7.766485214233398e-05, 8.273124694824219e-05, 8.779764175415039e-05, 9.28640365600586e-05, 9.79304313659668e-05, 0.000102996826171875, 0.0001080632209777832, 0.0001131296157836914, 0.00011819601058959961, 0.0001232624053955078, 0.00012832880020141602, 0.00013339519500732422, 0.00013846158981323242, 0.00014352798461914062, 0.00014859437942504883, 0.00015366077423095703]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 1.0, 2.0, 2.0, 3.0, 8.0, 8.0, 9.0, 11.0, 11.0, 19.0, 13.0, 20.0, 9.0, 25.0, 22.0, 22.0, 17.0, 30.0, 23.0, 38.0, 36.0, 52.0, 41.0, 23.0, 25.0, 1071.0, 36.0, 36.0, 35.0, 36.0, 38.0, 29.0, 32.0, 35.0, 36.0, 22.0, 20.0, 23.0, 19.0, 16.0, 8.0, 10.0, 11.0, 12.0, 10.0, 6.0, 5.0, 2.0, 5.0, 4.0, 4.0, 3.0, 2.0, 3.0, 1.0], "bins": [-0.0167694091796875, -0.01628100872039795, -0.0157926082611084, -0.015304207801818848, -0.014815807342529297, -0.014327406883239746, -0.013839006423950195, -0.013350605964660645, -0.012862205505371094, -0.012373805046081543, -0.011885404586791992, -0.011397004127502441, -0.01090860366821289, -0.01042020320892334, -0.009931802749633789, -0.009443402290344238, -0.008955001831054688, -0.008466601371765137, -0.007978200912475586, -0.007489800453186035, -0.007001399993896484, -0.006512999534606934, -0.006024599075317383, -0.005536198616027832, -0.005047798156738281, -0.0045593976974487305, -0.00407099723815918, -0.003582596778869629, -0.003094196319580078, -0.0026057958602905273, -0.0021173954010009766, -0.0016289949417114258, -0.001140594482421875, -0.0006521940231323242, -0.00016379356384277344, 0.00032460689544677734, 0.0008130073547363281, 0.001301407814025879, 0.0017898082733154297, 0.0022782087326049805, 0.0027666091918945312, 0.003255009651184082, 0.003743410110473633, 0.004231810569763184, 0.004720211029052734, 0.005208611488342285, 0.005697011947631836, 0.006185412406921387, 0.0066738128662109375, 0.007162213325500488, 0.007650613784790039, 0.00813901424407959, 0.00862741470336914, 0.009115815162658691, 0.009604215621948242, 0.010092616081237793, 0.010581016540527344, 0.011069416999816895, 0.011557817459106445, 0.012046217918395996, 0.012534618377685547, 0.013023018836975098, 0.013511419296264648, 0.0139998197555542, 0.01448822021484375]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 4.0, 2.0, 5.0, 4.0, 4.0, 3.0, 3.0, 4.0, 7.0, 11.0, 11.0, 17.0, 3.0, 8.0, 14.0, 25.0, 21.0, 23.0, 29.0, 55.0, 41.0, 62.0, 59.0, 129.0, 165.0, 510.0, 1755.0, 9359.0, 2067141.0, 14040.0, 2344.0, 546.0, 211.0, 130.0, 96.0, 49.0, 45.0, 18.0, 25.0, 19.0, 24.0, 15.0, 15.0, 17.0, 19.0, 12.0, 11.0, 9.0, 9.0, 6.0, 3.0, 3.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.043081283569336e-05, -1.0077841579914093e-05, -9.724870324134827e-06, -9.37189906835556e-06, -9.018927812576294e-06, -8.665956556797028e-06, -8.312985301017761e-06, -7.960014045238495e-06, -7.6070427894592285e-06, -7.254071533679962e-06, -6.901100277900696e-06, -6.5481290221214294e-06, -6.195157766342163e-06, -5.842186510562897e-06, -5.48921525478363e-06, -5.136243999004364e-06, -4.783272743225098e-06, -4.430301487445831e-06, -4.077330231666565e-06, -3.7243589758872986e-06, -3.3713877201080322e-06, -3.018416464328766e-06, -2.6654452085494995e-06, -2.312473952770233e-06, -1.959502696990967e-06, -1.6065314412117004e-06, -1.253560185432434e-06, -9.005889296531677e-07, -5.476176738739014e-07, -1.94646418094635e-07, 1.5832483768463135e-07, 5.112960934638977e-07, 8.642673492431641e-07, 1.2172386050224304e-06, 1.5702098608016968e-06, 1.923181116580963e-06, 2.2761523723602295e-06, 2.629123628139496e-06, 2.982094883918762e-06, 3.3350661396980286e-06, 3.688037395477295e-06, 4.041008651256561e-06, 4.393979907035828e-06, 4.746951162815094e-06, 5.09992241859436e-06, 5.452893674373627e-06, 5.805864930152893e-06, 6.1588361859321594e-06, 6.511807441711426e-06, 6.864778697490692e-06, 7.2177499532699585e-06, 7.570721209049225e-06, 7.923692464828491e-06, 8.276663720607758e-06, 8.629634976387024e-06, 8.98260623216629e-06, 9.335577487945557e-06, 9.688548743724823e-06, 1.004151999950409e-05, 1.0394491255283356e-05, 1.0747462511062622e-05, 1.1100433766841888e-05, 1.1453405022621155e-05, 1.1806376278400421e-05, 1.2159347534179688e-05]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 8.0, 5.0, 10.0, 11.0, 4.0, 9.0, 14.0, 7.0, 22.0, 32.0, 37.0, 26.0, 41.0, 38.0, 49.0, 39.0, 38.0, 55.0, 50.0, 50.0, 51.0, 46.0, 46.0, 33.0, 42.0, 40.0, 26.0, 22.0, 31.0, 24.0, 19.0, 19.0, 13.0, 14.0, 7.0, 5.0, 6.0, 1.0, 4.0, 4.0, 1.0, 1.0, 3.0, 4.0, 0.0, 1.0], "bins": [-0.018096923828125, -0.017607927322387695, -0.01711893081665039, -0.016629934310913086, -0.01614093780517578, -0.015651941299438477, -0.015162944793701172, -0.014673948287963867, -0.014184951782226562, -0.013695955276489258, -0.013206958770751953, -0.012717962265014648, -0.012228965759277344, -0.011739969253540039, -0.011250972747802734, -0.01076197624206543, -0.010272979736328125, -0.00978398323059082, -0.009294986724853516, -0.008805990219116211, -0.008316993713378906, -0.007827997207641602, -0.007339000701904297, -0.006850004196166992, -0.0063610076904296875, -0.005872011184692383, -0.005383014678955078, -0.0048940181732177734, -0.004405021667480469, -0.003916025161743164, -0.0034270286560058594, -0.0029380321502685547, -0.00244903564453125, -0.0019600391387939453, -0.0014710426330566406, -0.000982046127319336, -0.0004930496215820312, -4.0531158447265625e-06, 0.0004849433898925781, 0.0009739398956298828, 0.0014629364013671875, 0.0019519329071044922, 0.002440929412841797, 0.0029299259185791016, 0.0034189224243164062, 0.003907918930053711, 0.004396915435791016, 0.00488591194152832, 0.005374908447265625, 0.00586390495300293, 0.006352901458740234, 0.006841897964477539, 0.007330894470214844, 0.007819890975952148, 0.008308887481689453, 0.008797883987426758, 0.009286880493164062, 0.009775876998901367, 0.010264873504638672, 0.010753870010375977, 0.011242866516113281, 0.011731863021850586, 0.01222085952758789, 0.012709856033325195, 0.0131988525390625]}, "gradients/decoder.transformer.h.17.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 6.0, 5.0, 5.0, 5.0, 16.0, 18.0, 24.0, 26.0, 46.0, 51.0, 75.0, 110.0, 152.0, 200.0, 317.0, 429.0, 614.0, 1007.0, 1420.0, 2330.0, 3748.0, 6431.0, 12397.0, 24570.0, 57439.0, 211174.0, 546488.0, 102286.0, 37223.0, 17266.0, 9091.0, 4989.0, 2830.0, 1854.0, 1282.0, 775.0, 590.0, 425.0, 254.0, 183.0, 115.0, 96.0, 55.0, 47.0, 32.0, 12.0, 20.0, 11.0, 8.0, 10.0, 3.0, 2.0, 3.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.0245208740234375, -0.02378368377685547, -0.023046493530273438, -0.022309303283691406, -0.021572113037109375, -0.020834922790527344, -0.020097732543945312, -0.01936054229736328, -0.01862335205078125, -0.01788616180419922, -0.017148971557617188, -0.016411781311035156, -0.015674591064453125, -0.014937400817871094, -0.014200210571289062, -0.013463020324707031, -0.012725830078125, -0.011988639831542969, -0.011251449584960938, -0.010514259338378906, -0.009777069091796875, -0.009039878845214844, -0.008302688598632812, -0.007565498352050781, -0.00682830810546875, -0.006091117858886719, -0.0053539276123046875, -0.004616737365722656, -0.003879547119140625, -0.0031423568725585938, -0.0024051666259765625, -0.0016679763793945312, -0.0009307861328125, -0.00019359588623046875, 0.0005435943603515625, 0.0012807846069335938, 0.002017974853515625, 0.0027551651000976562, 0.0034923553466796875, 0.004229545593261719, 0.00496673583984375, 0.005703926086425781, 0.0064411163330078125, 0.007178306579589844, 0.007915496826171875, 0.008652687072753906, 0.009389877319335938, 0.010127067565917969, 0.0108642578125, 0.011601448059082031, 0.012338638305664062, 0.013075828552246094, 0.013813018798828125, 0.014550209045410156, 0.015287399291992188, 0.01602458953857422, 0.01676177978515625, 0.01749897003173828, 0.018236160278320312, 0.018973350524902344, 0.019710540771484375, 0.020447731018066406, 0.021184921264648438, 0.02192211151123047, 0.0226593017578125]}, "gradients/decoder.transformer.h.17.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 9.0, 9.0, 6.0, 6.0, 10.0, 16.0, 15.0, 12.0, 21.0, 22.0, 18.0, 30.0, 32.0, 34.0, 37.0, 51.0, 56.0, 77.0, 130.0, 1440.0, 419.0, 123.0, 62.0, 65.0, 56.0, 38.0, 34.0, 35.0, 33.0, 35.0, 25.0, 19.0, 15.0, 14.0, 15.0, 4.0, 6.0, 6.0, 4.0, 5.0, 6.0, 5.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.051422119140625, -0.04976224899291992, -0.048102378845214844, -0.046442508697509766, -0.04478263854980469, -0.04312276840209961, -0.04146289825439453, -0.03980302810668945, -0.038143157958984375, -0.0364832878112793, -0.03482341766357422, -0.03316354751586914, -0.03150367736816406, -0.029843807220458984, -0.028183937072753906, -0.026524066925048828, -0.02486419677734375, -0.023204326629638672, -0.021544456481933594, -0.019884586334228516, -0.018224716186523438, -0.01656484603881836, -0.014904975891113281, -0.013245105743408203, -0.011585235595703125, -0.009925365447998047, -0.008265495300292969, -0.006605625152587891, -0.0049457550048828125, -0.0032858848571777344, -0.0016260147094726562, 3.3855438232421875e-05, 0.0016937255859375, 0.003353595733642578, 0.005013465881347656, 0.006673336029052734, 0.008333206176757812, 0.00999307632446289, 0.011652946472167969, 0.013312816619873047, 0.014972686767578125, 0.016632556915283203, 0.01829242706298828, 0.01995229721069336, 0.021612167358398438, 0.023272037506103516, 0.024931907653808594, 0.026591777801513672, 0.02825164794921875, 0.029911518096923828, 0.031571388244628906, 0.033231258392333984, 0.03489112854003906, 0.03655099868774414, 0.03821086883544922, 0.0398707389831543, 0.041530609130859375, 0.04319047927856445, 0.04485034942626953, 0.04651021957397461, 0.04817008972167969, 0.049829959869384766, 0.051489830017089844, 0.05314970016479492, 0.0548095703125]}, "gradients/decoder.transformer.h.17.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 4.0, 4.0, 7.0, 2.0, 4.0, 8.0, 7.0, 15.0, 12.0, 14.0, 17.0, 39.0, 57.0, 58.0, 67.0, 85.0, 133.0, 353.0, 799.0, 3137.0, 18711.0, 309043.0, 2744326.0, 59279.0, 6961.0, 1429.0, 458.0, 217.0, 130.0, 89.0, 59.0, 37.0, 27.0, 27.0, 22.0, 13.0, 14.0, 9.0, 13.0, 8.0, 3.0, 6.0, 6.0, 4.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.1024169921875, -0.09942626953125, -0.096435546875, -0.09344482421875, -0.0904541015625, -0.08746337890625, -0.08447265625, -0.08148193359375, -0.0784912109375, -0.07550048828125, -0.072509765625, -0.06951904296875, -0.0665283203125, -0.06353759765625, -0.060546875, -0.05755615234375, -0.0545654296875, -0.05157470703125, -0.048583984375, -0.04559326171875, -0.0426025390625, -0.03961181640625, -0.03662109375, -0.03363037109375, -0.0306396484375, -0.02764892578125, -0.024658203125, -0.02166748046875, -0.0186767578125, -0.01568603515625, -0.0126953125, -0.00970458984375, -0.0067138671875, -0.00372314453125, -0.000732421875, 0.00225830078125, 0.0052490234375, 0.00823974609375, 0.01123046875, 0.01422119140625, 0.0172119140625, 0.02020263671875, 0.023193359375, 0.02618408203125, 0.0291748046875, 0.03216552734375, 0.03515625, 0.03814697265625, 0.0411376953125, 0.04412841796875, 0.047119140625, 0.05010986328125, 0.0531005859375, 0.05609130859375, 0.05908203125, 0.06207275390625, 0.0650634765625, 0.06805419921875, 0.071044921875, 0.07403564453125, 0.0770263671875, 0.08001708984375, 0.0830078125, 0.08599853515625, 0.0889892578125]}, "gradients/decoder.transformer.h.17.ln_1.weight": {"_type": "histogram", "values": [3.0, 0.0, 4.0, 76.0, 488.0, 412.0, 38.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11599922925233841, -0.09238886833190918, -0.06877851486206055, -0.04516815394163132, -0.021557793021202087, 0.0020525678992271423, 0.025662921369075775, 0.0492732897400856, 0.07288364320993423, 0.09649400413036346, 0.1201043576002121, 0.14371472597122192, 0.16732507944107056, 0.1909354329109192, 0.21454578638076782, 0.23815616965293884, 0.2617665231227875, 0.2853768765926361, 0.30898723006248474, 0.33259761333465576, 0.3562079668045044, 0.379818320274353, 0.40342867374420166, 0.4270390272140503, 0.4506493806838989, 0.47425973415374756, 0.4978700876235962, 0.5214804410934448, 0.5450907945632935, 0.5687011480331421, 0.5923115015029907, 0.6159219145774841, 0.6395322680473328, 0.6631426215171814, 0.68675297498703, 0.7103633284568787, 0.7339736819267273, 0.7575840950012207, 0.7811944484710693, 0.804804801940918, 0.8284151554107666, 0.8520255088806152, 0.8756358623504639, 0.8992462158203125, 0.9228565692901611, 0.9464669227600098, 0.9700772762298584, 0.9936876893043518, 1.0172979831695557, 1.0409083366394043, 1.064518690109253, 1.0881290435791016, 1.1117393970489502, 1.1353497505187988, 1.1589601039886475, 1.182570457458496, 1.2061809301376343, 1.229791283607483, 1.2534016370773315, 1.2770119905471802, 1.3006223440170288, 1.3242326974868774, 1.347843050956726, 1.3714534044265747, 1.3950637578964233]}, "gradients/decoder.transformer.h.17.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0, 2.0, 4.0, 3.0, 4.0, 2.0, 12.0, 14.0, 13.0, 12.0, 14.0, 20.0, 26.0, 30.0, 23.0, 44.0, 38.0, 37.0, 43.0, 52.0, 34.0, 51.0, 45.0, 51.0, 52.0, 45.0, 44.0, 30.0, 35.0, 29.0, 31.0, 27.0, 27.0, 22.0, 29.0, 15.0, 11.0, 11.0, 7.0, 4.0, 4.0, 3.0, 1.0, 4.0, 0.0, 3.0, 5.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.17819750308990479, -0.17276035249233246, -0.16732320189476013, -0.1618860512971878, -0.15644890069961548, -0.15101176500320435, -0.14557461440563202, -0.1401374638080597, -0.13470031321048737, -0.12926316261291504, -0.12382601201534271, -0.11838886886835098, -0.11295171827077866, -0.10751456767320633, -0.1020774245262146, -0.09664027392864227, -0.09120312333106995, -0.08576597273349762, -0.08032882213592529, -0.07489167898893356, -0.06945452839136124, -0.06401737779378891, -0.05858023092150688, -0.053143084049224854, -0.04770593345165253, -0.0422687828540802, -0.03683163598179817, -0.031394489109516144, -0.025957338511943817, -0.02052018977701664, -0.015083041042089462, -0.009645894169807434, -0.004208743572235107, 0.00122840516269207, 0.0066655538976192474, 0.012102702632546425, 0.017539851367473602, 0.02297700010240078, 0.028414148837327957, 0.033851295709609985, 0.03928844630718231, 0.04472559690475464, 0.05016274377703667, 0.055599890649318695, 0.06103704124689102, 0.06647419184446335, 0.07191133499145508, 0.0773484855890274, 0.08278563618659973, 0.08822278678417206, 0.09365993738174438, 0.09909708052873611, 0.10453423112630844, 0.10997138172388077, 0.1154085248708725, 0.12084567546844482, 0.12628282606601715, 0.13171997666358948, 0.1371571272611618, 0.14259427785873413, 0.14803141355514526, 0.1534685641527176, 0.15890571475028992, 0.16434286534786224, 0.16978001594543457]}, "gradients/decoder.transformer.h.16.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 3.0, 3.0, 9.0, 7.0, 8.0, 4.0, 11.0, 12.0, 15.0, 11.0, 25.0, 27.0, 32.0, 34.0, 34.0, 40.0, 36.0, 39.0, 47.0, 54.0, 45.0, 46.0, 49.0, 56.0, 39.0, 47.0, 34.0, 26.0, 32.0, 32.0, 23.0, 24.0, 19.0, 17.0, 19.0, 14.0, 8.0, 6.0, 6.0, 1.0, 5.0, 1.0, 1.0, 1.0, 5.0, 1.0, 2.0, 1.0, 1.0], "bins": [-0.0176849365234375, -0.01719367504119873, -0.01670241355895996, -0.01621115207672119, -0.015719890594482422, -0.015228629112243652, -0.014737367630004883, -0.014246106147766113, -0.013754844665527344, -0.013263583183288574, -0.012772321701049805, -0.012281060218811035, -0.011789798736572266, -0.011298537254333496, -0.010807275772094727, -0.010316014289855957, -0.009824752807617188, -0.009333491325378418, -0.008842229843139648, -0.008350968360900879, -0.00785970687866211, -0.00736844539642334, -0.00687718391418457, -0.006385922431945801, -0.005894660949707031, -0.005403399467468262, -0.004912137985229492, -0.004420876502990723, -0.003929615020751953, -0.0034383535385131836, -0.002947092056274414, -0.0024558305740356445, -0.001964569091796875, -0.0014733076095581055, -0.000982046127319336, -0.0004907846450805664, 4.76837158203125e-07, 0.0004917383193969727, 0.0009829998016357422, 0.0014742612838745117, 0.0019655227661132812, 0.0024567842483520508, 0.0029480457305908203, 0.00343930721282959, 0.003930568695068359, 0.004421830177307129, 0.0049130916595458984, 0.005404353141784668, 0.0058956146240234375, 0.006386876106262207, 0.0068781375885009766, 0.007369399070739746, 0.007860660552978516, 0.008351922035217285, 0.008843183517456055, 0.009334444999694824, 0.009825706481933594, 0.010316967964172363, 0.010808229446411133, 0.011299490928649902, 0.011790752410888672, 0.012282013893127441, 0.012773275375366211, 0.01326453685760498, 0.01375579833984375]}, "gradients/decoder.transformer.h.16.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 6.0, 8.0, 12.0, 13.0, 26.0, 28.0, 71.0, 117.0, 268.0, 664.0, 1790.0, 6115.0, 27824.0, 215464.0, 2992028.0, 861768.0, 70466.0, 12477.0, 3299.0, 1043.0, 377.0, 185.0, 88.0, 55.0, 28.0, 28.0, 11.0, 12.0, 7.0, 4.0, 1.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.055694580078125, -0.05388307571411133, -0.052071571350097656, -0.050260066986083984, -0.04844856262207031, -0.04663705825805664, -0.04482555389404297, -0.0430140495300293, -0.041202545166015625, -0.03939104080200195, -0.03757953643798828, -0.03576803207397461, -0.03395652770996094, -0.032145023345947266, -0.030333518981933594, -0.028522014617919922, -0.02671051025390625, -0.024899005889892578, -0.023087501525878906, -0.021275997161865234, -0.019464492797851562, -0.01765298843383789, -0.01584148406982422, -0.014029979705810547, -0.012218475341796875, -0.010406970977783203, -0.008595466613769531, -0.006783962249755859, -0.0049724578857421875, -0.0031609535217285156, -0.0013494491577148438, 0.0004620552062988281, 0.0022735595703125, 0.004085063934326172, 0.005896568298339844, 0.007708072662353516, 0.009519577026367188, 0.01133108139038086, 0.013142585754394531, 0.014954090118408203, 0.016765594482421875, 0.018577098846435547, 0.02038860321044922, 0.02220010757446289, 0.024011611938476562, 0.025823116302490234, 0.027634620666503906, 0.029446125030517578, 0.03125762939453125, 0.03306913375854492, 0.034880638122558594, 0.036692142486572266, 0.03850364685058594, 0.04031515121459961, 0.04212665557861328, 0.04393815994262695, 0.045749664306640625, 0.0475611686706543, 0.04937267303466797, 0.05118417739868164, 0.05299568176269531, 0.054807186126708984, 0.056618690490722656, 0.05843019485473633, 0.06024169921875]}, "gradients/decoder.transformer.h.16.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 0.0, 8.0, 4.0, 9.0, 16.0, 15.0, 31.0, 49.0, 68.0, 127.0, 201.0, 303.0, 511.0, 813.0, 759.0, 452.0, 248.0, 150.0, 108.0, 69.0, 60.0, 24.0, 21.0, 14.0, 7.0, 7.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0601806640625, -0.058345794677734375, -0.05651092529296875, -0.054676055908203125, -0.0528411865234375, -0.051006317138671875, -0.04917144775390625, -0.047336578369140625, -0.045501708984375, -0.043666839599609375, -0.04183197021484375, -0.039997100830078125, -0.0381622314453125, -0.036327362060546875, -0.03449249267578125, -0.032657623291015625, -0.03082275390625, -0.028987884521484375, -0.02715301513671875, -0.025318145751953125, -0.0234832763671875, -0.021648406982421875, -0.01981353759765625, -0.017978668212890625, -0.016143798828125, -0.014308929443359375, -0.01247406005859375, -0.010639190673828125, -0.0088043212890625, -0.006969451904296875, -0.00513458251953125, -0.003299713134765625, -0.00146484375, 0.000370025634765625, 0.00220489501953125, 0.004039764404296875, 0.0058746337890625, 0.007709503173828125, 0.00954437255859375, 0.011379241943359375, 0.013214111328125, 0.015048980712890625, 0.01688385009765625, 0.018718719482421875, 0.0205535888671875, 0.022388458251953125, 0.02422332763671875, 0.026058197021484375, 0.02789306640625, 0.029727935791015625, 0.03156280517578125, 0.033397674560546875, 0.0352325439453125, 0.037067413330078125, 0.03890228271484375, 0.040737152099609375, 0.042572021484375, 0.044406890869140625, 0.04624176025390625, 0.048076629638671875, 0.0499114990234375, 0.051746368408203125, 0.05358123779296875, 0.055416107177734375, 0.0572509765625]}, "gradients/decoder.transformer.h.16.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 8.0, 7.0, 13.0, 21.0, 30.0, 49.0, 71.0, 118.0, 178.0, 319.0, 798.0, 2562.0, 19858.0, 519209.0, 3519473.0, 121005.0, 7964.0, 1543.0, 483.0, 222.0, 130.0, 62.0, 65.0, 40.0, 26.0, 13.0, 13.0, 4.0, 3.0, 5.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1427001953125, -0.13828277587890625, -0.1338653564453125, -0.12944793701171875, -0.125030517578125, -0.12061309814453125, -0.1161956787109375, -0.11177825927734375, -0.10736083984375, -0.10294342041015625, -0.0985260009765625, -0.09410858154296875, -0.089691162109375, -0.08527374267578125, -0.0808563232421875, -0.07643890380859375, -0.072021484375, -0.06760406494140625, -0.0631866455078125, -0.05876922607421875, -0.054351806640625, -0.04993438720703125, -0.0455169677734375, -0.04109954833984375, -0.03668212890625, -0.03226470947265625, -0.0278472900390625, -0.02342987060546875, -0.019012451171875, -0.01459503173828125, -0.0101776123046875, -0.00576019287109375, -0.0013427734375, 0.00307464599609375, 0.0074920654296875, 0.01190948486328125, 0.016326904296875, 0.02074432373046875, 0.0251617431640625, 0.02957916259765625, 0.03399658203125, 0.03841400146484375, 0.0428314208984375, 0.04724884033203125, 0.051666259765625, 0.05608367919921875, 0.0605010986328125, 0.06491851806640625, 0.0693359375, 0.07375335693359375, 0.0781707763671875, 0.08258819580078125, 0.087005615234375, 0.09142303466796875, 0.0958404541015625, 0.10025787353515625, 0.10467529296875, 0.10909271240234375, 0.1135101318359375, 0.11792755126953125, 0.122344970703125, 0.12676239013671875, 0.1311798095703125, 0.13559722900390625, 0.1400146484375]}, "gradients/decoder.transformer.h.16.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 3.0, 10.0, 14.0, 21.0, 22.0, 42.0, 46.0, 76.0, 95.0, 98.0, 100.0, 121.0, 85.0, 72.0, 60.0, 52.0, 33.0, 25.0, 16.0, 12.0, 4.0, 4.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15090152621269226, -0.14333702623844147, -0.13577254116535187, -0.12820804119110107, -0.12064354121685028, -0.11307904869318008, -0.10551455616950989, -0.0979500561952591, -0.0903855636715889, -0.0828210711479187, -0.07525657117366791, -0.06769207864999771, -0.060127582401037216, -0.05256308615207672, -0.044998593628406525, -0.03743409737944603, -0.029869601130485535, -0.02230510488152504, -0.014740610495209694, -0.007176116108894348, 0.00038838014006614685, 0.007952876389026642, 0.015517368912696838, 0.023081865161657333, 0.03064636141061783, 0.03821085765957832, 0.04577535390853882, 0.053339846432209015, 0.06090434268116951, 0.06846883893013, 0.0760333314538002, 0.0835978239774704, 0.09116232395172119, 0.09872681647539139, 0.10629131644964218, 0.11385580897331238, 0.12142030894756317, 0.12898480892181396, 0.13654929399490356, 0.14411379396915436, 0.15167829394340515, 0.15924279391765594, 0.16680727899074554, 0.17437177896499634, 0.18193627893924713, 0.18950077891349792, 0.19706526398658752, 0.20462976396083832, 0.21219424903392792, 0.2197587490081787, 0.2273232340812683, 0.2348877340555191, 0.2424522340297699, 0.2500167191028595, 0.2575812339782715, 0.2651457190513611, 0.2727102041244507, 0.2802746891975403, 0.28783920407295227, 0.29540368914604187, 0.30296817421913147, 0.31053268909454346, 0.31809717416763306, 0.32566165924072266, 0.33322617411613464]}, "gradients/decoder.transformer.h.16.ln_2.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 1.0, 3.0, 2.0, 3.0, 5.0, 4.0, 4.0, 4.0, 4.0, 7.0, 8.0, 14.0, 16.0, 16.0, 11.0, 25.0, 26.0, 23.0, 21.0, 26.0, 40.0, 34.0, 31.0, 34.0, 49.0, 38.0, 34.0, 46.0, 28.0, 31.0, 31.0, 37.0, 32.0, 37.0, 46.0, 37.0, 29.0, 17.0, 22.0, 16.0, 12.0, 15.0, 18.0, 9.0, 14.0, 11.0, 6.0, 11.0, 4.0, 5.0, 6.0, 2.0, 2.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.11519455909729004, -0.11145807802677155, -0.10772159695625305, -0.10398511588573456, -0.10024863481521606, -0.09651215374469757, -0.09277567267417908, -0.08903919160366058, -0.08530271053314209, -0.0815662294626236, -0.0778297483921051, -0.07409326732158661, -0.07035678625106812, -0.06662030518054962, -0.06288382411003113, -0.059147343039512634, -0.05541086196899414, -0.05167438089847565, -0.04793789982795715, -0.04420141875743866, -0.040464937686920166, -0.03672845661640167, -0.03299197554588318, -0.029255494475364685, -0.02551901340484619, -0.021782532334327698, -0.018046051263809204, -0.01430957019329071, -0.010573089122772217, -0.006836608052253723, -0.0031001269817352295, 0.0006363540887832642, 0.004372835159301758, 0.008109316229820251, 0.011845797300338745, 0.015582278370857239, 0.019318759441375732, 0.023055240511894226, 0.02679172158241272, 0.030528202652931213, 0.03426468372344971, 0.0380011647939682, 0.041737645864486694, 0.04547412693500519, 0.04921060800552368, 0.052947089076042175, 0.05668357014656067, 0.06042005121707916, 0.06415653228759766, 0.06789301335811615, 0.07162949442863464, 0.07536597549915314, 0.07910245656967163, 0.08283893764019012, 0.08657541871070862, 0.09031189978122711, 0.0940483808517456, 0.0977848619222641, 0.10152134299278259, 0.10525782406330109, 0.10899430513381958, 0.11273078620433807, 0.11646726727485657, 0.12020374834537506, 0.12394022941589355]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 0.0, 1.0, 2.0, 3.0, 3.0, 11.0, 7.0, 5.0, 8.0, 6.0, 14.0, 11.0, 18.0, 30.0, 26.0, 28.0, 34.0, 34.0, 45.0, 34.0, 49.0, 47.0, 43.0, 41.0, 52.0, 58.0, 45.0, 46.0, 42.0, 29.0, 29.0, 29.0, 38.0, 23.0, 17.0, 23.0, 22.0, 16.0, 8.0, 9.0, 6.0, 4.0, 4.0, 2.0, 0.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0171966552734375, -0.01668846607208252, -0.01618027687072754, -0.01567208766937256, -0.015163898468017578, -0.014655709266662598, -0.014147520065307617, -0.013639330863952637, -0.013131141662597656, -0.012622952461242676, -0.012114763259887695, -0.011606574058532715, -0.011098384857177734, -0.010590195655822754, -0.010082006454467773, -0.009573817253112793, -0.009065628051757812, -0.008557438850402832, -0.008049249649047852, -0.007541060447692871, -0.007032871246337891, -0.00652468204498291, -0.00601649284362793, -0.005508303642272949, -0.005000114440917969, -0.004491925239562988, -0.003983736038208008, -0.0034755468368530273, -0.002967357635498047, -0.0024591684341430664, -0.001950979232788086, -0.0014427900314331055, -0.000934600830078125, -0.00042641162872314453, 8.177757263183594e-05, 0.0005899667739868164, 0.0010981559753417969, 0.0016063451766967773, 0.002114534378051758, 0.0026227235794067383, 0.0031309127807617188, 0.0036391019821166992, 0.00414729118347168, 0.00465548038482666, 0.005163669586181641, 0.005671858787536621, 0.0061800479888916016, 0.006688237190246582, 0.0071964263916015625, 0.007704615592956543, 0.008212804794311523, 0.008720993995666504, 0.009229183197021484, 0.009737372398376465, 0.010245561599731445, 0.010753750801086426, 0.011261940002441406, 0.011770129203796387, 0.012278318405151367, 0.012786507606506348, 0.013294696807861328, 0.013802886009216309, 0.014311075210571289, 0.01481926441192627, 0.01532745361328125]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 2.0, 6.0, 9.0, 13.0, 19.0, 24.0, 26.0, 48.0, 67.0, 88.0, 127.0, 176.0, 278.0, 438.0, 549.0, 844.0, 1273.0, 1942.0, 2899.0, 4611.0, 7148.0, 11480.0, 18744.0, 31065.0, 53502.0, 95122.0, 216832.0, 323805.0, 118187.0, 63507.0, 36525.0, 22172.0, 13463.0, 8320.0, 5217.0, 3398.0, 2166.0, 1462.0, 946.0, 625.0, 444.0, 304.0, 204.0, 150.0, 98.0, 80.0, 51.0, 32.0, 25.0, 21.0, 13.0, 8.0, 7.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0001481771469116211, -0.00014326348900794983, -0.00013834983110427856, -0.0001334361732006073, -0.00012852251529693604, -0.00012360885739326477, -0.0001186951994895935, -0.00011378154158592224, -0.00010886788368225098, -0.00010395422577857971, -9.904056787490845e-05, -9.412690997123718e-05, -8.921325206756592e-05, -8.429959416389465e-05, -7.938593626022339e-05, -7.447227835655212e-05, -6.955862045288086e-05, -6.46449625492096e-05, -5.973130464553833e-05, -5.4817646741867065e-05, -4.99039888381958e-05, -4.4990330934524536e-05, -4.007667303085327e-05, -3.516301512718201e-05, -3.0249357223510742e-05, -2.5335699319839478e-05, -2.0422041416168213e-05, -1.5508383512496948e-05, -1.0594725608825684e-05, -5.681067705154419e-06, -7.674098014831543e-07, 4.14624810218811e-06, 9.059906005859375e-06, 1.397356390953064e-05, 1.8887221813201904e-05, 2.380087971687317e-05, 2.8714537620544434e-05, 3.36281955242157e-05, 3.854185342788696e-05, 4.345551133155823e-05, 4.836916923522949e-05, 5.328282713890076e-05, 5.819648504257202e-05, 6.311014294624329e-05, 6.802380084991455e-05, 7.293745875358582e-05, 7.785111665725708e-05, 8.276477456092834e-05, 8.767843246459961e-05, 9.259209036827087e-05, 9.750574827194214e-05, 0.0001024194061756134, 0.00010733306407928467, 0.00011224672198295593, 0.0001171603798866272, 0.00012207403779029846, 0.00012698769569396973, 0.000131901353597641, 0.00013681501150131226, 0.00014172866940498352, 0.00014664232730865479, 0.00015155598521232605, 0.00015646964311599731, 0.00016138330101966858, 0.00016629695892333984]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 6.0, 6.0, 7.0, 4.0, 6.0, 11.0, 10.0, 9.0, 9.0, 13.0, 20.0, 16.0, 16.0, 29.0, 27.0, 31.0, 26.0, 24.0, 31.0, 36.0, 36.0, 42.0, 33.0, 32.0, 1065.0, 41.0, 33.0, 29.0, 43.0, 29.0, 28.0, 34.0, 35.0, 52.0, 16.0, 15.0, 15.0, 17.0, 19.0, 11.0, 8.0, 9.0, 14.0, 4.0, 7.0, 7.0, 5.0, 2.0, 0.0, 6.0, 5.0, 5.0, 2.0, 3.0], "bins": [-0.0157012939453125, -0.015241861343383789, -0.014782428741455078, -0.014322996139526367, -0.013863563537597656, -0.013404130935668945, -0.012944698333740234, -0.012485265731811523, -0.012025833129882812, -0.011566400527954102, -0.01110696792602539, -0.01064753532409668, -0.010188102722167969, -0.009728670120239258, -0.009269237518310547, -0.008809804916381836, -0.008350372314453125, -0.007890939712524414, -0.007431507110595703, -0.006972074508666992, -0.006512641906738281, -0.00605320930480957, -0.005593776702880859, -0.0051343441009521484, -0.0046749114990234375, -0.0042154788970947266, -0.0037560462951660156, -0.0032966136932373047, -0.0028371810913085938, -0.002377748489379883, -0.0019183158874511719, -0.001458883285522461, -0.00099945068359375, -0.0005400180816650391, -8.058547973632812e-05, 0.0003788471221923828, 0.0008382797241210938, 0.0012977123260498047, 0.0017571449279785156, 0.0022165775299072266, 0.0026760101318359375, 0.0031354427337646484, 0.0035948753356933594, 0.00405430793762207, 0.004513740539550781, 0.004973173141479492, 0.005432605743408203, 0.005892038345336914, 0.006351470947265625, 0.006810903549194336, 0.007270336151123047, 0.007729768753051758, 0.008189201354980469, 0.00864863395690918, 0.00910806655883789, 0.009567499160766602, 0.010026931762695312, 0.010486364364624023, 0.010945796966552734, 0.011405229568481445, 0.011864662170410156, 0.012324094772338867, 0.012783527374267578, 0.013242959976196289, 0.013702392578125]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.weight": {"_type": "histogram", "values": [3.0, 4.0, 3.0, 8.0, 3.0, 1.0, 3.0, 3.0, 7.0, 9.0, 7.0, 11.0, 6.0, 11.0, 12.0, 21.0, 17.0, 10.0, 21.0, 28.0, 60.0, 54.0, 46.0, 65.0, 102.0, 187.0, 561.0, 1523.0, 8901.0, 2057178.0, 24252.0, 2432.0, 794.0, 263.0, 126.0, 78.0, 51.0, 48.0, 41.0, 28.0, 30.0, 21.0, 17.0, 18.0, 10.0, 12.0, 7.0, 10.0, 13.0, 3.0, 3.0, 7.0, 8.0, 7.0, 0.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-9.894371032714844e-06, -9.560957551002502e-06, -9.227544069290161e-06, -8.89413058757782e-06, -8.560717105865479e-06, -8.227303624153137e-06, -7.893890142440796e-06, -7.560476660728455e-06, -7.227063179016113e-06, -6.893649697303772e-06, -6.560236215591431e-06, -6.226822733879089e-06, -5.893409252166748e-06, -5.559995770454407e-06, -5.2265822887420654e-06, -4.893168807029724e-06, -4.559755325317383e-06, -4.2263418436050415e-06, -3.8929283618927e-06, -3.559514880180359e-06, -3.2261013984680176e-06, -2.8926879167556763e-06, -2.559274435043335e-06, -2.2258609533309937e-06, -1.8924474716186523e-06, -1.559033989906311e-06, -1.2256205081939697e-06, -8.922070264816284e-07, -5.587935447692871e-07, -2.253800630569458e-07, 1.0803341865539551e-07, 4.414469003677368e-07, 7.748603820800781e-07, 1.1082738637924194e-06, 1.4416873455047607e-06, 1.775100827217102e-06, 2.1085143089294434e-06, 2.4419277906417847e-06, 2.775341272354126e-06, 3.1087547540664673e-06, 3.4421682357788086e-06, 3.77558171749115e-06, 4.108995199203491e-06, 4.4424086809158325e-06, 4.775822162628174e-06, 5.109235644340515e-06, 5.4426491260528564e-06, 5.776062607765198e-06, 6.109476089477539e-06, 6.44288957118988e-06, 6.776303052902222e-06, 7.109716534614563e-06, 7.443130016326904e-06, 7.776543498039246e-06, 8.109956979751587e-06, 8.443370461463928e-06, 8.77678394317627e-06, 9.11019742488861e-06, 9.443610906600952e-06, 9.777024388313293e-06, 1.0110437870025635e-05, 1.0443851351737976e-05, 1.0777264833450317e-05, 1.1110678315162659e-05, 1.1444091796875e-05]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 0.0, 1.0, 2.0, 3.0, 3.0, 11.0, 7.0, 5.0, 8.0, 6.0, 14.0, 11.0, 18.0, 30.0, 26.0, 28.0, 34.0, 34.0, 45.0, 34.0, 49.0, 47.0, 43.0, 41.0, 52.0, 58.0, 45.0, 46.0, 42.0, 29.0, 29.0, 29.0, 38.0, 23.0, 17.0, 23.0, 22.0, 16.0, 8.0, 9.0, 6.0, 4.0, 4.0, 2.0, 0.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0171966552734375, -0.01668846607208252, -0.01618027687072754, -0.01567208766937256, -0.015163898468017578, -0.014655709266662598, -0.014147520065307617, -0.013639330863952637, -0.013131141662597656, -0.012622952461242676, -0.012114763259887695, -0.011606574058532715, -0.011098384857177734, -0.010590195655822754, -0.010082006454467773, -0.009573817253112793, -0.009065628051757812, -0.008557438850402832, -0.008049249649047852, -0.007541060447692871, -0.007032871246337891, -0.00652468204498291, -0.00601649284362793, -0.005508303642272949, -0.005000114440917969, -0.004491925239562988, -0.003983736038208008, -0.0034755468368530273, -0.002967357635498047, -0.0024591684341430664, -0.001950979232788086, -0.0014427900314331055, -0.000934600830078125, -0.00042641162872314453, 8.177757263183594e-05, 0.0005899667739868164, 0.0010981559753417969, 0.0016063451766967773, 0.002114534378051758, 0.0026227235794067383, 0.0031309127807617188, 0.0036391019821166992, 0.00414729118347168, 0.00465548038482666, 0.005163669586181641, 0.005671858787536621, 0.0061800479888916016, 0.006688237190246582, 0.0071964263916015625, 0.007704615592956543, 0.008212804794311523, 0.008720993995666504, 0.009229183197021484, 0.009737372398376465, 0.010245561599731445, 0.010753750801086426, 0.011261940002441406, 0.011770129203796387, 0.012278318405151367, 0.012786507606506348, 0.013294696807861328, 0.013802886009216309, 0.014311075210571289, 0.01481926441192627, 0.01532745361328125]}, "gradients/decoder.transformer.h.16.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 3.0, 7.0, 3.0, 26.0, 18.0, 29.0, 30.0, 55.0, 102.0, 143.0, 218.0, 374.0, 534.0, 881.0, 1356.0, 2097.0, 3505.0, 5707.0, 9067.0, 15888.0, 29093.0, 60297.0, 166760.0, 517911.0, 124298.0, 49608.0, 25049.0, 13911.0, 8205.0, 4909.0, 3023.0, 1985.0, 1269.0, 799.0, 483.0, 294.0, 193.0, 151.0, 94.0, 68.0, 45.0, 22.0, 15.0, 15.0, 5.0, 7.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.02392578125, -0.023186922073364258, -0.022448062896728516, -0.021709203720092773, -0.02097034454345703, -0.02023148536682129, -0.019492626190185547, -0.018753767013549805, -0.018014907836914062, -0.01727604866027832, -0.016537189483642578, -0.015798330307006836, -0.015059471130371094, -0.014320611953735352, -0.01358175277709961, -0.012842893600463867, -0.012104034423828125, -0.011365175247192383, -0.01062631607055664, -0.009887456893920898, -0.009148597717285156, -0.008409738540649414, -0.007670879364013672, -0.00693202018737793, -0.0061931610107421875, -0.005454301834106445, -0.004715442657470703, -0.003976583480834961, -0.0032377243041992188, -0.0024988651275634766, -0.0017600059509277344, -0.0010211467742919922, -0.00028228759765625, 0.0004565715789794922, 0.0011954307556152344, 0.0019342899322509766, 0.0026731491088867188, 0.003412008285522461, 0.004150867462158203, 0.004889726638793945, 0.0056285858154296875, 0.00636744499206543, 0.007106304168701172, 0.007845163345336914, 0.008584022521972656, 0.009322881698608398, 0.01006174087524414, 0.010800600051879883, 0.011539459228515625, 0.012278318405151367, 0.01301717758178711, 0.013756036758422852, 0.014494895935058594, 0.015233755111694336, 0.015972614288330078, 0.01671147346496582, 0.017450332641601562, 0.018189191818237305, 0.018928050994873047, 0.01966691017150879, 0.02040576934814453, 0.021144628524780273, 0.021883487701416016, 0.022622346878051758, 0.0233612060546875]}, "gradients/decoder.transformer.h.16.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 4.0, 1.0, 2.0, 5.0, 0.0, 2.0, 0.0, 4.0, 3.0, 10.0, 10.0, 8.0, 11.0, 17.0, 27.0, 18.0, 29.0, 24.0, 32.0, 34.0, 45.0, 46.0, 35.0, 66.0, 100.0, 228.0, 1667.0, 159.0, 76.0, 46.0, 38.0, 40.0, 42.0, 43.0, 27.0, 33.0, 28.0, 25.0, 18.0, 11.0, 12.0, 9.0, 11.0, 6.0, 2.0, 3.0, 4.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.05548095703125, -0.05365180969238281, -0.051822662353515625, -0.04999351501464844, -0.04816436767578125, -0.04633522033691406, -0.044506072998046875, -0.04267692565917969, -0.0408477783203125, -0.03901863098144531, -0.037189483642578125, -0.03536033630371094, -0.03353118896484375, -0.03170204162597656, -0.029872894287109375, -0.028043746948242188, -0.026214599609375, -0.024385452270507812, -0.022556304931640625, -0.020727157592773438, -0.01889801025390625, -0.017068862915039062, -0.015239715576171875, -0.013410568237304688, -0.0115814208984375, -0.009752273559570312, -0.007923126220703125, -0.0060939788818359375, -0.00426483154296875, -0.0024356842041015625, -0.000606536865234375, 0.0012226104736328125, 0.0030517578125, 0.0048809051513671875, 0.006710052490234375, 0.008539199829101562, 0.01036834716796875, 0.012197494506835938, 0.014026641845703125, 0.015855789184570312, 0.0176849365234375, 0.019514083862304688, 0.021343231201171875, 0.023172378540039062, 0.02500152587890625, 0.026830673217773438, 0.028659820556640625, 0.030488967895507812, 0.032318115234375, 0.03414726257324219, 0.035976409912109375, 0.03780555725097656, 0.03963470458984375, 0.04146385192871094, 0.043292999267578125, 0.04512214660644531, 0.0469512939453125, 0.04878044128417969, 0.050609588623046875, 0.05243873596191406, 0.05426788330078125, 0.05609703063964844, 0.057926177978515625, 0.05975532531738281, 0.06158447265625]}, "gradients/decoder.transformer.h.16.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 5.0, 3.0, 5.0, 9.0, 9.0, 11.0, 11.0, 20.0, 20.0, 42.0, 48.0, 57.0, 87.0, 117.0, 159.0, 295.0, 710.0, 4268.0, 52669.0, 2858877.0, 214705.0, 11121.0, 1371.0, 336.0, 214.0, 167.0, 86.0, 64.0, 44.0, 45.0, 34.0, 24.0, 24.0, 10.0, 11.0, 7.0, 10.0, 4.0, 2.0, 1.0, 4.0, 3.0, 2.0, 1.0, 2.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.1195068359375, -0.11596107482910156, -0.11241531372070312, -0.10886955261230469, -0.10532379150390625, -0.10177803039550781, -0.09823226928710938, -0.09468650817871094, -0.0911407470703125, -0.08759498596191406, -0.08404922485351562, -0.08050346374511719, -0.07695770263671875, -0.07341194152832031, -0.06986618041992188, -0.06632041931152344, -0.062774658203125, -0.05922889709472656, -0.055683135986328125, -0.05213737487792969, -0.04859161376953125, -0.04504585266113281, -0.041500091552734375, -0.03795433044433594, -0.0344085693359375, -0.030862808227539062, -0.027317047119140625, -0.023771286010742188, -0.02022552490234375, -0.016679763793945312, -0.013134002685546875, -0.009588241577148438, -0.00604248046875, -0.0024967193603515625, 0.001049041748046875, 0.0045948028564453125, 0.00814056396484375, 0.011686325073242188, 0.015232086181640625, 0.018777847290039062, 0.0223236083984375, 0.025869369506835938, 0.029415130615234375, 0.03296089172363281, 0.03650665283203125, 0.04005241394042969, 0.043598175048828125, 0.04714393615722656, 0.050689697265625, 0.05423545837402344, 0.057781219482421875, 0.06132698059082031, 0.06487274169921875, 0.06841850280761719, 0.07196426391601562, 0.07551002502441406, 0.0790557861328125, 0.08260154724121094, 0.08614730834960938, 0.08969306945800781, 0.09323883056640625, 0.09678459167480469, 0.10033035278320312, 0.10387611389160156, 0.107421875]}, "gradients/decoder.transformer.h.16.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 47.0, 316.0, 477.0, 153.0, 23.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12870670855045319, -0.11101338267326355, -0.09332006424665451, -0.07562674582004547, -0.057933419942855835, -0.0402400940656662, -0.02254677563905716, -0.00485345721244812, 0.012839868664741516, 0.030533190816640854, 0.04822651296854019, 0.06591983139514923, 0.08361315727233887, 0.1013064831495285, 0.11899980157613754, 0.13669312000274658, 0.15438644587993622, 0.17207977175712585, 0.1897730827331543, 0.20746640861034393, 0.22515973448753357, 0.2428530603647232, 0.26054638624191284, 0.2782396972179413, 0.2959330081939697, 0.31362631916999817, 0.331319659948349, 0.34901297092437744, 0.36670631170272827, 0.3843996226787567, 0.40209293365478516, 0.419786274433136, 0.4374796152114868, 0.45517292618751526, 0.4728662669658661, 0.49055957794189453, 0.5082529187202454, 0.5259462594985962, 0.5436395406723022, 0.5613328814506531, 0.5790262222290039, 0.5967195630073547, 0.6144128441810608, 0.6321061849594116, 0.6497995257377625, 0.6674928665161133, 0.6851861476898193, 0.7028794884681702, 0.7205727696418762, 0.738266110420227, 0.7559593915939331, 0.7736527323722839, 0.7913460731506348, 0.8090393543243408, 0.8267326951026917, 0.8444260358810425, 0.8621193170547485, 0.8798126578330994, 0.8975059390068054, 0.9151992797851562, 0.9328926205635071, 0.9505859613418579, 0.968279242515564, 0.9859725832939148, 1.0036659240722656]}, "gradients/decoder.transformer.h.16.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 2.0, 4.0, 4.0, 2.0, 6.0, 9.0, 9.0, 7.0, 12.0, 10.0, 18.0, 13.0, 22.0, 33.0, 30.0, 31.0, 33.0, 40.0, 44.0, 37.0, 42.0, 45.0, 56.0, 49.0, 48.0, 48.0, 52.0, 35.0, 36.0, 27.0, 31.0, 32.0, 24.0, 20.0, 20.0, 16.0, 21.0, 7.0, 6.0, 9.0, 5.0, 1.0, 5.0, 7.0, 3.0, 2.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19484734535217285, -0.18836906552314758, -0.18189078569412231, -0.17541250586509705, -0.16893422603607178, -0.1624559462070465, -0.15597766637802124, -0.14949938654899597, -0.1430211067199707, -0.13654282689094543, -0.13006454706192017, -0.1235862672328949, -0.11710798740386963, -0.11062970757484436, -0.10415142774581909, -0.09767314791679382, -0.09119486808776855, -0.08471658825874329, -0.07823830842971802, -0.07176002860069275, -0.06528174877166748, -0.05880346894264221, -0.05232518911361694, -0.045846909284591675, -0.039368629455566406, -0.03289034962654114, -0.02641206979751587, -0.0199337899684906, -0.013455510139465332, -0.0069772303104400635, -0.0004989504814147949, 0.005979329347610474, 0.012457609176635742, 0.01893588900566101, 0.02541416883468628, 0.03189244866371155, 0.038370728492736816, 0.044849008321762085, 0.051327288150787354, 0.05780556797981262, 0.06428384780883789, 0.07076212763786316, 0.07724040746688843, 0.0837186872959137, 0.09019696712493896, 0.09667524695396423, 0.1031535267829895, 0.10963180661201477, 0.11611008644104004, 0.12258836627006531, 0.12906664609909058, 0.13554492592811584, 0.1420232057571411, 0.14850148558616638, 0.15497976541519165, 0.16145804524421692, 0.1679363250732422, 0.17441460490226746, 0.18089288473129272, 0.187371164560318, 0.19384944438934326, 0.20032772421836853, 0.2068060040473938, 0.21328428387641907, 0.21976256370544434]}, "gradients/decoder.transformer.h.15.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 2.0, 4.0, 3.0, 8.0, 6.0, 6.0, 11.0, 6.0, 9.0, 15.0, 20.0, 22.0, 23.0, 26.0, 28.0, 45.0, 34.0, 46.0, 30.0, 47.0, 42.0, 44.0, 48.0, 53.0, 49.0, 44.0, 50.0, 32.0, 25.0, 38.0, 26.0, 22.0, 29.0, 15.0, 21.0, 21.0, 13.0, 11.0, 14.0, 7.0, 2.0, 2.0, 2.0, 0.0, 3.0, 1.0, 4.0, 0.0, 2.0, 0.0, 1.0, 2.0], "bins": [-0.017303466796875, -0.01679980754852295, -0.0162961483001709, -0.015792489051818848, -0.015288829803466797, -0.014785170555114746, -0.014281511306762695, -0.013777852058410645, -0.013274192810058594, -0.012770533561706543, -0.012266874313354492, -0.011763215065002441, -0.01125955581665039, -0.01075589656829834, -0.010252237319946289, -0.009748578071594238, -0.009244918823242188, -0.008741259574890137, -0.008237600326538086, -0.007733941078186035, -0.007230281829833984, -0.006726622581481934, -0.006222963333129883, -0.005719304084777832, -0.005215644836425781, -0.0047119855880737305, -0.00420832633972168, -0.003704667091369629, -0.003201007843017578, -0.0026973485946655273, -0.0021936893463134766, -0.0016900300979614258, -0.001186370849609375, -0.0006827116012573242, -0.00017905235290527344, 0.00032460689544677734, 0.0008282661437988281, 0.001331925392150879, 0.0018355846405029297, 0.0023392438888549805, 0.0028429031372070312, 0.003346562385559082, 0.003850221633911133, 0.004353880882263184, 0.004857540130615234, 0.005361199378967285, 0.005864858627319336, 0.006368517875671387, 0.0068721771240234375, 0.007375836372375488, 0.007879495620727539, 0.00838315486907959, 0.00888681411743164, 0.009390473365783691, 0.009894132614135742, 0.010397791862487793, 0.010901451110839844, 0.011405110359191895, 0.011908769607543945, 0.012412428855895996, 0.012916088104248047, 0.013419747352600098, 0.013923406600952148, 0.0144270658493042, 0.01493072509765625]}, "gradients/decoder.transformer.h.15.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 5.0, 1.0, 12.0, 15.0, 18.0, 12.0, 41.0, 32.0, 83.0, 109.0, 163.0, 227.0, 358.0, 551.0, 858.0, 1533.0, 2595.0, 5017.0, 9839.0, 21768.0, 52437.0, 147339.0, 541535.0, 1968653.0, 1052453.0, 247345.0, 80968.0, 31568.0, 13641.0, 6605.0, 3503.0, 1915.0, 1091.0, 689.0, 439.0, 300.0, 189.0, 123.0, 77.0, 58.0, 44.0, 21.0, 32.0, 11.0, 7.0, 4.0, 3.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.025390625, -0.024564027786254883, -0.023737430572509766, -0.02291083335876465, -0.02208423614501953, -0.021257638931274414, -0.020431041717529297, -0.01960444450378418, -0.018777847290039062, -0.017951250076293945, -0.017124652862548828, -0.01629805564880371, -0.015471458435058594, -0.014644861221313477, -0.01381826400756836, -0.012991666793823242, -0.012165069580078125, -0.011338472366333008, -0.01051187515258789, -0.009685277938842773, -0.008858680725097656, -0.008032083511352539, -0.007205486297607422, -0.006378889083862305, -0.0055522918701171875, -0.00472569465637207, -0.003899097442626953, -0.003072500228881836, -0.0022459030151367188, -0.0014193058013916016, -0.0005927085876464844, 0.0002338886260986328, 0.00106048583984375, 0.0018870830535888672, 0.0027136802673339844, 0.0035402774810791016, 0.004366874694824219, 0.005193471908569336, 0.006020069122314453, 0.00684666633605957, 0.0076732635498046875, 0.008499860763549805, 0.009326457977294922, 0.010153055191040039, 0.010979652404785156, 0.011806249618530273, 0.01263284683227539, 0.013459444046020508, 0.014286041259765625, 0.015112638473510742, 0.01593923568725586, 0.016765832901000977, 0.017592430114746094, 0.01841902732849121, 0.019245624542236328, 0.020072221755981445, 0.020898818969726562, 0.02172541618347168, 0.022552013397216797, 0.023378610610961914, 0.02420520782470703, 0.02503180503845215, 0.025858402252197266, 0.026684999465942383, 0.0275115966796875]}, "gradients/decoder.transformer.h.15.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 2.0, 6.0, 3.0, 6.0, 1.0, 7.0, 3.0, 9.0, 16.0, 28.0, 33.0, 44.0, 79.0, 106.0, 175.0, 260.0, 386.0, 573.0, 668.0, 563.0, 339.0, 244.0, 170.0, 109.0, 71.0, 60.0, 43.0, 20.0, 17.0, 16.0, 11.0, 3.0, 4.0, 2.0, 6.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.044769287109375, -0.04329395294189453, -0.04181861877441406, -0.040343284606933594, -0.038867950439453125, -0.037392616271972656, -0.03591728210449219, -0.03444194793701172, -0.03296661376953125, -0.03149127960205078, -0.030015945434570312, -0.028540611267089844, -0.027065277099609375, -0.025589942932128906, -0.024114608764648438, -0.02263927459716797, -0.0211639404296875, -0.01968860626220703, -0.018213272094726562, -0.016737937927246094, -0.015262603759765625, -0.013787269592285156, -0.012311935424804688, -0.010836601257324219, -0.00936126708984375, -0.007885932922363281, -0.0064105987548828125, -0.004935264587402344, -0.003459930419921875, -0.0019845962524414062, -0.0005092620849609375, 0.0009660720825195312, 0.00244140625, 0.003916740417480469, 0.0053920745849609375, 0.006867408752441406, 0.008342742919921875, 0.009818077087402344, 0.011293411254882812, 0.012768745422363281, 0.01424407958984375, 0.01571941375732422, 0.017194747924804688, 0.018670082092285156, 0.020145416259765625, 0.021620750427246094, 0.023096084594726562, 0.02457141876220703, 0.0260467529296875, 0.02752208709716797, 0.028997421264648438, 0.030472755432128906, 0.031948089599609375, 0.033423423767089844, 0.03489875793457031, 0.03637409210205078, 0.03784942626953125, 0.03932476043701172, 0.04080009460449219, 0.042275428771972656, 0.043750762939453125, 0.045226097106933594, 0.04670143127441406, 0.04817676544189453, 0.049652099609375]}, "gradients/decoder.transformer.h.15.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 4.0, 3.0, 4.0, 1.0, 5.0, 5.0, 8.0, 7.0, 21.0, 25.0, 37.0, 45.0, 86.0, 116.0, 228.0, 448.0, 816.0, 1833.0, 4928.0, 20338.0, 137654.0, 1789724.0, 2051671.0, 155205.0, 22139.0, 5287.0, 1943.0, 775.0, 384.0, 228.0, 112.0, 77.0, 46.0, 25.0, 24.0, 12.0, 11.0, 6.0, 5.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.087158203125, -0.08459663391113281, -0.08203506469726562, -0.07947349548339844, -0.07691192626953125, -0.07435035705566406, -0.07178878784179688, -0.06922721862792969, -0.0666656494140625, -0.06410408020019531, -0.061542510986328125, -0.05898094177246094, -0.05641937255859375, -0.05385780334472656, -0.051296234130859375, -0.04873466491699219, -0.046173095703125, -0.04361152648925781, -0.041049957275390625, -0.03848838806152344, -0.03592681884765625, -0.03336524963378906, -0.030803680419921875, -0.028242111206054688, -0.0256805419921875, -0.023118972778320312, -0.020557403564453125, -0.017995834350585938, -0.01543426513671875, -0.012872695922851562, -0.010311126708984375, -0.0077495574951171875, -0.00518798828125, -0.0026264190673828125, -6.4849853515625e-05, 0.0024967193603515625, 0.00505828857421875, 0.0076198577880859375, 0.010181427001953125, 0.012742996215820312, 0.0153045654296875, 0.017866134643554688, 0.020427703857421875, 0.022989273071289062, 0.02555084228515625, 0.028112411499023438, 0.030673980712890625, 0.03323554992675781, 0.035797119140625, 0.03835868835449219, 0.040920257568359375, 0.04348182678222656, 0.04604339599609375, 0.04860496520996094, 0.051166534423828125, 0.05372810363769531, 0.0562896728515625, 0.05885124206542969, 0.061412811279296875, 0.06397438049316406, 0.06653594970703125, 0.06909751892089844, 0.07165908813476562, 0.07422065734863281, 0.0767822265625]}, "gradients/decoder.transformer.h.15.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 14.0, 27.0, 62.0, 112.0, 182.0, 189.0, 182.0, 114.0, 77.0, 40.0, 10.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.7537012696266174, -0.7399125099182129, -0.7261237502098083, -0.7123349905014038, -0.6985462307929993, -0.6847574710845947, -0.6709687113761902, -0.6571799516677856, -0.6433911919593811, -0.6296024322509766, -0.615813672542572, -0.6020249128341675, -0.5882361531257629, -0.5744473934173584, -0.5606586337089539, -0.5468698740005493, -0.5330811738967896, -0.519292414188385, -0.5055036544799805, -0.4917148947715759, -0.4779261350631714, -0.46413737535476685, -0.4503486156463623, -0.43655988574028015, -0.4227710962295532, -0.4089823365211487, -0.39519357681274414, -0.3814048171043396, -0.36761605739593506, -0.3538272976875305, -0.340038537979126, -0.3262498080730438, -0.3124610185623169, -0.29867225885391235, -0.2848834991455078, -0.27109473943710327, -0.25730597972869873, -0.24351723492145538, -0.22972847521305084, -0.2159397304058075, -0.20215097069740295, -0.1883622109889984, -0.17457345128059387, -0.16078469157218933, -0.14699594676494598, -0.13320718705654144, -0.1194184273481369, -0.10562967509031296, -0.09184092283248901, -0.07805216312408447, -0.06426341086626053, -0.05047465115785599, -0.036685895174741745, -0.022897139191627502, -0.009108379483222961, 0.004680372774600983, 0.018469132483005524, 0.032257888466119766, 0.04604664444923401, 0.05983540415763855, 0.07362416386604309, 0.08741291612386703, 0.10120167583227158, 0.11499042809009552, 0.12877918779850006]}, "gradients/decoder.transformer.h.15.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 4.0, 3.0, 4.0, 6.0, 9.0, 9.0, 9.0, 15.0, 18.0, 15.0, 28.0, 31.0, 29.0, 28.0, 30.0, 33.0, 40.0, 35.0, 41.0, 44.0, 37.0, 36.0, 45.0, 42.0, 35.0, 35.0, 35.0, 36.0, 29.0, 37.0, 23.0, 25.0, 23.0, 29.0, 23.0, 11.0, 13.0, 15.0, 13.0, 10.0, 6.0, 5.0, 9.0, 3.0, 1.0, 1.0, 2.0, 1.0, 2.0], "bins": [-0.15846514701843262, -0.15417949855327606, -0.1498938500881195, -0.14560818672180176, -0.1413225382566452, -0.13703688979148865, -0.1327512264251709, -0.12846557796001434, -0.12417992949485779, -0.11989428102970123, -0.11560862511396408, -0.11132296919822693, -0.10703732073307037, -0.10275167226791382, -0.09846601635217667, -0.09418036043643951, -0.08989471197128296, -0.0856090635061264, -0.08132340759038925, -0.0770377516746521, -0.07275210320949554, -0.06846645474433899, -0.06418079882860184, -0.059895146638154984, -0.05560949444770813, -0.051323842257261276, -0.04703819006681442, -0.04275253787636757, -0.038466885685920715, -0.03418123349547386, -0.029895581305027008, -0.025609929114580154, -0.0213242769241333, -0.017038624733686447, -0.012752972543239594, -0.00846732035279274, -0.004181668162345886, 0.00010398402810096741, 0.004389636218547821, 0.008675288408994675, 0.012960940599441528, 0.017246592789888382, 0.021532244980335236, 0.02581789717078209, 0.030103549361228943, 0.034389201551675797, 0.03867485374212265, 0.042960505932569504, 0.04724615812301636, 0.05153181031346321, 0.055817462503910065, 0.06010311469435692, 0.06438876688480377, 0.06867441534996033, 0.07296007126569748, 0.07724572718143463, 0.08153137564659119, 0.08581702411174774, 0.0901026800274849, 0.09438833594322205, 0.0986739844083786, 0.10295963287353516, 0.10724528878927231, 0.11153094470500946, 0.11581659317016602]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 4.0, 5.0, 4.0, 4.0, 8.0, 9.0, 10.0, 14.0, 9.0, 18.0, 17.0, 25.0, 33.0, 23.0, 45.0, 35.0, 35.0, 38.0, 39.0, 43.0, 48.0, 43.0, 38.0, 51.0, 43.0, 41.0, 42.0, 37.0, 26.0, 30.0, 36.0, 24.0, 22.0, 18.0, 19.0, 14.0, 15.0, 12.0, 8.0, 7.0, 5.0, 4.0, 0.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0], "bins": [-0.016998291015625, -0.01649618148803711, -0.01599407196044922, -0.015491962432861328, -0.014989852905273438, -0.014487743377685547, -0.013985633850097656, -0.013483524322509766, -0.012981414794921875, -0.012479305267333984, -0.011977195739746094, -0.011475086212158203, -0.010972976684570312, -0.010470867156982422, -0.009968757629394531, -0.00946664810180664, -0.00896453857421875, -0.00846242904663086, -0.007960319519042969, -0.007458209991455078, -0.0069561004638671875, -0.006453990936279297, -0.005951881408691406, -0.005449771881103516, -0.004947662353515625, -0.004445552825927734, -0.003943443298339844, -0.003441333770751953, -0.0029392242431640625, -0.002437114715576172, -0.0019350051879882812, -0.0014328956604003906, -0.0009307861328125, -0.0004286766052246094, 7.343292236328125e-05, 0.0005755424499511719, 0.0010776519775390625, 0.0015797615051269531, 0.0020818710327148438, 0.0025839805603027344, 0.003086090087890625, 0.0035881996154785156, 0.004090309143066406, 0.004592418670654297, 0.0050945281982421875, 0.005596637725830078, 0.006098747253417969, 0.006600856781005859, 0.00710296630859375, 0.007605075836181641, 0.008107185363769531, 0.008609294891357422, 0.009111404418945312, 0.009613513946533203, 0.010115623474121094, 0.010617733001708984, 0.011119842529296875, 0.011621952056884766, 0.012124061584472656, 0.012626171112060547, 0.013128280639648438, 0.013630390167236328, 0.014132499694824219, 0.01463460922241211, 0.01513671875]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 4.0, 5.0, 9.0, 10.0, 16.0, 15.0, 19.0, 37.0, 57.0, 84.0, 159.0, 189.0, 304.0, 474.0, 637.0, 1000.0, 1572.0, 2520.0, 4122.0, 6551.0, 10466.0, 17660.0, 29659.0, 51953.0, 98319.0, 228474.0, 333738.0, 115779.0, 59867.0, 33648.0, 19775.0, 11738.0, 7159.0, 4496.0, 2894.0, 1779.0, 1105.0, 761.0, 475.0, 358.0, 243.0, 141.0, 98.0, 55.0, 47.0, 26.0, 18.0, 12.0, 10.0, 8.0, 7.0, 4.0, 4.0, 4.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00016629695892333984, -0.00016111880540847778, -0.00015594065189361572, -0.00015076249837875366, -0.0001455843448638916, -0.00014040619134902954, -0.00013522803783416748, -0.00013004988431930542, -0.00012487173080444336, -0.0001196935772895813, -0.00011451542377471924, -0.00010933727025985718, -0.00010415911674499512, -9.898096323013306e-05, -9.3802809715271e-05, -8.862465620040894e-05, -8.344650268554688e-05, -7.826834917068481e-05, -7.309019565582275e-05, -6.79120421409607e-05, -6.273388862609863e-05, -5.755573511123657e-05, -5.237758159637451e-05, -4.719942808151245e-05, -4.202127456665039e-05, -3.684312105178833e-05, -3.166496753692627e-05, -2.648681402206421e-05, -2.130866050720215e-05, -1.6130506992340088e-05, -1.0952353477478027e-05, -5.774199962615967e-06, -5.960464477539062e-07, 4.582107067108154e-06, 9.760260581970215e-06, 1.4938414096832275e-05, 2.0116567611694336e-05, 2.5294721126556396e-05, 3.0472874641418457e-05, 3.565102815628052e-05, 4.082918167114258e-05, 4.600733518600464e-05, 5.11854887008667e-05, 5.636364221572876e-05, 6.154179573059082e-05, 6.671994924545288e-05, 7.189810276031494e-05, 7.7076256275177e-05, 8.225440979003906e-05, 8.743256330490112e-05, 9.261071681976318e-05, 9.778887033462524e-05, 0.0001029670238494873, 0.00010814517736434937, 0.00011332333087921143, 0.00011850148439407349, 0.00012367963790893555, 0.0001288577914237976, 0.00013403594493865967, 0.00013921409845352173, 0.0001443922519683838, 0.00014957040548324585, 0.0001547485589981079, 0.00015992671251296997, 0.00016510486602783203]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 4.0, 5.0, 5.0, 5.0, 10.0, 8.0, 11.0, 11.0, 9.0, 18.0, 19.0, 26.0, 32.0, 30.0, 21.0, 21.0, 25.0, 31.0, 51.0, 44.0, 37.0, 37.0, 1065.0, 38.0, 36.0, 49.0, 42.0, 37.0, 46.0, 36.0, 25.0, 34.0, 27.0, 23.0, 25.0, 20.0, 13.0, 12.0, 9.0, 10.0, 6.0, 5.0, 5.0, 4.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.01531982421875, -0.014835596084594727, -0.014351367950439453, -0.01386713981628418, -0.013382911682128906, -0.012898683547973633, -0.01241445541381836, -0.011930227279663086, -0.011445999145507812, -0.010961771011352539, -0.010477542877197266, -0.009993314743041992, -0.009509086608886719, -0.009024858474731445, -0.008540630340576172, -0.008056402206420898, -0.007572174072265625, -0.0070879459381103516, -0.006603717803955078, -0.006119489669799805, -0.005635261535644531, -0.005151033401489258, -0.004666805267333984, -0.004182577133178711, -0.0036983489990234375, -0.003214120864868164, -0.0027298927307128906, -0.002245664596557617, -0.0017614364624023438, -0.0012772083282470703, -0.0007929801940917969, -0.00030875205993652344, 0.00017547607421875, 0.0006597042083740234, 0.0011439323425292969, 0.0016281604766845703, 0.0021123886108398438, 0.002596616744995117, 0.0030808448791503906, 0.003565073013305664, 0.0040493011474609375, 0.004533529281616211, 0.005017757415771484, 0.005501985549926758, 0.005986213684082031, 0.006470441818237305, 0.006954669952392578, 0.0074388980865478516, 0.007923126220703125, 0.008407354354858398, 0.008891582489013672, 0.009375810623168945, 0.009860038757324219, 0.010344266891479492, 0.010828495025634766, 0.011312723159790039, 0.011796951293945312, 0.012281179428100586, 0.01276540756225586, 0.013249635696411133, 0.013733863830566406, 0.01421809196472168, 0.014702320098876953, 0.015186548233032227, 0.0156707763671875]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 3.0, 7.0, 4.0, 7.0, 10.0, 12.0, 10.0, 12.0, 27.0, 23.0, 25.0, 36.0, 32.0, 43.0, 60.0, 84.0, 111.0, 258.0, 693.0, 3097.0, 68797.0, 2017814.0, 4327.0, 844.0, 287.0, 118.0, 73.0, 61.0, 35.0, 34.0, 35.0, 26.0, 23.0, 22.0, 15.0, 6.0, 12.0, 12.0, 13.0, 6.0, 5.0, 3.0, 4.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1265277862548828e-05, -1.0914169251918793e-05, -1.0563060641288757e-05, -1.0211952030658722e-05, -9.860843420028687e-06, -9.509734809398651e-06, -9.158626198768616e-06, -8.80751758813858e-06, -8.456408977508545e-06, -8.10530036687851e-06, -7.754191756248474e-06, -7.403083145618439e-06, -7.051974534988403e-06, -6.700865924358368e-06, -6.3497573137283325e-06, -5.998648703098297e-06, -5.647540092468262e-06, -5.296431481838226e-06, -4.945322871208191e-06, -4.5942142605781555e-06, -4.24310564994812e-06, -3.891997039318085e-06, -3.5408884286880493e-06, -3.189779818058014e-06, -2.8386712074279785e-06, -2.487562596797943e-06, -2.1364539861679077e-06, -1.7853453755378723e-06, -1.434236764907837e-06, -1.0831281542778015e-06, -7.320195436477661e-07, -3.809109330177307e-07, -2.9802322387695312e-08, 3.213062882423401e-07, 6.724148988723755e-07, 1.0235235095024109e-06, 1.3746321201324463e-06, 1.7257407307624817e-06, 2.076849341392517e-06, 2.4279579520225525e-06, 2.779066562652588e-06, 3.1301751732826233e-06, 3.4812837839126587e-06, 3.832392394542694e-06, 4.1835010051727295e-06, 4.534609615802765e-06, 4.8857182264328e-06, 5.236826837062836e-06, 5.587935447692871e-06, 5.9390440583229065e-06, 6.290152668952942e-06, 6.641261279582977e-06, 6.992369890213013e-06, 7.343478500843048e-06, 7.694587111473083e-06, 8.045695722103119e-06, 8.396804332733154e-06, 8.74791294336319e-06, 9.099021553993225e-06, 9.45013016462326e-06, 9.801238775253296e-06, 1.0152347385883331e-05, 1.0503455996513367e-05, 1.0854564607143402e-05, 1.1205673217773438e-05]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 4.0, 5.0, 4.0, 4.0, 8.0, 9.0, 10.0, 14.0, 9.0, 18.0, 17.0, 25.0, 33.0, 23.0, 45.0, 35.0, 35.0, 38.0, 39.0, 43.0, 48.0, 43.0, 38.0, 51.0, 43.0, 41.0, 42.0, 37.0, 26.0, 30.0, 36.0, 24.0, 22.0, 18.0, 19.0, 14.0, 15.0, 12.0, 8.0, 7.0, 5.0, 4.0, 0.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0], "bins": [-0.016998291015625, -0.01649618148803711, -0.01599407196044922, -0.015491962432861328, -0.014989852905273438, -0.014487743377685547, -0.013985633850097656, -0.013483524322509766, -0.012981414794921875, -0.012479305267333984, -0.011977195739746094, -0.011475086212158203, -0.010972976684570312, -0.010470867156982422, -0.009968757629394531, -0.00946664810180664, -0.00896453857421875, -0.00846242904663086, -0.007960319519042969, -0.007458209991455078, -0.0069561004638671875, -0.006453990936279297, -0.005951881408691406, -0.005449771881103516, -0.004947662353515625, -0.004445552825927734, -0.003943443298339844, -0.003441333770751953, -0.0029392242431640625, -0.002437114715576172, -0.0019350051879882812, -0.0014328956604003906, -0.0009307861328125, -0.0004286766052246094, 7.343292236328125e-05, 0.0005755424499511719, 0.0010776519775390625, 0.0015797615051269531, 0.0020818710327148438, 0.0025839805603027344, 0.003086090087890625, 0.0035881996154785156, 0.004090309143066406, 0.004592418670654297, 0.0050945281982421875, 0.005596637725830078, 0.006098747253417969, 0.006600856781005859, 0.00710296630859375, 0.007605075836181641, 0.008107185363769531, 0.008609294891357422, 0.009111404418945312, 0.009613513946533203, 0.010115623474121094, 0.010617733001708984, 0.011119842529296875, 0.011621952056884766, 0.012124061584472656, 0.012626171112060547, 0.013128280639648438, 0.013630390167236328, 0.014132499694824219, 0.01463460922241211, 0.01513671875]}, "gradients/decoder.transformer.h.15.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 2.0, 2.0, 7.0, 9.0, 13.0, 20.0, 30.0, 57.0, 78.0, 134.0, 229.0, 367.0, 584.0, 863.0, 1465.0, 2452.0, 4047.0, 7017.0, 12396.0, 22226.0, 42633.0, 93272.0, 293173.0, 359629.0, 105248.0, 46440.0, 24217.0, 13399.0, 7497.0, 4397.0, 2598.0, 1574.0, 939.0, 585.0, 337.0, 235.0, 145.0, 83.0, 52.0, 44.0, 21.0, 20.0, 13.0, 4.0, 3.0, 6.0, 2.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.018157958984375, -0.017487049102783203, -0.016816139221191406, -0.01614522933959961, -0.015474319458007812, -0.014803409576416016, -0.014132499694824219, -0.013461589813232422, -0.012790679931640625, -0.012119770050048828, -0.011448860168457031, -0.010777950286865234, -0.010107040405273438, -0.00943613052368164, -0.008765220642089844, -0.008094310760498047, -0.00742340087890625, -0.006752490997314453, -0.006081581115722656, -0.005410671234130859, -0.0047397613525390625, -0.004068851470947266, -0.0033979415893554688, -0.002727031707763672, -0.002056121826171875, -0.0013852119445800781, -0.0007143020629882812, -4.3392181396484375e-05, 0.0006275177001953125, 0.0012984275817871094, 0.0019693374633789062, 0.002640247344970703, 0.0033111572265625, 0.003982067108154297, 0.004652976989746094, 0.005323886871337891, 0.0059947967529296875, 0.006665706634521484, 0.007336616516113281, 0.008007526397705078, 0.008678436279296875, 0.009349346160888672, 0.010020256042480469, 0.010691165924072266, 0.011362075805664062, 0.01203298568725586, 0.012703895568847656, 0.013374805450439453, 0.01404571533203125, 0.014716625213623047, 0.015387535095214844, 0.01605844497680664, 0.016729354858398438, 0.017400264739990234, 0.01807117462158203, 0.018742084503173828, 0.019412994384765625, 0.020083904266357422, 0.02075481414794922, 0.021425724029541016, 0.022096633911132812, 0.02276754379272461, 0.023438453674316406, 0.024109363555908203, 0.0247802734375]}, "gradients/decoder.transformer.h.15.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 1.0, 3.0, 4.0, 6.0, 5.0, 5.0, 8.0, 11.0, 19.0, 6.0, 18.0, 17.0, 15.0, 22.0, 26.0, 24.0, 35.0, 37.0, 43.0, 53.0, 61.0, 65.0, 93.0, 137.0, 1463.0, 287.0, 105.0, 81.0, 46.0, 47.0, 43.0, 37.0, 36.0, 42.0, 19.0, 26.0, 24.0, 15.0, 18.0, 11.0, 7.0, 7.0, 8.0, 4.0, 5.0, 3.0, 1.0, 1.0, 2.0, 3.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.05767822265625, -0.05586814880371094, -0.054058074951171875, -0.05224800109863281, -0.05043792724609375, -0.04862785339355469, -0.046817779541015625, -0.04500770568847656, -0.0431976318359375, -0.04138755798339844, -0.039577484130859375, -0.03776741027832031, -0.03595733642578125, -0.03414726257324219, -0.032337188720703125, -0.030527114868164062, -0.028717041015625, -0.026906967163085938, -0.025096893310546875, -0.023286819458007812, -0.02147674560546875, -0.019666671752929688, -0.017856597900390625, -0.016046524047851562, -0.0142364501953125, -0.012426376342773438, -0.010616302490234375, -0.008806228637695312, -0.00699615478515625, -0.0051860809326171875, -0.003376007080078125, -0.0015659332275390625, 0.000244140625, 0.0020542144775390625, 0.003864288330078125, 0.0056743621826171875, 0.00748443603515625, 0.009294509887695312, 0.011104583740234375, 0.012914657592773438, 0.0147247314453125, 0.016534805297851562, 0.018344879150390625, 0.020154953002929688, 0.02196502685546875, 0.023775100708007812, 0.025585174560546875, 0.027395248413085938, 0.029205322265625, 0.031015396118164062, 0.032825469970703125, 0.03463554382324219, 0.03644561767578125, 0.03825569152832031, 0.040065765380859375, 0.04187583923339844, 0.0436859130859375, 0.04549598693847656, 0.047306060791015625, 0.04911613464355469, 0.05092620849609375, 0.05273628234863281, 0.054546356201171875, 0.05635643005371094, 0.05816650390625]}, "gradients/decoder.transformer.h.15.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 3.0, 3.0, 7.0, 4.0, 8.0, 9.0, 11.0, 10.0, 13.0, 26.0, 32.0, 37.0, 44.0, 79.0, 82.0, 120.0, 187.0, 310.0, 652.0, 2380.0, 13228.0, 141325.0, 2781207.0, 185084.0, 16294.0, 2715.0, 758.0, 332.0, 200.0, 119.0, 101.0, 64.0, 58.0, 43.0, 28.0, 25.0, 22.0, 19.0, 19.0, 9.0, 12.0, 4.0, 6.0, 7.0, 5.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 3.0], "bins": [-0.1217041015625, -0.11818122863769531, -0.11465835571289062, -0.11113548278808594, -0.10761260986328125, -0.10408973693847656, -0.10056686401367188, -0.09704399108886719, -0.0935211181640625, -0.08999824523925781, -0.08647537231445312, -0.08295249938964844, -0.07942962646484375, -0.07590675354003906, -0.07238388061523438, -0.06886100769042969, -0.065338134765625, -0.06181526184082031, -0.058292388916015625, -0.05476951599121094, -0.05124664306640625, -0.04772377014160156, -0.044200897216796875, -0.04067802429199219, -0.0371551513671875, -0.03363227844238281, -0.030109405517578125, -0.026586532592773438, -0.02306365966796875, -0.019540786743164062, -0.016017913818359375, -0.012495040893554688, -0.00897216796875, -0.0054492950439453125, -0.001926422119140625, 0.0015964508056640625, 0.00511932373046875, 0.008642196655273438, 0.012165069580078125, 0.015687942504882812, 0.0192108154296875, 0.022733688354492188, 0.026256561279296875, 0.029779434204101562, 0.03330230712890625, 0.03682518005371094, 0.040348052978515625, 0.04387092590332031, 0.047393798828125, 0.05091667175292969, 0.054439544677734375, 0.05796241760253906, 0.06148529052734375, 0.06500816345214844, 0.06853103637695312, 0.07205390930175781, 0.0755767822265625, 0.07909965515136719, 0.08262252807617188, 0.08614540100097656, 0.08966827392578125, 0.09319114685058594, 0.09671401977539062, 0.10023689270019531, 0.103759765625]}, "gradients/decoder.transformer.h.15.ln_1.weight": {"_type": "histogram", "values": [3.0, 8.0, 28.0, 107.0, 203.0, 298.0, 240.0, 96.0, 23.0, 12.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08185852319002151, -0.0670509859919548, -0.052243441343307495, -0.037435904145240784, -0.022628363221883774, -0.007820822298526764, 0.0069867148995399475, 0.021794259548187256, 0.03660179674625397, 0.05140933766961098, 0.06621687859296799, 0.0810244157910347, 0.095831960439682, 0.11063949763774872, 0.12544703483581543, 0.14025458693504333, 0.15506210923194885, 0.16986964643001556, 0.18467718362808228, 0.19948473572731018, 0.2142922729253769, 0.2290998101234436, 0.24390734732151031, 0.258714884519577, 0.27352243661880493, 0.28832998871803284, 0.30313751101493835, 0.31794506311416626, 0.3327525854110718, 0.3475601375102997, 0.3623676896095276, 0.3771752119064331, 0.391982764005661, 0.4067903161048889, 0.42159783840179443, 0.43640539050102234, 0.45121291279792786, 0.46602046489715576, 0.4808279871940613, 0.4956355392932892, 0.5104430913925171, 0.5252506136894226, 0.5400581955909729, 0.5548657178878784, 0.5696732401847839, 0.5844807624816895, 0.5992883443832397, 0.6140958666801453, 0.6289033889770508, 0.6437109112739563, 0.6585184931755066, 0.6733260154724121, 0.6881335377693176, 0.7029410600662231, 0.7177486419677734, 0.732556164264679, 0.7473637461662292, 0.7621712684631348, 0.7769788503646851, 0.7917863726615906, 0.8065938949584961, 0.8214014768600464, 0.8362089991569519, 0.8510165214538574, 0.8658240437507629]}, "gradients/decoder.transformer.h.15.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 1.0, 3.0, 2.0, 4.0, 5.0, 6.0, 5.0, 11.0, 10.0, 21.0, 22.0, 23.0, 17.0, 27.0, 29.0, 28.0, 33.0, 27.0, 36.0, 35.0, 49.0, 37.0, 52.0, 33.0, 51.0, 47.0, 40.0, 35.0, 34.0, 32.0, 34.0, 41.0, 27.0, 29.0, 21.0, 16.0, 18.0, 13.0, 10.0, 17.0, 5.0, 4.0, 4.0, 3.0, 5.0, 4.0, 4.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0], "bins": [-0.21406203508377075, -0.20786912739276886, -0.20167621970176697, -0.19548331201076508, -0.18929040431976318, -0.1830974966287613, -0.1769045889377594, -0.1707116812467575, -0.16451877355575562, -0.15832586586475372, -0.15213295817375183, -0.14594005048274994, -0.13974714279174805, -0.13355423510074615, -0.12736132740974426, -0.12116841971874237, -0.11497551202774048, -0.10878260433673859, -0.1025896966457367, -0.0963967889547348, -0.09020388126373291, -0.08401097357273102, -0.07781806588172913, -0.07162515819072723, -0.06543225049972534, -0.05923934280872345, -0.05304643511772156, -0.046853527426719666, -0.04066061973571777, -0.03446771204471588, -0.02827480435371399, -0.022081896662712097, -0.015888988971710205, -0.009696081280708313, -0.003503173589706421, 0.002689734101295471, 0.008882641792297363, 0.015075549483299255, 0.021268457174301147, 0.02746136486530304, 0.03365427255630493, 0.039847180247306824, 0.046040087938308716, 0.05223299562931061, 0.0584259033203125, 0.06461881101131439, 0.07081171870231628, 0.07700462639331818, 0.08319753408432007, 0.08939044177532196, 0.09558334946632385, 0.10177625715732574, 0.10796916484832764, 0.11416207253932953, 0.12035498023033142, 0.1265478879213333, 0.1327407956123352, 0.1389337033033371, 0.145126610994339, 0.15131951868534088, 0.15751242637634277, 0.16370533406734467, 0.16989824175834656, 0.17609114944934845, 0.18228405714035034]}, "gradients/decoder.transformer.h.14.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 3.0, 1.0, 2.0, 1.0, 6.0, 5.0, 6.0, 11.0, 7.0, 9.0, 11.0, 21.0, 18.0, 19.0, 17.0, 34.0, 35.0, 41.0, 27.0, 35.0, 51.0, 41.0, 42.0, 37.0, 39.0, 38.0, 50.0, 58.0, 38.0, 34.0, 30.0, 36.0, 29.0, 30.0, 24.0, 21.0, 13.0, 20.0, 13.0, 13.0, 15.0, 9.0, 7.0, 4.0, 1.0, 1.0, 4.0, 2.0, 2.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.0172882080078125, -0.016772747039794922, -0.016257286071777344, -0.015741825103759766, -0.015226364135742188, -0.01471090316772461, -0.014195442199707031, -0.013679981231689453, -0.013164520263671875, -0.012649059295654297, -0.012133598327636719, -0.01161813735961914, -0.011102676391601562, -0.010587215423583984, -0.010071754455566406, -0.009556293487548828, -0.00904083251953125, -0.008525371551513672, -0.008009910583496094, -0.007494449615478516, -0.0069789886474609375, -0.006463527679443359, -0.005948066711425781, -0.005432605743408203, -0.004917144775390625, -0.004401683807373047, -0.0038862228393554688, -0.0033707618713378906, -0.0028553009033203125, -0.0023398399353027344, -0.0018243789672851562, -0.0013089179992675781, -0.00079345703125, -0.0002779960632324219, 0.00023746490478515625, 0.0007529258728027344, 0.0012683868408203125, 0.0017838478088378906, 0.0022993087768554688, 0.002814769744873047, 0.003330230712890625, 0.003845691680908203, 0.004361152648925781, 0.004876613616943359, 0.0053920745849609375, 0.005907535552978516, 0.006422996520996094, 0.006938457489013672, 0.00745391845703125, 0.007969379425048828, 0.008484840393066406, 0.009000301361083984, 0.009515762329101562, 0.01003122329711914, 0.010546684265136719, 0.011062145233154297, 0.011577606201171875, 0.012093067169189453, 0.012608528137207031, 0.01312398910522461, 0.013639450073242188, 0.014154911041259766, 0.014670372009277344, 0.015185832977294922, 0.0157012939453125]}, "gradients/decoder.transformer.h.14.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 7.0, 2.0, 7.0, 16.0, 16.0, 16.0, 16.0, 42.0, 45.0, 58.0, 104.0, 143.0, 207.0, 302.0, 478.0, 851.0, 1673.0, 3638.0, 9415.0, 27805.0, 104575.0, 585185.0, 2612046.0, 681627.0, 116885.0, 30739.0, 10162.0, 3872.0, 1777.0, 980.0, 538.0, 330.0, 208.0, 132.0, 117.0, 78.0, 53.0, 45.0, 28.0, 22.0, 15.0, 7.0, 9.0, 8.0, 4.0, 2.0, 6.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.039520263671875, -0.03826713562011719, -0.037014007568359375, -0.03576087951660156, -0.03450775146484375, -0.03325462341308594, -0.032001495361328125, -0.030748367309570312, -0.0294952392578125, -0.028242111206054688, -0.026988983154296875, -0.025735855102539062, -0.02448272705078125, -0.023229598999023438, -0.021976470947265625, -0.020723342895507812, -0.01947021484375, -0.018217086791992188, -0.016963958740234375, -0.015710830688476562, -0.01445770263671875, -0.013204574584960938, -0.011951446533203125, -0.010698318481445312, -0.0094451904296875, -0.008192062377929688, -0.006938934326171875, -0.0056858062744140625, -0.00443267822265625, -0.0031795501708984375, -0.001926422119140625, -0.0006732940673828125, 0.000579833984375, 0.0018329620361328125, 0.003086090087890625, 0.0043392181396484375, 0.00559234619140625, 0.0068454742431640625, 0.008098602294921875, 0.009351730346679688, 0.0106048583984375, 0.011857986450195312, 0.013111114501953125, 0.014364242553710938, 0.01561737060546875, 0.016870498657226562, 0.018123626708984375, 0.019376754760742188, 0.0206298828125, 0.021883010864257812, 0.023136138916015625, 0.024389266967773438, 0.02564239501953125, 0.026895523071289062, 0.028148651123046875, 0.029401779174804688, 0.0306549072265625, 0.03190803527832031, 0.033161163330078125, 0.03441429138183594, 0.03566741943359375, 0.03692054748535156, 0.038173675537109375, 0.03942680358886719, 0.040679931640625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 2.0, 5.0, 1.0, 4.0, 7.0, 3.0, 10.0, 23.0, 15.0, 45.0, 47.0, 73.0, 129.0, 217.0, 286.0, 449.0, 660.0, 708.0, 469.0, 316.0, 205.0, 133.0, 75.0, 63.0, 44.0, 29.0, 16.0, 18.0, 8.0, 5.0, 6.0, 4.0, 0.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0565185546875, -0.054949283599853516, -0.05338001251220703, -0.05181074142456055, -0.05024147033691406, -0.04867219924926758, -0.047102928161621094, -0.04553365707397461, -0.043964385986328125, -0.04239511489868164, -0.040825843811035156, -0.03925657272338867, -0.03768730163574219, -0.0361180305480957, -0.03454875946044922, -0.032979488372802734, -0.03141021728515625, -0.029840946197509766, -0.02827167510986328, -0.026702404022216797, -0.025133132934570312, -0.023563861846923828, -0.021994590759277344, -0.02042531967163086, -0.018856048583984375, -0.01728677749633789, -0.015717506408691406, -0.014148235321044922, -0.012578964233398438, -0.011009693145751953, -0.009440422058105469, -0.007871150970458984, -0.0063018798828125, -0.004732608795166016, -0.0031633377075195312, -0.0015940666198730469, -2.47955322265625e-05, 0.0015444755554199219, 0.0031137466430664062, 0.004683017730712891, 0.006252288818359375, 0.00782155990600586, 0.009390830993652344, 0.010960102081298828, 0.012529373168945312, 0.014098644256591797, 0.01566791534423828, 0.017237186431884766, 0.01880645751953125, 0.020375728607177734, 0.02194499969482422, 0.023514270782470703, 0.025083541870117188, 0.026652812957763672, 0.028222084045410156, 0.02979135513305664, 0.031360626220703125, 0.03292989730834961, 0.034499168395996094, 0.03606843948364258, 0.03763771057128906, 0.03920698165893555, 0.04077625274658203, 0.042345523834228516, 0.043914794921875]}, "gradients/decoder.transformer.h.14.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 5.0, 1.0, 3.0, 2.0, 3.0, 9.0, 5.0, 13.0, 21.0, 22.0, 31.0, 50.0, 63.0, 109.0, 164.0, 287.0, 626.0, 1453.0, 4601.0, 21503.0, 189893.0, 2885651.0, 1003413.0, 71057.0, 10621.0, 2736.0, 975.0, 403.0, 214.0, 113.0, 78.0, 47.0, 33.0, 23.0, 21.0, 12.0, 7.0, 13.0, 2.0, 1.0, 4.0, 2.0, 5.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08087158203125, -0.07796192169189453, -0.07505226135253906, -0.0721426010131836, -0.06923294067382812, -0.06632328033447266, -0.06341361999511719, -0.06050395965576172, -0.05759429931640625, -0.05468463897705078, -0.05177497863769531, -0.048865318298339844, -0.045955657958984375, -0.043045997619628906, -0.04013633728027344, -0.03722667694091797, -0.0343170166015625, -0.03140735626220703, -0.028497695922851562, -0.025588035583496094, -0.022678375244140625, -0.019768714904785156, -0.016859054565429688, -0.013949394226074219, -0.01103973388671875, -0.008130073547363281, -0.0052204132080078125, -0.0023107528686523438, 0.000598907470703125, 0.0035085678100585938, 0.0064182281494140625, 0.009327888488769531, 0.012237548828125, 0.015147209167480469, 0.018056869506835938, 0.020966529846191406, 0.023876190185546875, 0.026785850524902344, 0.029695510864257812, 0.03260517120361328, 0.03551483154296875, 0.03842449188232422, 0.04133415222167969, 0.044243812561035156, 0.047153472900390625, 0.050063133239746094, 0.05297279357910156, 0.05588245391845703, 0.0587921142578125, 0.06170177459716797, 0.06461143493652344, 0.0675210952758789, 0.07043075561523438, 0.07334041595458984, 0.07625007629394531, 0.07915973663330078, 0.08206939697265625, 0.08497905731201172, 0.08788871765136719, 0.09079837799072266, 0.09370803833007812, 0.0966176986694336, 0.09952735900878906, 0.10243701934814453, 0.1053466796875]}, "gradients/decoder.transformer.h.14.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 8.0, 7.0, 27.0, 21.0, 53.0, 87.0, 111.0, 142.0, 129.0, 135.0, 109.0, 77.0, 39.0, 29.0, 18.0, 11.0, 5.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.18322359025478363, -0.17336304485797882, -0.163502499461174, -0.1536419540643692, -0.1437813937664032, -0.1339208483695984, -0.12406030297279358, -0.11419975757598877, -0.10433921217918396, -0.09447866678237915, -0.08461812138557434, -0.07475756853818893, -0.06489702314138412, -0.055036477744579315, -0.04517592862248421, -0.0353153795003891, -0.02545483410358429, -0.01559428684413433, -0.005733739584684372, 0.004126807674765587, 0.013987354934215546, 0.023847900331020355, 0.03370844945311546, 0.04356899857521057, 0.05342954397201538, 0.06329008936882019, 0.073150634765625, 0.0830111876130104, 0.09287173300981522, 0.10273227840662003, 0.11259283125400543, 0.12245337665081024, 0.13231393694877625, 0.14217448234558105, 0.15203502774238586, 0.16189557313919067, 0.17175611853599548, 0.1816166639328003, 0.1914772242307663, 0.2013377696275711, 0.21119831502437592, 0.22105886042118073, 0.23091940581798553, 0.24077995121479034, 0.25064051151275635, 0.26050105690956116, 0.27036160230636597, 0.2802221477031708, 0.2900826930999756, 0.2999432384967804, 0.3098037838935852, 0.31966432929039, 0.3295248746871948, 0.33938542008399963, 0.34924596548080444, 0.35910654067993164, 0.36896705627441406, 0.37882760167121887, 0.3886881470680237, 0.3985486924648285, 0.4084092378616333, 0.4182697832584381, 0.4281303286552429, 0.4379909038543701, 0.4478514492511749]}, "gradients/decoder.transformer.h.14.ln_2.bias": {"_type": "histogram", "values": [1.0, 3.0, 2.0, 3.0, 2.0, 1.0, 3.0, 4.0, 3.0, 7.0, 8.0, 8.0, 16.0, 16.0, 20.0, 19.0, 16.0, 18.0, 24.0, 23.0, 25.0, 27.0, 35.0, 28.0, 37.0, 42.0, 37.0, 40.0, 46.0, 43.0, 41.0, 52.0, 35.0, 36.0, 31.0, 32.0, 34.0, 32.0, 22.0, 20.0, 22.0, 22.0, 16.0, 12.0, 11.0, 11.0, 6.0, 9.0, 3.0, 5.0, 3.0, 3.0, 3.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.11647146940231323, -0.11239773035049438, -0.10832399129867554, -0.10425025224685669, -0.10017651319503784, -0.096102774143219, -0.09202902764081955, -0.0879552885890007, -0.08388154953718185, -0.079807810485363, -0.07573407143354416, -0.07166033238172531, -0.06758658587932587, -0.06351284682750702, -0.05943910777568817, -0.055365368723869324, -0.051291629672050476, -0.04721789062023163, -0.04314415156841278, -0.039070408791303635, -0.03499666973948479, -0.03092293068766594, -0.026849189773201942, -0.022775448858737946, -0.018701709806919098, -0.014627969823777676, -0.010554229840636253, -0.006480489857494831, -0.002406749874353409, 0.0016669891774654388, 0.005740730091929436, 0.009814471006393433, 0.01388821005821228, 0.017961949110031128, 0.022035690024495125, 0.02610943093895912, 0.03018316999077797, 0.03425690904259682, 0.03833065181970596, 0.04240439087152481, 0.04647812992334366, 0.050551868975162506, 0.054625608026981354, 0.0586993508040905, 0.06277309358119965, 0.0668468326330185, 0.07092057168483734, 0.07499431073665619, 0.07906804978847504, 0.08314178884029388, 0.08721552789211273, 0.09128926694393158, 0.09536300599575043, 0.09943674504756927, 0.10351049154996872, 0.10758423060178757, 0.11165796965360641, 0.11573170870542526, 0.11980544775724411, 0.12387918680906296, 0.1279529333114624, 0.13202667236328125, 0.1361004114151001, 0.14017415046691895, 0.1442478895187378]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 4.0, 5.0, 6.0, 7.0, 10.0, 18.0, 12.0, 16.0, 19.0, 28.0, 37.0, 31.0, 34.0, 43.0, 45.0, 38.0, 37.0, 56.0, 47.0, 52.0, 44.0, 50.0, 56.0, 45.0, 31.0, 37.0, 29.0, 33.0, 27.0, 23.0, 14.0, 17.0, 14.0, 14.0, 12.0, 5.0, 1.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0], "bins": [-0.0218505859375, -0.021259784698486328, -0.020668983459472656, -0.020078182220458984, -0.019487380981445312, -0.01889657974243164, -0.01830577850341797, -0.017714977264404297, -0.017124176025390625, -0.016533374786376953, -0.01594257354736328, -0.01535177230834961, -0.014760971069335938, -0.014170169830322266, -0.013579368591308594, -0.012988567352294922, -0.01239776611328125, -0.011806964874267578, -0.011216163635253906, -0.010625362396240234, -0.010034561157226562, -0.00944375991821289, -0.008852958679199219, -0.008262157440185547, -0.007671356201171875, -0.007080554962158203, -0.006489753723144531, -0.005898952484130859, -0.0053081512451171875, -0.004717350006103516, -0.004126548767089844, -0.003535747528076172, -0.0029449462890625, -0.002354145050048828, -0.0017633438110351562, -0.0011725425720214844, -0.0005817413330078125, 9.059906005859375e-06, 0.0005998611450195312, 0.0011906623840332031, 0.001781463623046875, 0.002372264862060547, 0.0029630661010742188, 0.0035538673400878906, 0.0041446685791015625, 0.004735469818115234, 0.005326271057128906, 0.005917072296142578, 0.00650787353515625, 0.007098674774169922, 0.007689476013183594, 0.008280277252197266, 0.008871078491210938, 0.00946187973022461, 0.010052680969238281, 0.010643482208251953, 0.011234283447265625, 0.011825084686279297, 0.012415885925292969, 0.01300668716430664, 0.013597488403320312, 0.014188289642333984, 0.014779090881347656, 0.015369892120361328, 0.015960693359375]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 3.0, 0.0, 2.0, 6.0, 8.0, 8.0, 16.0, 14.0, 30.0, 47.0, 66.0, 100.0, 142.0, 232.0, 349.0, 547.0, 878.0, 1418.0, 2390.0, 3967.0, 6781.0, 11734.0, 21102.0, 38712.0, 75060.0, 163681.0, 397031.0, 163123.0, 73683.0, 38154.0, 20963.0, 11587.0, 6570.0, 3949.0, 2346.0, 1446.0, 854.0, 563.0, 347.0, 217.0, 150.0, 99.0, 63.0, 47.0, 22.0, 19.0, 13.0, 11.0, 9.0, 5.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00017011165618896484, -0.00016487576067447662, -0.0001596398651599884, -0.00015440396964550018, -0.00014916807413101196, -0.00014393217861652374, -0.00013869628310203552, -0.0001334603875875473, -0.00012822449207305908, -0.00012298859655857086, -0.00011775270104408264, -0.00011251680552959442, -0.0001072809100151062, -0.00010204501450061798, -9.680911898612976e-05, -9.157322347164154e-05, -8.633732795715332e-05, -8.11014324426651e-05, -7.586553692817688e-05, -7.062964141368866e-05, -6.539374589920044e-05, -6.015785038471222e-05, -5.4921954870224e-05, -4.968605935573578e-05, -4.445016384124756e-05, -3.921426832675934e-05, -3.397837281227112e-05, -2.8742477297782898e-05, -2.3506581783294678e-05, -1.8270686268806458e-05, -1.3034790754318237e-05, -7.798895239830017e-06, -2.562999725341797e-06, 2.6728957891464233e-06, 7.908791303634644e-06, 1.3144686818122864e-05, 1.8380582332611084e-05, 2.3616477847099304e-05, 2.8852373361587524e-05, 3.4088268876075745e-05, 3.9324164390563965e-05, 4.4560059905052185e-05, 4.9795955419540405e-05, 5.5031850934028625e-05, 6.0267746448516846e-05, 6.550364196300507e-05, 7.073953747749329e-05, 7.59754329919815e-05, 8.121132850646973e-05, 8.644722402095795e-05, 9.168311953544617e-05, 9.691901504993439e-05, 0.00010215491056442261, 0.00010739080607891083, 0.00011262670159339905, 0.00011786259710788727, 0.0001230984926223755, 0.0001283343881368637, 0.00013357028365135193, 0.00013880617916584015, 0.00014404207468032837, 0.0001492779701948166, 0.0001545138657093048, 0.00015974976122379303, 0.00016498565673828125]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 2.0, 1.0, 3.0, 2.0, 3.0, 1.0, 3.0, 5.0, 5.0, 7.0, 9.0, 11.0, 13.0, 20.0, 12.0, 15.0, 10.0, 25.0, 25.0, 26.0, 25.0, 30.0, 33.0, 31.0, 35.0, 36.0, 33.0, 39.0, 1057.0, 41.0, 28.0, 47.0, 37.0, 43.0, 34.0, 29.0, 29.0, 32.0, 37.0, 24.0, 15.0, 23.0, 27.0, 13.0, 11.0, 13.0, 9.0, 7.0, 4.0, 9.0, 4.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0158233642578125, -0.015311479568481445, -0.01479959487915039, -0.014287710189819336, -0.013775825500488281, -0.013263940811157227, -0.012752056121826172, -0.012240171432495117, -0.011728286743164062, -0.011216402053833008, -0.010704517364501953, -0.010192632675170898, -0.009680747985839844, -0.009168863296508789, -0.008656978607177734, -0.00814509391784668, -0.007633209228515625, -0.00712132453918457, -0.006609439849853516, -0.006097555160522461, -0.005585670471191406, -0.0050737857818603516, -0.004561901092529297, -0.004050016403198242, -0.0035381317138671875, -0.003026247024536133, -0.002514362335205078, -0.0020024776458740234, -0.0014905929565429688, -0.000978708267211914, -0.0004668235778808594, 4.506111145019531e-05, 0.00055694580078125, 0.0010688304901123047, 0.0015807151794433594, 0.002092599868774414, 0.0026044845581054688, 0.0031163692474365234, 0.003628253936767578, 0.004140138626098633, 0.0046520233154296875, 0.005163908004760742, 0.005675792694091797, 0.0061876773834228516, 0.006699562072753906, 0.007211446762084961, 0.007723331451416016, 0.00823521614074707, 0.008747100830078125, 0.00925898551940918, 0.009770870208740234, 0.010282754898071289, 0.010794639587402344, 0.011306524276733398, 0.011818408966064453, 0.012330293655395508, 0.012842178344726562, 0.013354063034057617, 0.013865947723388672, 0.014377832412719727, 0.014889717102050781, 0.015401601791381836, 0.01591348648071289, 0.016425371170043945, 0.016937255859375]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 0.0, 4.0, 0.0, 6.0, 7.0, 4.0, 7.0, 8.0, 14.0, 10.0, 16.0, 23.0, 20.0, 21.0, 26.0, 38.0, 38.0, 50.0, 47.0, 83.0, 172.0, 281.0, 715.0, 2982.0, 77806.0, 2007598.0, 5013.0, 1262.0, 308.0, 130.0, 96.0, 71.0, 45.0, 31.0, 35.0, 26.0, 27.0, 7.0, 20.0, 12.0, 18.0, 14.0, 12.0, 8.0, 5.0, 7.0, 5.0, 3.0, 0.0, 3.0, 2.0, 3.0, 1.0, 2.0, 1.0, 2.0], "bins": [-1.239776611328125e-05, -1.2023374438285828e-05, -1.1648982763290405e-05, -1.1274591088294983e-05, -1.090019941329956e-05, -1.0525807738304138e-05, -1.0151416063308716e-05, -9.777024388313293e-06, -9.402632713317871e-06, -9.028241038322449e-06, -8.653849363327026e-06, -8.279457688331604e-06, -7.905066013336182e-06, -7.530674338340759e-06, -7.156282663345337e-06, -6.7818909883499146e-06, -6.407499313354492e-06, -6.03310763835907e-06, -5.6587159633636475e-06, -5.284324288368225e-06, -4.909932613372803e-06, -4.53554093837738e-06, -4.161149263381958e-06, -3.7867575883865356e-06, -3.4123659133911133e-06, -3.037974238395691e-06, -2.6635825634002686e-06, -2.289190888404846e-06, -1.914799213409424e-06, -1.5404075384140015e-06, -1.166015863418579e-06, -7.916241884231567e-07, -4.172325134277344e-07, -4.284083843231201e-08, 3.3155083656311035e-07, 7.059425115585327e-07, 1.080334186553955e-06, 1.4547258615493774e-06, 1.8291175365447998e-06, 2.203509211540222e-06, 2.5779008865356445e-06, 2.952292561531067e-06, 3.3266842365264893e-06, 3.7010759115219116e-06, 4.075467586517334e-06, 4.449859261512756e-06, 4.824250936508179e-06, 5.198642611503601e-06, 5.5730342864990234e-06, 5.947425961494446e-06, 6.321817636489868e-06, 6.6962093114852905e-06, 7.070600986480713e-06, 7.444992661476135e-06, 7.819384336471558e-06, 8.19377601146698e-06, 8.568167686462402e-06, 8.942559361457825e-06, 9.316951036453247e-06, 9.69134271144867e-06, 1.0065734386444092e-05, 1.0440126061439514e-05, 1.0814517736434937e-05, 1.1188909411430359e-05, 1.1563301086425781e-05]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 4.0, 5.0, 6.0, 7.0, 10.0, 18.0, 12.0, 16.0, 19.0, 28.0, 37.0, 31.0, 34.0, 43.0, 45.0, 38.0, 37.0, 56.0, 47.0, 52.0, 44.0, 50.0, 56.0, 45.0, 31.0, 37.0, 29.0, 33.0, 27.0, 23.0, 14.0, 17.0, 14.0, 14.0, 12.0, 5.0, 1.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0], "bins": [-0.0218505859375, -0.021259784698486328, -0.020668983459472656, -0.020078182220458984, -0.019487380981445312, -0.01889657974243164, -0.01830577850341797, -0.017714977264404297, -0.017124176025390625, -0.016533374786376953, -0.01594257354736328, -0.01535177230834961, -0.014760971069335938, -0.014170169830322266, -0.013579368591308594, -0.012988567352294922, -0.01239776611328125, -0.011806964874267578, -0.011216163635253906, -0.010625362396240234, -0.010034561157226562, -0.00944375991821289, -0.008852958679199219, -0.008262157440185547, -0.007671356201171875, -0.007080554962158203, -0.006489753723144531, -0.005898952484130859, -0.0053081512451171875, -0.004717350006103516, -0.004126548767089844, -0.003535747528076172, -0.0029449462890625, -0.002354145050048828, -0.0017633438110351562, -0.0011725425720214844, -0.0005817413330078125, 9.059906005859375e-06, 0.0005998611450195312, 0.0011906623840332031, 0.001781463623046875, 0.002372264862060547, 0.0029630661010742188, 0.0035538673400878906, 0.0041446685791015625, 0.004735469818115234, 0.005326271057128906, 0.005917072296142578, 0.00650787353515625, 0.007098674774169922, 0.007689476013183594, 0.008280277252197266, 0.008871078491210938, 0.00946187973022461, 0.010052680969238281, 0.010643482208251953, 0.011234283447265625, 0.011825084686279297, 0.012415885925292969, 0.01300668716430664, 0.013597488403320312, 0.014188289642333984, 0.014779090881347656, 0.015369892120361328, 0.015960693359375]}, "gradients/decoder.transformer.h.14.attn.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 4.0, 6.0, 13.0, 13.0, 18.0, 29.0, 38.0, 75.0, 95.0, 159.0, 253.0, 427.0, 612.0, 971.0, 1523.0, 2340.0, 3836.0, 6345.0, 10664.0, 18042.0, 30952.0, 54138.0, 96650.0, 208519.0, 318827.0, 128995.0, 68966.0, 39403.0, 22534.0, 13201.0, 8023.0, 4830.0, 3024.0, 1786.0, 1148.0, 715.0, 464.0, 309.0, 224.0, 136.0, 82.0, 53.0, 36.0, 23.0, 23.0, 12.0, 8.0, 9.0, 2.0, 4.0, 1.0, 2.0, 2.0, 2.0], "bins": [-0.0238037109375, -0.02310800552368164, -0.02241230010986328, -0.021716594696044922, -0.021020889282226562, -0.020325183868408203, -0.019629478454589844, -0.018933773040771484, -0.018238067626953125, -0.017542362213134766, -0.016846656799316406, -0.016150951385498047, -0.015455245971679688, -0.014759540557861328, -0.014063835144042969, -0.01336812973022461, -0.01267242431640625, -0.01197671890258789, -0.011281013488769531, -0.010585308074951172, -0.009889602661132812, -0.009193897247314453, -0.008498191833496094, -0.007802486419677734, -0.007106781005859375, -0.006411075592041016, -0.005715370178222656, -0.005019664764404297, -0.0043239593505859375, -0.003628253936767578, -0.0029325485229492188, -0.0022368431091308594, -0.0015411376953125, -0.0008454322814941406, -0.00014972686767578125, 0.0005459785461425781, 0.0012416839599609375, 0.0019373893737792969, 0.0026330947875976562, 0.0033288002014160156, 0.004024505615234375, 0.004720211029052734, 0.005415916442871094, 0.006111621856689453, 0.0068073272705078125, 0.007503032684326172, 0.008198738098144531, 0.00889444351196289, 0.00959014892578125, 0.01028585433959961, 0.010981559753417969, 0.011677265167236328, 0.012372970581054688, 0.013068675994873047, 0.013764381408691406, 0.014460086822509766, 0.015155792236328125, 0.015851497650146484, 0.016547203063964844, 0.017242908477783203, 0.017938613891601562, 0.018634319305419922, 0.01933002471923828, 0.02002573013305664, 0.020721435546875]}, "gradients/decoder.transformer.h.14.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 0.0, 4.0, 7.0, 3.0, 2.0, 13.0, 12.0, 13.0, 22.0, 22.0, 26.0, 17.0, 27.0, 36.0, 35.0, 41.0, 56.0, 71.0, 98.0, 126.0, 235.0, 1445.0, 175.0, 98.0, 73.0, 72.0, 49.0, 46.0, 45.0, 29.0, 31.0, 21.0, 23.0, 21.0, 13.0, 4.0, 15.0, 7.0, 5.0, 5.0, 5.0, 1.0, 3.0, 4.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052947998046875, -0.05100679397583008, -0.049065589904785156, -0.047124385833740234, -0.04518318176269531, -0.04324197769165039, -0.04130077362060547, -0.03935956954956055, -0.037418365478515625, -0.0354771614074707, -0.03353595733642578, -0.03159475326538086, -0.029653549194335938, -0.027712345123291016, -0.025771141052246094, -0.023829936981201172, -0.02188873291015625, -0.019947528839111328, -0.018006324768066406, -0.016065120697021484, -0.014123916625976562, -0.01218271255493164, -0.010241508483886719, -0.008300304412841797, -0.006359100341796875, -0.004417896270751953, -0.0024766921997070312, -0.0005354881286621094, 0.0014057159423828125, 0.0033469200134277344, 0.005288124084472656, 0.007229328155517578, 0.0091705322265625, 0.011111736297607422, 0.013052940368652344, 0.014994144439697266, 0.016935348510742188, 0.01887655258178711, 0.02081775665283203, 0.022758960723876953, 0.024700164794921875, 0.026641368865966797, 0.02858257293701172, 0.03052377700805664, 0.03246498107910156, 0.034406185150146484, 0.036347389221191406, 0.03828859329223633, 0.04022979736328125, 0.04217100143432617, 0.044112205505371094, 0.046053409576416016, 0.04799461364746094, 0.04993581771850586, 0.05187702178955078, 0.0538182258605957, 0.055759429931640625, 0.05770063400268555, 0.05964183807373047, 0.06158304214477539, 0.06352424621582031, 0.06546545028686523, 0.06740665435791016, 0.06934785842895508, 0.0712890625]}, "gradients/decoder.transformer.h.14.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 0.0, 2.0, 5.0, 4.0, 5.0, 7.0, 7.0, 11.0, 17.0, 21.0, 34.0, 29.0, 52.0, 51.0, 89.0, 117.0, 189.0, 320.0, 738.0, 3187.0, 21962.0, 339779.0, 2651677.0, 113735.0, 10618.0, 1745.0, 496.0, 246.0, 163.0, 97.0, 81.0, 45.0, 41.0, 44.0, 23.0, 24.0, 11.0, 11.0, 2.0, 5.0, 8.0, 4.0, 5.0, 1.0, 3.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.1351318359375, -0.13130664825439453, -0.12748146057128906, -0.1236562728881836, -0.11983108520507812, -0.11600589752197266, -0.11218070983886719, -0.10835552215576172, -0.10453033447265625, -0.10070514678955078, -0.09687995910644531, -0.09305477142333984, -0.08922958374023438, -0.0854043960571289, -0.08157920837402344, -0.07775402069091797, -0.0739288330078125, -0.07010364532470703, -0.06627845764160156, -0.062453269958496094, -0.058628082275390625, -0.054802894592285156, -0.05097770690917969, -0.04715251922607422, -0.04332733154296875, -0.03950214385986328, -0.03567695617675781, -0.031851768493652344, -0.028026580810546875, -0.024201393127441406, -0.020376205444335938, -0.01655101776123047, -0.012725830078125, -0.008900642395019531, -0.0050754547119140625, -0.0012502670288085938, 0.002574920654296875, 0.006400108337402344, 0.010225296020507812, 0.014050483703613281, 0.01787567138671875, 0.02170085906982422, 0.025526046752929688, 0.029351234436035156, 0.033176422119140625, 0.037001609802246094, 0.04082679748535156, 0.04465198516845703, 0.0484771728515625, 0.05230236053466797, 0.05612754821777344, 0.059952735900878906, 0.06377792358398438, 0.06760311126708984, 0.07142829895019531, 0.07525348663330078, 0.07907867431640625, 0.08290386199951172, 0.08672904968261719, 0.09055423736572266, 0.09437942504882812, 0.0982046127319336, 0.10202980041503906, 0.10585498809814453, 0.10968017578125]}, "gradients/decoder.transformer.h.14.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 5.0, 10.0, 250.0, 665.0, 88.0], "bins": [-2.5774147510528564, -2.5360567569732666, -2.4946987628936768, -2.453340768814087, -2.411982774734497, -2.3706247806549072, -2.3292667865753174, -2.2879087924957275, -2.2465507984161377, -2.205192804336548, -2.163834810256958, -2.122476816177368, -2.0811188220977783, -2.0397608280181885, -1.9984028339385986, -1.9570448398590088, -1.9156869649887085, -1.8743289709091187, -1.8329709768295288, -1.791612982749939, -1.7502549886703491, -1.7088969945907593, -1.6675390005111694, -1.6261811256408691, -1.5848231315612793, -1.5434651374816895, -1.5021071434020996, -1.4607491493225098, -1.41939115524292, -1.37803316116333, -1.3366751670837402, -1.2953171730041504, -1.25395929813385, -1.2126013040542603, -1.1712433099746704, -1.1298853158950806, -1.0885273218154907, -1.0471693277359009, -1.005811333656311, -0.964453399181366, -0.9230954051017761, -0.8817374110221863, -0.8403794169425964, -0.7990214228630066, -0.7576634883880615, -0.7163054943084717, -0.6749475002288818, -0.633589506149292, -0.5922315120697021, -0.5508735179901123, -0.5095155239105225, -0.468157559633255, -0.42679956555366516, -0.3854415714740753, -0.34408360719680786, -0.302725613117218, -0.2613676190376282, -0.22000962495803833, -0.17865164577960968, -0.13729366660118103, -0.09593567252159119, -0.05457767844200134, -0.013219699263572693, 0.028138279914855957, 0.0694962814450264]}, "gradients/decoder.transformer.h.14.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 1.0, 3.0, 3.0, 4.0, 3.0, 2.0, 6.0, 7.0, 7.0, 3.0, 7.0, 17.0, 14.0, 18.0, 23.0, 22.0, 22.0, 24.0, 31.0, 31.0, 30.0, 31.0, 35.0, 31.0, 26.0, 49.0, 35.0, 43.0, 37.0, 46.0, 46.0, 25.0, 27.0, 19.0, 30.0, 27.0, 20.0, 22.0, 21.0, 24.0, 18.0, 26.0, 18.0, 12.0, 13.0, 10.0, 9.0, 9.0, 5.0, 5.0, 6.0, 6.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.17129695415496826, -0.16576240956783295, -0.16022787988185883, -0.1546933352947235, -0.1491588056087494, -0.14362426102161407, -0.13808971643447876, -0.13255518674850464, -0.12702064216136932, -0.1214861050248146, -0.11595156788825989, -0.11041702330112457, -0.10488248616456985, -0.09934794902801514, -0.09381340444087982, -0.0882788673043251, -0.08274433016777039, -0.07720979303121567, -0.07167525589466095, -0.06614071130752563, -0.06060617417097092, -0.0550716370344162, -0.04953709617257118, -0.044002555310726166, -0.03846801817417145, -0.03293348103761673, -0.027398940175771713, -0.021864401176571846, -0.01632986217737198, -0.010795323178172112, -0.005260784178972244, 0.0002737566828727722, 0.00580829381942749, 0.011342832818627357, 0.016877371817827225, 0.022411910817027092, 0.02794644981622696, 0.03348098695278168, 0.039015527814626694, 0.04455006867647171, 0.05008460581302643, 0.055619142949581146, 0.06115368381142616, 0.06668822467327118, 0.0722227618098259, 0.07775729894638062, 0.08329184353351593, 0.08882638067007065, 0.09436091780662537, 0.09989545494318008, 0.1054299920797348, 0.11096453666687012, 0.11649907380342484, 0.12203361093997955, 0.12756815552711487, 0.133102685213089, 0.1386372298002243, 0.14417177438735962, 0.14970630407333374, 0.15524084866046906, 0.16077539324760437, 0.1663099229335785, 0.1718444675207138, 0.17737901210784912, 0.18291354179382324]}, "gradients/decoder.transformer.h.13.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 3.0, 2.0, 6.0, 3.0, 4.0, 3.0, 17.0, 10.0, 17.0, 22.0, 14.0, 24.0, 31.0, 49.0, 32.0, 31.0, 44.0, 54.0, 47.0, 60.0, 44.0, 46.0, 56.0, 45.0, 45.0, 48.0, 40.0, 31.0, 44.0, 35.0, 19.0, 13.0, 13.0, 13.0, 11.0, 10.0, 11.0, 0.0, 6.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.023223876953125, -0.02259087562561035, -0.021957874298095703, -0.021324872970581055, -0.020691871643066406, -0.020058870315551758, -0.01942586898803711, -0.01879286766052246, -0.018159866333007812, -0.017526865005493164, -0.016893863677978516, -0.016260862350463867, -0.01562786102294922, -0.01499485969543457, -0.014361858367919922, -0.013728857040405273, -0.013095855712890625, -0.012462854385375977, -0.011829853057861328, -0.01119685173034668, -0.010563850402832031, -0.009930849075317383, -0.009297847747802734, -0.008664846420288086, -0.008031845092773438, -0.007398843765258789, -0.006765842437744141, -0.006132841110229492, -0.005499839782714844, -0.004866838455200195, -0.004233837127685547, -0.0036008358001708984, -0.00296783447265625, -0.0023348331451416016, -0.0017018318176269531, -0.0010688304901123047, -0.00043582916259765625, 0.0001971721649169922, 0.0008301734924316406, 0.001463174819946289, 0.0020961761474609375, 0.002729177474975586, 0.0033621788024902344, 0.003995180130004883, 0.004628181457519531, 0.00526118278503418, 0.005894184112548828, 0.0065271854400634766, 0.007160186767578125, 0.0077931880950927734, 0.008426189422607422, 0.00905919075012207, 0.009692192077636719, 0.010325193405151367, 0.010958194732666016, 0.011591196060180664, 0.012224197387695312, 0.012857198715209961, 0.01349020004272461, 0.014123201370239258, 0.014756202697753906, 0.015389204025268555, 0.016022205352783203, 0.01665520668029785, 0.0172882080078125]}, "gradients/decoder.transformer.h.13.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 7.0, 3.0, 6.0, 9.0, 12.0, 10.0, 27.0, 36.0, 49.0, 76.0, 133.0, 248.0, 539.0, 1091.0, 2476.0, 6331.0, 17754.0, 61475.0, 305756.0, 2216909.0, 1339023.0, 179175.0, 41477.0, 12967.0, 4849.0, 1914.0, 869.0, 475.0, 235.0, 129.0, 89.0, 52.0, 25.0, 21.0, 14.0, 11.0, 6.0, 4.0, 5.0, 4.0, 2.0, 2.0, 3.0], "bins": [-0.054443359375, -0.053110599517822266, -0.05177783966064453, -0.0504450798034668, -0.04911231994628906, -0.04777956008911133, -0.046446800231933594, -0.04511404037475586, -0.043781280517578125, -0.04244852066040039, -0.041115760803222656, -0.03978300094604492, -0.03845024108886719, -0.03711748123168945, -0.03578472137451172, -0.034451961517333984, -0.03311920166015625, -0.031786441802978516, -0.03045368194580078, -0.029120922088623047, -0.027788162231445312, -0.026455402374267578, -0.025122642517089844, -0.02378988265991211, -0.022457122802734375, -0.02112436294555664, -0.019791603088378906, -0.018458843231201172, -0.017126083374023438, -0.015793323516845703, -0.014460563659667969, -0.013127803802490234, -0.0117950439453125, -0.010462284088134766, -0.009129524230957031, -0.007796764373779297, -0.0064640045166015625, -0.005131244659423828, -0.0037984848022460938, -0.0024657249450683594, -0.001132965087890625, 0.00019979476928710938, 0.0015325546264648438, 0.002865314483642578, 0.0041980743408203125, 0.005530834197998047, 0.006863594055175781, 0.008196353912353516, 0.00952911376953125, 0.010861873626708984, 0.012194633483886719, 0.013527393341064453, 0.014860153198242188, 0.016192913055419922, 0.017525672912597656, 0.01885843276977539, 0.020191192626953125, 0.02152395248413086, 0.022856712341308594, 0.024189472198486328, 0.025522232055664062, 0.026854991912841797, 0.02818775177001953, 0.029520511627197266, 0.030853271484375]}, "gradients/decoder.transformer.h.13.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 4.0, 3.0, 11.0, 7.0, 19.0, 27.0, 28.0, 51.0, 66.0, 127.0, 186.0, 306.0, 437.0, 676.0, 715.0, 476.0, 335.0, 203.0, 127.0, 104.0, 64.0, 33.0, 15.0, 21.0, 13.0, 10.0, 6.0, 4.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.056610107421875, -0.05499839782714844, -0.053386688232421875, -0.05177497863769531, -0.05016326904296875, -0.04855155944824219, -0.046939849853515625, -0.04532814025878906, -0.0437164306640625, -0.04210472106933594, -0.040493011474609375, -0.03888130187988281, -0.03726959228515625, -0.03565788269042969, -0.034046173095703125, -0.03243446350097656, -0.03082275390625, -0.029211044311523438, -0.027599334716796875, -0.025987625122070312, -0.02437591552734375, -0.022764205932617188, -0.021152496337890625, -0.019540786743164062, -0.0179290771484375, -0.016317367553710938, -0.014705657958984375, -0.013093948364257812, -0.01148223876953125, -0.009870529174804688, -0.008258819580078125, -0.0066471099853515625, -0.005035400390625, -0.0034236907958984375, -0.001811981201171875, -0.0002002716064453125, 0.00141143798828125, 0.0030231475830078125, 0.004634857177734375, 0.0062465667724609375, 0.0078582763671875, 0.009469985961914062, 0.011081695556640625, 0.012693405151367188, 0.01430511474609375, 0.015916824340820312, 0.017528533935546875, 0.019140243530273438, 0.020751953125, 0.022363662719726562, 0.023975372314453125, 0.025587081909179688, 0.02719879150390625, 0.028810501098632812, 0.030422210693359375, 0.03203392028808594, 0.0336456298828125, 0.03525733947753906, 0.036869049072265625, 0.03848075866699219, 0.04009246826171875, 0.04170417785644531, 0.043315887451171875, 0.04492759704589844, 0.046539306640625]}, "gradients/decoder.transformer.h.13.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 3.0, 2.0, 3.0, 11.0, 12.0, 25.0, 15.0, 27.0, 46.0, 70.0, 105.0, 187.0, 322.0, 776.0, 3730.0, 51897.0, 2846634.0, 1259277.0, 27336.0, 2559.0, 588.0, 255.0, 131.0, 91.0, 61.0, 42.0, 23.0, 25.0, 16.0, 8.0, 6.0, 3.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12225341796875, -0.11787128448486328, -0.11348915100097656, -0.10910701751708984, -0.10472488403320312, -0.1003427505493164, -0.09596061706542969, -0.09157848358154297, -0.08719635009765625, -0.08281421661376953, -0.07843208312988281, -0.0740499496459961, -0.06966781616210938, -0.06528568267822266, -0.06090354919433594, -0.05652141571044922, -0.0521392822265625, -0.04775714874267578, -0.04337501525878906, -0.038992881774902344, -0.034610748291015625, -0.030228614807128906, -0.025846481323242188, -0.02146434783935547, -0.01708221435546875, -0.012700080871582031, -0.008317947387695312, -0.003935813903808594, 0.000446319580078125, 0.004828453063964844, 0.009210586547851562, 0.013592720031738281, 0.017974853515625, 0.02235698699951172, 0.026739120483398438, 0.031121253967285156, 0.035503387451171875, 0.039885520935058594, 0.04426765441894531, 0.04864978790283203, 0.05303192138671875, 0.05741405487060547, 0.06179618835449219, 0.0661783218383789, 0.07056045532226562, 0.07494258880615234, 0.07932472229003906, 0.08370685577392578, 0.0880889892578125, 0.09247112274169922, 0.09685325622558594, 0.10123538970947266, 0.10561752319335938, 0.1099996566772461, 0.11438179016113281, 0.11876392364501953, 0.12314605712890625, 0.12752819061279297, 0.1319103240966797, 0.1362924575805664, 0.14067459106445312, 0.14505672454833984, 0.14943885803222656, 0.15382099151611328, 0.158203125]}, "gradients/decoder.transformer.h.13.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 3.0, 7.0, 10.0, 18.0, 35.0, 41.0, 63.0, 55.0, 78.0, 101.0, 102.0, 99.0, 92.0, 85.0, 63.0, 51.0, 37.0, 29.0, 20.0, 10.0, 5.0, 6.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10683834552764893, -0.10015174001455307, -0.09346513450145721, -0.08677852898836136, -0.0800919234752655, -0.07340531051158905, -0.06671871244907379, -0.06003210321068764, -0.05334549769759178, -0.046658892184495926, -0.03997228667140007, -0.033285677433013916, -0.02659907378256321, -0.019912466406822205, -0.013225860893726349, -0.006539255380630493, 0.00014735013246536255, 0.006833956111222506, 0.013520562089979649, 0.02020716853439808, 0.026893774047493935, 0.03358038142323494, 0.040266986936330795, 0.04695359244942665, 0.05364019796252251, 0.06032680347561836, 0.06701341271400452, 0.07370001822710037, 0.08038662374019623, 0.08707322925329208, 0.09375983476638794, 0.1004464402794838, 0.10713304579257965, 0.1138196513056755, 0.12050625681877136, 0.12719286978244781, 0.13387946784496307, 0.14056608080863953, 0.14725267887115479, 0.15393929183483124, 0.1606258898973465, 0.16731250286102295, 0.1739991009235382, 0.18068571388721466, 0.18737231194972992, 0.19405892491340637, 0.20074552297592163, 0.20743213593959808, 0.21411874890327454, 0.220805361866951, 0.22749195992946625, 0.2341785728931427, 0.24086517095565796, 0.2475517839193344, 0.25423839688301086, 0.2609249949455261, 0.2676115930080414, 0.27429819107055664, 0.2809848189353943, 0.28767141699790955, 0.2943580150604248, 0.30104461312294006, 0.3077312409877777, 0.31441783905029297, 0.3211044371128082]}, "gradients/decoder.transformer.h.13.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 2.0, 2.0, 6.0, 7.0, 3.0, 7.0, 12.0, 11.0, 11.0, 14.0, 19.0, 14.0, 21.0, 25.0, 35.0, 35.0, 36.0, 27.0, 44.0, 35.0, 29.0, 41.0, 34.0, 48.0, 49.0, 31.0, 37.0, 36.0, 33.0, 39.0, 25.0, 24.0, 35.0, 26.0, 20.0, 22.0, 17.0, 14.0, 11.0, 11.0, 10.0, 8.0, 11.0, 6.0, 6.0, 4.0, 3.0, 3.0, 4.0, 3.0, 4.0, 4.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.12391948699951172, -0.12004562467336655, -0.11617176979780197, -0.1122979074716568, -0.10842405259609222, -0.10455019026994705, -0.10067632794380188, -0.0968024730682373, -0.09292861074209213, -0.08905474841594696, -0.08518089354038239, -0.08130703121423721, -0.07743316888809204, -0.07355931401252747, -0.0696854516863823, -0.06581158936023712, -0.061937734484672546, -0.05806387588381767, -0.0541900172829628, -0.05031615495681763, -0.04644229635596275, -0.04256843775510788, -0.03869457542896271, -0.034820716828107834, -0.03094685822725296, -0.027072999626398087, -0.023199139162898064, -0.01932527869939804, -0.015451420098543167, -0.011577561497688293, -0.007703701034188271, -0.0038298405706882477, 4.4018030166625977e-05, 0.003917877562344074, 0.0077917370945215225, 0.01166559662669897, 0.015539456158876419, 0.019413314759731293, 0.023287175223231316, 0.02716103568673134, 0.031034894287586212, 0.034908752888441086, 0.03878261148929596, 0.04265647381544113, 0.046530332416296005, 0.05040419101715088, 0.05427805334329605, 0.058151911944150925, 0.0620257705450058, 0.06589963287115097, 0.06977348774671555, 0.07364735007286072, 0.07752120494842529, 0.08139506727457047, 0.08526892960071564, 0.08914278447628021, 0.09301664680242538, 0.09689050912857056, 0.10076436400413513, 0.1046382263302803, 0.10851208865642548, 0.11238594353199005, 0.11625980585813522, 0.1201336681842804, 0.12400752305984497]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 6.0, 4.0, 1.0, 6.0, 7.0, 10.0, 14.0, 17.0, 16.0, 22.0, 29.0, 39.0, 45.0, 33.0, 43.0, 55.0, 55.0, 55.0, 54.0, 50.0, 56.0, 58.0, 60.0, 39.0, 33.0, 41.0, 47.0, 26.0, 19.0, 18.0, 17.0, 9.0, 7.0, 7.0, 7.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.0279388427734375, -0.027236461639404297, -0.026534080505371094, -0.02583169937133789, -0.025129318237304688, -0.024426937103271484, -0.02372455596923828, -0.023022174835205078, -0.022319793701171875, -0.021617412567138672, -0.02091503143310547, -0.020212650299072266, -0.019510269165039062, -0.01880788803100586, -0.018105506896972656, -0.017403125762939453, -0.01670074462890625, -0.015998363494873047, -0.015295982360839844, -0.01459360122680664, -0.013891220092773438, -0.013188838958740234, -0.012486457824707031, -0.011784076690673828, -0.011081695556640625, -0.010379314422607422, -0.009676933288574219, -0.008974552154541016, -0.008272171020507812, -0.007569789886474609, -0.006867408752441406, -0.006165027618408203, -0.005462646484375, -0.004760265350341797, -0.004057884216308594, -0.0033555030822753906, -0.0026531219482421875, -0.0019507408142089844, -0.0012483596801757812, -0.0005459785461425781, 0.000156402587890625, 0.0008587837219238281, 0.0015611648559570312, 0.0022635459899902344, 0.0029659271240234375, 0.0036683082580566406, 0.004370689392089844, 0.005073070526123047, 0.00577545166015625, 0.006477832794189453, 0.007180213928222656, 0.00788259506225586, 0.008584976196289062, 0.009287357330322266, 0.009989738464355469, 0.010692119598388672, 0.011394500732421875, 0.012096881866455078, 0.012799263000488281, 0.013501644134521484, 0.014204025268554688, 0.01490640640258789, 0.015608787536621094, 0.016311168670654297, 0.0170135498046875]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 2.0, 5.0, 4.0, 10.0, 5.0, 14.0, 8.0, 22.0, 19.0, 41.0, 68.0, 122.0, 220.0, 395.0, 667.0, 1157.0, 2089.0, 3765.0, 7087.0, 13554.0, 26329.0, 51317.0, 109975.0, 345876.0, 285880.0, 100632.0, 47869.0, 24389.0, 12461.0, 6523.0, 3524.0, 1960.0, 1089.0, 646.0, 345.0, 191.0, 105.0, 64.0, 36.0, 33.0, 11.0, 7.0, 14.0, 12.0, 7.0, 6.0, 0.0, 6.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.00024259090423583984, -0.00023544393479824066, -0.00022829696536064148, -0.0002211499959230423, -0.00021400302648544312, -0.00020685605704784393, -0.00019970908761024475, -0.00019256211817264557, -0.0001854151487350464, -0.0001782681792974472, -0.00017112120985984802, -0.00016397424042224884, -0.00015682727098464966, -0.00014968030154705048, -0.0001425333321094513, -0.0001353863626718521, -0.00012823939323425293, -0.00012109242379665375, -0.00011394545435905457, -0.00010679848492145538, -9.96515154838562e-05, -9.250454604625702e-05, -8.535757660865784e-05, -7.821060717105865e-05, -7.106363773345947e-05, -6.391666829586029e-05, -5.676969885826111e-05, -4.9622729420661926e-05, -4.2475759983062744e-05, -3.532879054546356e-05, -2.818182110786438e-05, -2.1034851670265198e-05, -1.3887882232666016e-05, -6.7409127950668335e-06, 4.0605664253234863e-07, 7.553026080131531e-06, 1.4699995517730713e-05, 2.1846964955329895e-05, 2.8993934392929077e-05, 3.614090383052826e-05, 4.328787326812744e-05, 5.0434842705726624e-05, 5.7581812143325806e-05, 6.472878158092499e-05, 7.187575101852417e-05, 7.902272045612335e-05, 8.616968989372253e-05, 9.331665933132172e-05, 0.0001004636287689209, 0.00010761059820652008, 0.00011475756764411926, 0.00012190453708171844, 0.00012905150651931763, 0.0001361984759569168, 0.000143345445394516, 0.00015049241483211517, 0.00015763938426971436, 0.00016478635370731354, 0.00017193332314491272, 0.0001790802925825119, 0.00018622726202011108, 0.00019337423145771027, 0.00020052120089530945, 0.00020766817033290863, 0.0002148151397705078]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 3.0, 3.0, 3.0, 4.0, 11.0, 7.0, 8.0, 13.0, 20.0, 16.0, 13.0, 27.0, 18.0, 34.0, 36.0, 33.0, 38.0, 36.0, 38.0, 51.0, 44.0, 38.0, 1061.0, 46.0, 41.0, 40.0, 44.0, 34.0, 32.0, 26.0, 31.0, 29.0, 24.0, 25.0, 18.0, 15.0, 15.0, 14.0, 11.0, 4.0, 7.0, 5.0, 5.0, 6.0, 1.0, 3.0, 2.0, 1.0, 3.0, 1.0], "bins": [-0.0186614990234375, -0.018143773078918457, -0.017626047134399414, -0.01710832118988037, -0.016590595245361328, -0.016072869300842285, -0.015555143356323242, -0.0150374174118042, -0.014519691467285156, -0.014001965522766113, -0.01348423957824707, -0.012966513633728027, -0.012448787689208984, -0.011931061744689941, -0.011413335800170898, -0.010895609855651855, -0.010377883911132812, -0.00986015796661377, -0.009342432022094727, -0.008824706077575684, -0.00830698013305664, -0.007789254188537598, -0.007271528244018555, -0.006753802299499512, -0.006236076354980469, -0.005718350410461426, -0.005200624465942383, -0.00468289852142334, -0.004165172576904297, -0.003647446632385254, -0.003129720687866211, -0.002611994743347168, -0.002094268798828125, -0.001576542854309082, -0.001058816909790039, -0.0005410909652709961, -2.3365020751953125e-05, 0.0004943609237670898, 0.0010120868682861328, 0.0015298128128051758, 0.0020475387573242188, 0.0025652647018432617, 0.0030829906463623047, 0.0036007165908813477, 0.004118442535400391, 0.004636168479919434, 0.0051538944244384766, 0.0056716203689575195, 0.0061893463134765625, 0.0067070722579956055, 0.0072247982025146484, 0.007742524147033691, 0.008260250091552734, 0.008777976036071777, 0.00929570198059082, 0.009813427925109863, 0.010331153869628906, 0.01084887981414795, 0.011366605758666992, 0.011884331703186035, 0.012402057647705078, 0.012919783592224121, 0.013437509536743164, 0.013955235481262207, 0.01447296142578125]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 3.0, 2.0, 1.0, 7.0, 4.0, 5.0, 7.0, 6.0, 9.0, 12.0, 12.0, 19.0, 20.0, 25.0, 24.0, 35.0, 34.0, 40.0, 63.0, 74.0, 128.0, 278.0, 746.0, 3433.0, 70961.0, 2016303.0, 3317.0, 796.0, 250.0, 149.0, 81.0, 55.0, 50.0, 37.0, 18.0, 25.0, 17.0, 13.0, 20.0, 17.0, 10.0, 6.0, 9.0, 7.0, 3.0, 3.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.049041748046875e-05, -1.0116025805473328e-05, -9.741634130477905e-06, -9.367242455482483e-06, -8.99285078048706e-06, -8.618459105491638e-06, -8.244067430496216e-06, -7.869675755500793e-06, -7.495284080505371e-06, -7.120892405509949e-06, -6.746500730514526e-06, -6.372109055519104e-06, -5.997717380523682e-06, -5.623325705528259e-06, -5.248934030532837e-06, -4.8745423555374146e-06, -4.500150680541992e-06, -4.12575900554657e-06, -3.7513673305511475e-06, -3.376975655555725e-06, -3.0025839805603027e-06, -2.6281923055648804e-06, -2.253800630569458e-06, -1.8794089555740356e-06, -1.5050172805786133e-06, -1.130625605583191e-06, -7.562339305877686e-07, -3.818422555923462e-07, -7.450580596923828e-09, 3.6694109439849854e-07, 7.413327693939209e-07, 1.1157244443893433e-06, 1.4901161193847656e-06, 1.864507794380188e-06, 2.2388994693756104e-06, 2.6132911443710327e-06, 2.987682819366455e-06, 3.3620744943618774e-06, 3.7364661693573e-06, 4.110857844352722e-06, 4.4852495193481445e-06, 4.859641194343567e-06, 5.234032869338989e-06, 5.608424544334412e-06, 5.982816219329834e-06, 6.357207894325256e-06, 6.731599569320679e-06, 7.105991244316101e-06, 7.4803829193115234e-06, 7.854774594306946e-06, 8.229166269302368e-06, 8.60355794429779e-06, 8.977949619293213e-06, 9.352341294288635e-06, 9.726732969284058e-06, 1.010112464427948e-05, 1.0475516319274902e-05, 1.0849907994270325e-05, 1.1224299669265747e-05, 1.159869134426117e-05, 1.1973083019256592e-05, 1.2347474694252014e-05, 1.2721866369247437e-05, 1.3096258044242859e-05, 1.3470649719238281e-05]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 6.0, 4.0, 1.0, 6.0, 7.0, 10.0, 14.0, 17.0, 16.0, 22.0, 29.0, 39.0, 45.0, 33.0, 43.0, 55.0, 55.0, 55.0, 54.0, 50.0, 56.0, 58.0, 60.0, 39.0, 33.0, 41.0, 47.0, 26.0, 19.0, 18.0, 17.0, 9.0, 7.0, 7.0, 7.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.0279388427734375, -0.027236461639404297, -0.026534080505371094, -0.02583169937133789, -0.025129318237304688, -0.024426937103271484, -0.02372455596923828, -0.023022174835205078, -0.022319793701171875, -0.021617412567138672, -0.02091503143310547, -0.020212650299072266, -0.019510269165039062, -0.01880788803100586, -0.018105506896972656, -0.017403125762939453, -0.01670074462890625, -0.015998363494873047, -0.015295982360839844, -0.01459360122680664, -0.013891220092773438, -0.013188838958740234, -0.012486457824707031, -0.011784076690673828, -0.011081695556640625, -0.010379314422607422, -0.009676933288574219, -0.008974552154541016, -0.008272171020507812, -0.007569789886474609, -0.006867408752441406, -0.006165027618408203, -0.005462646484375, -0.004760265350341797, -0.004057884216308594, -0.0033555030822753906, -0.0026531219482421875, -0.0019507408142089844, -0.0012483596801757812, -0.0005459785461425781, 0.000156402587890625, 0.0008587837219238281, 0.0015611648559570312, 0.0022635459899902344, 0.0029659271240234375, 0.0036683082580566406, 0.004370689392089844, 0.005073070526123047, 0.00577545166015625, 0.006477832794189453, 0.007180213928222656, 0.00788259506225586, 0.008584976196289062, 0.009287357330322266, 0.009989738464355469, 0.010692119598388672, 0.011394500732421875, 0.012096881866455078, 0.012799263000488281, 0.013501644134521484, 0.014204025268554688, 0.01490640640258789, 0.015608787536621094, 0.016311168670654297, 0.0170135498046875]}, "gradients/decoder.transformer.h.13.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 1.0, 2.0, 9.0, 10.0, 12.0, 17.0, 28.0, 35.0, 57.0, 100.0, 165.0, 242.0, 344.0, 552.0, 807.0, 1351.0, 2175.0, 3460.0, 5455.0, 8905.0, 15053.0, 28256.0, 63287.0, 205832.0, 498672.0, 116563.0, 44398.0, 21482.0, 11937.0, 7204.0, 4384.0, 2814.0, 1811.0, 1134.0, 737.0, 447.0, 281.0, 188.0, 117.0, 83.0, 52.0, 46.0, 20.0, 15.0, 10.0, 5.0, 8.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03033447265625, -0.029395103454589844, -0.028455734252929688, -0.02751636505126953, -0.026576995849609375, -0.02563762664794922, -0.024698257446289062, -0.023758888244628906, -0.02281951904296875, -0.021880149841308594, -0.020940780639648438, -0.02000141143798828, -0.019062042236328125, -0.01812267303466797, -0.017183303833007812, -0.016243934631347656, -0.0153045654296875, -0.014365196228027344, -0.013425827026367188, -0.012486457824707031, -0.011547088623046875, -0.010607719421386719, -0.009668350219726562, -0.008728981018066406, -0.00778961181640625, -0.006850242614746094, -0.0059108734130859375, -0.004971504211425781, -0.004032135009765625, -0.0030927658081054688, -0.0021533966064453125, -0.0012140274047851562, -0.000274658203125, 0.0006647109985351562, 0.0016040802001953125, 0.0025434494018554688, 0.003482818603515625, 0.004422187805175781, 0.0053615570068359375, 0.006300926208496094, 0.00724029541015625, 0.008179664611816406, 0.009119033813476562, 0.010058403015136719, 0.010997772216796875, 0.011937141418457031, 0.012876510620117188, 0.013815879821777344, 0.0147552490234375, 0.015694618225097656, 0.016633987426757812, 0.01757335662841797, 0.018512725830078125, 0.01945209503173828, 0.020391464233398438, 0.021330833435058594, 0.02227020263671875, 0.023209571838378906, 0.024148941040039062, 0.02508831024169922, 0.026027679443359375, 0.02696704864501953, 0.027906417846679688, 0.028845787048339844, 0.02978515625]}, "gradients/decoder.transformer.h.13.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 3.0, 6.0, 3.0, 3.0, 7.0, 5.0, 15.0, 14.0, 17.0, 24.0, 33.0, 34.0, 31.0, 36.0, 57.0, 52.0, 83.0, 151.0, 1492.0, 429.0, 135.0, 70.0, 83.0, 41.0, 35.0, 33.0, 33.0, 27.0, 24.0, 20.0, 12.0, 14.0, 10.0, 19.0, 4.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.076904296875, -0.07470417022705078, -0.07250404357910156, -0.07030391693115234, -0.06810379028320312, -0.0659036636352539, -0.06370353698730469, -0.06150341033935547, -0.05930328369140625, -0.05710315704345703, -0.05490303039550781, -0.052702903747558594, -0.050502777099609375, -0.048302650451660156, -0.04610252380371094, -0.04390239715576172, -0.0417022705078125, -0.03950214385986328, -0.03730201721191406, -0.035101890563964844, -0.032901763916015625, -0.030701637268066406, -0.028501510620117188, -0.02630138397216797, -0.02410125732421875, -0.02190113067626953, -0.019701004028320312, -0.017500877380371094, -0.015300750732421875, -0.013100624084472656, -0.010900497436523438, -0.008700370788574219, -0.006500244140625, -0.004300117492675781, -0.0020999908447265625, 0.00010013580322265625, 0.002300262451171875, 0.004500389099121094, 0.0067005157470703125, 0.008900642395019531, 0.01110076904296875, 0.013300895690917969, 0.015501022338867188, 0.017701148986816406, 0.019901275634765625, 0.022101402282714844, 0.024301528930664062, 0.02650165557861328, 0.0287017822265625, 0.03090190887451172, 0.03310203552246094, 0.035302162170410156, 0.037502288818359375, 0.039702415466308594, 0.04190254211425781, 0.04410266876220703, 0.04630279541015625, 0.04850292205810547, 0.05070304870605469, 0.052903175354003906, 0.055103302001953125, 0.057303428649902344, 0.05950355529785156, 0.06170368194580078, 0.06390380859375]}, "gradients/decoder.transformer.h.13.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 3.0, 2.0, 7.0, 14.0, 18.0, 18.0, 31.0, 36.0, 41.0, 71.0, 87.0, 112.0, 153.0, 233.0, 589.0, 3154.0, 24560.0, 1732459.0, 1356394.0, 23224.0, 3124.0, 600.0, 239.0, 147.0, 114.0, 70.0, 63.0, 47.0, 27.0, 19.0, 15.0, 15.0, 11.0, 3.0, 5.0, 3.0, 4.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.10986328125, -0.10607337951660156, -0.10228347778320312, -0.09849357604980469, -0.09470367431640625, -0.09091377258300781, -0.08712387084960938, -0.08333396911621094, -0.0795440673828125, -0.07575416564941406, -0.07196426391601562, -0.06817436218261719, -0.06438446044921875, -0.06059455871582031, -0.056804656982421875, -0.05301475524902344, -0.049224853515625, -0.04543495178222656, -0.041645050048828125, -0.03785514831542969, -0.03406524658203125, -0.030275344848632812, -0.026485443115234375, -0.022695541381835938, -0.0189056396484375, -0.015115737915039062, -0.011325836181640625, -0.0075359344482421875, -0.00374603271484375, 4.38690185546875e-05, 0.003833770751953125, 0.0076236724853515625, 0.01141357421875, 0.015203475952148438, 0.018993377685546875, 0.022783279418945312, 0.02657318115234375, 0.030363082885742188, 0.034152984619140625, 0.03794288635253906, 0.0417327880859375, 0.04552268981933594, 0.049312591552734375, 0.05310249328613281, 0.05689239501953125, 0.06068229675292969, 0.06447219848632812, 0.06826210021972656, 0.072052001953125, 0.07584190368652344, 0.07963180541992188, 0.08342170715332031, 0.08721160888671875, 0.09100151062011719, 0.09479141235351562, 0.09858131408691406, 0.1023712158203125, 0.10616111755371094, 0.10995101928710938, 0.11374092102050781, 0.11753082275390625, 0.12132072448730469, 0.12511062622070312, 0.12890052795410156, 0.1326904296875]}, "gradients/decoder.transformer.h.13.ln_1.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 28.0, 119.0, 288.0, 355.0, 171.0, 48.0, 6.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08347063511610031, -0.06989770382642746, -0.05632477626204491, -0.042751848697662354, -0.029178917407989502, -0.01560598611831665, -0.0020330622792243958, 0.011539869010448456, 0.025112800300121307, 0.03868573158979416, 0.05225865915417671, 0.06583158671855927, 0.07940451800823212, 0.09297744929790497, 0.10655037313699722, 0.12012330442667007, 0.13369622826576233, 0.14726915955543518, 0.16084209084510803, 0.17441502213478088, 0.18798795342445374, 0.2015608847141266, 0.21513380110263824, 0.2287067323923111, 0.24227967858314514, 0.255852609872818, 0.26942554116249084, 0.2829984724521637, 0.29657140374183655, 0.3101443350315094, 0.32371723651885986, 0.3372901678085327, 0.35086309909820557, 0.3644360303878784, 0.37800896167755127, 0.3915818929672241, 0.405154824256897, 0.4187277555465698, 0.4323006868362427, 0.4458736181259155, 0.4594465494155884, 0.47301948070526123, 0.4865924119949341, 0.5001653432846069, 0.5137382745742798, 0.5273112058639526, 0.5408841371536255, 0.5544570684432983, 0.5680299997329712, 0.581602931022644, 0.5951758623123169, 0.6087487936019897, 0.6223217248916626, 0.6358946561813354, 0.6494675874710083, 0.6630405187606812, 0.6766133904457092, 0.6901863217353821, 0.7037592530250549, 0.7173321843147278, 0.7309051156044006, 0.7444780468940735, 0.7580509781837463, 0.7716239094734192, 0.785196840763092]}, "gradients/decoder.transformer.h.13.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 2.0, 3.0, 4.0, 4.0, 5.0, 12.0, 10.0, 12.0, 18.0, 20.0, 18.0, 24.0, 23.0, 25.0, 27.0, 42.0, 35.0, 49.0, 42.0, 37.0, 51.0, 60.0, 40.0, 56.0, 38.0, 36.0, 47.0, 38.0, 32.0, 14.0, 31.0, 27.0, 22.0, 20.0, 16.0, 16.0, 18.0, 7.0, 8.0, 7.0, 6.0, 4.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.18764054775238037, -0.18221049010753632, -0.17678043246269226, -0.1713503748178482, -0.16592031717300415, -0.1604902446269989, -0.15506018698215485, -0.1496301293373108, -0.14420007169246674, -0.13877001404762268, -0.13333995640277863, -0.12790989875793457, -0.12247983366250992, -0.11704977601766586, -0.11161971092224121, -0.10618965327739716, -0.1007595956325531, -0.09532953798770905, -0.08989948034286499, -0.08446941524744034, -0.07903935760259628, -0.07360929995775223, -0.06817923486232758, -0.06274917721748352, -0.057319119572639465, -0.05188906192779541, -0.046459000557661057, -0.0410289391875267, -0.03559888154268265, -0.030168822035193443, -0.02473876252770424, -0.019308701157569885, -0.01387864351272583, -0.008448584005236626, -0.0030185244977474213, 0.002411535009741783, 0.007841594517230988, 0.013271654024720192, 0.018701713532209396, 0.02413177490234375, 0.029561832547187805, 0.03499189019203186, 0.040421951562166214, 0.04585201293230057, 0.05128207057714462, 0.05671212822198868, 0.06214218959212303, 0.06757225096225739, 0.07300230860710144, 0.0784323662519455, 0.08386242389678955, 0.0892924889922142, 0.09472254663705826, 0.10015260428190231, 0.10558266937732697, 0.11101272702217102, 0.11644278466701508, 0.12187284231185913, 0.12730289995670319, 0.13273295760154724, 0.1381630301475525, 0.14359308779239655, 0.1490231454372406, 0.15445320308208466, 0.1598832607269287]}, "gradients/decoder.transformer.h.12.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 3.0, 3.0, 5.0, 7.0, 3.0, 8.0, 9.0, 14.0, 24.0, 25.0, 24.0, 30.0, 36.0, 37.0, 45.0, 55.0, 45.0, 49.0, 64.0, 49.0, 51.0, 62.0, 60.0, 43.0, 36.0, 38.0, 31.0, 48.0, 27.0, 13.0, 19.0, 18.0, 6.0, 5.0, 6.0, 6.0, 3.0, 4.0, 1.0, 1.0, 1.0, 2.0, 1.0], "bins": [-0.0283660888671875, -0.027662992477416992, -0.026959896087646484, -0.026256799697875977, -0.02555370330810547, -0.02485060691833496, -0.024147510528564453, -0.023444414138793945, -0.022741317749023438, -0.02203822135925293, -0.021335124969482422, -0.020632028579711914, -0.019928932189941406, -0.0192258358001709, -0.01852273941040039, -0.017819643020629883, -0.017116546630859375, -0.016413450241088867, -0.01571035385131836, -0.015007257461547852, -0.014304161071777344, -0.013601064682006836, -0.012897968292236328, -0.01219487190246582, -0.011491775512695312, -0.010788679122924805, -0.010085582733154297, -0.009382486343383789, -0.008679389953613281, -0.007976293563842773, -0.007273197174072266, -0.006570100784301758, -0.00586700439453125, -0.005163908004760742, -0.004460811614990234, -0.0037577152252197266, -0.0030546188354492188, -0.002351522445678711, -0.0016484260559082031, -0.0009453296661376953, -0.0002422332763671875, 0.0004608631134033203, 0.0011639595031738281, 0.001867055892944336, 0.0025701522827148438, 0.0032732486724853516, 0.003976345062255859, 0.004679441452026367, 0.005382537841796875, 0.006085634231567383, 0.006788730621337891, 0.0074918270111083984, 0.008194923400878906, 0.008898019790649414, 0.009601116180419922, 0.01030421257019043, 0.011007308959960938, 0.011710405349731445, 0.012413501739501953, 0.013116598129272461, 0.013819694519042969, 0.014522790908813477, 0.015225887298583984, 0.015928983688354492, 0.016632080078125]}, "gradients/decoder.transformer.h.12.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 2.0, 6.0, 2.0, 8.0, 15.0, 11.0, 16.0, 34.0, 30.0, 61.0, 81.0, 99.0, 141.0, 207.0, 359.0, 572.0, 1156.0, 2107.0, 4305.0, 9901.0, 24991.0, 72463.0, 268637.0, 1479898.0, 1843545.0, 344580.0, 89179.0, 29885.0, 11516.0, 5000.0, 2369.0, 1232.0, 690.0, 420.0, 228.0, 146.0, 117.0, 65.0, 60.0, 39.0, 36.0, 22.0, 10.0, 11.0, 13.0, 6.0, 9.0, 3.0, 3.0, 1.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.033538818359375, -0.03245973587036133, -0.031380653381347656, -0.030301570892333984, -0.029222488403320312, -0.02814340591430664, -0.02706432342529297, -0.025985240936279297, -0.024906158447265625, -0.023827075958251953, -0.02274799346923828, -0.02166891098022461, -0.020589828491210938, -0.019510746002197266, -0.018431663513183594, -0.017352581024169922, -0.01627349853515625, -0.015194416046142578, -0.014115333557128906, -0.013036251068115234, -0.011957168579101562, -0.01087808609008789, -0.009799003601074219, -0.008719921112060547, -0.007640838623046875, -0.006561756134033203, -0.005482673645019531, -0.004403591156005859, -0.0033245086669921875, -0.0022454261779785156, -0.0011663436889648438, -8.726119995117188e-05, 0.0009918212890625, 0.002070903778076172, 0.0031499862670898438, 0.004229068756103516, 0.0053081512451171875, 0.006387233734130859, 0.007466316223144531, 0.008545398712158203, 0.009624481201171875, 0.010703563690185547, 0.011782646179199219, 0.01286172866821289, 0.013940811157226562, 0.015019893646240234, 0.016098976135253906, 0.017178058624267578, 0.01825714111328125, 0.019336223602294922, 0.020415306091308594, 0.021494388580322266, 0.022573471069335938, 0.02365255355834961, 0.02473163604736328, 0.025810718536376953, 0.026889801025390625, 0.027968883514404297, 0.02904796600341797, 0.03012704849243164, 0.031206130981445312, 0.032285213470458984, 0.033364295959472656, 0.03444337844848633, 0.0355224609375]}, "gradients/decoder.transformer.h.12.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 2.0, 3.0, 9.0, 10.0, 12.0, 22.0, 27.0, 48.0, 93.0, 140.0, 204.0, 358.0, 520.0, 757.0, 660.0, 464.0, 271.0, 162.0, 91.0, 77.0, 53.0, 26.0, 20.0, 15.0, 13.0, 7.0, 5.0, 6.0, 2.0, 1.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0445556640625, -0.0429534912109375, -0.041351318359375, -0.0397491455078125, -0.03814697265625, -0.0365447998046875, -0.034942626953125, -0.0333404541015625, -0.03173828125, -0.0301361083984375, -0.028533935546875, -0.0269317626953125, -0.02532958984375, -0.0237274169921875, -0.022125244140625, -0.0205230712890625, -0.0189208984375, -0.0173187255859375, -0.015716552734375, -0.0141143798828125, -0.01251220703125, -0.0109100341796875, -0.009307861328125, -0.0077056884765625, -0.006103515625, -0.0045013427734375, -0.002899169921875, -0.0012969970703125, 0.00030517578125, 0.0019073486328125, 0.003509521484375, 0.0051116943359375, 0.0067138671875, 0.0083160400390625, 0.009918212890625, 0.0115203857421875, 0.01312255859375, 0.0147247314453125, 0.016326904296875, 0.0179290771484375, 0.01953125, 0.0211334228515625, 0.022735595703125, 0.0243377685546875, 0.02593994140625, 0.0275421142578125, 0.029144287109375, 0.0307464599609375, 0.0323486328125, 0.0339508056640625, 0.035552978515625, 0.0371551513671875, 0.03875732421875, 0.0403594970703125, 0.041961669921875, 0.0435638427734375, 0.045166015625, 0.0467681884765625, 0.048370361328125, 0.0499725341796875, 0.05157470703125, 0.0531768798828125, 0.054779052734375, 0.0563812255859375, 0.0579833984375]}, "gradients/decoder.transformer.h.12.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 2.0, 0.0, 2.0, 4.0, 4.0, 4.0, 17.0, 18.0, 17.0, 39.0, 50.0, 84.0, 157.0, 277.0, 616.0, 2321.0, 29652.0, 2655688.0, 1482096.0, 20170.0, 1968.0, 551.0, 241.0, 140.0, 69.0, 37.0, 24.0, 19.0, 9.0, 8.0, 4.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1717529296875, -0.16669273376464844, -0.16163253784179688, -0.1565723419189453, -0.15151214599609375, -0.1464519500732422, -0.14139175415039062, -0.13633155822753906, -0.1312713623046875, -0.12621116638183594, -0.12115097045898438, -0.11609077453613281, -0.11103057861328125, -0.10597038269042969, -0.10091018676757812, -0.09584999084472656, -0.090789794921875, -0.08572959899902344, -0.08066940307617188, -0.07560920715332031, -0.07054901123046875, -0.06548881530761719, -0.060428619384765625, -0.05536842346191406, -0.0503082275390625, -0.04524803161621094, -0.040187835693359375, -0.03512763977050781, -0.03006744384765625, -0.025007247924804688, -0.019947052001953125, -0.014886856079101562, -0.00982666015625, -0.0047664642333984375, 0.000293731689453125, 0.0053539276123046875, 0.01041412353515625, 0.015474319458007812, 0.020534515380859375, 0.025594711303710938, 0.0306549072265625, 0.03571510314941406, 0.040775299072265625, 0.04583549499511719, 0.05089569091796875, 0.05595588684082031, 0.061016082763671875, 0.06607627868652344, 0.071136474609375, 0.07619667053222656, 0.08125686645507812, 0.08631706237792969, 0.09137725830078125, 0.09643745422363281, 0.10149765014648438, 0.10655784606933594, 0.1116180419921875, 0.11667823791503906, 0.12173843383789062, 0.1267986297607422, 0.13185882568359375, 0.1369190216064453, 0.14197921752929688, 0.14703941345214844, 0.152099609375]}, "gradients/decoder.transformer.h.12.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 12.0, 9.0, 23.0, 41.0, 78.0, 117.0, 132.0, 141.0, 142.0, 126.0, 74.0, 57.0, 35.0, 16.0, 9.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.21431423723697662, -0.20520612597465515, -0.19609799981117249, -0.186989888548851, -0.17788177728652954, -0.16877365112304688, -0.1596655398607254, -0.15055742859840393, -0.14144930243492126, -0.1323411911725998, -0.12323307245969772, -0.11412495374679565, -0.10501684248447418, -0.09590872377157211, -0.08680060505867004, -0.07769249379634857, -0.0685843825340271, -0.05947626754641533, -0.05036815255880356, -0.04126003384590149, -0.03215191885828972, -0.023043803870677948, -0.013935685157775879, -0.004827573895454407, 0.004280544817447662, 0.013388660736382008, 0.022496776655316353, 0.03160489350557327, 0.04071300849318504, 0.049821123480796814, 0.05892924219369888, 0.06803735345602036, 0.07714545726776123, 0.0862535759806633, 0.09536168724298477, 0.10446980595588684, 0.11357791721820831, 0.12268603593111038, 0.13179415464401245, 0.14090226590633392, 0.1500103771686554, 0.15911848843097687, 0.16822661459445953, 0.177334725856781, 0.18644283711910248, 0.19555094838142395, 0.20465907454490662, 0.2137671858072281, 0.22287531197071075, 0.23198342323303223, 0.2410915493965149, 0.25019967555999756, 0.25930777192115784, 0.2684158980846405, 0.2775239944458008, 0.28663212060928345, 0.2957402467727661, 0.3048483729362488, 0.31395646929740906, 0.3230645954608917, 0.3321727216243744, 0.34128081798553467, 0.35038894414901733, 0.3594970703125, 0.3686051666736603]}, "gradients/decoder.transformer.h.12.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 4.0, 1.0, 6.0, 4.0, 8.0, 8.0, 8.0, 11.0, 13.0, 12.0, 17.0, 19.0, 23.0, 19.0, 30.0, 28.0, 30.0, 31.0, 35.0, 48.0, 47.0, 33.0, 38.0, 47.0, 32.0, 28.0, 47.0, 46.0, 46.0, 47.0, 38.0, 24.0, 28.0, 21.0, 14.0, 20.0, 18.0, 16.0, 12.0, 16.0, 10.0, 6.0, 6.0, 6.0, 3.0, 4.0, 3.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10941648483276367, -0.10552972555160522, -0.10164296627044678, -0.09775620698928833, -0.09386944770812988, -0.08998268842697144, -0.08609592914581299, -0.08220916986465454, -0.0783224105834961, -0.07443565130233765, -0.0705488920211792, -0.06666213274002075, -0.0627753734588623, -0.05888861417770386, -0.05500185489654541, -0.05111509561538696, -0.047228336334228516, -0.04334157705307007, -0.03945481777191162, -0.035568058490753174, -0.03168129920959473, -0.02779453992843628, -0.023907780647277832, -0.020021021366119385, -0.016134262084960938, -0.01224750280380249, -0.008360743522644043, -0.004473984241485596, -0.0005872249603271484, 0.003299534320831299, 0.007186293601989746, 0.011073052883148193, 0.01495981216430664, 0.018846571445465088, 0.022733330726623535, 0.026620090007781982, 0.03050684928894043, 0.03439360857009888, 0.038280367851257324, 0.04216712713241577, 0.04605388641357422, 0.049940645694732666, 0.05382740497589111, 0.05771416425704956, 0.06160092353820801, 0.06548768281936646, 0.0693744421005249, 0.07326120138168335, 0.0771479606628418, 0.08103471994400024, 0.08492147922515869, 0.08880823850631714, 0.09269499778747559, 0.09658175706863403, 0.10046851634979248, 0.10435527563095093, 0.10824203491210938, 0.11212879419326782, 0.11601555347442627, 0.11990231275558472, 0.12378907203674316, 0.1276758313179016, 0.13156259059906006, 0.1354493498802185, 0.13933610916137695]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 3.0, 9.0, 9.0, 8.0, 4.0, 15.0, 11.0, 27.0, 21.0, 34.0, 40.0, 45.0, 48.0, 61.0, 60.0, 63.0, 51.0, 57.0, 63.0, 61.0, 40.0, 49.0, 47.0, 47.0, 34.0, 26.0, 21.0, 21.0, 9.0, 9.0, 5.0, 7.0, 1.0, 2.0, 5.0, 0.0, 1.0, 2.0, 1.0], "bins": [-0.033233642578125, -0.0324399471282959, -0.0316462516784668, -0.030852556228637695, -0.030058860778808594, -0.029265165328979492, -0.02847146987915039, -0.02767777442932129, -0.026884078979492188, -0.026090383529663086, -0.025296688079833984, -0.024502992630004883, -0.02370929718017578, -0.02291560173034668, -0.022121906280517578, -0.021328210830688477, -0.020534515380859375, -0.019740819931030273, -0.018947124481201172, -0.01815342903137207, -0.01735973358154297, -0.016566038131713867, -0.015772342681884766, -0.014978647232055664, -0.014184951782226562, -0.013391256332397461, -0.01259756088256836, -0.011803865432739258, -0.011010169982910156, -0.010216474533081055, -0.009422779083251953, -0.008629083633422852, -0.00783538818359375, -0.0070416927337646484, -0.006247997283935547, -0.005454301834106445, -0.004660606384277344, -0.003866910934448242, -0.0030732154846191406, -0.002279520034790039, -0.0014858245849609375, -0.0006921291351318359, 0.00010156631469726562, 0.0008952617645263672, 0.0016889572143554688, 0.0024826526641845703, 0.003276348114013672, 0.0040700435638427734, 0.004863739013671875, 0.0056574344635009766, 0.006451129913330078, 0.00724482536315918, 0.008038520812988281, 0.008832216262817383, 0.009625911712646484, 0.010419607162475586, 0.011213302612304688, 0.012006998062133789, 0.01280069351196289, 0.013594388961791992, 0.014388084411621094, 0.015181779861450195, 0.015975475311279297, 0.0167691707611084, 0.0175628662109375]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 3.0, 4.0, 9.0, 8.0, 9.0, 7.0, 12.0, 14.0, 22.0, 30.0, 53.0, 102.0, 184.0, 277.0, 562.0, 979.0, 1885.0, 3522.0, 6577.0, 13449.0, 27560.0, 59812.0, 142376.0, 435925.0, 205066.0, 79538.0, 35543.0, 17148.0, 8365.0, 4394.0, 2247.0, 1297.0, 711.0, 382.0, 192.0, 91.0, 56.0, 33.0, 23.0, 20.0, 17.0, 11.0, 8.0, 8.0, 5.0, 8.0, 10.0, 1.0, 2.0, 3.0, 3.0, 0.0, 1.0], "bins": [-0.0003001689910888672, -0.0002915114164352417, -0.0002828538417816162, -0.0002741962671279907, -0.00026553869247436523, -0.00025688111782073975, -0.00024822354316711426, -0.00023956596851348877, -0.00023090839385986328, -0.0002222508192062378, -0.0002135932445526123, -0.00020493566989898682, -0.00019627809524536133, -0.00018762052059173584, -0.00017896294593811035, -0.00017030537128448486, -0.00016164779663085938, -0.0001529902219772339, -0.0001443326473236084, -0.0001356750726699829, -0.00012701749801635742, -0.00011835992336273193, -0.00010970234870910645, -0.00010104477405548096, -9.238719940185547e-05, -8.372962474822998e-05, -7.507205009460449e-05, -6.6414475440979e-05, -5.7756900787353516e-05, -4.909932613372803e-05, -4.044175148010254e-05, -3.178417682647705e-05, -2.3126602172851562e-05, -1.4469027519226074e-05, -5.811452865600586e-06, 2.8461217880249023e-06, 1.150369644165039e-05, 2.016127109527588e-05, 2.8818845748901367e-05, 3.7476420402526855e-05, 4.6133995056152344e-05, 5.479156970977783e-05, 6.344914436340332e-05, 7.210671901702881e-05, 8.07642936706543e-05, 8.942186832427979e-05, 9.807944297790527e-05, 0.00010673701763153076, 0.00011539459228515625, 0.00012405216693878174, 0.00013270974159240723, 0.00014136731624603271, 0.0001500248908996582, 0.0001586824655532837, 0.00016734004020690918, 0.00017599761486053467, 0.00018465518951416016, 0.00019331276416778564, 0.00020197033882141113, 0.00021062791347503662, 0.0002192854881286621, 0.0002279430627822876, 0.00023660063743591309, 0.0002452582120895386, 0.00025391578674316406]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 5.0, 6.0, 9.0, 2.0, 3.0, 4.0, 7.0, 6.0, 14.0, 20.0, 11.0, 19.0, 21.0, 17.0, 36.0, 43.0, 27.0, 30.0, 29.0, 38.0, 45.0, 40.0, 51.0, 1059.0, 38.0, 39.0, 33.0, 36.0, 42.0, 34.0, 40.0, 32.0, 18.0, 25.0, 26.0, 22.0, 20.0, 10.0, 18.0, 13.0, 10.0, 5.0, 4.0, 5.0, 10.0, 2.0, 3.0, 0.0, 3.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.01517486572265625, -0.01468360424041748, -0.014192342758178711, -0.013701081275939941, -0.013209819793701172, -0.012718558311462402, -0.012227296829223633, -0.011736035346984863, -0.011244773864746094, -0.010753512382507324, -0.010262250900268555, -0.009770989418029785, -0.009279727935791016, -0.008788466453552246, -0.008297204971313477, -0.007805943489074707, -0.0073146820068359375, -0.006823420524597168, -0.0063321590423583984, -0.005840897560119629, -0.005349636077880859, -0.00485837459564209, -0.00436711311340332, -0.0038758516311645508, -0.0033845901489257812, -0.0028933286666870117, -0.002402067184448242, -0.0019108057022094727, -0.0014195442199707031, -0.0009282827377319336, -0.00043702125549316406, 5.424022674560547e-05, 0.000545501708984375, 0.0010367631912231445, 0.001528024673461914, 0.0020192861557006836, 0.002510547637939453, 0.0030018091201782227, 0.003493070602416992, 0.003984332084655762, 0.004475593566894531, 0.004966855049133301, 0.00545811653137207, 0.00594937801361084, 0.006440639495849609, 0.006931900978088379, 0.0074231624603271484, 0.007914423942565918, 0.008405685424804688, 0.008896946907043457, 0.009388208389282227, 0.009879469871520996, 0.010370731353759766, 0.010861992835998535, 0.011353254318237305, 0.011844515800476074, 0.012335777282714844, 0.012827038764953613, 0.013318300247192383, 0.013809561729431152, 0.014300823211669922, 0.014792084693908691, 0.015283346176147461, 0.01577460765838623, 0.016265869140625]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 4.0, 3.0, 1.0, 2.0, 4.0, 8.0, 5.0, 5.0, 4.0, 10.0, 15.0, 16.0, 11.0, 22.0, 25.0, 30.0, 28.0, 33.0, 41.0, 62.0, 99.0, 147.0, 297.0, 952.0, 3084.0, 70895.0, 2015016.0, 4482.0, 964.0, 311.0, 140.0, 88.0, 53.0, 45.0, 53.0, 37.0, 20.0, 17.0, 22.0, 15.0, 17.0, 13.0, 6.0, 7.0, 5.0, 2.0, 4.0, 7.0, 5.0, 6.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 2.0], "bins": [-1.1742115020751953e-05, -1.138634979724884e-05, -1.1030584573745728e-05, -1.0674819350242615e-05, -1.0319054126739502e-05, -9.96328890323639e-06, -9.607523679733276e-06, -9.251758456230164e-06, -8.89599323272705e-06, -8.540228009223938e-06, -8.184462785720825e-06, -7.828697562217712e-06, -7.4729323387146e-06, -7.117167115211487e-06, -6.761401891708374e-06, -6.405636668205261e-06, -6.0498714447021484e-06, -5.694106221199036e-06, -5.338340997695923e-06, -4.98257577419281e-06, -4.626810550689697e-06, -4.2710453271865845e-06, -3.915280103683472e-06, -3.559514880180359e-06, -3.203749656677246e-06, -2.8479844331741333e-06, -2.4922192096710205e-06, -2.1364539861679077e-06, -1.780688762664795e-06, -1.4249235391616821e-06, -1.0691583156585693e-06, -7.133930921554565e-07, -3.5762786865234375e-07, -1.862645149230957e-09, 3.5390257835388184e-07, 7.096678018569946e-07, 1.0654330253601074e-06, 1.4211982488632202e-06, 1.776963472366333e-06, 2.132728695869446e-06, 2.4884939193725586e-06, 2.8442591428756714e-06, 3.200024366378784e-06, 3.555789589881897e-06, 3.91155481338501e-06, 4.2673200368881226e-06, 4.623085260391235e-06, 4.978850483894348e-06, 5.334615707397461e-06, 5.690380930900574e-06, 6.0461461544036865e-06, 6.401911377906799e-06, 6.757676601409912e-06, 7.113441824913025e-06, 7.469207048416138e-06, 7.82497227191925e-06, 8.180737495422363e-06, 8.536502718925476e-06, 8.892267942428589e-06, 9.248033165931702e-06, 9.603798389434814e-06, 9.959563612937927e-06, 1.031532883644104e-05, 1.0671094059944153e-05, 1.1026859283447266e-05]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 3.0, 9.0, 9.0, 8.0, 4.0, 15.0, 11.0, 27.0, 21.0, 34.0, 40.0, 45.0, 48.0, 61.0, 60.0, 63.0, 51.0, 57.0, 63.0, 61.0, 40.0, 49.0, 47.0, 47.0, 34.0, 26.0, 21.0, 21.0, 9.0, 9.0, 5.0, 7.0, 1.0, 2.0, 5.0, 0.0, 1.0, 2.0, 1.0], "bins": [-0.033233642578125, -0.0324399471282959, -0.0316462516784668, -0.030852556228637695, -0.030058860778808594, -0.029265165328979492, -0.02847146987915039, -0.02767777442932129, -0.026884078979492188, -0.026090383529663086, -0.025296688079833984, -0.024502992630004883, -0.02370929718017578, -0.02291560173034668, -0.022121906280517578, -0.021328210830688477, -0.020534515380859375, -0.019740819931030273, -0.018947124481201172, -0.01815342903137207, -0.01735973358154297, -0.016566038131713867, -0.015772342681884766, -0.014978647232055664, -0.014184951782226562, -0.013391256332397461, -0.01259756088256836, -0.011803865432739258, -0.011010169982910156, -0.010216474533081055, -0.009422779083251953, -0.008629083633422852, -0.00783538818359375, -0.0070416927337646484, -0.006247997283935547, -0.005454301834106445, -0.004660606384277344, -0.003866910934448242, -0.0030732154846191406, -0.002279520034790039, -0.0014858245849609375, -0.0006921291351318359, 0.00010156631469726562, 0.0008952617645263672, 0.0016889572143554688, 0.0024826526641845703, 0.003276348114013672, 0.0040700435638427734, 0.004863739013671875, 0.0056574344635009766, 0.006451129913330078, 0.00724482536315918, 0.008038520812988281, 0.008832216262817383, 0.009625911712646484, 0.010419607162475586, 0.011213302612304688, 0.012006998062133789, 0.01280069351196289, 0.013594388961791992, 0.014388084411621094, 0.015181779861450195, 0.015975475311279297, 0.0167691707611084, 0.0175628662109375]}, "gradients/decoder.transformer.h.12.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 6.0, 2.0, 5.0, 12.0, 12.0, 24.0, 34.0, 50.0, 85.0, 105.0, 183.0, 263.0, 457.0, 790.0, 1539.0, 3263.0, 7296.0, 18034.0, 55052.0, 491741.0, 388665.0, 50649.0, 16860.0, 6893.0, 3071.0, 1483.0, 782.0, 459.0, 266.0, 171.0, 104.0, 59.0, 49.0, 33.0, 22.0, 20.0, 9.0, 9.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.037567138671875, -0.03599977493286133, -0.034432411193847656, -0.032865047454833984, -0.03129768371582031, -0.02973031997680664, -0.02816295623779297, -0.026595592498779297, -0.025028228759765625, -0.023460865020751953, -0.02189350128173828, -0.02032613754272461, -0.018758773803710938, -0.017191410064697266, -0.015624046325683594, -0.014056682586669922, -0.01248931884765625, -0.010921955108642578, -0.009354591369628906, -0.007787227630615234, -0.0062198638916015625, -0.004652500152587891, -0.0030851364135742188, -0.0015177726745605469, 4.9591064453125e-05, 0.0016169548034667969, 0.0031843185424804688, 0.004751682281494141, 0.0063190460205078125, 0.007886409759521484, 0.009453773498535156, 0.011021137237548828, 0.0125885009765625, 0.014155864715576172, 0.015723228454589844, 0.017290592193603516, 0.018857955932617188, 0.02042531967163086, 0.02199268341064453, 0.023560047149658203, 0.025127410888671875, 0.026694774627685547, 0.02826213836669922, 0.02982950210571289, 0.03139686584472656, 0.032964229583740234, 0.034531593322753906, 0.03609895706176758, 0.03766632080078125, 0.03923368453979492, 0.040801048278808594, 0.042368412017822266, 0.04393577575683594, 0.04550313949584961, 0.04707050323486328, 0.04863786697387695, 0.050205230712890625, 0.0517725944519043, 0.05333995819091797, 0.05490732192993164, 0.05647468566894531, 0.058042049407958984, 0.059609413146972656, 0.06117677688598633, 0.062744140625]}, "gradients/decoder.transformer.h.12.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 4.0, 5.0, 4.0, 5.0, 7.0, 3.0, 6.0, 11.0, 9.0, 5.0, 11.0, 19.0, 17.0, 29.0, 22.0, 30.0, 18.0, 37.0, 33.0, 39.0, 42.0, 70.0, 86.0, 97.0, 180.0, 1528.0, 176.0, 90.0, 80.0, 52.0, 40.0, 39.0, 28.0, 32.0, 32.0, 31.0, 23.0, 16.0, 17.0, 16.0, 17.0, 11.0, 6.0, 6.0, 6.0, 6.0, 3.0, 4.0, 6.0, 2.0, 1.0, 3.0, 4.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.053466796875, -0.05176734924316406, -0.050067901611328125, -0.04836845397949219, -0.04666900634765625, -0.04496955871582031, -0.043270111083984375, -0.04157066345214844, -0.0398712158203125, -0.03817176818847656, -0.036472320556640625, -0.03477287292480469, -0.03307342529296875, -0.03137397766113281, -0.029674530029296875, -0.027975082397460938, -0.026275634765625, -0.024576187133789062, -0.022876739501953125, -0.021177291870117188, -0.01947784423828125, -0.017778396606445312, -0.016078948974609375, -0.014379501342773438, -0.0126800537109375, -0.010980606079101562, -0.009281158447265625, -0.0075817108154296875, -0.00588226318359375, -0.0041828155517578125, -0.002483367919921875, -0.0007839202880859375, 0.00091552734375, 0.0026149749755859375, 0.004314422607421875, 0.0060138702392578125, 0.00771331787109375, 0.009412765502929688, 0.011112213134765625, 0.012811660766601562, 0.0145111083984375, 0.016210556030273438, 0.017910003662109375, 0.019609451293945312, 0.02130889892578125, 0.023008346557617188, 0.024707794189453125, 0.026407241821289062, 0.028106689453125, 0.029806137084960938, 0.031505584716796875, 0.03320503234863281, 0.03490447998046875, 0.03660392761230469, 0.038303375244140625, 0.04000282287597656, 0.0417022705078125, 0.04340171813964844, 0.045101165771484375, 0.04680061340332031, 0.04850006103515625, 0.05019950866699219, 0.051898956298828125, 0.05359840393066406, 0.0552978515625]}, "gradients/decoder.transformer.h.12.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 3.0, 3.0, 1.0, 4.0, 5.0, 4.0, 14.0, 9.0, 15.0, 26.0, 50.0, 85.0, 157.0, 251.0, 450.0, 770.0, 1679.0, 7689.0, 102650.0, 2912642.0, 107451.0, 8183.0, 1739.0, 765.0, 420.0, 267.0, 157.0, 81.0, 55.0, 29.0, 22.0, 12.0, 5.0, 3.0, 7.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.1441650390625, -0.1395893096923828, -0.13501358032226562, -0.13043785095214844, -0.12586212158203125, -0.12128639221191406, -0.11671066284179688, -0.11213493347167969, -0.1075592041015625, -0.10298347473144531, -0.09840774536132812, -0.09383201599121094, -0.08925628662109375, -0.08468055725097656, -0.08010482788085938, -0.07552909851074219, -0.070953369140625, -0.06637763977050781, -0.061801910400390625, -0.05722618103027344, -0.05265045166015625, -0.04807472229003906, -0.043498992919921875, -0.03892326354980469, -0.0343475341796875, -0.029771804809570312, -0.025196075439453125, -0.020620346069335938, -0.01604461669921875, -0.011468887329101562, -0.006893157958984375, -0.0023174285888671875, 0.00225830078125, 0.0068340301513671875, 0.011409759521484375, 0.015985488891601562, 0.02056121826171875, 0.025136947631835938, 0.029712677001953125, 0.03428840637207031, 0.0388641357421875, 0.04343986511230469, 0.048015594482421875, 0.05259132385253906, 0.05716705322265625, 0.06174278259277344, 0.06631851196289062, 0.07089424133300781, 0.075469970703125, 0.08004570007324219, 0.08462142944335938, 0.08919715881347656, 0.09377288818359375, 0.09834861755371094, 0.10292434692382812, 0.10750007629394531, 0.1120758056640625, 0.11665153503417969, 0.12122726440429688, 0.12580299377441406, 0.13037872314453125, 0.13495445251464844, 0.13953018188476562, 0.1441059112548828, 0.148681640625]}, "gradients/decoder.transformer.h.12.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 4.0, 8.0, 11.0, 13.0, 20.0, 30.0, 50.0, 53.0, 70.0, 87.0, 92.0, 106.0, 107.0, 94.0, 57.0, 45.0, 46.0, 38.0, 28.0, 20.0, 10.0, 9.0, 3.0, 3.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08710618317127228, -0.08339067548513412, -0.07967516779899597, -0.07595965266227722, -0.07224414497613907, -0.06852863729000092, -0.06481312960386276, -0.06109762191772461, -0.057382114231586456, -0.0536666065454483, -0.04995109513401985, -0.0462355874478817, -0.042520079761743546, -0.038804568350315094, -0.03508906066417694, -0.03137355297803879, -0.027658041566610336, -0.023942532017827034, -0.02022702433168888, -0.01651151478290558, -0.012796006165444851, -0.009080497547984123, -0.005364987999200821, -0.0016494803130626678, 0.0020660292357206345, 0.005781537853181362, 0.00949704647064209, 0.013212556019425392, 0.016928065568208694, 0.020643573254346848, 0.02435908280313015, 0.028074590489268303, 0.031790100038051605, 0.03550560772418976, 0.03922111913561821, 0.04293662682175636, 0.046652134507894516, 0.05036764591932297, 0.05408315360546112, 0.057798661291599274, 0.06151416897773743, 0.06522967666387558, 0.06894518435001373, 0.07266069948673248, 0.07637620717287064, 0.08009171485900879, 0.08380722254514694, 0.0875227302312851, 0.09123824536800385, 0.094953753054142, 0.09866926074028015, 0.1023847758769989, 0.10610028356313705, 0.10981579124927521, 0.11353129893541336, 0.11724680662155151, 0.12096231430768967, 0.12467782199382782, 0.12839333713054657, 0.13210883736610413, 0.13582435250282288, 0.13953985273838043, 0.14325536787509918, 0.14697086811065674, 0.1506863832473755]}, "gradients/decoder.transformer.h.12.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 3.0, 3.0, 9.0, 7.0, 10.0, 6.0, 9.0, 9.0, 12.0, 15.0, 15.0, 19.0, 16.0, 20.0, 27.0, 32.0, 31.0, 33.0, 32.0, 42.0, 31.0, 36.0, 35.0, 41.0, 49.0, 33.0, 38.0, 54.0, 49.0, 40.0, 39.0, 26.0, 24.0, 25.0, 18.0, 21.0, 19.0, 16.0, 11.0, 11.0, 9.0, 10.0, 6.0, 6.0, 2.0, 4.0, 2.0, 1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.1712702512741089, -0.16590411961078644, -0.160537987947464, -0.15517184138298035, -0.1498057097196579, -0.14443957805633545, -0.139073446393013, -0.13370731472969055, -0.1283411681652069, -0.12297503650188446, -0.11760889738798141, -0.11224276572465897, -0.10687662661075592, -0.10151049494743347, -0.09614436328411102, -0.09077823162078857, -0.08541209995746613, -0.08004596829414368, -0.07467982918024063, -0.06931369751691818, -0.06394755840301514, -0.05858142673969269, -0.05321529507637024, -0.04784915968775749, -0.042483024299144745, -0.037116888910532, -0.03175075352191925, -0.026384621858596802, -0.021018486469984055, -0.015652351081371307, -0.010286219418048859, -0.0049200840294361115, 0.00044605135917663574, 0.005812185816466808, 0.011178320273756981, 0.01654445379972458, 0.021910589188337326, 0.027276724576950073, 0.03264285624027252, 0.03800899162888527, 0.043375127017498016, 0.048741262406110764, 0.05410739779472351, 0.05947352945804596, 0.06483966112136841, 0.07020580023527145, 0.0755719318985939, 0.08093807101249695, 0.0863042026758194, 0.09167033433914185, 0.09703647345304489, 0.10240260511636734, 0.10776874423027039, 0.11313487589359283, 0.11850100755691528, 0.12386713922023773, 0.12923327088356018, 0.13459940254688263, 0.13996553421020508, 0.14533168077468872, 0.15069781243801117, 0.15606394410133362, 0.16143007576465607, 0.16679620742797852, 0.17216235399246216]}, "gradients/decoder.transformer.h.11.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 6.0, 7.0, 3.0, 5.0, 6.0, 9.0, 8.0, 16.0, 23.0, 24.0, 32.0, 41.0, 36.0, 56.0, 48.0, 58.0, 63.0, 54.0, 56.0, 56.0, 49.0, 58.0, 51.0, 42.0, 44.0, 38.0, 24.0, 28.0, 25.0, 16.0, 10.0, 1.0, 10.0, 4.0, 1.0, 3.0, 3.0, 3.0, 1.0, 2.0], "bins": [-0.03302001953125, -0.03223896026611328, -0.03145790100097656, -0.030676841735839844, -0.029895782470703125, -0.029114723205566406, -0.028333663940429688, -0.02755260467529297, -0.02677154541015625, -0.02599048614501953, -0.025209426879882812, -0.024428367614746094, -0.023647308349609375, -0.022866249084472656, -0.022085189819335938, -0.02130413055419922, -0.0205230712890625, -0.01974201202392578, -0.018960952758789062, -0.018179893493652344, -0.017398834228515625, -0.016617774963378906, -0.015836715698242188, -0.015055656433105469, -0.01427459716796875, -0.013493537902832031, -0.012712478637695312, -0.011931419372558594, -0.011150360107421875, -0.010369300842285156, -0.009588241577148438, -0.008807182312011719, -0.008026123046875, -0.007245063781738281, -0.0064640045166015625, -0.005682945251464844, -0.004901885986328125, -0.004120826721191406, -0.0033397674560546875, -0.0025587081909179688, -0.00177764892578125, -0.0009965896606445312, -0.0002155303955078125, 0.0005655288696289062, 0.001346588134765625, 0.0021276473999023438, 0.0029087066650390625, 0.0036897659301757812, 0.0044708251953125, 0.005251884460449219, 0.0060329437255859375, 0.006814002990722656, 0.007595062255859375, 0.008376121520996094, 0.009157180786132812, 0.009938240051269531, 0.01071929931640625, 0.011500358581542969, 0.012281417846679688, 0.013062477111816406, 0.013843536376953125, 0.014624595642089844, 0.015405654907226562, 0.01618671417236328, 0.0169677734375]}, "gradients/decoder.transformer.h.11.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 4.0, 5.0, 7.0, 5.0, 16.0, 23.0, 27.0, 35.0, 62.0, 82.0, 145.0, 243.0, 376.0, 757.0, 1516.0, 3213.0, 7956.0, 22067.0, 77202.0, 400219.0, 2476995.0, 995210.0, 148805.0, 37995.0, 12118.0, 4763.0, 2034.0, 1069.0, 545.0, 278.0, 190.0, 111.0, 66.0, 36.0, 34.0, 26.0, 20.0, 11.0, 6.0, 3.0, 5.0, 5.0, 5.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.03985595703125, -0.0385584831237793, -0.037261009216308594, -0.03596353530883789, -0.03466606140136719, -0.033368587493896484, -0.03207111358642578, -0.030773639678955078, -0.029476165771484375, -0.028178691864013672, -0.02688121795654297, -0.025583744049072266, -0.024286270141601562, -0.02298879623413086, -0.021691322326660156, -0.020393848419189453, -0.01909637451171875, -0.017798900604248047, -0.016501426696777344, -0.01520395278930664, -0.013906478881835938, -0.012609004974365234, -0.011311531066894531, -0.010014057159423828, -0.008716583251953125, -0.007419109344482422, -0.006121635437011719, -0.004824161529541016, -0.0035266876220703125, -0.0022292137145996094, -0.0009317398071289062, 0.0003657341003417969, 0.0016632080078125, 0.002960681915283203, 0.004258155822753906, 0.005555629730224609, 0.0068531036376953125, 0.008150577545166016, 0.009448051452636719, 0.010745525360107422, 0.012042999267578125, 0.013340473175048828, 0.014637947082519531, 0.015935420989990234, 0.017232894897460938, 0.01853036880493164, 0.019827842712402344, 0.021125316619873047, 0.02242279052734375, 0.023720264434814453, 0.025017738342285156, 0.02631521224975586, 0.027612686157226562, 0.028910160064697266, 0.03020763397216797, 0.03150510787963867, 0.032802581787109375, 0.03410005569458008, 0.03539752960205078, 0.036695003509521484, 0.03799247741699219, 0.03928995132446289, 0.040587425231933594, 0.0418848991394043, 0.043182373046875]}, "gradients/decoder.transformer.h.11.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 3.0, 2.0, 2.0, 10.0, 2.0, 7.0, 16.0, 22.0, 24.0, 40.0, 63.0, 121.0, 145.0, 229.0, 369.0, 595.0, 759.0, 548.0, 359.0, 242.0, 196.0, 114.0, 71.0, 35.0, 28.0, 23.0, 22.0, 8.0, 9.0, 5.0, 5.0, 4.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.051666259765625, -0.05016899108886719, -0.048671722412109375, -0.04717445373535156, -0.04567718505859375, -0.04417991638183594, -0.042682647705078125, -0.04118537902832031, -0.0396881103515625, -0.03819084167480469, -0.036693572998046875, -0.03519630432128906, -0.03369903564453125, -0.03220176696777344, -0.030704498291015625, -0.029207229614257812, -0.0277099609375, -0.026212692260742188, -0.024715423583984375, -0.023218154907226562, -0.02172088623046875, -0.020223617553710938, -0.018726348876953125, -0.017229080200195312, -0.0157318115234375, -0.014234542846679688, -0.012737274169921875, -0.011240005493164062, -0.00974273681640625, -0.008245468139648438, -0.006748199462890625, -0.0052509307861328125, -0.003753662109375, -0.0022563934326171875, -0.000759124755859375, 0.0007381439208984375, 0.00223541259765625, 0.0037326812744140625, 0.005229949951171875, 0.0067272186279296875, 0.0082244873046875, 0.009721755981445312, 0.011219024658203125, 0.012716293334960938, 0.01421356201171875, 0.015710830688476562, 0.017208099365234375, 0.018705368041992188, 0.02020263671875, 0.021699905395507812, 0.023197174072265625, 0.024694442749023438, 0.02619171142578125, 0.027688980102539062, 0.029186248779296875, 0.030683517456054688, 0.0321807861328125, 0.03367805480957031, 0.035175323486328125, 0.03667259216308594, 0.03816986083984375, 0.03966712951660156, 0.041164398193359375, 0.04266166687011719, 0.044158935546875]}, "gradients/decoder.transformer.h.11.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 8.0, 6.0, 5.0, 10.0, 15.0, 14.0, 24.0, 36.0, 52.0, 101.0, 172.0, 328.0, 554.0, 2601.0, 90625.0, 3983334.0, 112256.0, 2926.0, 550.0, 265.0, 160.0, 79.0, 59.0, 35.0, 13.0, 22.0, 11.0, 6.0, 4.0, 6.0, 3.0, 2.0, 4.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.18310546875, -0.17690277099609375, -0.1707000732421875, -0.16449737548828125, -0.158294677734375, -0.15209197998046875, -0.1458892822265625, -0.13968658447265625, -0.13348388671875, -0.12728118896484375, -0.1210784912109375, -0.11487579345703125, -0.108673095703125, -0.10247039794921875, -0.0962677001953125, -0.09006500244140625, -0.0838623046875, -0.07765960693359375, -0.0714569091796875, -0.06525421142578125, -0.059051513671875, -0.05284881591796875, -0.0466461181640625, -0.04044342041015625, -0.03424072265625, -0.02803802490234375, -0.0218353271484375, -0.01563262939453125, -0.009429931640625, -0.00322723388671875, 0.0029754638671875, 0.00917816162109375, 0.015380859375, 0.02158355712890625, 0.0277862548828125, 0.03398895263671875, 0.040191650390625, 0.04639434814453125, 0.0525970458984375, 0.05879974365234375, 0.06500244140625, 0.07120513916015625, 0.0774078369140625, 0.08361053466796875, 0.089813232421875, 0.09601593017578125, 0.1022186279296875, 0.10842132568359375, 0.1146240234375, 0.12082672119140625, 0.1270294189453125, 0.13323211669921875, 0.139434814453125, 0.14563751220703125, 0.1518402099609375, 0.15804290771484375, 0.16424560546875, 0.17044830322265625, 0.1766510009765625, 0.18285369873046875, 0.189056396484375, 0.19525909423828125, 0.2014617919921875, 0.20766448974609375, 0.2138671875]}, "gradients/decoder.transformer.h.11.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 6.0, 28.0, 49.0, 150.0, 233.0, 253.0, 171.0, 69.0, 36.0, 15.0, 3.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.6158350706100464, -0.6005135774612427, -0.585192084312439, -0.5698705911636353, -0.5545490384101868, -0.5392275452613831, -0.5239060521125793, -0.5085845589637756, -0.4932630658149719, -0.4779415726661682, -0.4626200497150421, -0.4472985565662384, -0.4319770634174347, -0.4166555404663086, -0.4013340473175049, -0.38601255416870117, -0.3706910312175751, -0.35536953806877136, -0.34004801511764526, -0.32472652196884155, -0.30940502882003784, -0.29408353567123413, -0.27876201272010803, -0.2634405195713043, -0.24811901152133942, -0.2327975034713745, -0.2174760103225708, -0.2021545022726059, -0.186832994222641, -0.17151150107383728, -0.15618999302387238, -0.14086848497390747, -0.12554699182510376, -0.11022549122571945, -0.09490399062633514, -0.07958248257637024, -0.06426098197698593, -0.048939481377601624, -0.03361797332763672, -0.01829647272825241, -0.002974972128868103, 0.012346530333161354, 0.02766803279519081, 0.04298953711986542, 0.058311037719249725, 0.07363253831863403, 0.08895404636859894, 0.10427554696798325, 0.11959704756736755, 0.13491855561733246, 0.15024004876613617, 0.16556155681610107, 0.18088304996490479, 0.1962045580148697, 0.2115260660648346, 0.2268475592136383, 0.2421690672636032, 0.2574905753135681, 0.2728120684623718, 0.28813356161117554, 0.30345508456230164, 0.31877657771110535, 0.33409810066223145, 0.34941959381103516, 0.36474108695983887]}, "gradients/decoder.transformer.h.11.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 3.0, 7.0, 7.0, 9.0, 6.0, 12.0, 19.0, 19.0, 16.0, 20.0, 21.0, 21.0, 26.0, 34.0, 35.0, 33.0, 35.0, 51.0, 66.0, 47.0, 49.0, 47.0, 43.0, 40.0, 34.0, 31.0, 45.0, 28.0, 34.0, 18.0, 19.0, 24.0, 12.0, 14.0, 12.0, 23.0, 7.0, 12.0, 3.0, 6.0, 7.0, 2.0, 5.0, 1.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1255429983139038, -0.12159626185894012, -0.11764953285455704, -0.11370280385017395, -0.10975606739521027, -0.10580933094024658, -0.1018626019358635, -0.09791587293148041, -0.09396913647651672, -0.09002240002155304, -0.08607567101716995, -0.08212894201278687, -0.07818220555782318, -0.0742354691028595, -0.07028874009847641, -0.06634201109409332, -0.06239527463912964, -0.05844854190945625, -0.05450180917978287, -0.05055507645010948, -0.046608343720436096, -0.04266161099076271, -0.038714878261089325, -0.03476814553141594, -0.030821412801742554, -0.026874680072069168, -0.022927947342395782, -0.018981214612722397, -0.015034481883049011, -0.011087749153375626, -0.00714101642370224, -0.0031942836940288544, 0.0007524490356445312, 0.004699181765317917, 0.008645914494991302, 0.012592647224664688, 0.016539379954338074, 0.02048611268401146, 0.024432845413684845, 0.02837957814335823, 0.032326310873031616, 0.036273043602705, 0.04021977633237839, 0.04416650906205177, 0.04811324179172516, 0.052059974521398544, 0.05600670725107193, 0.059953439980745316, 0.0639001727104187, 0.06784690916538239, 0.07179363816976547, 0.07574036717414856, 0.07968710362911224, 0.08363384008407593, 0.08758056908845901, 0.0915272980928421, 0.09547403454780579, 0.09942077100276947, 0.10336750000715256, 0.10731422901153564, 0.11126096546649933, 0.11520770192146301, 0.1191544309258461, 0.12310115993022919, 0.12704789638519287]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 7.0, 2.0, 8.0, 5.0, 9.0, 8.0, 10.0, 32.0, 21.0, 29.0, 30.0, 45.0, 50.0, 42.0, 62.0, 56.0, 69.0, 62.0, 56.0, 47.0, 51.0, 55.0, 48.0, 42.0, 32.0, 27.0, 30.0, 23.0, 17.0, 17.0, 5.0, 4.0, 5.0, 3.0, 1.0, 3.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.0333251953125, -0.032520294189453125, -0.03171539306640625, -0.030910491943359375, -0.0301055908203125, -0.029300689697265625, -0.02849578857421875, -0.027690887451171875, -0.026885986328125, -0.026081085205078125, -0.02527618408203125, -0.024471282958984375, -0.0236663818359375, -0.022861480712890625, -0.02205657958984375, -0.021251678466796875, -0.02044677734375, -0.019641876220703125, -0.01883697509765625, -0.018032073974609375, -0.0172271728515625, -0.016422271728515625, -0.01561737060546875, -0.014812469482421875, -0.014007568359375, -0.013202667236328125, -0.01239776611328125, -0.011592864990234375, -0.0107879638671875, -0.009983062744140625, -0.00917816162109375, -0.008373260498046875, -0.007568359375, -0.006763458251953125, -0.00595855712890625, -0.005153656005859375, -0.0043487548828125, -0.003543853759765625, -0.00273895263671875, -0.001934051513671875, -0.001129150390625, -0.000324249267578125, 0.00048065185546875, 0.001285552978515625, 0.0020904541015625, 0.002895355224609375, 0.00370025634765625, 0.004505157470703125, 0.00531005859375, 0.006114959716796875, 0.00691986083984375, 0.007724761962890625, 0.0085296630859375, 0.009334564208984375, 0.01013946533203125, 0.010944366455078125, 0.011749267578125, 0.012554168701171875, 0.01335906982421875, 0.014163970947265625, 0.0149688720703125, 0.015773773193359375, 0.01657867431640625, 0.017383575439453125, 0.0181884765625]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 1.0, 4.0, 3.0, 2.0, 11.0, 11.0, 14.0, 15.0, 28.0, 35.0, 65.0, 82.0, 156.0, 265.0, 515.0, 992.0, 1999.0, 4170.0, 8363.0, 17944.0, 39365.0, 92433.0, 260304.0, 409476.0, 119677.0, 49629.0, 22589.0, 10413.0, 4995.0, 2361.0, 1209.0, 647.0, 349.0, 177.0, 85.0, 58.0, 37.0, 17.0, 16.0, 10.0, 10.0, 5.0, 8.0, 6.0, 4.0, 2.0, 5.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0003666877746582031, -0.0003562532365322113, -0.0003458186984062195, -0.00033538416028022766, -0.00032494962215423584, -0.000314515084028244, -0.0003040805459022522, -0.0002936460077762604, -0.00028321146965026855, -0.00027277693152427673, -0.0002623423933982849, -0.0002519078552722931, -0.00024147331714630127, -0.00023103877902030945, -0.00022060424089431763, -0.0002101697027683258, -0.00019973516464233398, -0.00018930062651634216, -0.00017886608839035034, -0.00016843155026435852, -0.0001579970121383667, -0.00014756247401237488, -0.00013712793588638306, -0.00012669339776039124, -0.00011625885963439941, -0.00010582432150840759, -9.538978338241577e-05, -8.495524525642395e-05, -7.452070713043213e-05, -6.408616900444031e-05, -5.3651630878448486e-05, -4.3217092752456665e-05, -3.2782554626464844e-05, -2.2348016500473022e-05, -1.1913478374481201e-05, -1.4789402484893799e-06, 8.955597877502441e-06, 1.9390136003494263e-05, 2.9824674129486084e-05, 4.0259212255477905e-05, 5.0693750381469727e-05, 6.112828850746155e-05, 7.156282663345337e-05, 8.199736475944519e-05, 9.243190288543701e-05, 0.00010286644101142883, 0.00011330097913742065, 0.00012373551726341248, 0.0001341700553894043, 0.00014460459351539612, 0.00015503913164138794, 0.00016547366976737976, 0.00017590820789337158, 0.0001863427460193634, 0.00019677728414535522, 0.00020721182227134705, 0.00021764636039733887, 0.0002280808985233307, 0.0002385154366493225, 0.00024894997477531433, 0.00025938451290130615, 0.000269819051027298, 0.0002802535891532898, 0.0002906881272792816, 0.00030112266540527344]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 4.0, 5.0, 5.0, 5.0, 7.0, 10.0, 3.0, 12.0, 8.0, 12.0, 20.0, 20.0, 24.0, 28.0, 21.0, 22.0, 30.0, 31.0, 29.0, 30.0, 28.0, 38.0, 28.0, 34.0, 36.0, 1061.0, 35.0, 27.0, 37.0, 34.0, 41.0, 35.0, 35.0, 27.0, 20.0, 23.0, 20.0, 22.0, 15.0, 12.0, 16.0, 10.0, 6.0, 12.0, 10.0, 9.0, 4.0, 4.0, 5.0, 8.0, 3.0, 5.0, 2.0, 3.0, 2.0, 2.0, 2.0], "bins": [-0.0141448974609375, -0.013707280158996582, -0.013269662857055664, -0.012832045555114746, -0.012394428253173828, -0.01195681095123291, -0.011519193649291992, -0.011081576347351074, -0.010643959045410156, -0.010206341743469238, -0.00976872444152832, -0.009331107139587402, -0.008893489837646484, -0.008455872535705566, -0.008018255233764648, -0.0075806379318237305, -0.0071430206298828125, -0.0067054033279418945, -0.0062677860260009766, -0.005830168724060059, -0.005392551422119141, -0.004954934120178223, -0.004517316818237305, -0.004079699516296387, -0.0036420822143554688, -0.0032044649124145508, -0.002766847610473633, -0.002329230308532715, -0.0018916130065917969, -0.001453995704650879, -0.001016378402709961, -0.000578761100769043, -0.000141143798828125, 0.00029647350311279297, 0.0007340908050537109, 0.001171708106994629, 0.0016093254089355469, 0.002046942710876465, 0.002484560012817383, 0.0029221773147583008, 0.0033597946166992188, 0.0037974119186401367, 0.004235029220581055, 0.004672646522521973, 0.005110263824462891, 0.005547881126403809, 0.0059854984283447266, 0.0064231157302856445, 0.0068607330322265625, 0.0072983503341674805, 0.0077359676361083984, 0.008173584938049316, 0.008611202239990234, 0.009048819541931152, 0.00948643684387207, 0.009924054145812988, 0.010361671447753906, 0.010799288749694824, 0.011236906051635742, 0.01167452335357666, 0.012112140655517578, 0.012549757957458496, 0.012987375259399414, 0.013424992561340332, 0.01386260986328125]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 2.0, 3.0, 3.0, 1.0, 6.0, 4.0, 7.0, 6.0, 3.0, 3.0, 10.0, 10.0, 9.0, 10.0, 9.0, 14.0, 15.0, 17.0, 18.0, 23.0, 34.0, 33.0, 44.0, 54.0, 66.0, 142.0, 186.0, 487.0, 1510.0, 8652.0, 2057654.0, 23125.0, 3384.0, 708.0, 252.0, 157.0, 111.0, 58.0, 51.0, 36.0, 33.0, 23.0, 23.0, 25.0, 25.0, 20.0, 9.0, 12.0, 9.0, 6.0, 6.0, 7.0, 11.0, 3.0, 5.0, 4.0, 3.0, 2.0, 2.0, 2.0, 0.0, 1.0, 2.0], "bins": [-9.953975677490234e-06, -9.640119969844818e-06, -9.326264262199402e-06, -9.012408554553986e-06, -8.69855284690857e-06, -8.384697139263153e-06, -8.070841431617737e-06, -7.75698572397232e-06, -7.443130016326904e-06, -7.129274308681488e-06, -6.815418601036072e-06, -6.5015628933906555e-06, -6.187707185745239e-06, -5.873851478099823e-06, -5.559995770454407e-06, -5.2461400628089905e-06, -4.932284355163574e-06, -4.618428647518158e-06, -4.304572939872742e-06, -3.9907172322273254e-06, -3.676861524581909e-06, -3.363005816936493e-06, -3.0491501092910767e-06, -2.7352944016456604e-06, -2.421438694000244e-06, -2.107582986354828e-06, -1.7937272787094116e-06, -1.4798715710639954e-06, -1.166015863418579e-06, -8.521601557731628e-07, -5.383044481277466e-07, -2.2444874048233032e-07, 8.940696716308594e-08, 4.032626748085022e-07, 7.171183824539185e-07, 1.0309740900993347e-06, 1.344829797744751e-06, 1.6586855053901672e-06, 1.9725412130355835e-06, 2.2863969206809998e-06, 2.600252628326416e-06, 2.9141083359718323e-06, 3.2279640436172485e-06, 3.541819751262665e-06, 3.855675458908081e-06, 4.169531166553497e-06, 4.4833868741989136e-06, 4.79724258184433e-06, 5.111098289489746e-06, 5.424953997135162e-06, 5.738809704780579e-06, 6.052665412425995e-06, 6.366521120071411e-06, 6.680376827716827e-06, 6.994232535362244e-06, 7.30808824300766e-06, 7.621943950653076e-06, 7.935799658298492e-06, 8.249655365943909e-06, 8.563511073589325e-06, 8.877366781234741e-06, 9.191222488880157e-06, 9.505078196525574e-06, 9.81893390417099e-06, 1.0132789611816406e-05]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 7.0, 2.0, 8.0, 5.0, 9.0, 8.0, 10.0, 32.0, 21.0, 29.0, 30.0, 45.0, 50.0, 42.0, 62.0, 56.0, 69.0, 62.0, 56.0, 47.0, 51.0, 55.0, 48.0, 42.0, 32.0, 27.0, 30.0, 23.0, 17.0, 17.0, 5.0, 4.0, 5.0, 3.0, 1.0, 3.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.0333251953125, -0.032520294189453125, -0.03171539306640625, -0.030910491943359375, -0.0301055908203125, -0.029300689697265625, -0.02849578857421875, -0.027690887451171875, -0.026885986328125, -0.026081085205078125, -0.02527618408203125, -0.024471282958984375, -0.0236663818359375, -0.022861480712890625, -0.02205657958984375, -0.021251678466796875, -0.02044677734375, -0.019641876220703125, -0.01883697509765625, -0.018032073974609375, -0.0172271728515625, -0.016422271728515625, -0.01561737060546875, -0.014812469482421875, -0.014007568359375, -0.013202667236328125, -0.01239776611328125, -0.011592864990234375, -0.0107879638671875, -0.009983062744140625, -0.00917816162109375, -0.008373260498046875, -0.007568359375, -0.006763458251953125, -0.00595855712890625, -0.005153656005859375, -0.0043487548828125, -0.003543853759765625, -0.00273895263671875, -0.001934051513671875, -0.001129150390625, -0.000324249267578125, 0.00048065185546875, 0.001285552978515625, 0.0020904541015625, 0.002895355224609375, 0.00370025634765625, 0.004505157470703125, 0.00531005859375, 0.006114959716796875, 0.00691986083984375, 0.007724761962890625, 0.0085296630859375, 0.009334564208984375, 0.01013946533203125, 0.010944366455078125, 0.011749267578125, 0.012554168701171875, 0.01335906982421875, 0.014163970947265625, 0.0149688720703125, 0.015773773193359375, 0.01657867431640625, 0.017383575439453125, 0.0181884765625]}, "gradients/decoder.transformer.h.11.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 6.0, 13.0, 16.0, 33.0, 49.0, 57.0, 128.0, 206.0, 317.0, 524.0, 842.0, 1319.0, 2238.0, 3483.0, 5817.0, 9986.0, 17355.0, 32536.0, 76007.0, 314210.0, 411395.0, 89749.0, 36277.0, 18917.0, 10929.0, 6167.0, 3697.0, 2418.0, 1414.0, 939.0, 584.0, 339.0, 215.0, 156.0, 85.0, 50.0, 31.0, 19.0, 20.0, 6.0, 5.0, 4.0, 1.0, 2.0, 2.0], "bins": [-0.029327392578125, -0.02857685089111328, -0.027826309204101562, -0.027075767517089844, -0.026325225830078125, -0.025574684143066406, -0.024824142456054688, -0.02407360076904297, -0.02332305908203125, -0.02257251739501953, -0.021821975708007812, -0.021071434020996094, -0.020320892333984375, -0.019570350646972656, -0.018819808959960938, -0.01806926727294922, -0.0173187255859375, -0.01656818389892578, -0.015817642211914062, -0.015067100524902344, -0.014316558837890625, -0.013566017150878906, -0.012815475463867188, -0.012064933776855469, -0.01131439208984375, -0.010563850402832031, -0.009813308715820312, -0.009062767028808594, -0.008312225341796875, -0.007561683654785156, -0.0068111419677734375, -0.006060600280761719, -0.00531005859375, -0.004559516906738281, -0.0038089752197265625, -0.0030584335327148438, -0.002307891845703125, -0.0015573501586914062, -0.0008068084716796875, -5.626678466796875e-05, 0.00069427490234375, 0.0014448165893554688, 0.0021953582763671875, 0.0029458999633789062, 0.003696441650390625, 0.004446983337402344, 0.0051975250244140625, 0.005948066711425781, 0.0066986083984375, 0.007449150085449219, 0.008199691772460938, 0.008950233459472656, 0.009700775146484375, 0.010451316833496094, 0.011201858520507812, 0.011952400207519531, 0.01270294189453125, 0.013453483581542969, 0.014204025268554688, 0.014954566955566406, 0.015705108642578125, 0.016455650329589844, 0.017206192016601562, 0.01795673370361328, 0.018707275390625]}, "gradients/decoder.transformer.h.11.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 5.0, 5.0, 2.0, 4.0, 4.0, 4.0, 6.0, 12.0, 8.0, 12.0, 3.0, 12.0, 15.0, 19.0, 26.0, 25.0, 25.0, 34.0, 39.0, 38.0, 41.0, 50.0, 57.0, 96.0, 157.0, 1613.0, 192.0, 88.0, 66.0, 64.0, 51.0, 38.0, 30.0, 39.0, 22.0, 22.0, 22.0, 22.0, 18.0, 15.0, 14.0, 11.0, 9.0, 5.0, 7.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0], "bins": [-0.06134033203125, -0.05945873260498047, -0.05757713317871094, -0.055695533752441406, -0.053813934326171875, -0.051932334899902344, -0.05005073547363281, -0.04816913604736328, -0.04628753662109375, -0.04440593719482422, -0.04252433776855469, -0.040642738342285156, -0.038761138916015625, -0.036879539489746094, -0.03499794006347656, -0.03311634063720703, -0.0312347412109375, -0.02935314178466797, -0.027471542358398438, -0.025589942932128906, -0.023708343505859375, -0.021826744079589844, -0.019945144653320312, -0.01806354522705078, -0.01618194580078125, -0.014300346374511719, -0.012418746948242188, -0.010537147521972656, -0.008655548095703125, -0.006773948669433594, -0.0048923492431640625, -0.0030107498168945312, -0.001129150390625, 0.0007524490356445312, 0.0026340484619140625, 0.004515647888183594, 0.006397247314453125, 0.008278846740722656, 0.010160446166992188, 0.012042045593261719, 0.01392364501953125, 0.01580524444580078, 0.017686843872070312, 0.019568443298339844, 0.021450042724609375, 0.023331642150878906, 0.025213241577148438, 0.02709484100341797, 0.0289764404296875, 0.03085803985595703, 0.03273963928222656, 0.034621238708496094, 0.036502838134765625, 0.038384437561035156, 0.04026603698730469, 0.04214763641357422, 0.04402923583984375, 0.04591083526611328, 0.04779243469238281, 0.049674034118652344, 0.051555633544921875, 0.053437232971191406, 0.05531883239746094, 0.05720043182373047, 0.05908203125]}, "gradients/decoder.transformer.h.11.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 3.0, 3.0, 6.0, 6.0, 12.0, 4.0, 13.0, 19.0, 20.0, 30.0, 35.0, 29.0, 50.0, 73.0, 88.0, 130.0, 170.0, 241.0, 461.0, 2042.0, 27294.0, 2707574.0, 393465.0, 11598.0, 1101.0, 364.0, 207.0, 162.0, 98.0, 82.0, 68.0, 48.0, 54.0, 38.0, 23.0, 24.0, 9.0, 7.0, 11.0, 14.0, 7.0, 6.0, 2.0, 6.0, 4.0, 6.0, 1.0, 4.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.127685546875, -0.12354660034179688, -0.11940765380859375, -0.11526870727539062, -0.1111297607421875, -0.10699081420898438, -0.10285186767578125, -0.09871292114257812, -0.094573974609375, -0.09043502807617188, -0.08629608154296875, -0.08215713500976562, -0.0780181884765625, -0.07387924194335938, -0.06974029541015625, -0.06560134887695312, -0.06146240234375, -0.057323455810546875, -0.05318450927734375, -0.049045562744140625, -0.0449066162109375, -0.040767669677734375, -0.03662872314453125, -0.032489776611328125, -0.028350830078125, -0.024211883544921875, -0.02007293701171875, -0.015933990478515625, -0.0117950439453125, -0.007656097412109375, -0.00351715087890625, 0.000621795654296875, 0.0047607421875, 0.008899688720703125, 0.01303863525390625, 0.017177581787109375, 0.0213165283203125, 0.025455474853515625, 0.02959442138671875, 0.033733367919921875, 0.037872314453125, 0.042011260986328125, 0.04615020751953125, 0.050289154052734375, 0.0544281005859375, 0.058567047119140625, 0.06270599365234375, 0.06684494018554688, 0.07098388671875, 0.07512283325195312, 0.07926177978515625, 0.08340072631835938, 0.0875396728515625, 0.09167861938476562, 0.09581756591796875, 0.09995651245117188, 0.104095458984375, 0.10823440551757812, 0.11237335205078125, 0.11651229858398438, 0.1206512451171875, 0.12479019165039062, 0.12892913818359375, 0.13306808471679688, 0.13720703125]}, "gradients/decoder.transformer.h.11.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 14.0, 251.0, 580.0, 165.0, 8.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1214888095855713, -1.1015909910202026, -1.0816932916641235, -1.0617954730987549, -1.0418977737426758, -1.0219999551773071, -1.002102255821228, -0.9822044372558594, -0.9623066782951355, -0.9424089193344116, -0.9225111603736877, -0.9026134014129639, -0.8827155828475952, -0.8628178238868713, -0.8429200649261475, -0.8230223059654236, -0.8031245470046997, -0.7832267880439758, -0.763329029083252, -0.7434312701225281, -0.7235335111618042, -0.7036356925964355, -0.6837379336357117, -0.6638401746749878, -0.6439424157142639, -0.62404465675354, -0.6041468977928162, -0.5842491388320923, -0.5643513202667236, -0.5444535613059998, -0.5245558023452759, -0.504658043384552, -0.4847603440284729, -0.464862585067749, -0.44496482610702515, -0.4250670373439789, -0.405169278383255, -0.38527151942253113, -0.36537373065948486, -0.345475971698761, -0.3255782127380371, -0.30568045377731323, -0.28578269481658936, -0.2658849060535431, -0.2459871470928192, -0.22608938813209534, -0.20619161427021027, -0.1862938404083252, -0.16639608144760132, -0.14649832248687744, -0.12660054862499237, -0.1067027822136879, -0.08680501580238342, -0.06690724939107895, -0.047009482979774475, -0.027111709117889404, -0.007213950157165527, 0.012683816254138947, 0.03258158266544342, 0.052479349076747894, 0.07237711548805237, 0.09227488189935684, 0.11217264831066132, 0.1320704221725464, 0.15196818113327026]}, "gradients/decoder.transformer.h.11.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 1.0, 4.0, 3.0, 3.0, 1.0, 9.0, 5.0, 8.0, 11.0, 11.0, 8.0, 14.0, 22.0, 30.0, 25.0, 35.0, 32.0, 32.0, 37.0, 48.0, 58.0, 48.0, 52.0, 55.0, 33.0, 40.0, 33.0, 37.0, 35.0, 30.0, 36.0, 38.0, 27.0, 30.0, 26.0, 18.0, 10.0, 12.0, 10.0, 8.0, 10.0, 6.0, 5.0, 9.0, 7.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.23479312658309937, -0.22838899493217468, -0.2219848483800888, -0.21558071672916412, -0.20917657017707825, -0.20277243852615356, -0.19636830687522888, -0.1899641752243042, -0.18356002867221832, -0.17715589702129364, -0.17075175046920776, -0.16434761881828308, -0.1579434871673584, -0.15153934061527252, -0.14513520896434784, -0.13873106241226196, -0.13232693076133728, -0.1259227991104126, -0.11951865255832672, -0.11311452090740204, -0.10671038180589676, -0.10030624270439148, -0.0939021110534668, -0.08749797195196152, -0.08109383285045624, -0.07468969374895096, -0.06828555464744568, -0.061881422996520996, -0.05547728389501572, -0.04907314479351044, -0.042669009417295456, -0.036264874041080475, -0.029860734939575195, -0.023456597700715065, -0.017052460461854935, -0.010648323222994804, -0.004244185984134674, 0.0021599531173706055, 0.008564088493585587, 0.014968223869800568, 0.021372362971305847, 0.027776500210165977, 0.03418063744902611, 0.04058477282524109, 0.04698891192674637, 0.05339305102825165, 0.05979718640446663, 0.06620132178068161, 0.07260546088218689, 0.07900959998369217, 0.08541373908519745, 0.09181787073612213, 0.09822200983762741, 0.10462614893913269, 0.11103028059005737, 0.11743441969156265, 0.12383855879306793, 0.13024269044399261, 0.1366468369960785, 0.14305096864700317, 0.14945510029792786, 0.15585924685001373, 0.16226337850093842, 0.1686675250530243, 0.17507165670394897]}, "gradients/decoder.transformer.h.10.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 6.0, 3.0, 3.0, 6.0, 7.0, 9.0, 7.0, 22.0, 21.0, 22.0, 29.0, 32.0, 42.0, 44.0, 50.0, 44.0, 62.0, 69.0, 54.0, 59.0, 55.0, 46.0, 58.0, 57.0, 33.0, 34.0, 30.0, 28.0, 21.0, 22.0, 10.0, 12.0, 5.0, 5.0, 7.0, 0.0, 3.0, 0.0, 1.0, 1.0, 2.0], "bins": [-0.03363037109375, -0.0328218936920166, -0.0320134162902832, -0.031204938888549805, -0.030396461486816406, -0.029587984085083008, -0.02877950668334961, -0.02797102928161621, -0.027162551879882812, -0.026354074478149414, -0.025545597076416016, -0.024737119674682617, -0.02392864227294922, -0.02312016487121582, -0.022311687469482422, -0.021503210067749023, -0.020694732666015625, -0.019886255264282227, -0.019077777862548828, -0.01826930046081543, -0.01746082305908203, -0.016652345657348633, -0.015843868255615234, -0.015035390853881836, -0.014226913452148438, -0.013418436050415039, -0.01260995864868164, -0.011801481246948242, -0.010993003845214844, -0.010184526443481445, -0.009376049041748047, -0.008567571640014648, -0.00775909423828125, -0.0069506168365478516, -0.006142139434814453, -0.005333662033081055, -0.004525184631347656, -0.003716707229614258, -0.0029082298278808594, -0.002099752426147461, -0.0012912750244140625, -0.00048279762268066406, 0.0003256797790527344, 0.0011341571807861328, 0.0019426345825195312, 0.0027511119842529297, 0.003559589385986328, 0.0043680667877197266, 0.005176544189453125, 0.0059850215911865234, 0.006793498992919922, 0.00760197639465332, 0.008410453796386719, 0.009218931198120117, 0.010027408599853516, 0.010835886001586914, 0.011644363403320312, 0.012452840805053711, 0.01326131820678711, 0.014069795608520508, 0.014878273010253906, 0.015686750411987305, 0.016495227813720703, 0.0173037052154541, 0.0181121826171875]}, "gradients/decoder.transformer.h.10.mlp.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 8.0, 7.0, 11.0, 6.0, 21.0, 27.0, 37.0, 77.0, 107.0, 166.0, 258.0, 433.0, 829.0, 1833.0, 4700.0, 14022.0, 50123.0, 249459.0, 2079928.0, 1542167.0, 188965.0, 41553.0, 11952.0, 4028.0, 1643.0, 804.0, 399.0, 253.0, 152.0, 101.0, 71.0, 55.0, 19.0, 16.0, 13.0, 14.0, 5.0, 11.0, 7.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0399169921875, -0.03848743438720703, -0.03705787658691406, -0.035628318786621094, -0.034198760986328125, -0.032769203186035156, -0.03133964538574219, -0.02991008758544922, -0.02848052978515625, -0.02705097198486328, -0.025621414184570312, -0.024191856384277344, -0.022762298583984375, -0.021332740783691406, -0.019903182983398438, -0.01847362518310547, -0.0170440673828125, -0.015614509582519531, -0.014184951782226562, -0.012755393981933594, -0.011325836181640625, -0.009896278381347656, -0.008466720581054688, -0.007037162780761719, -0.00560760498046875, -0.004178047180175781, -0.0027484893798828125, -0.0013189315795898438, 0.000110626220703125, 0.0015401840209960938, 0.0029697418212890625, 0.004399299621582031, 0.005828857421875, 0.007258415222167969, 0.008687973022460938, 0.010117530822753906, 0.011547088623046875, 0.012976646423339844, 0.014406204223632812, 0.01583576202392578, 0.01726531982421875, 0.01869487762451172, 0.020124435424804688, 0.021553993225097656, 0.022983551025390625, 0.024413108825683594, 0.025842666625976562, 0.02727222442626953, 0.0287017822265625, 0.03013134002685547, 0.03156089782714844, 0.032990455627441406, 0.034420013427734375, 0.035849571228027344, 0.03727912902832031, 0.03870868682861328, 0.04013824462890625, 0.04156780242919922, 0.04299736022949219, 0.044426918029785156, 0.045856475830078125, 0.047286033630371094, 0.04871559143066406, 0.05014514923095703, 0.05157470703125]}, "gradients/decoder.transformer.h.10.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 3.0, 4.0, 3.0, 3.0, 7.0, 6.0, 17.0, 36.0, 32.0, 58.0, 94.0, 132.0, 197.0, 362.0, 527.0, 793.0, 644.0, 439.0, 263.0, 167.0, 108.0, 68.0, 39.0, 24.0, 20.0, 14.0, 8.0, 5.0, 2.0, 1.0, 2.0, 4.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.053314208984375, -0.05168294906616211, -0.05005168914794922, -0.04842042922973633, -0.04678916931152344, -0.04515790939331055, -0.043526649475097656, -0.041895389556884766, -0.040264129638671875, -0.038632869720458984, -0.037001609802246094, -0.0353703498840332, -0.03373908996582031, -0.03210783004760742, -0.03047657012939453, -0.02884531021118164, -0.02721405029296875, -0.02558279037475586, -0.02395153045654297, -0.022320270538330078, -0.020689010620117188, -0.019057750701904297, -0.017426490783691406, -0.015795230865478516, -0.014163970947265625, -0.012532711029052734, -0.010901451110839844, -0.009270191192626953, -0.0076389312744140625, -0.006007671356201172, -0.004376411437988281, -0.0027451515197753906, -0.0011138916015625, 0.0005173683166503906, 0.0021486282348632812, 0.003779888153076172, 0.0054111480712890625, 0.007042407989501953, 0.008673667907714844, 0.010304927825927734, 0.011936187744140625, 0.013567447662353516, 0.015198707580566406, 0.016829967498779297, 0.018461227416992188, 0.020092487335205078, 0.02172374725341797, 0.02335500717163086, 0.02498626708984375, 0.02661752700805664, 0.02824878692626953, 0.029880046844482422, 0.03151130676269531, 0.0331425666809082, 0.034773826599121094, 0.036405086517333984, 0.038036346435546875, 0.039667606353759766, 0.041298866271972656, 0.04293012619018555, 0.04456138610839844, 0.04619264602661133, 0.04782390594482422, 0.04945516586303711, 0.05108642578125]}, "gradients/decoder.transformer.h.10.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 0.0, 3.0, 2.0, 3.0, 2.0, 11.0, 8.0, 14.0, 14.0, 29.0, 44.0, 74.0, 115.0, 234.0, 390.0, 909.0, 5166.0, 249225.0, 3882330.0, 51784.0, 2525.0, 669.0, 297.0, 147.0, 99.0, 70.0, 39.0, 35.0, 18.0, 8.0, 5.0, 10.0, 2.0, 3.0, 2.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1851806640625, -0.1790771484375, -0.1729736328125, -0.1668701171875, -0.1607666015625, -0.1546630859375, -0.1485595703125, -0.1424560546875, -0.1363525390625, -0.1302490234375, -0.1241455078125, -0.1180419921875, -0.1119384765625, -0.1058349609375, -0.0997314453125, -0.0936279296875, -0.0875244140625, -0.0814208984375, -0.0753173828125, -0.0692138671875, -0.0631103515625, -0.0570068359375, -0.0509033203125, -0.0447998046875, -0.0386962890625, -0.0325927734375, -0.0264892578125, -0.0203857421875, -0.0142822265625, -0.0081787109375, -0.0020751953125, 0.0040283203125, 0.0101318359375, 0.0162353515625, 0.0223388671875, 0.0284423828125, 0.0345458984375, 0.0406494140625, 0.0467529296875, 0.0528564453125, 0.0589599609375, 0.0650634765625, 0.0711669921875, 0.0772705078125, 0.0833740234375, 0.0894775390625, 0.0955810546875, 0.1016845703125, 0.1077880859375, 0.1138916015625, 0.1199951171875, 0.1260986328125, 0.1322021484375, 0.1383056640625, 0.1444091796875, 0.1505126953125, 0.1566162109375, 0.1627197265625, 0.1688232421875, 0.1749267578125, 0.1810302734375, 0.1871337890625, 0.1932373046875, 0.1993408203125, 0.2054443359375]}, "gradients/decoder.transformer.h.10.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 7.0, 10.0, 6.0, 19.0, 37.0, 53.0, 74.0, 113.0, 118.0, 143.0, 114.0, 111.0, 81.0, 52.0, 35.0, 19.0, 7.0, 8.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17951466143131256, -0.17187872529029846, -0.16424278914928436, -0.15660685300827026, -0.14897090196609497, -0.14133498072624207, -0.13369902968406677, -0.12606309354305267, -0.11842715740203857, -0.11079122126102448, -0.10315528512001038, -0.09551934152841568, -0.08788340538740158, -0.08024746924638748, -0.07261152565479279, -0.06497558951377869, -0.05733965337276459, -0.04970371723175049, -0.04206777736544609, -0.03443183749914169, -0.026795901358127594, -0.019159965217113495, -0.011524025350809097, -0.0038880854845046997, 0.0037478506565093994, 0.011383788660168648, 0.019019726663827896, 0.026655664667487144, 0.03429160267114639, 0.04192753881216049, 0.04956347867846489, 0.05719941854476929, 0.06483536958694458, 0.07247130572795868, 0.08010724186897278, 0.08774318546056747, 0.09537912160158157, 0.10301505774259567, 0.11065100133419037, 0.11828693747520447, 0.12592287361621857, 0.13355880975723267, 0.14119474589824677, 0.14883068203926086, 0.15646663308143616, 0.16410255432128906, 0.17173850536346436, 0.17937444150447845, 0.18701037764549255, 0.19464631378650665, 0.20228224992752075, 0.20991818606853485, 0.21755412220954895, 0.22519007325172424, 0.23282600939273834, 0.24046194553375244, 0.24809788167476654, 0.25573381781578064, 0.26336976885795593, 0.27100569009780884, 0.27864164113998413, 0.28627756237983704, 0.29391351342201233, 0.30154943466186523, 0.3091853857040405]}, "gradients/decoder.transformer.h.10.ln_2.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0, 6.0, 6.0, 6.0, 4.0, 2.0, 10.0, 10.0, 11.0, 10.0, 5.0, 13.0, 16.0, 13.0, 21.0, 24.0, 30.0, 22.0, 31.0, 37.0, 33.0, 30.0, 29.0, 38.0, 30.0, 33.0, 24.0, 43.0, 30.0, 41.0, 28.0, 29.0, 33.0, 40.0, 33.0, 32.0, 30.0, 23.0, 28.0, 9.0, 14.0, 14.0, 15.0, 14.0, 10.0, 12.0, 6.0, 5.0, 10.0, 4.0, 2.0, 2.0, 3.0, 2.0, 2.0, 1.0, 2.0, 3.0], "bins": [-0.11620265245437622, -0.11273764818906784, -0.10927264392375946, -0.10580763220787048, -0.1023426279425621, -0.09887762367725372, -0.09541261196136475, -0.09194760769605637, -0.08848260343074799, -0.0850175991654396, -0.08155259490013123, -0.07808758318424225, -0.07462257891893387, -0.07115757465362549, -0.06769256293773651, -0.06422755867242813, -0.06076255440711975, -0.05729755014181137, -0.05383254215121269, -0.050367534160614014, -0.046902529895305634, -0.04343752562999725, -0.039972517639398575, -0.036507509648799896, -0.033042505383491516, -0.029577499255537987, -0.026112493127584457, -0.022647486999630928, -0.0191824808716774, -0.01571747474372387, -0.01225246861577034, -0.00878746248781681, -0.005322456359863281, -0.001857450231909752, 0.0016075558960437775, 0.005072562023997307, 0.008537568151950836, 0.012002574279904366, 0.015467580407857895, 0.018932586535811424, 0.022397592663764954, 0.025862598791718483, 0.029327604919672012, 0.03279261291027069, 0.03625761717557907, 0.03972262144088745, 0.04318762943148613, 0.04665263742208481, 0.05011764168739319, 0.05358264595270157, 0.05704765394330025, 0.060512661933898926, 0.0639776661992073, 0.06744267046451569, 0.07090768218040466, 0.07437268644571304, 0.07783769071102142, 0.0813026949763298, 0.08476769924163818, 0.08823271095752716, 0.09169771522283554, 0.09516271948814392, 0.0986277312040329, 0.10209273546934128, 0.10555773973464966]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 4.0, 1.0, 4.0, 3.0, 5.0, 9.0, 12.0, 12.0, 8.0, 27.0, 25.0, 24.0, 35.0, 39.0, 46.0, 45.0, 50.0, 57.0, 55.0, 57.0, 63.0, 52.0, 51.0, 54.0, 41.0, 49.0, 42.0, 24.0, 23.0, 35.0, 26.0, 9.0, 5.0, 7.0, 4.0, 8.0, 3.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.031524658203125, -0.030710935592651367, -0.029897212982177734, -0.0290834903717041, -0.02826976776123047, -0.027456045150756836, -0.026642322540283203, -0.02582859992980957, -0.025014877319335938, -0.024201154708862305, -0.023387432098388672, -0.02257370948791504, -0.021759986877441406, -0.020946264266967773, -0.02013254165649414, -0.019318819046020508, -0.018505096435546875, -0.017691373825073242, -0.01687765121459961, -0.016063928604125977, -0.015250205993652344, -0.014436483383178711, -0.013622760772705078, -0.012809038162231445, -0.011995315551757812, -0.01118159294128418, -0.010367870330810547, -0.009554147720336914, -0.008740425109863281, -0.007926702499389648, -0.007112979888916016, -0.006299257278442383, -0.00548553466796875, -0.004671812057495117, -0.0038580894470214844, -0.0030443668365478516, -0.0022306442260742188, -0.001416921615600586, -0.0006031990051269531, 0.0002105236053466797, 0.0010242462158203125, 0.0018379688262939453, 0.002651691436767578, 0.003465414047241211, 0.004279136657714844, 0.0050928592681884766, 0.005906581878662109, 0.006720304489135742, 0.007534027099609375, 0.008347749710083008, 0.00916147232055664, 0.009975194931030273, 0.010788917541503906, 0.011602640151977539, 0.012416362762451172, 0.013230085372924805, 0.014043807983398438, 0.01485753059387207, 0.015671253204345703, 0.016484975814819336, 0.01729869842529297, 0.0181124210357666, 0.018926143646240234, 0.019739866256713867, 0.0205535888671875]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 2.0, 5.0, 5.0, 11.0, 11.0, 14.0, 29.0, 38.0, 74.0, 92.0, 176.0, 289.0, 517.0, 920.0, 1703.0, 3315.0, 6735.0, 13139.0, 28509.0, 61054.0, 142088.0, 430742.0, 203066.0, 83172.0, 37552.0, 17637.0, 8508.0, 4236.0, 2235.0, 1164.0, 622.0, 368.0, 201.0, 119.0, 79.0, 38.0, 35.0, 18.0, 5.0, 10.0, 8.0, 9.0, 2.0, 3.0, 4.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00032639503479003906, -0.0003167055547237396, -0.0003070160746574402, -0.00029732659459114075, -0.0002876371145248413, -0.00027794763445854187, -0.00026825815439224243, -0.000258568674325943, -0.00024887919425964355, -0.00023918971419334412, -0.00022950023412704468, -0.00021981075406074524, -0.0002101212739944458, -0.00020043179392814636, -0.00019074231386184692, -0.00018105283379554749, -0.00017136335372924805, -0.0001616738736629486, -0.00015198439359664917, -0.00014229491353034973, -0.0001326054334640503, -0.00012291595339775085, -0.00011322647333145142, -0.00010353699326515198, -9.384751319885254e-05, -8.41580331325531e-05, -7.446855306625366e-05, -6.477907299995422e-05, -5.5089592933654785e-05, -4.540011286735535e-05, -3.571063280105591e-05, -2.602115273475647e-05, -1.633167266845703e-05, -6.642192602157593e-06, 3.0472874641418457e-06, 1.2736767530441284e-05, 2.2426247596740723e-05, 3.211572766304016e-05, 4.18052077293396e-05, 5.149468779563904e-05, 6.118416786193848e-05, 7.087364792823792e-05, 8.056312799453735e-05, 9.025260806083679e-05, 9.994208812713623e-05, 0.00010963156819343567, 0.00011932104825973511, 0.00012901052832603455, 0.00013870000839233398, 0.00014838948845863342, 0.00015807896852493286, 0.0001677684485912323, 0.00017745792865753174, 0.00018714740872383118, 0.00019683688879013062, 0.00020652636885643005, 0.0002162158489227295, 0.00022590532898902893, 0.00023559480905532837, 0.0002452842891216278, 0.00025497376918792725, 0.0002646632492542267, 0.0002743527293205261, 0.00028404220938682556, 0.000293731689453125]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 2.0, 2.0, 4.0, 7.0, 5.0, 5.0, 8.0, 8.0, 17.0, 17.0, 9.0, 18.0, 21.0, 28.0, 32.0, 35.0, 30.0, 35.0, 44.0, 55.0, 52.0, 50.0, 1074.0, 40.0, 50.0, 42.0, 41.0, 31.0, 35.0, 52.0, 40.0, 19.0, 17.0, 24.0, 20.0, 9.0, 11.0, 13.0, 11.0, 9.0, 0.0, 4.0, 6.0, 0.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.01837158203125, -0.017789125442504883, -0.017206668853759766, -0.01662421226501465, -0.01604175567626953, -0.015459299087524414, -0.014876842498779297, -0.01429438591003418, -0.013711929321289062, -0.013129472732543945, -0.012547016143798828, -0.011964559555053711, -0.011382102966308594, -0.010799646377563477, -0.01021718978881836, -0.009634733200073242, -0.009052276611328125, -0.008469820022583008, -0.00788736343383789, -0.0073049068450927734, -0.006722450256347656, -0.006139993667602539, -0.005557537078857422, -0.004975080490112305, -0.0043926239013671875, -0.0038101673126220703, -0.003227710723876953, -0.002645254135131836, -0.0020627975463867188, -0.0014803409576416016, -0.0008978843688964844, -0.0003154277801513672, 0.00026702880859375, 0.0008494853973388672, 0.0014319419860839844, 0.0020143985748291016, 0.0025968551635742188, 0.003179311752319336, 0.003761768341064453, 0.00434422492980957, 0.0049266815185546875, 0.005509138107299805, 0.006091594696044922, 0.006674051284790039, 0.007256507873535156, 0.007838964462280273, 0.00842142105102539, 0.009003877639770508, 0.009586334228515625, 0.010168790817260742, 0.01075124740600586, 0.011333703994750977, 0.011916160583496094, 0.012498617172241211, 0.013081073760986328, 0.013663530349731445, 0.014245986938476562, 0.01482844352722168, 0.015410900115966797, 0.015993356704711914, 0.01657581329345703, 0.01715826988220215, 0.017740726470947266, 0.018323183059692383, 0.0189056396484375]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 2.0, 4.0, 5.0, 1.0, 3.0, 13.0, 10.0, 11.0, 9.0, 15.0, 25.0, 20.0, 15.0, 42.0, 56.0, 64.0, 71.0, 120.0, 237.0, 710.0, 3603.0, 2015509.0, 72509.0, 2854.0, 581.0, 213.0, 103.0, 77.0, 48.0, 40.0, 31.0, 29.0, 16.0, 16.0, 8.0, 22.0, 10.0, 7.0, 8.0, 5.0, 7.0, 5.0, 0.0, 3.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3887882232666016e-05, -1.3465993106365204e-05, -1.3044103980064392e-05, -1.262221485376358e-05, -1.2200325727462769e-05, -1.1778436601161957e-05, -1.1356547474861145e-05, -1.0934658348560333e-05, -1.0512769222259521e-05, -1.009088009595871e-05, -9.668990969657898e-06, -9.247101843357086e-06, -8.825212717056274e-06, -8.403323590755463e-06, -7.981434464454651e-06, -7.559545338153839e-06, -7.137656211853027e-06, -6.7157670855522156e-06, -6.293877959251404e-06, -5.871988832950592e-06, -5.45009970664978e-06, -5.0282105803489685e-06, -4.606321454048157e-06, -4.184432327747345e-06, -3.762543201446533e-06, -3.3406540751457214e-06, -2.9187649488449097e-06, -2.496875822544098e-06, -2.074986696243286e-06, -1.6530975699424744e-06, -1.2312084436416626e-06, -8.093193173408508e-07, -3.8743019104003906e-07, 3.4458935260772705e-08, 4.5634806156158447e-07, 8.782371878623962e-07, 1.300126314163208e-06, 1.7220154404640198e-06, 2.1439045667648315e-06, 2.5657936930656433e-06, 2.987682819366455e-06, 3.409571945667267e-06, 3.831461071968079e-06, 4.25335019826889e-06, 4.675239324569702e-06, 5.097128450870514e-06, 5.519017577171326e-06, 5.9409067034721375e-06, 6.362795829772949e-06, 6.784684956073761e-06, 7.206574082374573e-06, 7.6284632086753845e-06, 8.050352334976196e-06, 8.472241461277008e-06, 8.89413058757782e-06, 9.316019713878632e-06, 9.737908840179443e-06, 1.0159797966480255e-05, 1.0581687092781067e-05, 1.1003576219081879e-05, 1.142546534538269e-05, 1.1847354471683502e-05, 1.2269243597984314e-05, 1.2691132724285126e-05, 1.3113021850585938e-05]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 4.0, 1.0, 4.0, 3.0, 5.0, 9.0, 12.0, 12.0, 8.0, 27.0, 25.0, 24.0, 35.0, 39.0, 46.0, 45.0, 50.0, 57.0, 55.0, 57.0, 63.0, 52.0, 51.0, 54.0, 41.0, 49.0, 42.0, 24.0, 23.0, 35.0, 26.0, 9.0, 5.0, 7.0, 4.0, 8.0, 3.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.031524658203125, -0.030710935592651367, -0.029897212982177734, -0.0290834903717041, -0.02826976776123047, -0.027456045150756836, -0.026642322540283203, -0.02582859992980957, -0.025014877319335938, -0.024201154708862305, -0.023387432098388672, -0.02257370948791504, -0.021759986877441406, -0.020946264266967773, -0.02013254165649414, -0.019318819046020508, -0.018505096435546875, -0.017691373825073242, -0.01687765121459961, -0.016063928604125977, -0.015250205993652344, -0.014436483383178711, -0.013622760772705078, -0.012809038162231445, -0.011995315551757812, -0.01118159294128418, -0.010367870330810547, -0.009554147720336914, -0.008740425109863281, -0.007926702499389648, -0.007112979888916016, -0.006299257278442383, -0.00548553466796875, -0.004671812057495117, -0.0038580894470214844, -0.0030443668365478516, -0.0022306442260742188, -0.001416921615600586, -0.0006031990051269531, 0.0002105236053466797, 0.0010242462158203125, 0.0018379688262939453, 0.002651691436767578, 0.003465414047241211, 0.004279136657714844, 0.0050928592681884766, 0.005906581878662109, 0.006720304489135742, 0.007534027099609375, 0.008347749710083008, 0.00916147232055664, 0.009975194931030273, 0.010788917541503906, 0.011602640151977539, 0.012416362762451172, 0.013230085372924805, 0.014043807983398438, 0.01485753059387207, 0.015671253204345703, 0.016484975814819336, 0.01729869842529297, 0.0181124210357666, 0.018926143646240234, 0.019739866256713867, 0.0205535888671875]}, "gradients/decoder.transformer.h.10.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 3.0, 1.0, 4.0, 5.0, 15.0, 16.0, 21.0, 28.0, 48.0, 85.0, 153.0, 216.0, 328.0, 535.0, 834.0, 1269.0, 2027.0, 3139.0, 5368.0, 9779.0, 20839.0, 51466.0, 202163.0, 555915.0, 120516.0, 37547.0, 16178.0, 8057.0, 4494.0, 2799.0, 1665.0, 1085.0, 714.0, 464.0, 273.0, 195.0, 120.0, 71.0, 39.0, 39.0, 17.0, 18.0, 5.0, 4.0, 7.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.0290985107421875, -0.028251171112060547, -0.027403831481933594, -0.02655649185180664, -0.025709152221679688, -0.024861812591552734, -0.02401447296142578, -0.023167133331298828, -0.022319793701171875, -0.021472454071044922, -0.02062511444091797, -0.019777774810791016, -0.018930435180664062, -0.01808309555053711, -0.017235755920410156, -0.016388416290283203, -0.01554107666015625, -0.014693737030029297, -0.013846397399902344, -0.01299905776977539, -0.012151718139648438, -0.011304378509521484, -0.010457038879394531, -0.009609699249267578, -0.008762359619140625, -0.007915019989013672, -0.007067680358886719, -0.006220340728759766, -0.0053730010986328125, -0.004525661468505859, -0.0036783218383789062, -0.002830982208251953, -0.001983642578125, -0.0011363029479980469, -0.00028896331787109375, 0.0005583763122558594, 0.0014057159423828125, 0.0022530555725097656, 0.0031003952026367188, 0.003947734832763672, 0.004795074462890625, 0.005642414093017578, 0.006489753723144531, 0.007337093353271484, 0.008184432983398438, 0.00903177261352539, 0.009879112243652344, 0.010726451873779297, 0.01157379150390625, 0.012421131134033203, 0.013268470764160156, 0.01411581039428711, 0.014963150024414062, 0.015810489654541016, 0.01665782928466797, 0.017505168914794922, 0.018352508544921875, 0.019199848175048828, 0.02004718780517578, 0.020894527435302734, 0.021741867065429688, 0.02258920669555664, 0.023436546325683594, 0.024283885955810547, 0.0251312255859375]}, "gradients/decoder.transformer.h.10.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 7.0, 6.0, 3.0, 7.0, 8.0, 10.0, 14.0, 16.0, 18.0, 14.0, 25.0, 27.0, 35.0, 34.0, 26.0, 33.0, 42.0, 45.0, 61.0, 94.0, 229.0, 1595.0, 202.0, 97.0, 58.0, 45.0, 52.0, 35.0, 37.0, 29.0, 24.0, 16.0, 21.0, 14.0, 20.0, 15.0, 7.0, 11.0, 6.0, 4.0, 4.0, 2.0, 3.0, 3.0, 2.0, 1.0, 3.0, 3.0], "bins": [-0.07318115234375, -0.07122278213500977, -0.06926441192626953, -0.0673060417175293, -0.06534767150878906, -0.06338930130004883, -0.061430931091308594, -0.05947256088256836, -0.057514190673828125, -0.05555582046508789, -0.053597450256347656, -0.05163908004760742, -0.04968070983886719, -0.04772233963012695, -0.04576396942138672, -0.043805599212646484, -0.04184722900390625, -0.039888858795166016, -0.03793048858642578, -0.03597211837768555, -0.03401374816894531, -0.03205537796020508, -0.030097007751464844, -0.02813863754272461, -0.026180267333984375, -0.02422189712524414, -0.022263526916503906, -0.020305156707763672, -0.018346786499023438, -0.016388416290283203, -0.014430046081542969, -0.012471675872802734, -0.0105133056640625, -0.008554935455322266, -0.006596565246582031, -0.004638195037841797, -0.0026798248291015625, -0.0007214546203613281, 0.0012369155883789062, 0.0031952857971191406, 0.005153656005859375, 0.007112026214599609, 0.009070396423339844, 0.011028766632080078, 0.012987136840820312, 0.014945507049560547, 0.01690387725830078, 0.018862247467041016, 0.02082061767578125, 0.022778987884521484, 0.02473735809326172, 0.026695728302001953, 0.028654098510742188, 0.030612468719482422, 0.032570838928222656, 0.03452920913696289, 0.036487579345703125, 0.03844594955444336, 0.040404319763183594, 0.04236268997192383, 0.04432106018066406, 0.0462794303894043, 0.04823780059814453, 0.050196170806884766, 0.052154541015625]}, "gradients/decoder.transformer.h.10.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 2.0, 4.0, 4.0, 7.0, 6.0, 15.0, 20.0, 19.0, 31.0, 40.0, 45.0, 76.0, 88.0, 157.0, 224.0, 374.0, 897.0, 4244.0, 45979.0, 2903632.0, 178221.0, 8832.0, 1452.0, 459.0, 244.0, 151.0, 133.0, 98.0, 83.0, 36.0, 39.0, 26.0, 19.0, 12.0, 11.0, 6.0, 10.0, 5.0, 4.0, 1.0, 3.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.1097412109375, -0.1063833236694336, -0.10302543640136719, -0.09966754913330078, -0.09630966186523438, -0.09295177459716797, -0.08959388732910156, -0.08623600006103516, -0.08287811279296875, -0.07952022552490234, -0.07616233825683594, -0.07280445098876953, -0.06944656372070312, -0.06608867645263672, -0.06273078918457031, -0.059372901916503906, -0.0560150146484375, -0.052657127380371094, -0.04929924011230469, -0.04594135284423828, -0.042583465576171875, -0.03922557830810547, -0.03586769104003906, -0.032509803771972656, -0.02915191650390625, -0.025794029235839844, -0.022436141967773438, -0.01907825469970703, -0.015720367431640625, -0.012362480163574219, -0.009004592895507812, -0.005646705627441406, -0.002288818359375, 0.0010690689086914062, 0.0044269561767578125, 0.007784843444824219, 0.011142730712890625, 0.014500617980957031, 0.017858505249023438, 0.021216392517089844, 0.02457427978515625, 0.027932167053222656, 0.03129005432128906, 0.03464794158935547, 0.038005828857421875, 0.04136371612548828, 0.04472160339355469, 0.048079490661621094, 0.0514373779296875, 0.054795265197753906, 0.05815315246582031, 0.06151103973388672, 0.06486892700195312, 0.06822681427001953, 0.07158470153808594, 0.07494258880615234, 0.07830047607421875, 0.08165836334228516, 0.08501625061035156, 0.08837413787841797, 0.09173202514648438, 0.09508991241455078, 0.09844779968261719, 0.1018056869506836, 0.10516357421875]}, "gradients/decoder.transformer.h.10.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 17.0, 22.0, 33.0, 60.0, 74.0, 110.0, 126.0, 128.0, 114.0, 106.0, 81.0, 62.0, 35.0, 19.0, 12.0, 8.0, 3.0, 2.0, 2.0, 1.0], "bins": [-0.1748848855495453, -0.1714833676815033, -0.1680818498134613, -0.1646803319454193, -0.16127881407737732, -0.15787729620933533, -0.15447577834129333, -0.15107426047325134, -0.14767274260520935, -0.14427122473716736, -0.14086970686912537, -0.13746818900108337, -0.13406667113304138, -0.1306651532649994, -0.1272636353969574, -0.1238621175289154, -0.12046060711145401, -0.11705908924341202, -0.11365757137537003, -0.11025605350732803, -0.10685453563928604, -0.10345301777124405, -0.10005150735378265, -0.09664998948574066, -0.09324847161769867, -0.08984695374965668, -0.08644543588161469, -0.08304391801357269, -0.0796424001455307, -0.07624088227748871, -0.07283936440944672, -0.06943784654140472, -0.06603632867336273, -0.06263481080532074, -0.05923329293727875, -0.055831775069236755, -0.05243025720119476, -0.04902873933315277, -0.04562722519040108, -0.042225707322359085, -0.03882419317960739, -0.0354226753115654, -0.03202115744352341, -0.028619641438126564, -0.025218123570084572, -0.02181660570204258, -0.018415089696645737, -0.015013571828603745, -0.011612053960561752, -0.00821053609251976, -0.0048090191558003426, -0.001407502219080925, 0.001994015648961067, 0.005395533517003059, 0.008797049522399902, 0.012198567390441895, 0.015600085258483887, 0.01900160312652588, 0.02240312099456787, 0.025804636999964714, 0.029206154868006706, 0.03260767459869385, 0.03600918874144554, 0.039410706609487534, 0.042812224477529526]}, "gradients/decoder.transformer.h.10.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 5.0, 4.0, 2.0, 9.0, 6.0, 10.0, 6.0, 12.0, 22.0, 12.0, 9.0, 18.0, 18.0, 19.0, 27.0, 29.0, 39.0, 27.0, 42.0, 42.0, 48.0, 40.0, 29.0, 40.0, 33.0, 41.0, 38.0, 37.0, 24.0, 33.0, 39.0, 28.0, 22.0, 28.0, 25.0, 25.0, 16.0, 19.0, 7.0, 10.0, 9.0, 10.0, 13.0, 6.0, 9.0, 12.0, 4.0, 2.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.17662203311920166, -0.17124366760253906, -0.16586528718471527, -0.16048692166805267, -0.15510854125022888, -0.14973017573356628, -0.1443518102169037, -0.1389734447002411, -0.1335950642824173, -0.1282166987657547, -0.12283831834793091, -0.11745995283126831, -0.11208157986402512, -0.10670320689678192, -0.10132484138011932, -0.09594646841287613, -0.09056809544563293, -0.08518972247838974, -0.07981134951114655, -0.07443298399448395, -0.06905461102724075, -0.06367623805999756, -0.05829786881804466, -0.052919499576091766, -0.04754112660884857, -0.04216275364160538, -0.03678438439965248, -0.031406015157699585, -0.02602764219045639, -0.020649271085858345, -0.0152708999812603, -0.009892530739307404, -0.004514157772064209, 0.0008642133325338364, 0.006242584437131882, 0.011620955541729927, 0.016999326646327972, 0.022377697750926018, 0.027756068855524063, 0.03313443809747696, 0.038512811064720154, 0.04389118403196335, 0.049269553273916245, 0.05464792251586914, 0.060026295483112335, 0.06540466845035553, 0.07078303396701813, 0.07616140693426132, 0.08153977990150452, 0.08691815286874771, 0.0922965258359909, 0.0976748913526535, 0.1030532643198967, 0.10843163728713989, 0.11381000280380249, 0.11918837577104568, 0.12456674873828888, 0.12994511425495148, 0.13532349467277527, 0.14070186018943787, 0.14608022570610046, 0.15145860612392426, 0.15683697164058685, 0.16221535205841064, 0.16759371757507324]}, "gradients/decoder.transformer.h.9.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 4.0, 3.0, 4.0, 10.0, 8.0, 17.0, 14.0, 21.0, 19.0, 27.0, 34.0, 42.0, 47.0, 56.0, 49.0, 55.0, 51.0, 64.0, 58.0, 53.0, 54.0, 55.0, 38.0, 47.0, 36.0, 35.0, 21.0, 33.0, 17.0, 14.0, 4.0, 6.0, 8.0, 3.0, 4.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.032379150390625, -0.031540870666503906, -0.030702590942382812, -0.02986431121826172, -0.029026031494140625, -0.02818775177001953, -0.027349472045898438, -0.026511192321777344, -0.02567291259765625, -0.024834632873535156, -0.023996353149414062, -0.02315807342529297, -0.022319793701171875, -0.02148151397705078, -0.020643234252929688, -0.019804954528808594, -0.0189666748046875, -0.018128395080566406, -0.017290115356445312, -0.01645183563232422, -0.015613555908203125, -0.014775276184082031, -0.013936996459960938, -0.013098716735839844, -0.01226043701171875, -0.011422157287597656, -0.010583877563476562, -0.009745597839355469, -0.008907318115234375, -0.008069038391113281, -0.0072307586669921875, -0.006392478942871094, -0.00555419921875, -0.004715919494628906, -0.0038776397705078125, -0.0030393600463867188, -0.002201080322265625, -0.0013628005981445312, -0.0005245208740234375, 0.00031375885009765625, 0.00115203857421875, 0.0019903182983398438, 0.0028285980224609375, 0.0036668777465820312, 0.004505157470703125, 0.005343437194824219, 0.0061817169189453125, 0.007019996643066406, 0.0078582763671875, 0.008696556091308594, 0.009534835815429688, 0.010373115539550781, 0.011211395263671875, 0.012049674987792969, 0.012887954711914062, 0.013726234436035156, 0.01456451416015625, 0.015402793884277344, 0.016241073608398438, 0.01707935333251953, 0.017917633056640625, 0.01875591278076172, 0.019594192504882812, 0.020432472229003906, 0.021270751953125]}, "gradients/decoder.transformer.h.9.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 2.0, 2.0, 6.0, 5.0, 8.0, 8.0, 10.0, 17.0, 18.0, 31.0, 43.0, 62.0, 83.0, 150.0, 265.0, 420.0, 921.0, 2085.0, 5370.0, 14500.0, 49096.0, 241677.0, 2241522.0, 1419192.0, 161866.0, 37503.0, 11582.0, 4310.0, 1711.0, 780.0, 389.0, 238.0, 145.0, 86.0, 55.0, 39.0, 32.0, 15.0, 13.0, 16.0, 6.0, 2.0, 3.0, 6.0, 2.0, 4.0, 1.0, 0.0, 1.0], "bins": [-0.05487060546875, -0.05342245101928711, -0.05197429656982422, -0.05052614212036133, -0.04907798767089844, -0.04762983322143555, -0.046181678771972656, -0.044733524322509766, -0.043285369873046875, -0.041837215423583984, -0.040389060974121094, -0.0389409065246582, -0.03749275207519531, -0.03604459762573242, -0.03459644317626953, -0.03314828872680664, -0.03170013427734375, -0.03025197982788086, -0.02880382537841797, -0.027355670928955078, -0.025907516479492188, -0.024459362030029297, -0.023011207580566406, -0.021563053131103516, -0.020114898681640625, -0.018666744232177734, -0.017218589782714844, -0.015770435333251953, -0.014322280883789062, -0.012874126434326172, -0.011425971984863281, -0.00997781753540039, -0.0085296630859375, -0.007081508636474609, -0.005633354187011719, -0.004185199737548828, -0.0027370452880859375, -0.0012888908386230469, 0.00015926361083984375, 0.0016074180603027344, 0.003055572509765625, 0.004503726959228516, 0.005951881408691406, 0.007400035858154297, 0.008848190307617188, 0.010296344757080078, 0.011744499206542969, 0.01319265365600586, 0.01464080810546875, 0.01608896255493164, 0.01753711700439453, 0.018985271453857422, 0.020433425903320312, 0.021881580352783203, 0.023329734802246094, 0.024777889251708984, 0.026226043701171875, 0.027674198150634766, 0.029122352600097656, 0.030570507049560547, 0.03201866149902344, 0.03346681594848633, 0.03491497039794922, 0.03636312484741211, 0.037811279296875]}, "gradients/decoder.transformer.h.9.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 5.0, 9.0, 10.0, 11.0, 32.0, 33.0, 37.0, 86.0, 165.0, 308.0, 468.0, 811.0, 855.0, 495.0, 268.0, 195.0, 125.0, 69.0, 32.0, 24.0, 14.0, 15.0, 4.0, 6.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.060516357421875, -0.058739662170410156, -0.05696296691894531, -0.05518627166748047, -0.053409576416015625, -0.05163288116455078, -0.04985618591308594, -0.048079490661621094, -0.04630279541015625, -0.044526100158691406, -0.04274940490722656, -0.04097270965576172, -0.039196014404296875, -0.03741931915283203, -0.03564262390136719, -0.033865928649902344, -0.0320892333984375, -0.030312538146972656, -0.028535842895507812, -0.02675914764404297, -0.024982452392578125, -0.02320575714111328, -0.021429061889648438, -0.019652366638183594, -0.01787567138671875, -0.016098976135253906, -0.014322280883789062, -0.012545585632324219, -0.010768890380859375, -0.008992195129394531, -0.0072154998779296875, -0.005438804626464844, -0.003662109375, -0.0018854141235351562, -0.0001087188720703125, 0.0016679763793945312, 0.003444671630859375, 0.005221366882324219, 0.0069980621337890625, 0.008774757385253906, 0.01055145263671875, 0.012328147888183594, 0.014104843139648438, 0.01588153839111328, 0.017658233642578125, 0.01943492889404297, 0.021211624145507812, 0.022988319396972656, 0.0247650146484375, 0.026541709899902344, 0.028318405151367188, 0.03009510040283203, 0.031871795654296875, 0.03364849090576172, 0.03542518615722656, 0.037201881408691406, 0.03897857666015625, 0.040755271911621094, 0.04253196716308594, 0.04430866241455078, 0.046085357666015625, 0.04786205291748047, 0.04963874816894531, 0.051415443420410156, 0.053192138671875]}, "gradients/decoder.transformer.h.9.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 5.0, 5.0, 10.0, 6.0, 17.0, 27.0, 42.0, 81.0, 120.0, 227.0, 446.0, 1505.0, 65050.0, 4092729.0, 31947.0, 1236.0, 411.0, 175.0, 103.0, 43.0, 34.0, 24.0, 18.0, 9.0, 9.0, 4.0, 5.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.25390625, -0.24528121948242188, -0.23665618896484375, -0.22803115844726562, -0.2194061279296875, -0.21078109741210938, -0.20215606689453125, -0.19353103637695312, -0.184906005859375, -0.17628097534179688, -0.16765594482421875, -0.15903091430664062, -0.1504058837890625, -0.14178085327148438, -0.13315582275390625, -0.12453079223632812, -0.11590576171875, -0.10728073120117188, -0.09865570068359375, -0.09003067016601562, -0.0814056396484375, -0.07278060913085938, -0.06415557861328125, -0.055530548095703125, -0.046905517578125, -0.038280487060546875, -0.02965545654296875, -0.021030426025390625, -0.0124053955078125, -0.003780364990234375, 0.00484466552734375, 0.013469696044921875, 0.0220947265625, 0.030719757080078125, 0.03934478759765625, 0.047969818115234375, 0.0565948486328125, 0.06521987915039062, 0.07384490966796875, 0.08246994018554688, 0.091094970703125, 0.09972000122070312, 0.10834503173828125, 0.11697006225585938, 0.1255950927734375, 0.13422012329101562, 0.14284515380859375, 0.15147018432617188, 0.16009521484375, 0.16872024536132812, 0.17734527587890625, 0.18597030639648438, 0.1945953369140625, 0.20322036743164062, 0.21184539794921875, 0.22047042846679688, 0.229095458984375, 0.23772048950195312, 0.24634552001953125, 0.2549705505371094, 0.2635955810546875, 0.2722206115722656, 0.28084564208984375, 0.2894706726074219, 0.298095703125]}, "gradients/decoder.transformer.h.9.ln_2.weight": {"_type": "histogram", "values": [2.0, 10.0, 6.0, 5.0, 6.0, 22.0, 28.0, 25.0, 44.0, 72.0, 94.0, 79.0, 85.0, 109.0, 84.0, 85.0, 64.0, 52.0, 39.0, 43.0, 16.0, 19.0, 11.0, 7.0, 3.0, 2.0, 4.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0682070255279541, -0.06308219581842422, -0.05795736610889435, -0.05283253639936447, -0.047707706689834595, -0.04258287698030472, -0.03745805099606514, -0.03233322128653526, -0.027208391577005386, -0.02208356186747551, -0.016958732157945633, -0.011833904311060905, -0.006709074601531029, -0.001584244892001152, 0.0035405829548835754, 0.008665412664413452, 0.013790242373943329, 0.018915072083473206, 0.024039901793003082, 0.02916472963988781, 0.034289561212062836, 0.03941439092159271, 0.04453921690583229, 0.04966404661536217, 0.054788876324892044, 0.05991370603442192, 0.0650385320186615, 0.07016336172819138, 0.07528819143772125, 0.08041302114725113, 0.085537850856781, 0.09066268056631088, 0.09578751027584076, 0.10091233998537064, 0.10603716969490051, 0.11116199940443039, 0.11628682911396027, 0.12141165882349014, 0.12653648853302002, 0.1316613107919693, 0.13678614795207977, 0.14191097021102905, 0.14703580737113953, 0.1521606296300888, 0.15728546679019928, 0.16241028904914856, 0.16753512620925903, 0.1726599484682083, 0.1777847707271576, 0.18290959298610687, 0.18803443014621735, 0.19315925240516663, 0.1982840895652771, 0.20340891182422638, 0.20853374898433685, 0.21365857124328613, 0.2187834084033966, 0.2239082306623459, 0.22903306782245636, 0.23415789008140564, 0.2392827272415161, 0.2444075495004654, 0.24953238666057587, 0.25465720891952515, 0.2597820460796356]}, "gradients/decoder.transformer.h.9.ln_2.bias": {"_type": "histogram", "values": [2.0, 3.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 5.0, 3.0, 11.0, 4.0, 9.0, 11.0, 13.0, 19.0, 21.0, 19.0, 28.0, 17.0, 45.0, 28.0, 39.0, 43.0, 38.0, 30.0, 35.0, 33.0, 41.0, 39.0, 42.0, 34.0, 41.0, 45.0, 32.0, 36.0, 24.0, 22.0, 36.0, 21.0, 26.0, 21.0, 20.0, 12.0, 15.0, 11.0, 7.0, 12.0, 7.0, 3.0, 2.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.10940122604370117, -0.10568243265151978, -0.10196363925933838, -0.09824485331773758, -0.09452605992555618, -0.09080726653337479, -0.08708848059177399, -0.08336968719959259, -0.0796508938074112, -0.0759321004152298, -0.0722133070230484, -0.0684945210814476, -0.0647757276892662, -0.06105693429708481, -0.05733814463019371, -0.05361935496330261, -0.049900561571121216, -0.04618176817893982, -0.04246297851204872, -0.03874418884515762, -0.03502539545297623, -0.03130660206079483, -0.027587812393903732, -0.023869020864367485, -0.020150229334831238, -0.01643143780529499, -0.012712646275758743, -0.008993854746222496, -0.005275063216686249, -0.0015562716871500015, 0.0021625198423862457, 0.005881311371922493, 0.00960010290145874, 0.013318894430994987, 0.017037685960531235, 0.020756477490067482, 0.02447526901960373, 0.028194060549139977, 0.031912852078676224, 0.03563164174556732, 0.03935043513774872, 0.043069228529930115, 0.04678801819682121, 0.05050680786371231, 0.05422560125589371, 0.057944394648075104, 0.0616631843149662, 0.0653819739818573, 0.0691007673740387, 0.07281956076622009, 0.07653835415840149, 0.08025714010000229, 0.08397593349218369, 0.08769472688436508, 0.09141351282596588, 0.09513230621814728, 0.09885109961032867, 0.10256989300251007, 0.10628868639469147, 0.11000747233629227, 0.11372626572847366, 0.11744505912065506, 0.12116384506225586, 0.12488263845443726, 0.12860143184661865]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 8.0, 1.0, 9.0, 12.0, 19.0, 8.0, 17.0, 30.0, 20.0, 43.0, 43.0, 45.0, 54.0, 48.0, 52.0, 49.0, 52.0, 68.0, 48.0, 50.0, 40.0, 45.0, 43.0, 52.0, 41.0, 31.0, 22.0, 16.0, 15.0, 6.0, 7.0, 7.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.032379150390625, -0.03154182434082031, -0.030704498291015625, -0.029867172241210938, -0.02902984619140625, -0.028192520141601562, -0.027355194091796875, -0.026517868041992188, -0.0256805419921875, -0.024843215942382812, -0.024005889892578125, -0.023168563842773438, -0.02233123779296875, -0.021493911743164062, -0.020656585693359375, -0.019819259643554688, -0.01898193359375, -0.018144607543945312, -0.017307281494140625, -0.016469955444335938, -0.01563262939453125, -0.014795303344726562, -0.013957977294921875, -0.013120651245117188, -0.0122833251953125, -0.011445999145507812, -0.010608673095703125, -0.009771347045898438, -0.00893402099609375, -0.008096694946289062, -0.007259368896484375, -0.0064220428466796875, -0.005584716796875, -0.0047473907470703125, -0.003910064697265625, -0.0030727386474609375, -0.00223541259765625, -0.0013980865478515625, -0.000560760498046875, 0.0002765655517578125, 0.0011138916015625, 0.0019512176513671875, 0.002788543701171875, 0.0036258697509765625, 0.00446319580078125, 0.0053005218505859375, 0.006137847900390625, 0.0069751739501953125, 0.0078125, 0.008649826049804688, 0.009487152099609375, 0.010324478149414062, 0.01116180419921875, 0.011999130249023438, 0.012836456298828125, 0.013673782348632812, 0.0145111083984375, 0.015348434448242188, 0.016185760498046875, 0.017023086547851562, 0.01786041259765625, 0.018697738647460938, 0.019535064697265625, 0.020372390747070312, 0.021209716796875]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 3.0, 2.0, 4.0, 9.0, 8.0, 13.0, 14.0, 16.0, 21.0, 37.0, 43.0, 83.0, 125.0, 232.0, 351.0, 612.0, 1154.0, 1964.0, 3738.0, 6678.0, 12682.0, 24232.0, 47878.0, 101039.0, 268914.0, 358688.0, 110822.0, 52871.0, 26782.0, 13420.0, 7029.0, 3949.0, 2176.0, 1240.0, 695.0, 385.0, 239.0, 133.0, 92.0, 64.0, 35.0, 25.0, 20.0, 9.0, 14.0, 6.0, 5.0, 4.0, 4.0, 0.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0002090930938720703, -0.0002013668417930603, -0.0001936405897140503, -0.00018591433763504028, -0.00017818808555603027, -0.00017046183347702026, -0.00016273558139801025, -0.00015500932931900024, -0.00014728307723999023, -0.00013955682516098022, -0.00013183057308197021, -0.0001241043210029602, -0.0001163780689239502, -0.00010865181684494019, -0.00010092556476593018, -9.319931268692017e-05, -8.547306060791016e-05, -7.774680852890015e-05, -7.002055644989014e-05, -6.229430437088013e-05, -5.456805229187012e-05, -4.684180021286011e-05, -3.91155481338501e-05, -3.138929605484009e-05, -2.3663043975830078e-05, -1.593679189682007e-05, -8.210539817810059e-06, -4.842877388000488e-07, 7.241964340209961e-06, 1.496821641921997e-05, 2.269446849822998e-05, 3.042072057723999e-05, 3.814697265625e-05, 4.587322473526001e-05, 5.359947681427002e-05, 6.132572889328003e-05, 6.905198097229004e-05, 7.677823305130005e-05, 8.450448513031006e-05, 9.223073720932007e-05, 9.995698928833008e-05, 0.00010768324136734009, 0.0001154094934463501, 0.0001231357455253601, 0.00013086199760437012, 0.00013858824968338013, 0.00014631450176239014, 0.00015404075384140015, 0.00016176700592041016, 0.00016949325799942017, 0.00017721951007843018, 0.00018494576215744019, 0.0001926720142364502, 0.0002003982663154602, 0.00020812451839447021, 0.00021585077047348022, 0.00022357702255249023, 0.00023130327463150024, 0.00023902952671051025, 0.00024675577878952026, 0.0002544820308685303, 0.0002622082829475403, 0.0002699345350265503, 0.0002776607871055603, 0.0002853870391845703]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 3.0, 0.0, 8.0, 1.0, 6.0, 7.0, 10.0, 9.0, 8.0, 14.0, 11.0, 26.0, 17.0, 28.0, 20.0, 20.0, 22.0, 30.0, 22.0, 40.0, 30.0, 36.0, 41.0, 36.0, 29.0, 1062.0, 33.0, 34.0, 46.0, 29.0, 38.0, 45.0, 38.0, 28.0, 21.0, 27.0, 23.0, 21.0, 18.0, 17.0, 10.0, 12.0, 11.0, 8.0, 5.0, 8.0, 5.0, 3.0, 5.0, 4.0, 3.0, 3.0, 3.0, 1.0, 2.0, 1.0, 1.0], "bins": [-0.0160064697265625, -0.015507936477661133, -0.015009403228759766, -0.014510869979858398, -0.014012336730957031, -0.013513803482055664, -0.013015270233154297, -0.01251673698425293, -0.012018203735351562, -0.011519670486450195, -0.011021137237548828, -0.010522603988647461, -0.010024070739746094, -0.009525537490844727, -0.00902700424194336, -0.008528470993041992, -0.008029937744140625, -0.007531404495239258, -0.007032871246337891, -0.0065343379974365234, -0.006035804748535156, -0.005537271499633789, -0.005038738250732422, -0.004540205001831055, -0.0040416717529296875, -0.0035431385040283203, -0.003044605255126953, -0.002546072006225586, -0.0020475387573242188, -0.0015490055084228516, -0.0010504722595214844, -0.0005519390106201172, -5.340576171875e-05, 0.0004451274871826172, 0.0009436607360839844, 0.0014421939849853516, 0.0019407272338867188, 0.002439260482788086, 0.002937793731689453, 0.0034363269805908203, 0.0039348602294921875, 0.004433393478393555, 0.004931926727294922, 0.005430459976196289, 0.005928993225097656, 0.0064275264739990234, 0.006926059722900391, 0.007424592971801758, 0.007923126220703125, 0.008421659469604492, 0.00892019271850586, 0.009418725967407227, 0.009917259216308594, 0.010415792465209961, 0.010914325714111328, 0.011412858963012695, 0.011911392211914062, 0.01240992546081543, 0.012908458709716797, 0.013406991958618164, 0.013905525207519531, 0.014404058456420898, 0.014902591705322266, 0.015401124954223633, 0.015899658203125]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 1.0, 4.0, 3.0, 5.0, 4.0, 3.0, 5.0, 8.0, 4.0, 9.0, 7.0, 12.0, 16.0, 11.0, 21.0, 20.0, 24.0, 28.0, 31.0, 41.0, 54.0, 74.0, 89.0, 150.0, 309.0, 966.0, 3714.0, 75774.0, 2010135.0, 3820.0, 913.0, 298.0, 154.0, 97.0, 63.0, 35.0, 39.0, 23.0, 26.0, 24.0, 20.0, 22.0, 15.0, 12.0, 11.0, 8.0, 11.0, 8.0, 5.0, 1.0, 5.0, 3.0, 2.0, 3.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0], "bins": [-1.1563301086425781e-05, -1.1201947927474976e-05, -1.084059476852417e-05, -1.0479241609573364e-05, -1.0117888450622559e-05, -9.756535291671753e-06, -9.395182132720947e-06, -9.033828973770142e-06, -8.672475814819336e-06, -8.31112265586853e-06, -7.949769496917725e-06, -7.588416337966919e-06, -7.227063179016113e-06, -6.865710020065308e-06, -6.504356861114502e-06, -6.143003702163696e-06, -5.781650543212891e-06, -5.420297384262085e-06, -5.058944225311279e-06, -4.697591066360474e-06, -4.336237907409668e-06, -3.974884748458862e-06, -3.6135315895080566e-06, -3.252178430557251e-06, -2.8908252716064453e-06, -2.5294721126556396e-06, -2.168118953704834e-06, -1.8067657947540283e-06, -1.4454126358032227e-06, -1.084059476852417e-06, -7.227063179016113e-07, -3.6135315895080566e-07, 0.0, 3.6135315895080566e-07, 7.227063179016113e-07, 1.084059476852417e-06, 1.4454126358032227e-06, 1.8067657947540283e-06, 2.168118953704834e-06, 2.5294721126556396e-06, 2.8908252716064453e-06, 3.252178430557251e-06, 3.6135315895080566e-06, 3.974884748458862e-06, 4.336237907409668e-06, 4.697591066360474e-06, 5.058944225311279e-06, 5.420297384262085e-06, 5.781650543212891e-06, 6.143003702163696e-06, 6.504356861114502e-06, 6.865710020065308e-06, 7.227063179016113e-06, 7.588416337966919e-06, 7.949769496917725e-06, 8.31112265586853e-06, 8.672475814819336e-06, 9.033828973770142e-06, 9.395182132720947e-06, 9.756535291671753e-06, 1.0117888450622559e-05, 1.0479241609573364e-05, 1.084059476852417e-05, 1.1201947927474976e-05, 1.1563301086425781e-05]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 8.0, 1.0, 9.0, 12.0, 19.0, 8.0, 17.0, 30.0, 20.0, 43.0, 43.0, 45.0, 54.0, 48.0, 52.0, 49.0, 52.0, 68.0, 48.0, 50.0, 40.0, 45.0, 43.0, 52.0, 41.0, 31.0, 22.0, 16.0, 15.0, 6.0, 7.0, 7.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.032379150390625, -0.03154182434082031, -0.030704498291015625, -0.029867172241210938, -0.02902984619140625, -0.028192520141601562, -0.027355194091796875, -0.026517868041992188, -0.0256805419921875, -0.024843215942382812, -0.024005889892578125, -0.023168563842773438, -0.02233123779296875, -0.021493911743164062, -0.020656585693359375, -0.019819259643554688, -0.01898193359375, -0.018144607543945312, -0.017307281494140625, -0.016469955444335938, -0.01563262939453125, -0.014795303344726562, -0.013957977294921875, -0.013120651245117188, -0.0122833251953125, -0.011445999145507812, -0.010608673095703125, -0.009771347045898438, -0.00893402099609375, -0.008096694946289062, -0.007259368896484375, -0.0064220428466796875, -0.005584716796875, -0.0047473907470703125, -0.003910064697265625, -0.0030727386474609375, -0.00223541259765625, -0.0013980865478515625, -0.000560760498046875, 0.0002765655517578125, 0.0011138916015625, 0.0019512176513671875, 0.002788543701171875, 0.0036258697509765625, 0.00446319580078125, 0.0053005218505859375, 0.006137847900390625, 0.0069751739501953125, 0.0078125, 0.008649826049804688, 0.009487152099609375, 0.010324478149414062, 0.01116180419921875, 0.011999130249023438, 0.012836456298828125, 0.013673782348632812, 0.0145111083984375, 0.015348434448242188, 0.016185760498046875, 0.017023086547851562, 0.01786041259765625, 0.018697738647460938, 0.019535064697265625, 0.020372390747070312, 0.021209716796875]}, "gradients/decoder.transformer.h.9.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 11.0, 7.0, 12.0, 17.0, 23.0, 46.0, 59.0, 98.0, 181.0, 263.0, 395.0, 670.0, 1047.0, 1784.0, 2837.0, 4656.0, 7677.0, 12486.0, 20513.0, 35584.0, 76380.0, 396310.0, 332123.0, 70543.0, 33640.0, 19843.0, 12122.0, 7466.0, 4593.0, 2672.0, 1713.0, 1030.0, 634.0, 428.0, 269.0, 174.0, 105.0, 60.0, 35.0, 29.0, 10.0, 9.0, 5.0, 2.0, 4.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0290679931640625, -0.028097867965698242, -0.027127742767333984, -0.026157617568969727, -0.02518749237060547, -0.02421736717224121, -0.023247241973876953, -0.022277116775512695, -0.021306991577148438, -0.02033686637878418, -0.019366741180419922, -0.018396615982055664, -0.017426490783691406, -0.01645636558532715, -0.01548624038696289, -0.014516115188598633, -0.013545989990234375, -0.012575864791870117, -0.01160573959350586, -0.010635614395141602, -0.009665489196777344, -0.008695363998413086, -0.007725238800048828, -0.00675511360168457, -0.0057849884033203125, -0.004814863204956055, -0.003844738006591797, -0.002874612808227539, -0.0019044876098632812, -0.0009343624114990234, 3.5762786865234375e-05, 0.0010058879852294922, 0.00197601318359375, 0.002946138381958008, 0.003916263580322266, 0.0048863887786865234, 0.005856513977050781, 0.006826639175415039, 0.007796764373779297, 0.008766889572143555, 0.009737014770507812, 0.01070713996887207, 0.011677265167236328, 0.012647390365600586, 0.013617515563964844, 0.014587640762329102, 0.01555776596069336, 0.016527891159057617, 0.017498016357421875, 0.018468141555786133, 0.01943826675415039, 0.02040839195251465, 0.021378517150878906, 0.022348642349243164, 0.023318767547607422, 0.02428889274597168, 0.025259017944335938, 0.026229143142700195, 0.027199268341064453, 0.02816939353942871, 0.02913951873779297, 0.030109643936157227, 0.031079769134521484, 0.03204989433288574, 0.03302001953125]}, "gradients/decoder.transformer.h.9.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 5.0, 1.0, 4.0, 4.0, 1.0, 4.0, 2.0, 7.0, 7.0, 9.0, 14.0, 10.0, 14.0, 17.0, 23.0, 22.0, 26.0, 29.0, 35.0, 33.0, 54.0, 51.0, 65.0, 67.0, 123.0, 273.0, 1521.0, 121.0, 83.0, 72.0, 51.0, 50.0, 40.0, 22.0, 32.0, 24.0, 20.0, 17.0, 21.0, 19.0, 13.0, 10.0, 9.0, 10.0, 8.0, 5.0, 7.0, 3.0, 1.0, 1.0, 4.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0526123046875, -0.0506744384765625, -0.048736572265625, -0.0467987060546875, -0.04486083984375, -0.0429229736328125, -0.040985107421875, -0.0390472412109375, -0.037109375, -0.0351715087890625, -0.033233642578125, -0.0312957763671875, -0.02935791015625, -0.0274200439453125, -0.025482177734375, -0.0235443115234375, -0.0216064453125, -0.0196685791015625, -0.017730712890625, -0.0157928466796875, -0.01385498046875, -0.0119171142578125, -0.009979248046875, -0.0080413818359375, -0.006103515625, -0.0041656494140625, -0.002227783203125, -0.0002899169921875, 0.00164794921875, 0.0035858154296875, 0.005523681640625, 0.0074615478515625, 0.0093994140625, 0.0113372802734375, 0.013275146484375, 0.0152130126953125, 0.01715087890625, 0.0190887451171875, 0.021026611328125, 0.0229644775390625, 0.02490234375, 0.0268402099609375, 0.028778076171875, 0.0307159423828125, 0.03265380859375, 0.0345916748046875, 0.036529541015625, 0.0384674072265625, 0.0404052734375, 0.0423431396484375, 0.044281005859375, 0.0462188720703125, 0.04815673828125, 0.0500946044921875, 0.052032470703125, 0.0539703369140625, 0.055908203125, 0.0578460693359375, 0.059783935546875, 0.0617218017578125, 0.06365966796875, 0.0655975341796875, 0.067535400390625, 0.0694732666015625, 0.0714111328125]}, "gradients/decoder.transformer.h.9.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 5.0, 0.0, 2.0, 5.0, 7.0, 5.0, 8.0, 13.0, 13.0, 21.0, 27.0, 26.0, 34.0, 46.0, 48.0, 70.0, 99.0, 149.0, 273.0, 613.0, 1936.0, 8345.0, 49838.0, 509916.0, 2460438.0, 94261.0, 14699.0, 2982.0, 838.0, 351.0, 180.0, 118.0, 64.0, 63.0, 48.0, 33.0, 22.0, 33.0, 13.0, 15.0, 14.0, 7.0, 10.0, 11.0, 2.0, 6.0, 2.0, 3.0, 2.0, 4.0, 2.0], "bins": [-0.11376953125, -0.11070823669433594, -0.10764694213867188, -0.10458564758300781, -0.10152435302734375, -0.09846305847167969, -0.09540176391601562, -0.09234046936035156, -0.0892791748046875, -0.08621788024902344, -0.08315658569335938, -0.08009529113769531, -0.07703399658203125, -0.07397270202636719, -0.07091140747070312, -0.06785011291503906, -0.064788818359375, -0.06172752380371094, -0.058666229248046875, -0.05560493469238281, -0.05254364013671875, -0.04948234558105469, -0.046421051025390625, -0.04335975646972656, -0.0402984619140625, -0.03723716735839844, -0.034175872802734375, -0.031114578247070312, -0.02805328369140625, -0.024991989135742188, -0.021930694580078125, -0.018869400024414062, -0.01580810546875, -0.012746810913085938, -0.009685516357421875, -0.0066242218017578125, -0.00356292724609375, -0.0005016326904296875, 0.002559661865234375, 0.0056209564208984375, 0.0086822509765625, 0.011743545532226562, 0.014804840087890625, 0.017866134643554688, 0.02092742919921875, 0.023988723754882812, 0.027050018310546875, 0.030111312866210938, 0.033172607421875, 0.03623390197753906, 0.039295196533203125, 0.04235649108886719, 0.04541778564453125, 0.04847908020019531, 0.051540374755859375, 0.05460166931152344, 0.0576629638671875, 0.06072425842285156, 0.06378555297851562, 0.06684684753417969, 0.06990814208984375, 0.07296943664550781, 0.07603073120117188, 0.07909202575683594, 0.0821533203125]}, "gradients/decoder.transformer.h.9.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 3.0, 8.0, 11.0, 14.0, 24.0, 35.0, 39.0, 47.0, 64.0, 61.0, 75.0, 98.0, 108.0, 90.0, 78.0, 70.0, 47.0, 36.0, 43.0, 26.0, 12.0, 13.0, 4.0, 5.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.15546539425849915, -0.15191198885440826, -0.14835858345031738, -0.1448051780462265, -0.14125177264213562, -0.13769836723804474, -0.13414496183395386, -0.13059157133102417, -0.1270381510257721, -0.12348474562168121, -0.11993134021759033, -0.11637793481349945, -0.11282452940940857, -0.10927112400531769, -0.1057177260518074, -0.10216432064771652, -0.09861092269420624, -0.09505751729011536, -0.09150411188602448, -0.0879507064819336, -0.08439730107784271, -0.08084389567375183, -0.07729049772024155, -0.07373709231615067, -0.07018368691205978, -0.0666302815079689, -0.06307687610387802, -0.05952347442507744, -0.05597006902098656, -0.052416663616895676, -0.04886326193809509, -0.04530985653400421, -0.04175645112991333, -0.03820304572582245, -0.03464964032173157, -0.031096238642930984, -0.027542833238840103, -0.023989427834749222, -0.02043602429330349, -0.016882620751857758, -0.013329215347766876, -0.00977581087499857, -0.006222406402230263, -0.002669001929461956, 0.0008844025433063507, 0.004437807947397232, 0.007991211488842964, 0.011544615030288696, 0.015098020434379578, 0.01865142583847046, 0.02220482937991619, 0.025758232921361923, 0.029311638325452805, 0.032865043729543686, 0.03641844540834427, 0.03997185081243515, 0.04352525621652603, 0.04707866162061691, 0.050632067024707794, 0.05418546870350838, 0.05773887410759926, 0.06129227951169014, 0.06484568119049072, 0.0683990865945816, 0.07195249199867249]}, "gradients/decoder.transformer.h.9.ln_1.bias": {"_type": "histogram", "values": [3.0, 0.0, 3.0, 2.0, 2.0, 2.0, 5.0, 3.0, 1.0, 4.0, 5.0, 11.0, 11.0, 11.0, 11.0, 13.0, 16.0, 23.0, 16.0, 26.0, 36.0, 28.0, 37.0, 29.0, 32.0, 33.0, 33.0, 39.0, 56.0, 44.0, 28.0, 46.0, 40.0, 24.0, 32.0, 57.0, 36.0, 32.0, 32.0, 28.0, 26.0, 12.0, 15.0, 15.0, 10.0, 6.0, 6.0, 10.0, 8.0, 4.0, 4.0, 1.0, 4.0, 1.0, 2.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.1797606348991394, -0.1736481487751007, -0.16753564774990082, -0.16142314672470093, -0.15531066060066223, -0.14919817447662354, -0.14308567345142365, -0.13697317242622375, -0.13086068630218506, -0.12474819272756577, -0.11863569915294647, -0.11252320557832718, -0.10641071200370789, -0.10029821842908859, -0.0941857248544693, -0.08807323127985, -0.08196073770523071, -0.07584824413061142, -0.06973575055599213, -0.06362325698137283, -0.05751076340675354, -0.05139826983213425, -0.045285776257514954, -0.03917328268289566, -0.03306078910827637, -0.026948295533657074, -0.02083580195903778, -0.014723308384418488, -0.008610814809799194, -0.002498321235179901, 0.003614172339439392, 0.009726665914058685, 0.01583915948867798, 0.02195165306329727, 0.028064146637916565, 0.03417664021253586, 0.04028913378715515, 0.046401627361774445, 0.05251412093639374, 0.05862661451101303, 0.06473910808563232, 0.07085160166025162, 0.07696409523487091, 0.0830765888094902, 0.0891890823841095, 0.09530157595872879, 0.10141406953334808, 0.10752656310796738, 0.11363905668258667, 0.11975155025720596, 0.12586404383182526, 0.13197654485702515, 0.13808903098106384, 0.14420151710510254, 0.15031401813030243, 0.15642651915550232, 0.16253900527954102, 0.1686514914035797, 0.1747639924287796, 0.1808764934539795, 0.1869889795780182, 0.19310146570205688, 0.19921396672725677, 0.20532646775245667, 0.21143895387649536]}, "gradients/decoder.transformer.h.8.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 4.0, 3.0, 3.0, 13.0, 10.0, 16.0, 14.0, 23.0, 21.0, 32.0, 58.0, 36.0, 49.0, 56.0, 60.0, 37.0, 54.0, 50.0, 55.0, 58.0, 39.0, 54.0, 47.0, 46.0, 47.0, 33.0, 21.0, 23.0, 14.0, 10.0, 7.0, 10.0, 6.0, 2.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.03289794921875, -0.03201460838317871, -0.031131267547607422, -0.030247926712036133, -0.029364585876464844, -0.028481245040893555, -0.027597904205322266, -0.026714563369750977, -0.025831222534179688, -0.0249478816986084, -0.02406454086303711, -0.02318120002746582, -0.02229785919189453, -0.021414518356323242, -0.020531177520751953, -0.019647836685180664, -0.018764495849609375, -0.017881155014038086, -0.016997814178466797, -0.016114473342895508, -0.015231132507324219, -0.01434779167175293, -0.01346445083618164, -0.012581110000610352, -0.011697769165039062, -0.010814428329467773, -0.009931087493896484, -0.009047746658325195, -0.008164405822753906, -0.007281064987182617, -0.006397724151611328, -0.005514383316040039, -0.00463104248046875, -0.003747701644897461, -0.002864360809326172, -0.001981019973754883, -0.0010976791381835938, -0.0002143383026123047, 0.0006690025329589844, 0.0015523433685302734, 0.0024356842041015625, 0.0033190250396728516, 0.004202365875244141, 0.00508570671081543, 0.005969047546386719, 0.006852388381958008, 0.007735729217529297, 0.008619070053100586, 0.009502410888671875, 0.010385751724243164, 0.011269092559814453, 0.012152433395385742, 0.013035774230957031, 0.01391911506652832, 0.01480245590209961, 0.0156857967376709, 0.016569137573242188, 0.017452478408813477, 0.018335819244384766, 0.019219160079956055, 0.020102500915527344, 0.020985841751098633, 0.021869182586669922, 0.02275252342224121, 0.0236358642578125]}, "gradients/decoder.transformer.h.8.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 3.0, 1.0, 2.0, 7.0, 11.0, 11.0, 14.0, 19.0, 36.0, 50.0, 78.0, 132.0, 240.0, 326.0, 591.0, 974.0, 1622.0, 2999.0, 5035.0, 9515.0, 17804.0, 35488.0, 75605.0, 185591.0, 544253.0, 1476798.0, 1177137.0, 394132.0, 141725.0, 61310.0, 29335.0, 14958.0, 7945.0, 4301.0, 2497.0, 1483.0, 874.0, 543.0, 312.0, 191.0, 139.0, 72.0, 51.0, 35.0, 29.0, 10.0, 3.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.024810791015625, -0.02405571937561035, -0.023300647735595703, -0.022545576095581055, -0.021790504455566406, -0.021035432815551758, -0.02028036117553711, -0.01952528953552246, -0.018770217895507812, -0.018015146255493164, -0.017260074615478516, -0.016505002975463867, -0.01574993133544922, -0.01499485969543457, -0.014239788055419922, -0.013484716415405273, -0.012729644775390625, -0.011974573135375977, -0.011219501495361328, -0.01046442985534668, -0.009709358215332031, -0.008954286575317383, -0.008199214935302734, -0.007444143295288086, -0.0066890716552734375, -0.005934000015258789, -0.005178928375244141, -0.004423856735229492, -0.0036687850952148438, -0.0029137134552001953, -0.002158641815185547, -0.0014035701751708984, -0.00064849853515625, 0.00010657310485839844, 0.0008616447448730469, 0.0016167163848876953, 0.0023717880249023438, 0.003126859664916992, 0.0038819313049316406, 0.004637002944946289, 0.0053920745849609375, 0.006147146224975586, 0.006902217864990234, 0.007657289505004883, 0.008412361145019531, 0.00916743278503418, 0.009922504425048828, 0.010677576065063477, 0.011432647705078125, 0.012187719345092773, 0.012942790985107422, 0.01369786262512207, 0.014452934265136719, 0.015208005905151367, 0.015963077545166016, 0.016718149185180664, 0.017473220825195312, 0.01822829246520996, 0.01898336410522461, 0.019738435745239258, 0.020493507385253906, 0.021248579025268555, 0.022003650665283203, 0.02275872230529785, 0.0235137939453125]}, "gradients/decoder.transformer.h.8.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 4.0, 3.0, 5.0, 12.0, 9.0, 22.0, 34.0, 45.0, 76.0, 90.0, 148.0, 251.0, 381.0, 563.0, 694.0, 624.0, 358.0, 259.0, 159.0, 106.0, 82.0, 49.0, 41.0, 26.0, 16.0, 8.0, 8.0, 5.0, 3.0, 2.0, 0.0, 3.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.06475830078125, -0.06323671340942383, -0.061715126037597656, -0.060193538665771484, -0.05867195129394531, -0.05715036392211914, -0.05562877655029297, -0.0541071891784668, -0.052585601806640625, -0.05106401443481445, -0.04954242706298828, -0.04802083969116211, -0.04649925231933594, -0.044977664947509766, -0.043456077575683594, -0.04193449020385742, -0.04041290283203125, -0.03889131546020508, -0.037369728088378906, -0.035848140716552734, -0.03432655334472656, -0.03280496597290039, -0.03128337860107422, -0.029761791229248047, -0.028240203857421875, -0.026718616485595703, -0.02519702911376953, -0.02367544174194336, -0.022153854370117188, -0.020632266998291016, -0.019110679626464844, -0.017589092254638672, -0.0160675048828125, -0.014545917510986328, -0.013024330139160156, -0.011502742767333984, -0.009981155395507812, -0.00845956802368164, -0.006937980651855469, -0.005416393280029297, -0.003894805908203125, -0.002373218536376953, -0.0008516311645507812, 0.0006699562072753906, 0.0021915435791015625, 0.0037131309509277344, 0.005234718322753906, 0.006756305694580078, 0.00827789306640625, 0.009799480438232422, 0.011321067810058594, 0.012842655181884766, 0.014364242553710938, 0.01588582992553711, 0.01740741729736328, 0.018929004669189453, 0.020450592041015625, 0.021972179412841797, 0.02349376678466797, 0.02501535415649414, 0.026536941528320312, 0.028058528900146484, 0.029580116271972656, 0.031101703643798828, 0.032623291015625]}, "gradients/decoder.transformer.h.8.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 5.0, 4.0, 4.0, 10.0, 17.0, 43.0, 50.0, 67.0, 104.0, 181.0, 305.0, 532.0, 1322.0, 13655.0, 1241933.0, 2907979.0, 24999.0, 1667.0, 591.0, 318.0, 192.0, 114.0, 77.0, 43.0, 29.0, 16.0, 11.0, 11.0, 5.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12249755859375, -0.11719036102294922, -0.11188316345214844, -0.10657596588134766, -0.10126876831054688, -0.0959615707397461, -0.09065437316894531, -0.08534717559814453, -0.08003997802734375, -0.07473278045654297, -0.06942558288574219, -0.0641183853149414, -0.058811187744140625, -0.053503990173339844, -0.04819679260253906, -0.04288959503173828, -0.0375823974609375, -0.03227519989013672, -0.026968002319335938, -0.021660804748535156, -0.016353607177734375, -0.011046409606933594, -0.0057392120361328125, -0.00043201446533203125, 0.00487518310546875, 0.010182380676269531, 0.015489578247070312, 0.020796775817871094, 0.026103973388671875, 0.031411170959472656, 0.03671836853027344, 0.04202556610107422, 0.047332763671875, 0.05263996124267578, 0.05794715881347656, 0.06325435638427734, 0.06856155395507812, 0.0738687515258789, 0.07917594909667969, 0.08448314666748047, 0.08979034423828125, 0.09509754180908203, 0.10040473937988281, 0.1057119369506836, 0.11101913452148438, 0.11632633209228516, 0.12163352966308594, 0.12694072723388672, 0.1322479248046875, 0.13755512237548828, 0.14286231994628906, 0.14816951751708984, 0.15347671508789062, 0.1587839126586914, 0.1640911102294922, 0.16939830780029297, 0.17470550537109375, 0.18001270294189453, 0.1853199005126953, 0.1906270980834961, 0.19593429565429688, 0.20124149322509766, 0.20654869079589844, 0.21185588836669922, 0.2171630859375]}, "gradients/decoder.transformer.h.8.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 10.0, 48.0, 166.0, 300.0, 282.0, 158.0, 43.0, 5.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.8896777629852295, -0.871479868888855, -0.8532819747924805, -0.8350841403007507, -0.8168862462043762, -0.7986883521080017, -0.7804904580116272, -0.7622925639152527, -0.744094729423523, -0.7258968353271484, -0.7076989412307739, -0.6895011067390442, -0.6713032126426697, -0.6531053185462952, -0.6349074244499207, -0.6167095303535461, -0.5985116362571716, -0.5803137421607971, -0.5621158480644226, -0.5439180135726929, -0.5257201194763184, -0.5075222253799438, -0.48932433128356934, -0.4711264371871948, -0.4529285728931427, -0.4347306787967682, -0.41653281450271606, -0.39833492040634155, -0.38013702630996704, -0.3619391620159149, -0.3437412679195404, -0.3255434036254883, -0.30734556913375854, -0.28914767503738403, -0.2709498107433319, -0.2527519166469574, -0.23455403745174408, -0.21635615825653076, -0.19815826416015625, -0.17996038496494293, -0.16176250576972961, -0.1435646265745163, -0.12536674737930298, -0.10716885328292847, -0.08897097408771515, -0.07077309489250183, -0.052575208246707916, -0.034377321600914, -0.016179442405700684, 0.0020184405148029327, 0.02021632343530655, 0.038414206355810165, 0.05661208927631378, 0.0748099684715271, 0.09300785511732101, 0.11120574176311493, 0.12940362095832825, 0.14760150015354156, 0.16579937934875488, 0.1839972734451294, 0.2021951526403427, 0.22039303183555603, 0.23859092593193054, 0.25678879022598267, 0.2749866843223572]}, "gradients/decoder.transformer.h.8.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 2.0, 5.0, 3.0, 10.0, 4.0, 10.0, 10.0, 13.0, 19.0, 11.0, 17.0, 17.0, 19.0, 24.0, 23.0, 27.0, 40.0, 26.0, 30.0, 41.0, 44.0, 45.0, 48.0, 51.0, 49.0, 40.0, 40.0, 35.0, 37.0, 40.0, 39.0, 22.0, 23.0, 25.0, 13.0, 17.0, 16.0, 10.0, 12.0, 11.0, 14.0, 4.0, 8.0, 4.0, 5.0, 3.0, 1.0, 0.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.13016366958618164, -0.12617278099060059, -0.12218187749385834, -0.11819098144769669, -0.11420008540153503, -0.11020918935537338, -0.10621829330921173, -0.10222739726305008, -0.09823650121688843, -0.09424560517072678, -0.09025470912456512, -0.08626381307840347, -0.08227291703224182, -0.07828202098608017, -0.07429112493991852, -0.07030022889375687, -0.06630933284759521, -0.06231843680143356, -0.05832754075527191, -0.05433664470911026, -0.05034574866294861, -0.04635485261678696, -0.042363956570625305, -0.038373060524463654, -0.034382164478302, -0.03039126843214035, -0.0264003723859787, -0.022409476339817047, -0.018418580293655396, -0.014427684247493744, -0.010436788201332092, -0.006445892155170441, -0.002454996109008789, 0.0015358999371528625, 0.005526795983314514, 0.009517692029476166, 0.013508588075637817, 0.01749948412179947, 0.02149038016796112, 0.025481276214122772, 0.029472172260284424, 0.033463068306446075, 0.03745396435260773, 0.04144486039876938, 0.04543575644493103, 0.04942665249109268, 0.053417548537254333, 0.057408444583415985, 0.06139934062957764, 0.06539023667573929, 0.06938113272190094, 0.07337202876806259, 0.07736292481422424, 0.0813538208603859, 0.08534471690654755, 0.0893356129527092, 0.09332650899887085, 0.0973174050450325, 0.10130830109119415, 0.1052991971373558, 0.10929009318351746, 0.11328098922967911, 0.11727188527584076, 0.12126278132200241, 0.12525367736816406]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 2.0, 6.0, 8.0, 10.0, 14.0, 25.0, 17.0, 23.0, 26.0, 28.0, 48.0, 48.0, 44.0, 51.0, 41.0, 52.0, 45.0, 61.0, 54.0, 51.0, 45.0, 54.0, 46.0, 44.0, 44.0, 36.0, 12.0, 24.0, 11.0, 10.0, 15.0, 8.0, 4.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0293121337890625, -0.02844858169555664, -0.02758502960205078, -0.026721477508544922, -0.025857925415039062, -0.024994373321533203, -0.024130821228027344, -0.023267269134521484, -0.022403717041015625, -0.021540164947509766, -0.020676612854003906, -0.019813060760498047, -0.018949508666992188, -0.018085956573486328, -0.01722240447998047, -0.01635885238647461, -0.01549530029296875, -0.01463174819946289, -0.013768196105957031, -0.012904644012451172, -0.012041091918945312, -0.011177539825439453, -0.010313987731933594, -0.009450435638427734, -0.008586883544921875, -0.007723331451416016, -0.006859779357910156, -0.005996227264404297, -0.0051326751708984375, -0.004269123077392578, -0.0034055709838867188, -0.0025420188903808594, -0.001678466796875, -0.0008149147033691406, 4.863739013671875e-05, 0.0009121894836425781, 0.0017757415771484375, 0.002639293670654297, 0.0035028457641601562, 0.004366397857666016, 0.005229949951171875, 0.006093502044677734, 0.006957054138183594, 0.007820606231689453, 0.008684158325195312, 0.009547710418701172, 0.010411262512207031, 0.01127481460571289, 0.01213836669921875, 0.01300191879272461, 0.013865470886230469, 0.014729022979736328, 0.015592575073242188, 0.016456127166748047, 0.017319679260253906, 0.018183231353759766, 0.019046783447265625, 0.019910335540771484, 0.020773887634277344, 0.021637439727783203, 0.022500991821289062, 0.023364543914794922, 0.02422809600830078, 0.02509164810180664, 0.0259552001953125]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 4.0, 11.0, 5.0, 8.0, 15.0, 25.0, 34.0, 56.0, 79.0, 122.0, 207.0, 321.0, 561.0, 1025.0, 2004.0, 3734.0, 7576.0, 15406.0, 33693.0, 74892.0, 192026.0, 439826.0, 156782.0, 64204.0, 28682.0, 13450.0, 6577.0, 3308.0, 1720.0, 930.0, 466.0, 317.0, 155.0, 115.0, 86.0, 55.0, 24.0, 22.0, 11.0, 9.0, 6.0, 8.0, 2.0, 6.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003383159637451172, -0.00032754242420196533, -0.0003167688846588135, -0.0003059953451156616, -0.00029522180557250977, -0.0002844482660293579, -0.00027367472648620605, -0.0002629011869430542, -0.00025212764739990234, -0.0002413541078567505, -0.00023058056831359863, -0.00021980702877044678, -0.00020903348922729492, -0.00019825994968414307, -0.0001874864101409912, -0.00017671287059783936, -0.0001659393310546875, -0.00015516579151153564, -0.0001443922519683838, -0.00013361871242523193, -0.00012284517288208008, -0.00011207163333892822, -0.00010129809379577637, -9.052455425262451e-05, -7.975101470947266e-05, -6.89774751663208e-05, -5.8203935623168945e-05, -4.743039608001709e-05, -3.6656856536865234e-05, -2.588331699371338e-05, -1.5109777450561523e-05, -4.336237907409668e-06, 6.4373016357421875e-06, 1.7210841178894043e-05, 2.79843807220459e-05, 3.8757920265197754e-05, 4.953145980834961e-05, 6.0304999351501465e-05, 7.107853889465332e-05, 8.185207843780518e-05, 9.262561798095703e-05, 0.00010339915752410889, 0.00011417269706726074, 0.0001249462366104126, 0.00013571977615356445, 0.0001464933156967163, 0.00015726685523986816, 0.00016804039478302002, 0.00017881393432617188, 0.00018958747386932373, 0.00020036101341247559, 0.00021113455295562744, 0.0002219080924987793, 0.00023268163204193115, 0.000243455171585083, 0.00025422871112823486, 0.0002650022506713867, 0.0002757757902145386, 0.00028654932975769043, 0.0002973228693008423, 0.00030809640884399414, 0.000318869948387146, 0.00032964348793029785, 0.0003404170274734497, 0.00035119056701660156]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 3.0, 2.0, 4.0, 4.0, 8.0, 5.0, 9.0, 7.0, 13.0, 16.0, 20.0, 22.0, 19.0, 34.0, 33.0, 34.0, 35.0, 31.0, 39.0, 49.0, 41.0, 38.0, 1075.0, 42.0, 28.0, 41.0, 53.0, 38.0, 37.0, 34.0, 35.0, 20.0, 29.0, 29.0, 24.0, 13.0, 18.0, 13.0, 10.0, 10.0, 5.0, 8.0, 2.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0195159912109375, -0.018877267837524414, -0.018238544464111328, -0.017599821090698242, -0.016961097717285156, -0.01632237434387207, -0.015683650970458984, -0.015044927597045898, -0.014406204223632812, -0.013767480850219727, -0.01312875747680664, -0.012490034103393555, -0.011851310729980469, -0.011212587356567383, -0.010573863983154297, -0.009935140609741211, -0.009296417236328125, -0.008657693862915039, -0.008018970489501953, -0.007380247116088867, -0.006741523742675781, -0.006102800369262695, -0.005464076995849609, -0.0048253536224365234, -0.0041866302490234375, -0.0035479068756103516, -0.0029091835021972656, -0.0022704601287841797, -0.0016317367553710938, -0.0009930133819580078, -0.0003542900085449219, 0.00028443336486816406, 0.00092315673828125, 0.001561880111694336, 0.002200603485107422, 0.002839326858520508, 0.0034780502319335938, 0.00411677360534668, 0.004755496978759766, 0.0053942203521728516, 0.0060329437255859375, 0.0066716670989990234, 0.007310390472412109, 0.007949113845825195, 0.008587837219238281, 0.009226560592651367, 0.009865283966064453, 0.010504007339477539, 0.011142730712890625, 0.011781454086303711, 0.012420177459716797, 0.013058900833129883, 0.013697624206542969, 0.014336347579956055, 0.01497507095336914, 0.015613794326782227, 0.016252517700195312, 0.0168912410736084, 0.017529964447021484, 0.01816868782043457, 0.018807411193847656, 0.019446134567260742, 0.020084857940673828, 0.020723581314086914, 0.0213623046875]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 4.0, 4.0, 7.0, 6.0, 11.0, 11.0, 12.0, 16.0, 14.0, 29.0, 30.0, 27.0, 28.0, 39.0, 49.0, 79.0, 113.0, 229.0, 447.0, 2436.0, 29376.0, 2056171.0, 6142.0, 1053.0, 294.0, 125.0, 77.0, 60.0, 44.0, 41.0, 30.0, 20.0, 25.0, 18.0, 18.0, 10.0, 7.0, 9.0, 4.0, 9.0, 4.0, 2.0, 4.0, 3.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.52587890625e-05, -1.4799647033214569e-05, -1.4340505003929138e-05, -1.3881362974643707e-05, -1.3422220945358276e-05, -1.2963078916072845e-05, -1.2503936886787415e-05, -1.2044794857501984e-05, -1.1585652828216553e-05, -1.1126510798931122e-05, -1.0667368769645691e-05, -1.020822674036026e-05, -9.749084711074829e-06, -9.289942681789398e-06, -8.830800652503967e-06, -8.371658623218536e-06, -7.912516593933105e-06, -7.4533745646476746e-06, -6.994232535362244e-06, -6.535090506076813e-06, -6.075948476791382e-06, -5.616806447505951e-06, -5.15766441822052e-06, -4.698522388935089e-06, -4.239380359649658e-06, -3.7802383303642273e-06, -3.3210963010787964e-06, -2.8619542717933655e-06, -2.4028122425079346e-06, -1.9436702132225037e-06, -1.4845281839370728e-06, -1.0253861546516418e-06, -5.662441253662109e-07, -1.0710209608078003e-07, 3.520399332046509e-07, 8.111819624900818e-07, 1.2703239917755127e-06, 1.7294660210609436e-06, 2.1886080503463745e-06, 2.6477500796318054e-06, 3.1068921089172363e-06, 3.5660341382026672e-06, 4.025176167488098e-06, 4.484318196773529e-06, 4.94346022605896e-06, 5.402602255344391e-06, 5.861744284629822e-06, 6.320886313915253e-06, 6.780028343200684e-06, 7.2391703724861145e-06, 7.698312401771545e-06, 8.157454431056976e-06, 8.616596460342407e-06, 9.075738489627838e-06, 9.534880518913269e-06, 9.9940225481987e-06, 1.0453164577484131e-05, 1.0912306606769562e-05, 1.1371448636054993e-05, 1.1830590665340424e-05, 1.2289732694625854e-05, 1.2748874723911285e-05, 1.3208016753196716e-05, 1.3667158782482147e-05, 1.4126300811767578e-05]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 2.0, 6.0, 8.0, 10.0, 14.0, 25.0, 17.0, 23.0, 26.0, 28.0, 48.0, 48.0, 44.0, 51.0, 41.0, 52.0, 45.0, 61.0, 54.0, 51.0, 45.0, 54.0, 46.0, 44.0, 44.0, 36.0, 12.0, 24.0, 11.0, 10.0, 15.0, 8.0, 4.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0293121337890625, -0.02844858169555664, -0.02758502960205078, -0.026721477508544922, -0.025857925415039062, -0.024994373321533203, -0.024130821228027344, -0.023267269134521484, -0.022403717041015625, -0.021540164947509766, -0.020676612854003906, -0.019813060760498047, -0.018949508666992188, -0.018085956573486328, -0.01722240447998047, -0.01635885238647461, -0.01549530029296875, -0.01463174819946289, -0.013768196105957031, -0.012904644012451172, -0.012041091918945312, -0.011177539825439453, -0.010313987731933594, -0.009450435638427734, -0.008586883544921875, -0.007723331451416016, -0.006859779357910156, -0.005996227264404297, -0.0051326751708984375, -0.004269123077392578, -0.0034055709838867188, -0.0025420188903808594, -0.001678466796875, -0.0008149147033691406, 4.863739013671875e-05, 0.0009121894836425781, 0.0017757415771484375, 0.002639293670654297, 0.0035028457641601562, 0.004366397857666016, 0.005229949951171875, 0.006093502044677734, 0.006957054138183594, 0.007820606231689453, 0.008684158325195312, 0.009547710418701172, 0.010411262512207031, 0.01127481460571289, 0.01213836669921875, 0.01300191879272461, 0.013865470886230469, 0.014729022979736328, 0.015592575073242188, 0.016456127166748047, 0.017319679260253906, 0.018183231353759766, 0.019046783447265625, 0.019910335540771484, 0.020773887634277344, 0.021637439727783203, 0.022500991821289062, 0.023364543914794922, 0.02422809600830078, 0.02509164810180664, 0.0259552001953125]}, "gradients/decoder.transformer.h.8.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 4.0, 1.0, 4.0, 6.0, 10.0, 26.0, 45.0, 72.0, 138.0, 261.0, 484.0, 970.0, 1907.0, 3825.0, 7605.0, 15315.0, 30322.0, 61286.0, 148963.0, 463270.0, 178593.0, 67950.0, 33817.0, 16808.0, 8285.0, 4349.0, 2026.0, 1108.0, 535.0, 256.0, 154.0, 73.0, 45.0, 28.0, 8.0, 9.0, 7.0, 1.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.039215087890625, -0.038112640380859375, -0.03701019287109375, -0.035907745361328125, -0.0348052978515625, -0.033702850341796875, -0.03260040283203125, -0.031497955322265625, -0.0303955078125, -0.029293060302734375, -0.02819061279296875, -0.027088165283203125, -0.0259857177734375, -0.024883270263671875, -0.02378082275390625, -0.022678375244140625, -0.021575927734375, -0.020473480224609375, -0.01937103271484375, -0.018268585205078125, -0.0171661376953125, -0.016063690185546875, -0.01496124267578125, -0.013858795166015625, -0.01275634765625, -0.011653900146484375, -0.01055145263671875, -0.009449005126953125, -0.0083465576171875, -0.007244110107421875, -0.00614166259765625, -0.005039215087890625, -0.003936767578125, -0.002834320068359375, -0.00173187255859375, -0.000629425048828125, 0.0004730224609375, 0.001575469970703125, 0.00267791748046875, 0.003780364990234375, 0.0048828125, 0.005985260009765625, 0.00708770751953125, 0.008190155029296875, 0.0092926025390625, 0.010395050048828125, 0.01149749755859375, 0.012599945068359375, 0.013702392578125, 0.014804840087890625, 0.01590728759765625, 0.017009735107421875, 0.0181121826171875, 0.019214630126953125, 0.02031707763671875, 0.021419525146484375, 0.02252197265625, 0.023624420166015625, 0.02472686767578125, 0.025829315185546875, 0.0269317626953125, 0.028034210205078125, 0.02913665771484375, 0.030239105224609375, 0.031341552734375]}, "gradients/decoder.transformer.h.8.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 3.0, 6.0, 3.0, 1.0, 3.0, 3.0, 6.0, 11.0, 12.0, 15.0, 16.0, 22.0, 15.0, 16.0, 19.0, 24.0, 24.0, 32.0, 31.0, 38.0, 33.0, 58.0, 70.0, 127.0, 278.0, 1429.0, 192.0, 105.0, 68.0, 54.0, 40.0, 40.0, 35.0, 34.0, 27.0, 27.0, 22.0, 21.0, 16.0, 13.0, 9.0, 13.0, 16.0, 11.0, 5.0, 5.0, 2.0, 2.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.061767578125, -0.059853553771972656, -0.05793952941894531, -0.05602550506591797, -0.054111480712890625, -0.05219745635986328, -0.05028343200683594, -0.048369407653808594, -0.04645538330078125, -0.044541358947753906, -0.04262733459472656, -0.04071331024169922, -0.038799285888671875, -0.03688526153564453, -0.03497123718261719, -0.033057212829589844, -0.0311431884765625, -0.029229164123535156, -0.027315139770507812, -0.02540111541748047, -0.023487091064453125, -0.02157306671142578, -0.019659042358398438, -0.017745018005371094, -0.01583099365234375, -0.013916969299316406, -0.012002944946289062, -0.010088920593261719, -0.008174896240234375, -0.006260871887207031, -0.0043468475341796875, -0.0024328231811523438, -0.000518798828125, 0.0013952255249023438, 0.0033092498779296875, 0.005223274230957031, 0.007137298583984375, 0.009051322937011719, 0.010965347290039062, 0.012879371643066406, 0.01479339599609375, 0.016707420349121094, 0.018621444702148438, 0.02053546905517578, 0.022449493408203125, 0.02436351776123047, 0.026277542114257812, 0.028191566467285156, 0.0301055908203125, 0.032019615173339844, 0.03393363952636719, 0.03584766387939453, 0.037761688232421875, 0.03967571258544922, 0.04158973693847656, 0.043503761291503906, 0.04541778564453125, 0.047331809997558594, 0.04924583435058594, 0.05115985870361328, 0.053073883056640625, 0.05498790740966797, 0.05690193176269531, 0.058815956115722656, 0.06072998046875]}, "gradients/decoder.transformer.h.8.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 3.0, 5.0, 4.0, 8.0, 11.0, 9.0, 20.0, 23.0, 27.0, 32.0, 49.0, 50.0, 69.0, 97.0, 127.0, 184.0, 318.0, 683.0, 1897.0, 6266.0, 26858.0, 141877.0, 2107680.0, 754777.0, 81105.0, 16602.0, 4182.0, 1308.0, 538.0, 275.0, 136.0, 117.0, 74.0, 73.0, 53.0, 46.0, 43.0, 25.0, 17.0, 8.0, 6.0, 5.0, 6.0, 5.0, 6.0, 3.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.0650634765625, -0.06295394897460938, -0.06084442138671875, -0.058734893798828125, -0.0566253662109375, -0.054515838623046875, -0.05240631103515625, -0.050296783447265625, -0.048187255859375, -0.046077728271484375, -0.04396820068359375, -0.041858673095703125, -0.0397491455078125, -0.037639617919921875, -0.03553009033203125, -0.033420562744140625, -0.03131103515625, -0.029201507568359375, -0.02709197998046875, -0.024982452392578125, -0.0228729248046875, -0.020763397216796875, -0.01865386962890625, -0.016544342041015625, -0.014434814453125, -0.012325286865234375, -0.01021575927734375, -0.008106231689453125, -0.0059967041015625, -0.003887176513671875, -0.00177764892578125, 0.000331878662109375, 0.00244140625, 0.004550933837890625, 0.00666046142578125, 0.008769989013671875, 0.0108795166015625, 0.012989044189453125, 0.01509857177734375, 0.017208099365234375, 0.019317626953125, 0.021427154541015625, 0.02353668212890625, 0.025646209716796875, 0.0277557373046875, 0.029865264892578125, 0.03197479248046875, 0.034084320068359375, 0.03619384765625, 0.038303375244140625, 0.04041290283203125, 0.042522430419921875, 0.0446319580078125, 0.046741485595703125, 0.04885101318359375, 0.050960540771484375, 0.053070068359375, 0.055179595947265625, 0.05728912353515625, 0.059398651123046875, 0.0615081787109375, 0.06361770629882812, 0.06572723388671875, 0.06783676147460938, 0.0699462890625]}, "gradients/decoder.transformer.h.8.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 11.0, 113.0, 413.0, 361.0, 104.0, 12.0, 1.0, 0.0, 1.0], "bins": [-1.0364636182785034, -1.0185432434082031, -1.0006228685379028, -0.9827025532722473, -0.964782178401947, -0.9468618035316467, -0.9289414286613464, -0.9110210537910461, -0.8931007385253906, -0.8751803636550903, -0.85725998878479, -0.8393396735191345, -0.8214192986488342, -0.8034989237785339, -0.7855785489082336, -0.7676581740379333, -0.7497377991676331, -0.7318174242973328, -0.7138970494270325, -0.695976734161377, -0.6780563592910767, -0.6601359844207764, -0.6422156095504761, -0.6242952346801758, -0.6063748598098755, -0.5884544849395752, -0.5705341100692749, -0.5526137948036194, -0.5346934199333191, -0.5167730450630188, -0.4988526701927185, -0.4809322953224182, -0.4630119800567627, -0.4450916051864624, -0.4271712601184845, -0.4092508852481842, -0.3913305401802063, -0.373410165309906, -0.3554897904396057, -0.3375694155693054, -0.3196490705013275, -0.3017286956310272, -0.2838083505630493, -0.265887975692749, -0.24796761572360992, -0.23004725575447083, -0.21212688088417053, -0.19420652091503143, -0.17628616094589233, -0.15836580097675323, -0.14044544100761414, -0.12252506613731384, -0.10460470616817474, -0.08668434619903564, -0.06876397877931595, -0.05084361135959625, -0.03292325139045715, -0.015002887696027756, 0.002917475998401642, 0.02083783969283104, 0.03875820338726044, 0.056678563356399536, 0.07459893077611923, 0.09251929819583893, 0.11043965816497803]}, "gradients/decoder.transformer.h.8.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 4.0, 5.0, 4.0, 6.0, 4.0, 8.0, 7.0, 9.0, 15.0, 8.0, 21.0, 23.0, 17.0, 26.0, 34.0, 30.0, 41.0, 44.0, 37.0, 47.0, 37.0, 48.0, 40.0, 52.0, 44.0, 51.0, 42.0, 43.0, 43.0, 37.0, 33.0, 21.0, 21.0, 19.0, 24.0, 16.0, 14.0, 8.0, 5.0, 6.0, 6.0, 5.0, 6.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.2197122573852539, -0.21305739879608154, -0.20640255510807037, -0.199747696518898, -0.19309285283088684, -0.18643799424171448, -0.17978313565254211, -0.17312829196453094, -0.16647344827651978, -0.1598185896873474, -0.15316374599933624, -0.14650888741016388, -0.1398540437221527, -0.13319918513298035, -0.12654432654380798, -0.11988948285579681, -0.11323462426662445, -0.10657977312803268, -0.09992492198944092, -0.09327006340026855, -0.08661521971225739, -0.07996036112308502, -0.07330550998449326, -0.06665065884590149, -0.05999580770730972, -0.05334095656871796, -0.04668610543012619, -0.040031250566244125, -0.03337639942765236, -0.026721548289060593, -0.020066693425178528, -0.013411842286586761, -0.006756991147994995, -0.00010213907808065414, 0.006552712991833687, 0.013207565993070602, 0.01986241713166237, 0.026517268270254135, 0.0331721231341362, 0.039826974272727966, 0.04648182541131973, 0.0531366765499115, 0.059791527688503265, 0.06644637882709503, 0.0731012374162674, 0.07975608110427856, 0.08641093969345093, 0.0930657908320427, 0.09972064197063446, 0.10637549310922623, 0.113030344247818, 0.11968520283699036, 0.12634004652500153, 0.1329949051141739, 0.13964974880218506, 0.14630460739135742, 0.15295946598052979, 0.15961432456970215, 0.16626916825771332, 0.17292402684688568, 0.17957887053489685, 0.1862337291240692, 0.19288858771324158, 0.19954343140125275, 0.20619827508926392]}, "gradients/decoder.transformer.h.7.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 3.0, 1.0, 7.0, 4.0, 12.0, 14.0, 15.0, 25.0, 30.0, 30.0, 31.0, 42.0, 53.0, 55.0, 41.0, 46.0, 50.0, 54.0, 55.0, 60.0, 42.0, 60.0, 53.0, 45.0, 42.0, 39.0, 23.0, 16.0, 17.0, 13.0, 15.0, 8.0, 6.0, 4.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0310516357421875, -0.03015613555908203, -0.029260635375976562, -0.028365135192871094, -0.027469635009765625, -0.026574134826660156, -0.025678634643554688, -0.02478313446044922, -0.02388763427734375, -0.02299213409423828, -0.022096633911132812, -0.021201133728027344, -0.020305633544921875, -0.019410133361816406, -0.018514633178710938, -0.01761913299560547, -0.0167236328125, -0.01582813262939453, -0.014932632446289062, -0.014037132263183594, -0.013141632080078125, -0.012246131896972656, -0.011350631713867188, -0.010455131530761719, -0.00955963134765625, -0.008664131164550781, -0.0077686309814453125, -0.006873130798339844, -0.005977630615234375, -0.005082130432128906, -0.0041866302490234375, -0.0032911300659179688, -0.0023956298828125, -0.0015001296997070312, -0.0006046295166015625, 0.00029087066650390625, 0.001186370849609375, 0.0020818710327148438, 0.0029773712158203125, 0.0038728713989257812, 0.00476837158203125, 0.005663871765136719, 0.0065593719482421875, 0.007454872131347656, 0.008350372314453125, 0.009245872497558594, 0.010141372680664062, 0.011036872863769531, 0.011932373046875, 0.012827873229980469, 0.013723373413085938, 0.014618873596191406, 0.015514373779296875, 0.016409873962402344, 0.017305374145507812, 0.01820087432861328, 0.01909637451171875, 0.01999187469482422, 0.020887374877929688, 0.021782875061035156, 0.022678375244140625, 0.023573875427246094, 0.024469375610351562, 0.02536487579345703, 0.0262603759765625]}, "gradients/decoder.transformer.h.7.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 4.0, 2.0, 3.0, 3.0, 10.0, 9.0, 12.0, 28.0, 18.0, 40.0, 54.0, 74.0, 127.0, 220.0, 351.0, 482.0, 773.0, 1313.0, 2206.0, 3702.0, 6498.0, 12516.0, 23893.0, 49879.0, 114968.0, 303633.0, 1019819.0, 1725248.0, 581729.0, 192076.0, 78255.0, 36062.0, 18039.0, 9469.0, 5185.0, 2926.0, 1759.0, 1061.0, 646.0, 409.0, 268.0, 156.0, 116.0, 87.0, 39.0, 41.0, 24.0, 14.0, 13.0, 11.0, 8.0, 10.0, 3.0, 3.0, 0.0, 2.0], "bins": [-0.0294647216796875, -0.028629541397094727, -0.027794361114501953, -0.02695918083190918, -0.026124000549316406, -0.025288820266723633, -0.02445363998413086, -0.023618459701538086, -0.022783279418945312, -0.02194809913635254, -0.021112918853759766, -0.020277738571166992, -0.01944255828857422, -0.018607378005981445, -0.017772197723388672, -0.0169370174407959, -0.016101837158203125, -0.015266656875610352, -0.014431476593017578, -0.013596296310424805, -0.012761116027832031, -0.011925935745239258, -0.011090755462646484, -0.010255575180053711, -0.009420394897460938, -0.008585214614868164, -0.007750034332275391, -0.006914854049682617, -0.006079673767089844, -0.00524449348449707, -0.004409313201904297, -0.0035741329193115234, -0.00273895263671875, -0.0019037723541259766, -0.0010685920715332031, -0.0002334117889404297, 0.0006017684936523438, 0.0014369487762451172, 0.0022721290588378906, 0.003107309341430664, 0.0039424896240234375, 0.004777669906616211, 0.005612850189208984, 0.006448030471801758, 0.007283210754394531, 0.008118391036987305, 0.008953571319580078, 0.009788751602172852, 0.010623931884765625, 0.011459112167358398, 0.012294292449951172, 0.013129472732543945, 0.013964653015136719, 0.014799833297729492, 0.015635013580322266, 0.01647019386291504, 0.017305374145507812, 0.018140554428100586, 0.01897573471069336, 0.019810914993286133, 0.020646095275878906, 0.02148127555847168, 0.022316455841064453, 0.023151636123657227, 0.02398681640625]}, "gradients/decoder.transformer.h.7.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 5.0, 7.0, 11.0, 4.0, 9.0, 14.0, 20.0, 22.0, 25.0, 36.0, 55.0, 69.0, 92.0, 137.0, 110.0, 175.0, 272.0, 370.0, 429.0, 495.0, 437.0, 305.0, 233.0, 156.0, 132.0, 120.0, 70.0, 69.0, 54.0, 18.0, 35.0, 26.0, 21.0, 12.0, 11.0, 6.0, 4.0, 4.0, 3.0, 3.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.033355712890625, -0.03229093551635742, -0.031226158142089844, -0.030161380767822266, -0.029096603393554688, -0.02803182601928711, -0.02696704864501953, -0.025902271270751953, -0.024837493896484375, -0.023772716522216797, -0.02270793914794922, -0.02164316177368164, -0.020578384399414062, -0.019513607025146484, -0.018448829650878906, -0.017384052276611328, -0.01631927490234375, -0.015254497528076172, -0.014189720153808594, -0.013124942779541016, -0.012060165405273438, -0.01099538803100586, -0.009930610656738281, -0.008865833282470703, -0.007801055908203125, -0.006736278533935547, -0.005671501159667969, -0.004606723785400391, -0.0035419464111328125, -0.0024771690368652344, -0.0014123916625976562, -0.0003476142883300781, 0.0007171630859375, 0.0017819404602050781, 0.0028467178344726562, 0.003911495208740234, 0.0049762725830078125, 0.006041049957275391, 0.007105827331542969, 0.008170604705810547, 0.009235382080078125, 0.010300159454345703, 0.011364936828613281, 0.01242971420288086, 0.013494491577148438, 0.014559268951416016, 0.015624046325683594, 0.016688823699951172, 0.01775360107421875, 0.018818378448486328, 0.019883155822753906, 0.020947933197021484, 0.022012710571289062, 0.02307748794555664, 0.02414226531982422, 0.025207042694091797, 0.026271820068359375, 0.027336597442626953, 0.02840137481689453, 0.02946615219116211, 0.030530929565429688, 0.031595706939697266, 0.032660484313964844, 0.03372526168823242, 0.0347900390625]}, "gradients/decoder.transformer.h.7.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 4.0, 4.0, 2.0, 4.0, 4.0, 2.0, 12.0, 23.0, 11.0, 25.0, 34.0, 44.0, 60.0, 88.0, 91.0, 157.0, 220.0, 391.0, 871.0, 2629.0, 14705.0, 128106.0, 2407191.0, 1532433.0, 91702.0, 11358.0, 2354.0, 689.0, 345.0, 224.0, 135.0, 105.0, 82.0, 51.0, 33.0, 16.0, 30.0, 16.0, 10.0, 5.0, 3.0, 7.0, 9.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10418701171875, -0.10081863403320312, -0.09745025634765625, -0.09408187866210938, -0.0907135009765625, -0.08734512329101562, -0.08397674560546875, -0.08060836791992188, -0.077239990234375, -0.07387161254882812, -0.07050323486328125, -0.06713485717773438, -0.0637664794921875, -0.060398101806640625, -0.05702972412109375, -0.053661346435546875, -0.05029296875, -0.046924591064453125, -0.04355621337890625, -0.040187835693359375, -0.0368194580078125, -0.033451080322265625, -0.03008270263671875, -0.026714324951171875, -0.023345947265625, -0.019977569580078125, -0.01660919189453125, -0.013240814208984375, -0.0098724365234375, -0.006504058837890625, -0.00313568115234375, 0.000232696533203125, 0.00360107421875, 0.006969451904296875, 0.01033782958984375, 0.013706207275390625, 0.0170745849609375, 0.020442962646484375, 0.02381134033203125, 0.027179718017578125, 0.030548095703125, 0.033916473388671875, 0.03728485107421875, 0.040653228759765625, 0.0440216064453125, 0.047389984130859375, 0.05075836181640625, 0.054126739501953125, 0.0574951171875, 0.060863494873046875, 0.06423187255859375, 0.06760025024414062, 0.0709686279296875, 0.07433700561523438, 0.07770538330078125, 0.08107376098632812, 0.084442138671875, 0.08781051635742188, 0.09117889404296875, 0.09454727172851562, 0.0979156494140625, 0.10128402709960938, 0.10465240478515625, 0.10802078247070312, 0.11138916015625]}, "gradients/decoder.transformer.h.7.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 2.0, 3.0, 11.0, 11.0, 20.0, 47.0, 74.0, 106.0, 150.0, 161.0, 143.0, 108.0, 77.0, 57.0, 29.0, 10.0, 7.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.43530941009521484, -0.426522433757782, -0.4177354872226715, -0.40894851088523865, -0.4001615345478058, -0.3913745582103729, -0.38258761167526245, -0.3738006353378296, -0.36501365900039673, -0.35622668266296387, -0.3474397361278534, -0.33865275979042053, -0.32986578345298767, -0.3210788071155548, -0.31229186058044434, -0.3035048842430115, -0.2947179079055786, -0.28593093156814575, -0.2771439850330353, -0.2683570086956024, -0.25957003235816956, -0.2507830560207367, -0.24199610948562622, -0.23320913314819336, -0.22442218661308289, -0.21563522517681122, -0.20684824883937836, -0.1980612874031067, -0.18927431106567383, -0.18048734962940216, -0.1717003881931305, -0.16291341185569763, -0.15412643551826477, -0.1453394740819931, -0.13655249774456024, -0.12776553630828857, -0.11897855997085571, -0.11019159853458405, -0.10140462964773178, -0.09261766076087952, -0.08383069187402725, -0.07504372298717499, -0.06625675410032272, -0.05746978893876076, -0.04868282005190849, -0.03989585116505623, -0.031108886003494263, -0.022321917116642, -0.013534948229789734, -0.004747980274260044, 0.004038987681269646, 0.01282595470547676, 0.021612923592329025, 0.03039989247918129, 0.039186857640743256, 0.04797382652759552, 0.056760795414447784, 0.06554776430130005, 0.07433473318815231, 0.08312170207500458, 0.09190866351127625, 0.1006956398487091, 0.10948260128498077, 0.11826957017183304, 0.1270565390586853]}, "gradients/decoder.transformer.h.7.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 4.0, 6.0, 13.0, 6.0, 10.0, 14.0, 13.0, 14.0, 15.0, 23.0, 26.0, 25.0, 25.0, 22.0, 28.0, 36.0, 37.0, 36.0, 47.0, 35.0, 42.0, 30.0, 34.0, 53.0, 38.0, 37.0, 30.0, 36.0, 29.0, 28.0, 36.0, 26.0, 19.0, 24.0, 12.0, 16.0, 10.0, 20.0, 11.0, 11.0, 4.0, 6.0, 5.0, 7.0, 3.0, 3.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.11747419834136963, -0.1135266125202179, -0.10957903414964676, -0.10563144832849503, -0.10168386995792389, -0.09773628413677216, -0.09378869831562042, -0.08984111249446869, -0.08589353412389755, -0.08194594830274582, -0.07799836993217468, -0.07405078411102295, -0.07010319828987122, -0.06615561991930008, -0.062208034098148346, -0.05826045200228691, -0.054312869906425476, -0.05036528781056404, -0.046417705714702606, -0.04247011989355087, -0.03852253779768944, -0.034574955701828, -0.03062737174332142, -0.026679787784814835, -0.0227322056889534, -0.018784623593091965, -0.01483703963458538, -0.010889456607401371, -0.0069418735802173615, -0.0029942914843559265, 0.0009532924741506577, 0.004900876432657242, 0.008848458528518677, 0.012796041555702686, 0.016743624582886696, 0.02069120854139328, 0.024638790637254715, 0.02858637273311615, 0.03253395855426788, 0.03648154065012932, 0.04042912274599075, 0.04437670484185219, 0.04832428693771362, 0.052271872758865356, 0.05621945485472679, 0.060167036950588226, 0.06411462277173996, 0.0680622011423111, 0.07200978696346283, 0.07595737278461456, 0.0799049511551857, 0.08385253697633743, 0.08780011534690857, 0.0917477011680603, 0.09569528698921204, 0.09964287281036377, 0.1035904511809349, 0.10753803700208664, 0.11148561537265778, 0.11543320119380951, 0.11938078701496124, 0.12332836538553238, 0.12727594375610352, 0.13122352957725525, 0.13517111539840698]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 2.0, 4.0, 7.0, 10.0, 11.0, 16.0, 24.0, 36.0, 15.0, 24.0, 32.0, 43.0, 43.0, 37.0, 44.0, 39.0, 57.0, 39.0, 46.0, 46.0, 47.0, 62.0, 51.0, 34.0, 45.0, 29.0, 40.0, 32.0, 22.0, 14.0, 10.0, 16.0, 12.0, 8.0, 7.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0264129638671875, -0.02559185028076172, -0.024770736694335938, -0.023949623107910156, -0.023128509521484375, -0.022307395935058594, -0.021486282348632812, -0.02066516876220703, -0.01984405517578125, -0.01902294158935547, -0.018201828002929688, -0.017380714416503906, -0.016559600830078125, -0.015738487243652344, -0.014917373657226562, -0.014096260070800781, -0.013275146484375, -0.012454032897949219, -0.011632919311523438, -0.010811805725097656, -0.009990692138671875, -0.009169578552246094, -0.008348464965820312, -0.007527351379394531, -0.00670623779296875, -0.005885124206542969, -0.0050640106201171875, -0.004242897033691406, -0.003421783447265625, -0.0026006698608398438, -0.0017795562744140625, -0.0009584426879882812, -0.0001373291015625, 0.0006837844848632812, 0.0015048980712890625, 0.0023260116577148438, 0.003147125244140625, 0.003968238830566406, 0.0047893524169921875, 0.005610466003417969, 0.00643157958984375, 0.007252693176269531, 0.008073806762695312, 0.008894920349121094, 0.009716033935546875, 0.010537147521972656, 0.011358261108398438, 0.012179374694824219, 0.01300048828125, 0.013821601867675781, 0.014642715454101562, 0.015463829040527344, 0.016284942626953125, 0.017106056213378906, 0.017927169799804688, 0.01874828338623047, 0.01956939697265625, 0.02039051055908203, 0.021211624145507812, 0.022032737731933594, 0.022853851318359375, 0.023674964904785156, 0.024496078491210938, 0.02531719207763672, 0.0261383056640625]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 5.0, 5.0, 3.0, 5.0, 8.0, 6.0, 11.0, 17.0, 13.0, 30.0, 44.0, 59.0, 84.0, 87.0, 148.0, 251.0, 364.0, 554.0, 797.0, 1232.0, 1943.0, 3006.0, 4797.0, 7841.0, 12390.0, 20067.0, 33207.0, 55386.0, 97894.0, 203922.0, 315246.0, 120436.0, 66546.0, 38896.0, 23626.0, 14596.0, 9319.0, 5615.0, 3602.0, 2258.0, 1430.0, 892.0, 638.0, 413.0, 296.0, 166.0, 104.0, 93.0, 65.0, 46.0, 27.0, 20.0, 15.0, 16.0, 6.0, 6.0, 6.0, 3.0, 3.0, 9.0, 2.0, 1.0], "bins": [-0.0001951456069946289, -0.00018907897174358368, -0.00018301233649253845, -0.00017694570124149323, -0.000170879065990448, -0.00016481243073940277, -0.00015874579548835754, -0.00015267916023731232, -0.0001466125249862671, -0.00014054588973522186, -0.00013447925448417664, -0.0001284126192331314, -0.00012234598398208618, -0.00011627934873104095, -0.00011021271347999573, -0.0001041460782289505, -9.807944297790527e-05, -9.201280772686005e-05, -8.594617247581482e-05, -7.987953722476959e-05, -7.381290197372437e-05, -6.774626672267914e-05, -6.167963147163391e-05, -5.5612996220588684e-05, -4.954636096954346e-05, -4.347972571849823e-05, -3.7413090467453e-05, -3.1346455216407776e-05, -2.527981996536255e-05, -1.9213184714317322e-05, -1.3146549463272095e-05, -7.079914212226868e-06, -1.0132789611816406e-06, 5.0533562898635864e-06, 1.1119991540908813e-05, 1.718662679195404e-05, 2.3253262042999268e-05, 2.9319897294044495e-05, 3.538653254508972e-05, 4.145316779613495e-05, 4.7519803047180176e-05, 5.35864382982254e-05, 5.965307354927063e-05, 6.571970880031586e-05, 7.178634405136108e-05, 7.785297930240631e-05, 8.391961455345154e-05, 8.998624980449677e-05, 9.605288505554199e-05, 0.00010211952030658722, 0.00010818615555763245, 0.00011425279080867767, 0.0001203194260597229, 0.00012638606131076813, 0.00013245269656181335, 0.00013851933181285858, 0.0001445859670639038, 0.00015065260231494904, 0.00015671923756599426, 0.0001627858728170395, 0.00016885250806808472, 0.00017491914331912994, 0.00018098577857017517, 0.0001870524138212204, 0.00019311904907226562]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.bias": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 2.0, 0.0, 7.0, 2.0, 6.0, 5.0, 8.0, 9.0, 14.0, 14.0, 14.0, 14.0, 23.0, 23.0, 13.0, 27.0, 34.0, 28.0, 31.0, 23.0, 25.0, 37.0, 34.0, 40.0, 48.0, 1070.0, 43.0, 43.0, 33.0, 37.0, 34.0, 36.0, 20.0, 25.0, 42.0, 32.0, 20.0, 18.0, 20.0, 16.0, 12.0, 15.0, 15.0, 3.0, 3.0, 3.0, 5.0, 2.0, 3.0, 4.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0165557861328125, -0.015969038009643555, -0.01538228988647461, -0.014795541763305664, -0.014208793640136719, -0.013622045516967773, -0.013035297393798828, -0.012448549270629883, -0.011861801147460938, -0.011275053024291992, -0.010688304901123047, -0.010101556777954102, -0.009514808654785156, -0.008928060531616211, -0.008341312408447266, -0.00775456428527832, -0.007167816162109375, -0.00658106803894043, -0.005994319915771484, -0.005407571792602539, -0.004820823669433594, -0.0042340755462646484, -0.003647327423095703, -0.003060579299926758, -0.0024738311767578125, -0.0018870830535888672, -0.0013003349304199219, -0.0007135868072509766, -0.00012683868408203125, 0.00045990943908691406, 0.0010466575622558594, 0.0016334056854248047, 0.00222015380859375, 0.0028069019317626953, 0.0033936500549316406, 0.003980398178100586, 0.004567146301269531, 0.0051538944244384766, 0.005740642547607422, 0.006327390670776367, 0.0069141387939453125, 0.007500886917114258, 0.008087635040283203, 0.008674383163452148, 0.009261131286621094, 0.009847879409790039, 0.010434627532958984, 0.01102137565612793, 0.011608123779296875, 0.01219487190246582, 0.012781620025634766, 0.013368368148803711, 0.013955116271972656, 0.014541864395141602, 0.015128612518310547, 0.015715360641479492, 0.016302108764648438, 0.016888856887817383, 0.017475605010986328, 0.018062353134155273, 0.01864910125732422, 0.019235849380493164, 0.01982259750366211, 0.020409345626831055, 0.02099609375]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 5.0, 2.0, 3.0, 4.0, 4.0, 4.0, 4.0, 11.0, 15.0, 15.0, 16.0, 21.0, 19.0, 22.0, 38.0, 39.0, 39.0, 34.0, 65.0, 104.0, 168.0, 393.0, 1228.0, 6076.0, 2055425.0, 29687.0, 2395.0, 578.0, 218.0, 102.0, 82.0, 55.0, 38.0, 40.0, 37.0, 15.0, 20.0, 25.0, 13.0, 13.0, 13.0, 15.0, 9.0, 10.0, 3.0, 6.0, 4.0, 5.0, 0.0, 2.0, 1.0, 0.0, 4.0], "bins": [-1.5139579772949219e-05, -1.4715828001499176e-05, -1.4292076230049133e-05, -1.386832445859909e-05, -1.3444572687149048e-05, -1.3020820915699005e-05, -1.2597069144248962e-05, -1.217331737279892e-05, -1.1749565601348877e-05, -1.1325813829898834e-05, -1.0902062058448792e-05, -1.0478310286998749e-05, -1.0054558515548706e-05, -9.630806744098663e-06, -9.20705497264862e-06, -8.783303201198578e-06, -8.359551429748535e-06, -7.935799658298492e-06, -7.51204788684845e-06, -7.088296115398407e-06, -6.664544343948364e-06, -6.2407925724983215e-06, -5.817040801048279e-06, -5.393289029598236e-06, -4.969537258148193e-06, -4.545785486698151e-06, -4.122033715248108e-06, -3.698281943798065e-06, -3.2745301723480225e-06, -2.8507784008979797e-06, -2.427026629447937e-06, -2.0032748579978943e-06, -1.5795230865478516e-06, -1.1557713150978088e-06, -7.320195436477661e-07, -3.082677721977234e-07, 1.1548399925231934e-07, 5.392357707023621e-07, 9.629875421524048e-07, 1.3867393136024475e-06, 1.8104910850524902e-06, 2.234242856502533e-06, 2.6579946279525757e-06, 3.0817463994026184e-06, 3.505498170852661e-06, 3.929249942302704e-06, 4.353001713752747e-06, 4.776753485202789e-06, 5.200505256652832e-06, 5.624257028102875e-06, 6.0480087995529175e-06, 6.47176057100296e-06, 6.895512342453003e-06, 7.319264113903046e-06, 7.743015885353088e-06, 8.166767656803131e-06, 8.590519428253174e-06, 9.014271199703217e-06, 9.43802297115326e-06, 9.861774742603302e-06, 1.0285526514053345e-05, 1.0709278285503387e-05, 1.113303005695343e-05, 1.1556781828403473e-05, 1.1980533599853516e-05]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 2.0, 4.0, 7.0, 10.0, 11.0, 16.0, 24.0, 36.0, 15.0, 24.0, 32.0, 43.0, 43.0, 37.0, 44.0, 39.0, 57.0, 39.0, 46.0, 46.0, 47.0, 62.0, 51.0, 34.0, 45.0, 29.0, 40.0, 32.0, 22.0, 14.0, 10.0, 16.0, 12.0, 8.0, 7.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0264129638671875, -0.02559185028076172, -0.024770736694335938, -0.023949623107910156, -0.023128509521484375, -0.022307395935058594, -0.021486282348632812, -0.02066516876220703, -0.01984405517578125, -0.01902294158935547, -0.018201828002929688, -0.017380714416503906, -0.016559600830078125, -0.015738487243652344, -0.014917373657226562, -0.014096260070800781, -0.013275146484375, -0.012454032897949219, -0.011632919311523438, -0.010811805725097656, -0.009990692138671875, -0.009169578552246094, -0.008348464965820312, -0.007527351379394531, -0.00670623779296875, -0.005885124206542969, -0.0050640106201171875, -0.004242897033691406, -0.003421783447265625, -0.0026006698608398438, -0.0017795562744140625, -0.0009584426879882812, -0.0001373291015625, 0.0006837844848632812, 0.0015048980712890625, 0.0023260116577148438, 0.003147125244140625, 0.003968238830566406, 0.0047893524169921875, 0.005610466003417969, 0.00643157958984375, 0.007252693176269531, 0.008073806762695312, 0.008894920349121094, 0.009716033935546875, 0.010537147521972656, 0.011358261108398438, 0.012179374694824219, 0.01300048828125, 0.013821601867675781, 0.014642715454101562, 0.015463829040527344, 0.016284942626953125, 0.017106056213378906, 0.017927169799804688, 0.01874828338623047, 0.01956939697265625, 0.02039051055908203, 0.021211624145507812, 0.022032737731933594, 0.022853851318359375, 0.023674964904785156, 0.024496078491210938, 0.02531719207763672, 0.0261383056640625]}, "gradients/decoder.transformer.h.7.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 2.0, 4.0, 10.0, 14.0, 13.0, 38.0, 59.0, 116.0, 196.0, 345.0, 708.0, 1371.0, 2795.0, 6402.0, 15268.0, 39103.0, 104769.0, 290192.0, 369404.0, 133628.0, 49957.0, 19244.0, 7860.0, 3572.0, 1735.0, 857.0, 427.0, 226.0, 94.0, 64.0, 35.0, 19.0, 15.0, 8.0, 6.0, 5.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.043731689453125, -0.04248666763305664, -0.04124164581298828, -0.03999662399291992, -0.03875160217285156, -0.0375065803527832, -0.036261558532714844, -0.035016536712646484, -0.033771514892578125, -0.032526493072509766, -0.031281471252441406, -0.030036449432373047, -0.028791427612304688, -0.027546405792236328, -0.02630138397216797, -0.02505636215209961, -0.02381134033203125, -0.02256631851196289, -0.02132129669189453, -0.020076274871826172, -0.018831253051757812, -0.017586231231689453, -0.016341209411621094, -0.015096187591552734, -0.013851165771484375, -0.012606143951416016, -0.011361122131347656, -0.010116100311279297, -0.008871078491210938, -0.007626056671142578, -0.006381034851074219, -0.005136013031005859, -0.0038909912109375, -0.0026459693908691406, -0.0014009475708007812, -0.00015592575073242188, 0.0010890960693359375, 0.002334117889404297, 0.0035791397094726562, 0.004824161529541016, 0.006069183349609375, 0.007314205169677734, 0.008559226989746094, 0.009804248809814453, 0.011049270629882812, 0.012294292449951172, 0.013539314270019531, 0.01478433609008789, 0.01602935791015625, 0.01727437973022461, 0.01851940155029297, 0.019764423370361328, 0.021009445190429688, 0.022254467010498047, 0.023499488830566406, 0.024744510650634766, 0.025989532470703125, 0.027234554290771484, 0.028479576110839844, 0.029724597930908203, 0.030969619750976562, 0.03221464157104492, 0.03345966339111328, 0.03470468521118164, 0.03594970703125]}, "gradients/decoder.transformer.h.7.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 2.0, 4.0, 5.0, 4.0, 3.0, 12.0, 5.0, 8.0, 20.0, 17.0, 15.0, 15.0, 19.0, 24.0, 28.0, 21.0, 36.0, 46.0, 42.0, 58.0, 88.0, 122.0, 191.0, 1408.0, 234.0, 134.0, 98.0, 59.0, 50.0, 41.0, 33.0, 35.0, 29.0, 23.0, 20.0, 22.0, 19.0, 20.0, 14.0, 7.0, 12.0, 5.0, 4.0, 8.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.08062744140625, -0.0784306526184082, -0.0762338638305664, -0.07403707504272461, -0.07184028625488281, -0.06964349746704102, -0.06744670867919922, -0.06524991989135742, -0.06305313110351562, -0.06085634231567383, -0.05865955352783203, -0.056462764739990234, -0.05426597595214844, -0.05206918716430664, -0.049872398376464844, -0.04767560958862305, -0.04547882080078125, -0.04328203201293945, -0.041085243225097656, -0.03888845443725586, -0.03669166564941406, -0.034494876861572266, -0.03229808807373047, -0.030101299285888672, -0.027904510498046875, -0.025707721710205078, -0.02351093292236328, -0.021314144134521484, -0.019117355346679688, -0.01692056655883789, -0.014723777770996094, -0.012526988983154297, -0.0103302001953125, -0.008133411407470703, -0.005936622619628906, -0.0037398338317871094, -0.0015430450439453125, 0.0006537437438964844, 0.0028505325317382812, 0.005047321319580078, 0.007244110107421875, 0.009440898895263672, 0.011637687683105469, 0.013834476470947266, 0.016031265258789062, 0.01822805404663086, 0.020424842834472656, 0.022621631622314453, 0.02481842041015625, 0.027015209197998047, 0.029211997985839844, 0.03140878677368164, 0.03360557556152344, 0.035802364349365234, 0.03799915313720703, 0.04019594192504883, 0.042392730712890625, 0.04458951950073242, 0.04678630828857422, 0.048983097076416016, 0.05117988586425781, 0.05337667465209961, 0.055573463439941406, 0.0577702522277832, 0.059967041015625]}, "gradients/decoder.transformer.h.7.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 3.0, 5.0, 5.0, 9.0, 13.0, 12.0, 14.0, 24.0, 40.0, 48.0, 55.0, 77.0, 112.0, 142.0, 206.0, 398.0, 757.0, 2034.0, 7449.0, 39725.0, 356416.0, 2363271.0, 326336.0, 37581.0, 7033.0, 2030.0, 765.0, 377.0, 224.0, 143.0, 90.0, 90.0, 47.0, 40.0, 35.0, 26.0, 20.0, 16.0, 15.0, 10.0, 8.0, 3.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.07183837890625, -0.06940174102783203, -0.06696510314941406, -0.0645284652709961, -0.062091827392578125, -0.059655189514160156, -0.05721855163574219, -0.05478191375732422, -0.05234527587890625, -0.04990863800048828, -0.04747200012207031, -0.045035362243652344, -0.042598724365234375, -0.040162086486816406, -0.03772544860839844, -0.03528881072998047, -0.0328521728515625, -0.03041553497314453, -0.027978897094726562, -0.025542259216308594, -0.023105621337890625, -0.020668983459472656, -0.018232345581054688, -0.01579570770263672, -0.01335906982421875, -0.010922431945800781, -0.008485794067382812, -0.006049156188964844, -0.003612518310546875, -0.0011758804321289062, 0.0012607574462890625, 0.0036973953247070312, 0.006134033203125, 0.008570671081542969, 0.011007308959960938, 0.013443946838378906, 0.015880584716796875, 0.018317222595214844, 0.020753860473632812, 0.02319049835205078, 0.02562713623046875, 0.02806377410888672, 0.030500411987304688, 0.032937049865722656, 0.035373687744140625, 0.037810325622558594, 0.04024696350097656, 0.04268360137939453, 0.0451202392578125, 0.04755687713623047, 0.04999351501464844, 0.052430152893066406, 0.054866790771484375, 0.057303428649902344, 0.05974006652832031, 0.06217670440673828, 0.06461334228515625, 0.06704998016357422, 0.06948661804199219, 0.07192325592041016, 0.07435989379882812, 0.0767965316772461, 0.07923316955566406, 0.08166980743408203, 0.0841064453125]}, "gradients/decoder.transformer.h.7.ln_1.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 0.0, 2.0, 3.0, 1.0, 4.0, 9.0, 13.0, 19.0, 40.0, 40.0, 58.0, 81.0, 87.0, 100.0, 104.0, 96.0, 81.0, 72.0, 56.0, 45.0, 31.0, 30.0, 15.0, 8.0, 7.0, 4.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07411276549100876, -0.07007905840873718, -0.06604534387588501, -0.062011636793613434, -0.05797792226076126, -0.053944215178489685, -0.04991050437092781, -0.045876793563365936, -0.04184308275580406, -0.03780937194824219, -0.03377566114068031, -0.029741952195763588, -0.025708241388201714, -0.02167453058063984, -0.017640821635723114, -0.01360711082816124, -0.009573400020599365, -0.005539689678698778, -0.001505979336798191, 0.0025277305394411087, 0.006561441347002983, 0.010595152154564857, 0.014628861099481583, 0.018662571907043457, 0.02269628271460533, 0.026729993522167206, 0.03076370432972908, 0.034797415137290955, 0.03883112221956253, 0.0428648367524147, 0.04689854383468628, 0.050932254642248154, 0.054965972900390625, 0.0589996837079525, 0.06303339451551437, 0.06706710159778595, 0.07110081613063812, 0.0751345232129097, 0.07916823029518127, 0.08320194482803345, 0.08723565936088562, 0.0912693664431572, 0.09530308097600937, 0.09933678805828094, 0.10337050259113312, 0.1074042096734047, 0.11143791675567627, 0.11547163128852844, 0.11950533837080002, 0.1235390454530716, 0.12757275998592377, 0.13160647451877594, 0.13564017415046692, 0.1396738886833191, 0.14370760321617126, 0.14774131774902344, 0.15177501738071442, 0.1558087319135666, 0.15984243154525757, 0.16387614607810974, 0.16790986061096191, 0.1719435751438141, 0.17597727477550507, 0.18001098930835724, 0.1840447038412094]}, "gradients/decoder.transformer.h.7.ln_1.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 2.0, 5.0, 2.0, 5.0, 4.0, 6.0, 10.0, 6.0, 17.0, 14.0, 16.0, 21.0, 31.0, 24.0, 24.0, 28.0, 34.0, 24.0, 35.0, 41.0, 53.0, 47.0, 40.0, 48.0, 40.0, 47.0, 48.0, 44.0, 33.0, 33.0, 23.0, 22.0, 27.0, 26.0, 24.0, 16.0, 21.0, 11.0, 13.0, 10.0, 9.0, 6.0, 7.0, 6.0, 2.0, 4.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1825697422027588, -0.17584532499313354, -0.1691209077835083, -0.16239649057388306, -0.1556720733642578, -0.14894765615463257, -0.14222323894500732, -0.13549882173538208, -0.12877440452575684, -0.12204998731613159, -0.11532557010650635, -0.1086011528968811, -0.10187673568725586, -0.09515231847763062, -0.08842789381742477, -0.08170347660779953, -0.07497905194759369, -0.06825463473796844, -0.0615302175283432, -0.05480579659342766, -0.048081379383802414, -0.04135696217417717, -0.03463254123926163, -0.027908124029636383, -0.02118370682001114, -0.01445928867906332, -0.007734870538115501, -0.001010451465845108, 0.005713965743780136, 0.01243838295340538, 0.019162803888320923, 0.025887221097946167, 0.03261163830757141, 0.039336055517196655, 0.0460604727268219, 0.05278489366173744, 0.059509310871362686, 0.06623372435569763, 0.07295814901590347, 0.07968256622552872, 0.08640698343515396, 0.0931314006447792, 0.09985581785440445, 0.10658024251461029, 0.11330465972423553, 0.12002907693386078, 0.12675349414348602, 0.13347791135311127, 0.1402023285627365, 0.14692674577236176, 0.153651162981987, 0.16037558019161224, 0.1670999974012375, 0.17382441461086273, 0.18054884672164917, 0.18727326393127441, 0.19399768114089966, 0.2007220983505249, 0.20744651556015015, 0.2141709327697754, 0.22089534997940063, 0.22761976718902588, 0.23434418439865112, 0.24106860160827637, 0.2477930188179016]}, "gradients/decoder.transformer.h.6.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 6.0, 2.0, 3.0, 4.0, 7.0, 11.0, 19.0, 19.0, 26.0, 28.0, 28.0, 30.0, 38.0, 34.0, 44.0, 48.0, 46.0, 48.0, 47.0, 49.0, 41.0, 60.0, 52.0, 51.0, 41.0, 42.0, 36.0, 39.0, 22.0, 17.0, 16.0, 20.0, 14.0, 10.0, 6.0, 5.0, 1.0, 3.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02655029296875, -0.025699138641357422, -0.024847984313964844, -0.023996829986572266, -0.023145675659179688, -0.02229452133178711, -0.02144336700439453, -0.020592212677001953, -0.019741058349609375, -0.018889904022216797, -0.01803874969482422, -0.01718759536743164, -0.016336441040039062, -0.015485286712646484, -0.014634132385253906, -0.013782978057861328, -0.01293182373046875, -0.012080669403076172, -0.011229515075683594, -0.010378360748291016, -0.009527206420898438, -0.00867605209350586, -0.007824897766113281, -0.006973743438720703, -0.006122589111328125, -0.005271434783935547, -0.004420280456542969, -0.0035691261291503906, -0.0027179718017578125, -0.0018668174743652344, -0.0010156631469726562, -0.00016450881958007812, 0.0006866455078125, 0.0015377998352050781, 0.0023889541625976562, 0.0032401084899902344, 0.0040912628173828125, 0.004942417144775391, 0.005793571472167969, 0.006644725799560547, 0.007495880126953125, 0.008347034454345703, 0.009198188781738281, 0.01004934310913086, 0.010900497436523438, 0.011751651763916016, 0.012602806091308594, 0.013453960418701172, 0.01430511474609375, 0.015156269073486328, 0.016007423400878906, 0.016858577728271484, 0.017709732055664062, 0.01856088638305664, 0.01941204071044922, 0.020263195037841797, 0.021114349365234375, 0.021965503692626953, 0.02281665802001953, 0.02366781234741211, 0.024518966674804688, 0.025370121002197266, 0.026221275329589844, 0.027072429656982422, 0.027923583984375]}, "gradients/decoder.transformer.h.6.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 3.0, 13.0, 9.0, 20.0, 36.0, 50.0, 81.0, 127.0, 247.0, 303.0, 551.0, 940.0, 1700.0, 3096.0, 5752.0, 11002.0, 22032.0, 46583.0, 105708.0, 287379.0, 1068437.0, 1802364.0, 534917.0, 168278.0, 69151.0, 31860.0, 15640.0, 8029.0, 4316.0, 2330.0, 1375.0, 734.0, 464.0, 294.0, 160.0, 123.0, 79.0, 43.0, 20.0, 13.0, 14.0, 6.0, 3.0, 4.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02874755859375, -0.02772998809814453, -0.026712417602539062, -0.025694847106933594, -0.024677276611328125, -0.023659706115722656, -0.022642135620117188, -0.02162456512451172, -0.02060699462890625, -0.01958942413330078, -0.018571853637695312, -0.017554283142089844, -0.016536712646484375, -0.015519142150878906, -0.014501571655273438, -0.013484001159667969, -0.0124664306640625, -0.011448860168457031, -0.010431289672851562, -0.009413719177246094, -0.008396148681640625, -0.007378578186035156, -0.0063610076904296875, -0.005343437194824219, -0.00432586669921875, -0.0033082962036132812, -0.0022907257080078125, -0.0012731552124023438, -0.000255584716796875, 0.0007619857788085938, 0.0017795562744140625, 0.0027971267700195312, 0.003814697265625, 0.004832267761230469, 0.0058498382568359375, 0.006867408752441406, 0.007884979248046875, 0.008902549743652344, 0.009920120239257812, 0.010937690734863281, 0.01195526123046875, 0.012972831726074219, 0.013990402221679688, 0.015007972717285156, 0.016025543212890625, 0.017043113708496094, 0.018060684204101562, 0.01907825469970703, 0.0200958251953125, 0.02111339569091797, 0.022130966186523438, 0.023148536682128906, 0.024166107177734375, 0.025183677673339844, 0.026201248168945312, 0.02721881866455078, 0.02823638916015625, 0.02925395965576172, 0.030271530151367188, 0.031289100646972656, 0.032306671142578125, 0.033324241638183594, 0.03434181213378906, 0.03535938262939453, 0.036376953125]}, "gradients/decoder.transformer.h.6.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 4.0, 2.0, 7.0, 9.0, 9.0, 8.0, 11.0, 23.0, 21.0, 35.0, 35.0, 56.0, 66.0, 83.0, 108.0, 136.0, 189.0, 203.0, 274.0, 369.0, 428.0, 420.0, 331.0, 269.0, 219.0, 177.0, 122.0, 75.0, 76.0, 74.0, 49.0, 47.0, 29.0, 22.0, 20.0, 9.0, 13.0, 9.0, 8.0, 3.0, 5.0, 5.0, 3.0, 7.0, 3.0, 4.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.035858154296875, -0.034829139709472656, -0.03380012512207031, -0.03277111053466797, -0.031742095947265625, -0.03071308135986328, -0.029684066772460938, -0.028655052185058594, -0.02762603759765625, -0.026597023010253906, -0.025568008422851562, -0.02453899383544922, -0.023509979248046875, -0.02248096466064453, -0.021451950073242188, -0.020422935485839844, -0.0193939208984375, -0.018364906311035156, -0.017335891723632812, -0.01630687713623047, -0.015277862548828125, -0.014248847961425781, -0.013219833374023438, -0.012190818786621094, -0.01116180419921875, -0.010132789611816406, -0.009103775024414062, -0.008074760437011719, -0.007045745849609375, -0.006016731262207031, -0.0049877166748046875, -0.003958702087402344, -0.0029296875, -0.0019006729125976562, -0.0008716583251953125, 0.00015735626220703125, 0.001186370849609375, 0.0022153854370117188, 0.0032444000244140625, 0.004273414611816406, 0.00530242919921875, 0.006331443786621094, 0.0073604583740234375, 0.008389472961425781, 0.009418487548828125, 0.010447502136230469, 0.011476516723632812, 0.012505531311035156, 0.0135345458984375, 0.014563560485839844, 0.015592575073242188, 0.01662158966064453, 0.017650604248046875, 0.01867961883544922, 0.019708633422851562, 0.020737648010253906, 0.02176666259765625, 0.022795677185058594, 0.023824691772460938, 0.02485370635986328, 0.025882720947265625, 0.02691173553466797, 0.027940750122070312, 0.028969764709472656, 0.029998779296875]}, "gradients/decoder.transformer.h.6.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 5.0, 2.0, 4.0, 6.0, 13.0, 8.0, 16.0, 15.0, 21.0, 25.0, 31.0, 45.0, 60.0, 100.0, 138.0, 157.0, 397.0, 766.0, 2222.0, 7465.0, 32951.0, 201904.0, 2119243.0, 1626341.0, 164027.0, 28269.0, 6489.0, 1878.0, 717.0, 339.0, 188.0, 119.0, 103.0, 63.0, 44.0, 27.0, 20.0, 14.0, 8.0, 8.0, 14.0, 7.0, 9.0, 4.0, 1.0, 3.0, 5.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0810546875, -0.07834815979003906, -0.07564163208007812, -0.07293510437011719, -0.07022857666015625, -0.06752204895019531, -0.06481552124023438, -0.06210899353027344, -0.0594024658203125, -0.05669593811035156, -0.053989410400390625, -0.05128288269042969, -0.04857635498046875, -0.04586982727050781, -0.043163299560546875, -0.04045677185058594, -0.037750244140625, -0.03504371643066406, -0.032337188720703125, -0.029630661010742188, -0.02692413330078125, -0.024217605590820312, -0.021511077880859375, -0.018804550170898438, -0.0160980224609375, -0.013391494750976562, -0.010684967041015625, -0.007978439331054688, -0.00527191162109375, -0.0025653839111328125, 0.000141143798828125, 0.0028476715087890625, 0.00555419921875, 0.008260726928710938, 0.010967254638671875, 0.013673782348632812, 0.01638031005859375, 0.019086837768554688, 0.021793365478515625, 0.024499893188476562, 0.0272064208984375, 0.029912948608398438, 0.032619476318359375, 0.03532600402832031, 0.03803253173828125, 0.04073905944824219, 0.043445587158203125, 0.04615211486816406, 0.048858642578125, 0.05156517028808594, 0.054271697998046875, 0.05697822570800781, 0.05968475341796875, 0.06239128112792969, 0.06509780883789062, 0.06780433654785156, 0.0705108642578125, 0.07321739196777344, 0.07592391967773438, 0.07863044738769531, 0.08133697509765625, 0.08404350280761719, 0.08675003051757812, 0.08945655822753906, 0.0921630859375]}, "gradients/decoder.transformer.h.6.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 7.0, 44.0, 120.0, 250.0, 278.0, 201.0, 74.0, 28.0, 10.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.8463577628135681, -0.8288577198982239, -0.8113576769828796, -0.7938576936721802, -0.7763576507568359, -0.7588576078414917, -0.7413575649261475, -0.7238575220108032, -0.706357479095459, -0.6888574361801147, -0.6713573932647705, -0.653857409954071, -0.6363573670387268, -0.6188573241233826, -0.6013572812080383, -0.5838572382926941, -0.5663572549819946, -0.5488572120666504, -0.5313571691513062, -0.5138571858406067, -0.49635714292526245, -0.4788571000099182, -0.461357057094574, -0.44385701417922974, -0.4263570010662079, -0.40885695815086365, -0.3913569450378418, -0.37385690212249756, -0.3563568592071533, -0.33885684609413147, -0.32135680317878723, -0.3038567900657654, -0.28635674715042114, -0.2688567042350769, -0.25135669112205505, -0.23385664820671082, -0.21635662019252777, -0.19885659217834473, -0.1813565492630005, -0.16385652124881744, -0.1463564932346344, -0.12885646522045135, -0.11135642975568771, -0.09385639429092407, -0.07635636627674103, -0.05885633826255798, -0.04135630279779434, -0.0238562673330307, -0.006356239318847656, 0.011143792420625687, 0.02864382416009903, 0.04614385589957237, 0.06364388763904572, 0.08114391565322876, 0.0986439511179924, 0.11614398658275604, 0.1336440145969391, 0.15114404261112213, 0.16864407062530518, 0.18614411354064941, 0.20364414155483246, 0.2211441695690155, 0.23864421248435974, 0.2561442255973816, 0.27364426851272583]}, "gradients/decoder.transformer.h.6.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 1.0, 2.0, 1.0, 4.0, 4.0, 4.0, 5.0, 3.0, 3.0, 7.0, 11.0, 10.0, 10.0, 18.0, 14.0, 11.0, 23.0, 16.0, 25.0, 35.0, 27.0, 44.0, 29.0, 45.0, 36.0, 44.0, 48.0, 40.0, 39.0, 40.0, 51.0, 36.0, 22.0, 31.0, 26.0, 28.0, 19.0, 32.0, 25.0, 16.0, 21.0, 19.0, 17.0, 14.0, 11.0, 10.0, 6.0, 5.0, 6.0, 2.0, 4.0, 3.0, 2.0, 4.0, 3.0, 1.0, 1.0, 2.0, 2.0, 1.0], "bins": [-0.1277388334274292, -0.12378863245248795, -0.11983843147754669, -0.11588823795318604, -0.11193803697824478, -0.10798783600330353, -0.10403764247894287, -0.10008744150400162, -0.09613724052906036, -0.09218703955411911, -0.08823683857917786, -0.0842866450548172, -0.08033644407987595, -0.07638624310493469, -0.07243604958057404, -0.06848584860563278, -0.06453564763069153, -0.060585446655750275, -0.05663524940609932, -0.052685052156448364, -0.04873485118150711, -0.04478465020656586, -0.0408344529569149, -0.03688425570726395, -0.03293405473232269, -0.02898385562002659, -0.025033656507730484, -0.02108345739543438, -0.017133258283138275, -0.01318305917084217, -0.009232860058546066, -0.005282660946249962, -0.0013324618339538574, 0.002617737278342247, 0.0065679363906383514, 0.010518135502934456, 0.01446833461523056, 0.018418533727526665, 0.02236873283982277, 0.026318931952118874, 0.030269131064414978, 0.03421933203935623, 0.03816952928900719, 0.04211972653865814, 0.046069927513599396, 0.05002012848854065, 0.053970325738191605, 0.05792052298784256, 0.061870723962783813, 0.06582092493772507, 0.06977112591266632, 0.07372131943702698, 0.07767152041196823, 0.08162172138690948, 0.08557191491127014, 0.0895221158862114, 0.09347231686115265, 0.0974225178360939, 0.10137271881103516, 0.10532291233539581, 0.10927311331033707, 0.11322331428527832, 0.11717350780963898, 0.12112370878458023, 0.12507390975952148]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 4.0, 5.0, 3.0, 6.0, 10.0, 8.0, 16.0, 14.0, 26.0, 20.0, 22.0, 25.0, 32.0, 26.0, 40.0, 36.0, 40.0, 45.0, 50.0, 44.0, 33.0, 53.0, 61.0, 43.0, 51.0, 36.0, 37.0, 35.0, 36.0, 30.0, 32.0, 19.0, 20.0, 14.0, 11.0, 7.0, 9.0, 3.0, 4.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0227813720703125, -0.021983623504638672, -0.021185874938964844, -0.020388126373291016, -0.019590377807617188, -0.01879262924194336, -0.01799488067626953, -0.017197132110595703, -0.016399383544921875, -0.015601634979248047, -0.014803886413574219, -0.01400613784790039, -0.013208389282226562, -0.012410640716552734, -0.011612892150878906, -0.010815143585205078, -0.01001739501953125, -0.009219646453857422, -0.008421897888183594, -0.007624149322509766, -0.0068264007568359375, -0.006028652191162109, -0.005230903625488281, -0.004433155059814453, -0.003635406494140625, -0.002837657928466797, -0.0020399093627929688, -0.0012421607971191406, -0.0004444122314453125, 0.0003533363342285156, 0.0011510848999023438, 0.0019488334655761719, 0.00274658203125, 0.003544330596923828, 0.004342079162597656, 0.005139827728271484, 0.0059375762939453125, 0.006735324859619141, 0.007533073425292969, 0.008330821990966797, 0.009128570556640625, 0.009926319122314453, 0.010724067687988281, 0.01152181625366211, 0.012319564819335938, 0.013117313385009766, 0.013915061950683594, 0.014712810516357422, 0.01551055908203125, 0.016308307647705078, 0.017106056213378906, 0.017903804779052734, 0.018701553344726562, 0.01949930191040039, 0.02029705047607422, 0.021094799041748047, 0.021892547607421875, 0.022690296173095703, 0.02348804473876953, 0.02428579330444336, 0.025083541870117188, 0.025881290435791016, 0.026679039001464844, 0.027476787567138672, 0.0282745361328125]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 2.0, 0.0, 3.0, 4.0, 4.0, 5.0, 9.0, 19.0, 19.0, 26.0, 39.0, 52.0, 74.0, 135.0, 178.0, 268.0, 435.0, 683.0, 1095.0, 1808.0, 2969.0, 5157.0, 8700.0, 15124.0, 26287.0, 46205.0, 85240.0, 185388.0, 368299.0, 139472.0, 69422.0, 38381.0, 21796.0, 12637.0, 7414.0, 4336.0, 2643.0, 1546.0, 988.0, 591.0, 392.0, 225.0, 171.0, 104.0, 71.0, 48.0, 33.0, 18.0, 15.0, 14.0, 3.0, 6.0, 3.0, 7.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00023794174194335938, -0.000230349600315094, -0.0002227574586868286, -0.00021516531705856323, -0.00020757317543029785, -0.00019998103380203247, -0.0001923888921737671, -0.0001847967505455017, -0.00017720460891723633, -0.00016961246728897095, -0.00016202032566070557, -0.00015442818403244019, -0.0001468360424041748, -0.00013924390077590942, -0.00013165175914764404, -0.00012405961751937866, -0.00011646747589111328, -0.0001088753342628479, -0.00010128319263458252, -9.369105100631714e-05, -8.609890937805176e-05, -7.850676774978638e-05, -7.0914626121521e-05, -6.332248449325562e-05, -5.5730342864990234e-05, -4.8138201236724854e-05, -4.054605960845947e-05, -3.295391798019409e-05, -2.536177635192871e-05, -1.776963472366333e-05, -1.017749309539795e-05, -2.5853514671325684e-06, 5.0067901611328125e-06, 1.2598931789398193e-05, 2.0191073417663574e-05, 2.7783215045928955e-05, 3.5375356674194336e-05, 4.296749830245972e-05, 5.05596399307251e-05, 5.815178155899048e-05, 6.574392318725586e-05, 7.333606481552124e-05, 8.092820644378662e-05, 8.8520348072052e-05, 9.611248970031738e-05, 0.00010370463132858276, 0.00011129677295684814, 0.00011888891458511353, 0.0001264810562133789, 0.0001340731978416443, 0.00014166533946990967, 0.00014925748109817505, 0.00015684962272644043, 0.0001644417643547058, 0.0001720339059829712, 0.00017962604761123657, 0.00018721818923950195, 0.00019481033086776733, 0.00020240247249603271, 0.0002099946141242981, 0.00021758675575256348, 0.00022517889738082886, 0.00023277103900909424, 0.00024036318063735962, 0.000247955322265625]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 2.0, 2.0, 4.0, 2.0, 11.0, 14.0, 14.0, 11.0, 13.0, 13.0, 19.0, 22.0, 16.0, 15.0, 23.0, 30.0, 25.0, 30.0, 51.0, 41.0, 31.0, 41.0, 58.0, 1069.0, 46.0, 33.0, 30.0, 29.0, 37.0, 32.0, 30.0, 31.0, 37.0, 16.0, 25.0, 25.0, 21.0, 13.0, 17.0, 16.0, 6.0, 12.0, 3.0, 1.0, 4.0, 5.0, 2.0, 4.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0199127197265625, -0.019241809844970703, -0.018570899963378906, -0.01789999008178711, -0.017229080200195312, -0.016558170318603516, -0.01588726043701172, -0.015216350555419922, -0.014545440673828125, -0.013874530792236328, -0.013203620910644531, -0.012532711029052734, -0.011861801147460938, -0.01119089126586914, -0.010519981384277344, -0.009849071502685547, -0.00917816162109375, -0.008507251739501953, -0.007836341857910156, -0.007165431976318359, -0.0064945220947265625, -0.005823612213134766, -0.005152702331542969, -0.004481792449951172, -0.003810882568359375, -0.003139972686767578, -0.0024690628051757812, -0.0017981529235839844, -0.0011272430419921875, -0.0004563331604003906, 0.00021457672119140625, 0.0008854866027832031, 0.001556396484375, 0.002227306365966797, 0.0028982162475585938, 0.0035691261291503906, 0.0042400360107421875, 0.004910945892333984, 0.005581855773925781, 0.006252765655517578, 0.006923675537109375, 0.007594585418701172, 0.008265495300292969, 0.008936405181884766, 0.009607315063476562, 0.01027822494506836, 0.010949134826660156, 0.011620044708251953, 0.01229095458984375, 0.012961864471435547, 0.013632774353027344, 0.01430368423461914, 0.014974594116210938, 0.015645503997802734, 0.01631641387939453, 0.016987323760986328, 0.017658233642578125, 0.018329143524169922, 0.01900005340576172, 0.019670963287353516, 0.020341873168945312, 0.02101278305053711, 0.021683692932128906, 0.022354602813720703, 0.0230255126953125]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 3.0, 6.0, 2.0, 3.0, 6.0, 12.0, 7.0, 23.0, 16.0, 20.0, 23.0, 19.0, 26.0, 36.0, 46.0, 47.0, 68.0, 103.0, 197.0, 465.0, 2053.0, 12721.0, 2069321.0, 9100.0, 1735.0, 432.0, 173.0, 113.0, 77.0, 50.0, 38.0, 27.0, 17.0, 18.0, 23.0, 16.0, 16.0, 13.0, 10.0, 17.0, 13.0, 9.0, 2.0, 5.0, 2.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-1.6748905181884766e-05, -1.6262754797935486e-05, -1.5776604413986206e-05, -1.5290454030036926e-05, -1.4804303646087646e-05, -1.4318153262138367e-05, -1.3832002878189087e-05, -1.3345852494239807e-05, -1.2859702110290527e-05, -1.2373551726341248e-05, -1.1887401342391968e-05, -1.1401250958442688e-05, -1.0915100574493408e-05, -1.0428950190544128e-05, -9.942799806594849e-06, -9.456649422645569e-06, -8.970499038696289e-06, -8.48434865474701e-06, -7.99819827079773e-06, -7.51204788684845e-06, -7.02589750289917e-06, -6.53974711894989e-06, -6.05359673500061e-06, -5.5674463510513306e-06, -5.081295967102051e-06, -4.595145583152771e-06, -4.108995199203491e-06, -3.6228448152542114e-06, -3.1366944313049316e-06, -2.650544047355652e-06, -2.164393663406372e-06, -1.6782432794570923e-06, -1.1920928955078125e-06, -7.059425115585327e-07, -2.1979212760925293e-07, 2.6635825634002686e-07, 7.525086402893066e-07, 1.2386590242385864e-06, 1.7248094081878662e-06, 2.210959792137146e-06, 2.6971101760864258e-06, 3.1832605600357056e-06, 3.6694109439849854e-06, 4.155561327934265e-06, 4.641711711883545e-06, 5.127862095832825e-06, 5.6140124797821045e-06, 6.100162863731384e-06, 6.586313247680664e-06, 7.072463631629944e-06, 7.558614015579224e-06, 8.044764399528503e-06, 8.530914783477783e-06, 9.017065167427063e-06, 9.503215551376343e-06, 9.989365935325623e-06, 1.0475516319274902e-05, 1.0961666703224182e-05, 1.1447817087173462e-05, 1.1933967471122742e-05, 1.2420117855072021e-05, 1.2906268239021301e-05, 1.3392418622970581e-05, 1.387856900691986e-05, 1.436471939086914e-05]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 4.0, 5.0, 3.0, 6.0, 10.0, 8.0, 16.0, 14.0, 26.0, 20.0, 22.0, 25.0, 32.0, 26.0, 40.0, 36.0, 40.0, 45.0, 50.0, 44.0, 33.0, 53.0, 61.0, 43.0, 51.0, 36.0, 37.0, 35.0, 36.0, 30.0, 32.0, 19.0, 20.0, 14.0, 11.0, 7.0, 9.0, 3.0, 4.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0227813720703125, -0.021983623504638672, -0.021185874938964844, -0.020388126373291016, -0.019590377807617188, -0.01879262924194336, -0.01799488067626953, -0.017197132110595703, -0.016399383544921875, -0.015601634979248047, -0.014803886413574219, -0.01400613784790039, -0.013208389282226562, -0.012410640716552734, -0.011612892150878906, -0.010815143585205078, -0.01001739501953125, -0.009219646453857422, -0.008421897888183594, -0.007624149322509766, -0.0068264007568359375, -0.006028652191162109, -0.005230903625488281, -0.004433155059814453, -0.003635406494140625, -0.002837657928466797, -0.0020399093627929688, -0.0012421607971191406, -0.0004444122314453125, 0.0003533363342285156, 0.0011510848999023438, 0.0019488334655761719, 0.00274658203125, 0.003544330596923828, 0.004342079162597656, 0.005139827728271484, 0.0059375762939453125, 0.006735324859619141, 0.007533073425292969, 0.008330821990966797, 0.009128570556640625, 0.009926319122314453, 0.010724067687988281, 0.01152181625366211, 0.012319564819335938, 0.013117313385009766, 0.013915061950683594, 0.014712810516357422, 0.01551055908203125, 0.016308307647705078, 0.017106056213378906, 0.017903804779052734, 0.018701553344726562, 0.01949930191040039, 0.02029705047607422, 0.021094799041748047, 0.021892547607421875, 0.022690296173095703, 0.02348804473876953, 0.02428579330444336, 0.025083541870117188, 0.025881290435791016, 0.026679039001464844, 0.027476787567138672, 0.0282745361328125]}, "gradients/decoder.transformer.h.6.attn.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 2.0, 0.0, 3.0, 2.0, 2.0, 4.0, 11.0, 8.0, 12.0, 10.0, 19.0, 40.0, 63.0, 81.0, 128.0, 225.0, 381.0, 598.0, 928.0, 1628.0, 2562.0, 4077.0, 6526.0, 10093.0, 15526.0, 24033.0, 40725.0, 89195.0, 403958.0, 277567.0, 72839.0, 35980.0, 22120.0, 14149.0, 9313.0, 5977.0, 3730.0, 2283.0, 1476.0, 845.0, 542.0, 332.0, 203.0, 120.0, 93.0, 49.0, 31.0, 28.0, 15.0, 10.0, 9.0, 7.0, 3.0, 3.0, 2.0, 1.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.032501220703125, -0.031449317932128906, -0.030397415161132812, -0.02934551239013672, -0.028293609619140625, -0.02724170684814453, -0.026189804077148438, -0.025137901306152344, -0.02408599853515625, -0.023034095764160156, -0.021982192993164062, -0.02093029022216797, -0.019878387451171875, -0.01882648468017578, -0.017774581909179688, -0.016722679138183594, -0.0156707763671875, -0.014618873596191406, -0.013566970825195312, -0.012515068054199219, -0.011463165283203125, -0.010411262512207031, -0.009359359741210938, -0.008307456970214844, -0.00725555419921875, -0.006203651428222656, -0.0051517486572265625, -0.004099845886230469, -0.003047943115234375, -0.0019960403442382812, -0.0009441375732421875, 0.00010776519775390625, 0.00115966796875, 0.0022115707397460938, 0.0032634735107421875, 0.004315376281738281, 0.005367279052734375, 0.006419181823730469, 0.0074710845947265625, 0.008522987365722656, 0.00957489013671875, 0.010626792907714844, 0.011678695678710938, 0.012730598449707031, 0.013782501220703125, 0.014834403991699219, 0.015886306762695312, 0.016938209533691406, 0.0179901123046875, 0.019042015075683594, 0.020093917846679688, 0.02114582061767578, 0.022197723388671875, 0.02324962615966797, 0.024301528930664062, 0.025353431701660156, 0.02640533447265625, 0.027457237243652344, 0.028509140014648438, 0.02956104278564453, 0.030612945556640625, 0.03166484832763672, 0.03271675109863281, 0.033768653869628906, 0.034820556640625]}, "gradients/decoder.transformer.h.6.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 0.0, 3.0, 1.0, 1.0, 6.0, 5.0, 7.0, 6.0, 12.0, 8.0, 14.0, 15.0, 22.0, 25.0, 16.0, 31.0, 18.0, 42.0, 39.0, 41.0, 46.0, 62.0, 79.0, 97.0, 183.0, 1430.0, 204.0, 135.0, 77.0, 61.0, 48.0, 30.0, 47.0, 43.0, 24.0, 24.0, 25.0, 17.0, 22.0, 18.0, 16.0, 13.0, 10.0, 11.0, 9.0, 7.0, 2.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.06256103515625, -0.06070089340209961, -0.05884075164794922, -0.05698060989379883, -0.05512046813964844, -0.05326032638549805, -0.051400184631347656, -0.049540042877197266, -0.047679901123046875, -0.045819759368896484, -0.043959617614746094, -0.0420994758605957, -0.04023933410644531, -0.03837919235229492, -0.03651905059814453, -0.03465890884399414, -0.03279876708984375, -0.03093862533569336, -0.02907848358154297, -0.027218341827392578, -0.025358200073242188, -0.023498058319091797, -0.021637916564941406, -0.019777774810791016, -0.017917633056640625, -0.016057491302490234, -0.014197349548339844, -0.012337207794189453, -0.010477066040039062, -0.008616924285888672, -0.006756782531738281, -0.004896640777587891, -0.0030364990234375, -0.0011763572692871094, 0.0006837844848632812, 0.002543926239013672, 0.0044040679931640625, 0.006264209747314453, 0.008124351501464844, 0.009984493255615234, 0.011844635009765625, 0.013704776763916016, 0.015564918518066406, 0.017425060272216797, 0.019285202026367188, 0.021145343780517578, 0.02300548553466797, 0.02486562728881836, 0.02672576904296875, 0.02858591079711914, 0.03044605255126953, 0.03230619430541992, 0.03416633605957031, 0.0360264778137207, 0.037886619567871094, 0.039746761322021484, 0.041606903076171875, 0.043467044830322266, 0.045327186584472656, 0.04718732833862305, 0.04904747009277344, 0.05090761184692383, 0.05276775360107422, 0.05462789535522461, 0.056488037109375]}, "gradients/decoder.transformer.h.6.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 2.0, 0.0, 1.0, 2.0, 4.0, 2.0, 5.0, 11.0, 9.0, 15.0, 29.0, 37.0, 61.0, 93.0, 127.0, 193.0, 347.0, 748.0, 1932.0, 6252.0, 23231.0, 114701.0, 2127365.0, 774120.0, 72427.0, 16609.0, 4564.0, 1467.0, 594.0, 285.0, 179.0, 96.0, 63.0, 39.0, 25.0, 28.0, 15.0, 10.0, 14.0, 4.0, 9.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.08880615234375, -0.08618450164794922, -0.08356285095214844, -0.08094120025634766, -0.07831954956054688, -0.0756978988647461, -0.07307624816894531, -0.07045459747314453, -0.06783294677734375, -0.06521129608154297, -0.06258964538574219, -0.059967994689941406, -0.057346343994140625, -0.054724693298339844, -0.05210304260253906, -0.04948139190673828, -0.0468597412109375, -0.04423809051513672, -0.04161643981933594, -0.038994789123535156, -0.036373138427734375, -0.033751487731933594, -0.031129837036132812, -0.02850818634033203, -0.02588653564453125, -0.02326488494873047, -0.020643234252929688, -0.018021583557128906, -0.015399932861328125, -0.012778282165527344, -0.010156631469726562, -0.007534980773925781, -0.004913330078125, -0.0022916793823242188, 0.0003299713134765625, 0.0029516220092773438, 0.005573272705078125, 0.008194923400878906, 0.010816574096679688, 0.013438224792480469, 0.01605987548828125, 0.01868152618408203, 0.021303176879882812, 0.023924827575683594, 0.026546478271484375, 0.029168128967285156, 0.03178977966308594, 0.03441143035888672, 0.0370330810546875, 0.03965473175048828, 0.04227638244628906, 0.044898033142089844, 0.047519683837890625, 0.050141334533691406, 0.05276298522949219, 0.05538463592529297, 0.05800628662109375, 0.06062793731689453, 0.06324958801269531, 0.0658712387084961, 0.06849288940429688, 0.07111454010009766, 0.07373619079589844, 0.07635784149169922, 0.0789794921875]}, "gradients/decoder.transformer.h.6.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 13.0, 20.0, 69.0, 100.0, 176.0, 227.0, 184.0, 114.0, 63.0, 26.0, 15.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.44578954577445984, -0.4371214807033539, -0.4284534156322479, -0.41978535056114197, -0.4111173152923584, -0.40244925022125244, -0.3937811851501465, -0.3851131200790405, -0.37644505500793457, -0.3677769899368286, -0.35910892486572266, -0.3504408597946167, -0.34177279472351074, -0.3331047594547272, -0.3244366943836212, -0.31576862931251526, -0.3071005642414093, -0.29843249917030334, -0.2897644340991974, -0.28109636902809143, -0.27242833375930786, -0.2637602686882019, -0.25509220361709595, -0.24642413854599, -0.23775607347488403, -0.22908800840377808, -0.22041994333267212, -0.21175189316272736, -0.2030838280916214, -0.19441576302051544, -0.18574771285057068, -0.17707964777946472, -0.16841156780719757, -0.1597435027360916, -0.15107545256614685, -0.1424073874950409, -0.13373932242393494, -0.12507125735282898, -0.11640319973230362, -0.10773514211177826, -0.0990670770406723, -0.09039901196956635, -0.08173095434904099, -0.07306289672851562, -0.06439483165740967, -0.05572677031159401, -0.04705870896577835, -0.03839064761996269, -0.029722586274147034, -0.021054524928331375, -0.012386463582515717, -0.003718402236700058, 0.004949659109115601, 0.01361772045493126, 0.022285781800746918, 0.030953843146562576, 0.039621904492378235, 0.04828996583819389, 0.05695802718400955, 0.06562608480453491, 0.07429414987564087, 0.08296221494674683, 0.09163027256727219, 0.10029833018779755, 0.1089663952589035]}, "gradients/decoder.transformer.h.6.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 3.0, 0.0, 3.0, 2.0, 3.0, 1.0, 2.0, 1.0, 5.0, 7.0, 3.0, 3.0, 11.0, 11.0, 12.0, 15.0, 10.0, 34.0, 12.0, 22.0, 27.0, 27.0, 34.0, 41.0, 28.0, 34.0, 35.0, 39.0, 44.0, 40.0, 43.0, 36.0, 45.0, 42.0, 38.0, 47.0, 32.0, 26.0, 29.0, 22.0, 28.0, 21.0, 21.0, 17.0, 13.0, 6.0, 10.0, 6.0, 1.0, 6.0, 4.0, 3.0, 6.0, 3.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.20338743925094604, -0.1974223107099533, -0.19145718216896057, -0.18549205362796783, -0.1795269250869751, -0.17356179654598236, -0.16759666800498962, -0.16163155436515808, -0.15566641092300415, -0.1497012823820114, -0.14373615384101868, -0.13777102530002594, -0.1318058967590332, -0.12584076821804047, -0.11987564712762833, -0.11391051858663559, -0.10794539749622345, -0.10198026895523071, -0.09601514041423798, -0.09005001187324524, -0.0840848833322525, -0.07811975479125977, -0.07215463370084763, -0.06618950515985489, -0.06022437661886215, -0.054259248077869415, -0.04829411953687668, -0.04232899472117424, -0.0363638661801815, -0.030398737639188766, -0.024433612823486328, -0.01846848428249359, -0.012503355741500854, -0.006538228131830692, -0.0005731005221605301, 0.0053920261561870575, 0.011357154697179794, 0.01732228323817253, 0.02328740805387497, 0.029252536594867706, 0.03521766513586044, 0.04118279367685318, 0.04714792221784592, 0.053113047033548355, 0.05907817557454109, 0.06504330039024353, 0.07100842893123627, 0.076973557472229, 0.08293868601322174, 0.08890381455421448, 0.09486894309520721, 0.10083407163619995, 0.10679920017719269, 0.11276432871818542, 0.11872944980859756, 0.1246945783495903, 0.13065969944000244, 0.13662482798099518, 0.14258995652198792, 0.14855508506298065, 0.1545202136039734, 0.16048534214496613, 0.16645047068595886, 0.1724155843257904, 0.17838072776794434]}, "gradients/decoder.transformer.h.5.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 4.0, 3.0, 6.0, 5.0, 9.0, 19.0, 10.0, 17.0, 21.0, 28.0, 20.0, 33.0, 27.0, 25.0, 54.0, 38.0, 51.0, 39.0, 45.0, 44.0, 56.0, 54.0, 41.0, 54.0, 38.0, 33.0, 43.0, 41.0, 30.0, 29.0, 12.0, 23.0, 13.0, 19.0, 3.0, 6.0, 5.0, 6.0, 4.0, 1.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.023834228515625, -0.023008108139038086, -0.022181987762451172, -0.021355867385864258, -0.020529747009277344, -0.01970362663269043, -0.018877506256103516, -0.0180513858795166, -0.017225265502929688, -0.016399145126342773, -0.01557302474975586, -0.014746904373168945, -0.013920783996582031, -0.013094663619995117, -0.012268543243408203, -0.011442422866821289, -0.010616302490234375, -0.009790182113647461, -0.008964061737060547, -0.008137941360473633, -0.007311820983886719, -0.006485700607299805, -0.005659580230712891, -0.0048334598541259766, -0.0040073394775390625, -0.0031812191009521484, -0.0023550987243652344, -0.0015289783477783203, -0.0007028579711914062, 0.0001232624053955078, 0.0009493827819824219, 0.001775503158569336, 0.00260162353515625, 0.003427743911743164, 0.004253864288330078, 0.005079984664916992, 0.005906105041503906, 0.00673222541809082, 0.007558345794677734, 0.008384466171264648, 0.009210586547851562, 0.010036706924438477, 0.01086282730102539, 0.011688947677612305, 0.012515068054199219, 0.013341188430786133, 0.014167308807373047, 0.014993429183959961, 0.015819549560546875, 0.01664566993713379, 0.017471790313720703, 0.018297910690307617, 0.01912403106689453, 0.019950151443481445, 0.02077627182006836, 0.021602392196655273, 0.022428512573242188, 0.0232546329498291, 0.024080753326416016, 0.02490687370300293, 0.025732994079589844, 0.026559114456176758, 0.027385234832763672, 0.028211355209350586, 0.0290374755859375]}, "gradients/decoder.transformer.h.5.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 4.0, 5.0, 6.0, 3.0, 17.0, 15.0, 17.0, 24.0, 53.0, 95.0, 160.0, 287.0, 664.0, 1376.0, 3158.0, 7862.0, 20493.0, 59446.0, 202536.0, 1036182.0, 2270399.0, 426739.0, 107921.0, 35062.0, 12741.0, 4880.0, 2213.0, 943.0, 459.0, 235.0, 113.0, 63.0, 42.0, 31.0, 12.0, 11.0, 9.0, 6.0, 3.0, 1.0, 4.0, 4.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0430908203125, -0.041449546813964844, -0.03980827331542969, -0.03816699981689453, -0.036525726318359375, -0.03488445281982422, -0.03324317932128906, -0.031601905822753906, -0.02996063232421875, -0.028319358825683594, -0.026678085327148438, -0.02503681182861328, -0.023395538330078125, -0.02175426483154297, -0.020112991333007812, -0.018471717834472656, -0.0168304443359375, -0.015189170837402344, -0.013547897338867188, -0.011906623840332031, -0.010265350341796875, -0.008624076843261719, -0.0069828033447265625, -0.005341529846191406, -0.00370025634765625, -0.0020589828491210938, -0.0004177093505859375, 0.0012235641479492188, 0.002864837646484375, 0.004506111145019531, 0.0061473846435546875, 0.007788658142089844, 0.009429931640625, 0.011071205139160156, 0.012712478637695312, 0.014353752136230469, 0.015995025634765625, 0.01763629913330078, 0.019277572631835938, 0.020918846130371094, 0.02256011962890625, 0.024201393127441406, 0.025842666625976562, 0.02748394012451172, 0.029125213623046875, 0.03076648712158203, 0.03240776062011719, 0.034049034118652344, 0.0356903076171875, 0.037331581115722656, 0.03897285461425781, 0.04061412811279297, 0.042255401611328125, 0.04389667510986328, 0.04553794860839844, 0.047179222106933594, 0.04882049560546875, 0.050461769104003906, 0.05210304260253906, 0.05374431610107422, 0.055385589599609375, 0.05702686309814453, 0.05866813659667969, 0.060309410095214844, 0.06195068359375]}, "gradients/decoder.transformer.h.5.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 6.0, 1.0, 2.0, 3.0, 4.0, 11.0, 11.0, 10.0, 15.0, 15.0, 21.0, 37.0, 45.0, 74.0, 80.0, 108.0, 134.0, 162.0, 203.0, 278.0, 401.0, 487.0, 460.0, 365.0, 288.0, 216.0, 158.0, 113.0, 84.0, 72.0, 59.0, 49.0, 33.0, 17.0, 11.0, 8.0, 16.0, 6.0, 2.0, 2.0, 8.0, 4.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.039459228515625, -0.038252830505371094, -0.03704643249511719, -0.03584003448486328, -0.034633636474609375, -0.03342723846435547, -0.03222084045410156, -0.031014442443847656, -0.02980804443359375, -0.028601646423339844, -0.027395248413085938, -0.02618885040283203, -0.024982452392578125, -0.02377605438232422, -0.022569656372070312, -0.021363258361816406, -0.0201568603515625, -0.018950462341308594, -0.017744064331054688, -0.01653766632080078, -0.015331268310546875, -0.014124870300292969, -0.012918472290039062, -0.011712074279785156, -0.01050567626953125, -0.009299278259277344, -0.008092880249023438, -0.006886482238769531, -0.005680084228515625, -0.004473686218261719, -0.0032672882080078125, -0.0020608901977539062, -0.0008544921875, 0.00035190582275390625, 0.0015583038330078125, 0.0027647018432617188, 0.003971099853515625, 0.005177497863769531, 0.0063838958740234375, 0.007590293884277344, 0.00879669189453125, 0.010003089904785156, 0.011209487915039062, 0.012415885925292969, 0.013622283935546875, 0.014828681945800781, 0.016035079956054688, 0.017241477966308594, 0.0184478759765625, 0.019654273986816406, 0.020860671997070312, 0.02206707000732422, 0.023273468017578125, 0.02447986602783203, 0.025686264038085938, 0.026892662048339844, 0.02809906005859375, 0.029305458068847656, 0.030511856079101562, 0.03171825408935547, 0.032924652099609375, 0.03413105010986328, 0.03533744812011719, 0.036543846130371094, 0.037750244140625]}, "gradients/decoder.transformer.h.5.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 3.0, 4.0, 5.0, 12.0, 14.0, 22.0, 32.0, 53.0, 88.0, 166.0, 259.0, 629.0, 2076.0, 11179.0, 101530.0, 2003805.0, 1960589.0, 99415.0, 11044.0, 2081.0, 647.0, 274.0, 140.0, 76.0, 55.0, 34.0, 12.0, 17.0, 13.0, 9.0, 4.0, 1.0, 2.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.163818359375, -0.1598224639892578, -0.15582656860351562, -0.15183067321777344, -0.14783477783203125, -0.14383888244628906, -0.13984298706054688, -0.1358470916748047, -0.1318511962890625, -0.1278553009033203, -0.12385940551757812, -0.11986351013183594, -0.11586761474609375, -0.11187171936035156, -0.10787582397460938, -0.10387992858886719, -0.099884033203125, -0.09588813781738281, -0.09189224243164062, -0.08789634704589844, -0.08390045166015625, -0.07990455627441406, -0.07590866088867188, -0.07191276550292969, -0.0679168701171875, -0.06392097473144531, -0.059925079345703125, -0.05592918395996094, -0.05193328857421875, -0.04793739318847656, -0.043941497802734375, -0.03994560241699219, -0.03594970703125, -0.03195381164550781, -0.027957916259765625, -0.023962020874023438, -0.01996612548828125, -0.015970230102539062, -0.011974334716796875, -0.007978439331054688, -0.0039825439453125, 1.33514404296875e-05, 0.004009246826171875, 0.008005142211914062, 0.01200103759765625, 0.015996932983398438, 0.019992828369140625, 0.023988723754882812, 0.027984619140625, 0.03198051452636719, 0.035976409912109375, 0.03997230529785156, 0.04396820068359375, 0.04796409606933594, 0.051959991455078125, 0.05595588684082031, 0.0599517822265625, 0.06394767761230469, 0.06794357299804688, 0.07193946838378906, 0.07593536376953125, 0.07993125915527344, 0.08392715454101562, 0.08792304992675781, 0.0919189453125]}, "gradients/decoder.transformer.h.5.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 21.0, 103.0, 261.0, 347.0, 217.0, 53.0, 16.0], "bins": [-1.4411545991897583, -1.4172441959381104, -1.3933337926864624, -1.3694233894348145, -1.3455129861831665, -1.3216025829315186, -1.2976921796798706, -1.2737817764282227, -1.2498713731765747, -1.2259609699249268, -1.2020505666732788, -1.1781401634216309, -1.154229760169983, -1.130319356918335, -1.106408953666687, -1.082498550415039, -1.0585882663726807, -1.0346778631210327, -1.0107674598693848, -0.9868570566177368, -0.9629466533660889, -0.9390362501144409, -0.915125846862793, -0.891215443611145, -0.8673050403594971, -0.8433946371078491, -0.8194842338562012, -0.7955738306045532, -0.7716634273529053, -0.7477530241012573, -0.7238426208496094, -0.6999322175979614, -0.6760218143463135, -0.6521114110946655, -0.6282010078430176, -0.6042906045913696, -0.5803802013397217, -0.5564697980880737, -0.5325593948364258, -0.5086489915847778, -0.48473864793777466, -0.4608282446861267, -0.43691784143447876, -0.4130074381828308, -0.38909703493118286, -0.3651866316795349, -0.34127625823020935, -0.3173658549785614, -0.29345542192459106, -0.2695450186729431, -0.24563461542129517, -0.2217242270708084, -0.19781382381916046, -0.1739034205675125, -0.14999303221702576, -0.1260826289653778, -0.10217224061489105, -0.0782618373632431, -0.05435144156217575, -0.0304410457611084, -0.006530642509460449, 0.0173797607421875, 0.041290149092674255, 0.0652005523443222, 0.08911095559597015]}, "gradients/decoder.transformer.h.5.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 4.0, 6.0, 7.0, 4.0, 5.0, 8.0, 12.0, 13.0, 19.0, 21.0, 17.0, 19.0, 34.0, 23.0, 23.0, 36.0, 37.0, 42.0, 42.0, 35.0, 46.0, 39.0, 42.0, 47.0, 39.0, 36.0, 36.0, 37.0, 34.0, 39.0, 31.0, 25.0, 25.0, 23.0, 16.0, 21.0, 21.0, 15.0, 13.0, 8.0, 2.0, 3.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.15934467315673828, -0.1544196605682373, -0.14949464797973633, -0.14456965029239655, -0.13964463770389557, -0.1347196251153946, -0.1297946274280548, -0.12486961483955383, -0.11994460225105286, -0.11501958966255188, -0.1100945845246315, -0.10516957938671112, -0.10024456679821014, -0.09531955420970917, -0.09039454907178879, -0.08546954393386841, -0.08054453134536743, -0.07561951875686646, -0.07069451361894608, -0.0657695084810257, -0.06084449589252472, -0.05591948702931404, -0.05099447816610336, -0.046069469302892685, -0.04114446043968201, -0.03621945157647133, -0.03129444271326065, -0.026369433850049973, -0.021444424986839294, -0.016519416123628616, -0.011594407260417938, -0.00666939839720726, -0.001744389533996582, 0.003180619329214096, 0.008105628192424774, 0.013030637055635452, 0.01795564591884613, 0.02288065478205681, 0.027805663645267487, 0.032730672508478165, 0.03765568137168884, 0.04258069023489952, 0.0475056990981102, 0.05243070796132088, 0.057355716824531555, 0.06228072568774223, 0.06720573455095291, 0.07213073968887329, 0.07705575227737427, 0.08198076486587524, 0.08690577000379562, 0.091830775141716, 0.09675578773021698, 0.10168080031871796, 0.10660580545663834, 0.11153081059455872, 0.11645582318305969, 0.12138083577156067, 0.12630584836006165, 0.13123084604740143, 0.1361558586359024, 0.14108087122440338, 0.14600586891174316, 0.15093088150024414, 0.15585589408874512]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 5.0, 3.0, 2.0, 1.0, 7.0, 7.0, 5.0, 11.0, 13.0, 14.0, 20.0, 19.0, 27.0, 25.0, 24.0, 33.0, 32.0, 45.0, 43.0, 40.0, 49.0, 34.0, 59.0, 49.0, 42.0, 45.0, 35.0, 49.0, 41.0, 42.0, 31.0, 31.0, 28.0, 17.0, 20.0, 19.0, 13.0, 11.0, 6.0, 4.0, 4.0, 6.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0225372314453125, -0.021727561950683594, -0.020917892456054688, -0.02010822296142578, -0.019298553466796875, -0.01848888397216797, -0.017679214477539062, -0.016869544982910156, -0.01605987548828125, -0.015250205993652344, -0.014440536499023438, -0.013630867004394531, -0.012821197509765625, -0.012011528015136719, -0.011201858520507812, -0.010392189025878906, -0.00958251953125, -0.008772850036621094, -0.007963180541992188, -0.007153511047363281, -0.006343841552734375, -0.005534172058105469, -0.0047245025634765625, -0.003914833068847656, -0.00310516357421875, -0.0022954940795898438, -0.0014858245849609375, -0.0006761550903320312, 0.000133514404296875, 0.0009431838989257812, 0.0017528533935546875, 0.0025625228881835938, 0.0033721923828125, 0.004181861877441406, 0.0049915313720703125, 0.005801200866699219, 0.006610870361328125, 0.007420539855957031, 0.008230209350585938, 0.009039878845214844, 0.00984954833984375, 0.010659217834472656, 0.011468887329101562, 0.012278556823730469, 0.013088226318359375, 0.013897895812988281, 0.014707565307617188, 0.015517234802246094, 0.016326904296875, 0.017136573791503906, 0.017946243286132812, 0.01875591278076172, 0.019565582275390625, 0.02037525177001953, 0.021184921264648438, 0.021994590759277344, 0.02280426025390625, 0.023613929748535156, 0.024423599243164062, 0.02523326873779297, 0.026042938232421875, 0.02685260772705078, 0.027662277221679688, 0.028471946716308594, 0.0292816162109375]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 0.0, 2.0, 3.0, 8.0, 9.0, 9.0, 20.0, 26.0, 35.0, 61.0, 84.0, 140.0, 225.0, 287.0, 506.0, 773.0, 1182.0, 1949.0, 2903.0, 4755.0, 7443.0, 11949.0, 19833.0, 34532.0, 61108.0, 111984.0, 301154.0, 242622.0, 105094.0, 56974.0, 32481.0, 19186.0, 11613.0, 7317.0, 4492.0, 2876.0, 1777.0, 1129.0, 708.0, 453.0, 299.0, 180.0, 122.0, 77.0, 63.0, 40.0, 23.0, 19.0, 13.0, 8.0, 4.0, 10.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00022590160369873047, -0.000218098983168602, -0.0002102963626384735, -0.00020249374210834503, -0.00019469112157821655, -0.00018688850104808807, -0.0001790858805179596, -0.00017128325998783112, -0.00016348063945770264, -0.00015567801892757416, -0.00014787539839744568, -0.0001400727778673172, -0.00013227015733718872, -0.00012446753680706024, -0.00011666491627693176, -0.00010886229574680328, -0.0001010596752166748, -9.325705468654633e-05, -8.545443415641785e-05, -7.765181362628937e-05, -6.984919309616089e-05, -6.204657256603241e-05, -5.424395203590393e-05, -4.644133150577545e-05, -3.863871097564697e-05, -3.0836090445518494e-05, -2.3033469915390015e-05, -1.5230849385261536e-05, -7.428228855133057e-06, 3.7439167499542236e-07, 8.177012205123901e-06, 1.597963273525238e-05, 2.378225326538086e-05, 3.158487379550934e-05, 3.938749432563782e-05, 4.7190114855766296e-05, 5.4992735385894775e-05, 6.279535591602325e-05, 7.059797644615173e-05, 7.840059697628021e-05, 8.620321750640869e-05, 9.400583803653717e-05, 0.00010180845856666565, 0.00010961107909679413, 0.00011741369962692261, 0.00012521632015705109, 0.00013301894068717957, 0.00014082156121730804, 0.00014862418174743652, 0.000156426802277565, 0.00016422942280769348, 0.00017203204333782196, 0.00017983466386795044, 0.00018763728439807892, 0.0001954399049282074, 0.00020324252545833588, 0.00021104514598846436, 0.00021884776651859283, 0.0002266503870487213, 0.0002344530075788498, 0.00024225562810897827, 0.00025005824863910675, 0.00025786086916923523, 0.0002656634896993637, 0.0002734661102294922]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 5.0, 3.0, 2.0, 4.0, 2.0, 3.0, 7.0, 5.0, 9.0, 15.0, 9.0, 11.0, 16.0, 13.0, 25.0, 25.0, 24.0, 28.0, 25.0, 30.0, 33.0, 29.0, 21.0, 35.0, 35.0, 29.0, 1061.0, 34.0, 36.0, 37.0, 46.0, 33.0, 40.0, 25.0, 19.0, 28.0, 29.0, 31.0, 25.0, 27.0, 22.0, 17.0, 10.0, 15.0, 13.0, 8.0, 6.0, 7.0, 8.0, 5.0, 6.0, 2.0, 3.0, 2.0, 3.0, 1.0, 1.0], "bins": [-0.0212860107421875, -0.020658254623413086, -0.020030498504638672, -0.019402742385864258, -0.018774986267089844, -0.01814723014831543, -0.017519474029541016, -0.0168917179107666, -0.016263961791992188, -0.015636205673217773, -0.01500844955444336, -0.014380693435668945, -0.013752937316894531, -0.013125181198120117, -0.012497425079345703, -0.011869668960571289, -0.011241912841796875, -0.010614156723022461, -0.009986400604248047, -0.009358644485473633, -0.008730888366699219, -0.008103132247924805, -0.007475376129150391, -0.0068476200103759766, -0.0062198638916015625, -0.0055921077728271484, -0.004964351654052734, -0.00433659553527832, -0.0037088394165039062, -0.003081083297729492, -0.002453327178955078, -0.001825571060180664, -0.00119781494140625, -0.0005700588226318359, 5.7697296142578125e-05, 0.0006854534149169922, 0.0013132095336914062, 0.0019409656524658203, 0.0025687217712402344, 0.0031964778900146484, 0.0038242340087890625, 0.0044519901275634766, 0.005079746246337891, 0.005707502365112305, 0.006335258483886719, 0.006963014602661133, 0.007590770721435547, 0.008218526840209961, 0.008846282958984375, 0.009474039077758789, 0.010101795196533203, 0.010729551315307617, 0.011357307434082031, 0.011985063552856445, 0.01261281967163086, 0.013240575790405273, 0.013868331909179688, 0.014496088027954102, 0.015123844146728516, 0.01575160026550293, 0.016379356384277344, 0.017007112503051758, 0.017634868621826172, 0.018262624740600586, 0.018890380859375]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.weight": {"_type": "histogram", "values": [4.0, 0.0, 2.0, 1.0, 5.0, 6.0, 4.0, 4.0, 9.0, 8.0, 6.0, 14.0, 6.0, 19.0, 10.0, 20.0, 23.0, 30.0, 23.0, 41.0, 29.0, 39.0, 45.0, 72.0, 127.0, 173.0, 455.0, 1385.0, 7477.0, 2048297.0, 34215.0, 2868.0, 834.0, 325.0, 133.0, 92.0, 57.0, 45.0, 29.0, 41.0, 25.0, 25.0, 21.0, 12.0, 16.0, 12.0, 13.0, 10.0, 11.0, 3.0, 7.0, 3.0, 2.0, 4.0, 1.0, 5.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3232231140136719e-05, -1.2787990272045135e-05, -1.2343749403953552e-05, -1.1899508535861969e-05, -1.1455267667770386e-05, -1.1011026799678802e-05, -1.056678593158722e-05, -1.0122545063495636e-05, -9.678304195404053e-06, -9.23406332731247e-06, -8.789822459220886e-06, -8.345581591129303e-06, -7.90134072303772e-06, -7.4570998549461365e-06, -7.012858986854553e-06, -6.56861811876297e-06, -6.124377250671387e-06, -5.6801363825798035e-06, -5.23589551448822e-06, -4.791654646396637e-06, -4.347413778305054e-06, -3.9031729102134705e-06, -3.458932042121887e-06, -3.014691174030304e-06, -2.5704503059387207e-06, -2.1262094378471375e-06, -1.6819685697555542e-06, -1.237727701663971e-06, -7.934868335723877e-07, -3.4924596548080444e-07, 9.499490261077881e-08, 5.392357707023621e-07, 9.834766387939453e-07, 1.4277175068855286e-06, 1.8719583749771118e-06, 2.316199243068695e-06, 2.7604401111602783e-06, 3.2046809792518616e-06, 3.648921847343445e-06, 4.093162715435028e-06, 4.537403583526611e-06, 4.981644451618195e-06, 5.425885319709778e-06, 5.870126187801361e-06, 6.314367055892944e-06, 6.758607923984528e-06, 7.202848792076111e-06, 7.647089660167694e-06, 8.091330528259277e-06, 8.53557139635086e-06, 8.979812264442444e-06, 9.424053132534027e-06, 9.86829400062561e-06, 1.0312534868717194e-05, 1.0756775736808777e-05, 1.120101660490036e-05, 1.1645257472991943e-05, 1.2089498341083527e-05, 1.253373920917511e-05, 1.2977980077266693e-05, 1.3422220945358276e-05, 1.386646181344986e-05, 1.4310702681541443e-05, 1.4754943549633026e-05, 1.519918441772461e-05]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 5.0, 3.0, 2.0, 1.0, 7.0, 7.0, 5.0, 11.0, 13.0, 14.0, 20.0, 19.0, 27.0, 25.0, 24.0, 33.0, 32.0, 45.0, 43.0, 40.0, 49.0, 34.0, 59.0, 49.0, 42.0, 45.0, 35.0, 49.0, 41.0, 42.0, 31.0, 31.0, 28.0, 17.0, 20.0, 19.0, 13.0, 11.0, 6.0, 4.0, 4.0, 6.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0225372314453125, -0.021727561950683594, -0.020917892456054688, -0.02010822296142578, -0.019298553466796875, -0.01848888397216797, -0.017679214477539062, -0.016869544982910156, -0.01605987548828125, -0.015250205993652344, -0.014440536499023438, -0.013630867004394531, -0.012821197509765625, -0.012011528015136719, -0.011201858520507812, -0.010392189025878906, -0.00958251953125, -0.008772850036621094, -0.007963180541992188, -0.007153511047363281, -0.006343841552734375, -0.005534172058105469, -0.0047245025634765625, -0.003914833068847656, -0.00310516357421875, -0.0022954940795898438, -0.0014858245849609375, -0.0006761550903320312, 0.000133514404296875, 0.0009431838989257812, 0.0017528533935546875, 0.0025625228881835938, 0.0033721923828125, 0.004181861877441406, 0.0049915313720703125, 0.005801200866699219, 0.006610870361328125, 0.007420539855957031, 0.008230209350585938, 0.009039878845214844, 0.00984954833984375, 0.010659217834472656, 0.011468887329101562, 0.012278556823730469, 0.013088226318359375, 0.013897895812988281, 0.014707565307617188, 0.015517234802246094, 0.016326904296875, 0.017136573791503906, 0.017946243286132812, 0.01875591278076172, 0.019565582275390625, 0.02037525177001953, 0.021184921264648438, 0.021994590759277344, 0.02280426025390625, 0.023613929748535156, 0.024423599243164062, 0.02523326873779297, 0.026042938232421875, 0.02685260772705078, 0.027662277221679688, 0.028471946716308594, 0.0292816162109375]}, "gradients/decoder.transformer.h.5.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 5.0, 5.0, 6.0, 6.0, 12.0, 17.0, 33.0, 52.0, 97.0, 120.0, 217.0, 349.0, 586.0, 881.0, 1400.0, 2267.0, 3671.0, 5882.0, 9410.0, 14572.0, 23452.0, 37559.0, 60595.0, 104537.0, 203326.0, 258708.0, 129065.0, 73241.0, 44151.0, 27423.0, 17286.0, 10925.0, 7074.0, 4369.0, 2715.0, 1668.0, 1055.0, 696.0, 413.0, 259.0, 166.0, 96.0, 93.0, 29.0, 34.0, 17.0, 10.0, 8.0, 5.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.03326416015625, -0.032230377197265625, -0.03119659423828125, -0.030162811279296875, -0.0291290283203125, -0.028095245361328125, -0.02706146240234375, -0.026027679443359375, -0.024993896484375, -0.023960113525390625, -0.02292633056640625, -0.021892547607421875, -0.0208587646484375, -0.019824981689453125, -0.01879119873046875, -0.017757415771484375, -0.0167236328125, -0.015689849853515625, -0.01465606689453125, -0.013622283935546875, -0.0125885009765625, -0.011554718017578125, -0.01052093505859375, -0.009487152099609375, -0.008453369140625, -0.007419586181640625, -0.00638580322265625, -0.005352020263671875, -0.0043182373046875, -0.003284454345703125, -0.00225067138671875, -0.001216888427734375, -0.00018310546875, 0.000850677490234375, 0.00188446044921875, 0.002918243408203125, 0.0039520263671875, 0.004985809326171875, 0.00601959228515625, 0.007053375244140625, 0.008087158203125, 0.009120941162109375, 0.01015472412109375, 0.011188507080078125, 0.0122222900390625, 0.013256072998046875, 0.01428985595703125, 0.015323638916015625, 0.016357421875, 0.017391204833984375, 0.01842498779296875, 0.019458770751953125, 0.0204925537109375, 0.021526336669921875, 0.02256011962890625, 0.023593902587890625, 0.024627685546875, 0.025661468505859375, 0.02669525146484375, 0.027729034423828125, 0.0287628173828125, 0.029796600341796875, 0.03083038330078125, 0.031864166259765625, 0.03289794921875]}, "gradients/decoder.transformer.h.5.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 0.0, 2.0, 4.0, 2.0, 7.0, 8.0, 7.0, 14.0, 7.0, 8.0, 19.0, 13.0, 14.0, 24.0, 24.0, 24.0, 23.0, 30.0, 41.0, 47.0, 50.0, 65.0, 85.0, 113.0, 124.0, 164.0, 1263.0, 168.0, 128.0, 104.0, 76.0, 61.0, 55.0, 36.0, 37.0, 33.0, 29.0, 22.0, 26.0, 15.0, 18.0, 12.0, 11.0, 9.0, 5.0, 8.0, 4.0, 2.0, 4.0, 4.0, 2.0, 6.0, 5.0, 1.0, 1.0], "bins": [-0.0643310546875, -0.0625147819519043, -0.060698509216308594, -0.05888223648071289, -0.05706596374511719, -0.055249691009521484, -0.05343341827392578, -0.05161714553833008, -0.049800872802734375, -0.04798460006713867, -0.04616832733154297, -0.044352054595947266, -0.04253578186035156, -0.04071950912475586, -0.038903236389160156, -0.03708696365356445, -0.03527069091796875, -0.03345441818237305, -0.031638145446777344, -0.02982187271118164, -0.028005599975585938, -0.026189327239990234, -0.02437305450439453, -0.022556781768798828, -0.020740509033203125, -0.018924236297607422, -0.01710796356201172, -0.015291690826416016, -0.013475418090820312, -0.01165914535522461, -0.009842872619628906, -0.008026599884033203, -0.0062103271484375, -0.004394054412841797, -0.0025777816772460938, -0.0007615089416503906, 0.0010547637939453125, 0.0028710365295410156, 0.004687309265136719, 0.006503582000732422, 0.008319854736328125, 0.010136127471923828, 0.011952400207519531, 0.013768672943115234, 0.015584945678710938, 0.01740121841430664, 0.019217491149902344, 0.021033763885498047, 0.02285003662109375, 0.024666309356689453, 0.026482582092285156, 0.02829885482788086, 0.030115127563476562, 0.031931400299072266, 0.03374767303466797, 0.03556394577026367, 0.037380218505859375, 0.03919649124145508, 0.04101276397705078, 0.042829036712646484, 0.04464530944824219, 0.04646158218383789, 0.048277854919433594, 0.0500941276550293, 0.051910400390625]}, "gradients/decoder.transformer.h.5.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 1.0, 2.0, 7.0, 4.0, 4.0, 10.0, 6.0, 9.0, 17.0, 24.0, 33.0, 37.0, 51.0, 57.0, 92.0, 162.0, 224.0, 432.0, 919.0, 1963.0, 4622.0, 11390.0, 29173.0, 78469.0, 241834.0, 1126647.0, 1258717.0, 256691.0, 82422.0, 30613.0, 11991.0, 4786.0, 2120.0, 888.0, 451.0, 274.0, 160.0, 113.0, 71.0, 49.0, 34.0, 26.0, 31.0, 17.0, 17.0, 17.0, 12.0, 7.0, 9.0, 6.0, 1.0, 1.0, 3.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.052154541015625, -0.050417423248291016, -0.04868030548095703, -0.04694318771362305, -0.04520606994628906, -0.04346895217895508, -0.041731834411621094, -0.03999471664428711, -0.038257598876953125, -0.03652048110961914, -0.034783363342285156, -0.03304624557495117, -0.03130912780761719, -0.029572010040283203, -0.02783489227294922, -0.026097774505615234, -0.02436065673828125, -0.022623538970947266, -0.02088642120361328, -0.019149303436279297, -0.017412185668945312, -0.015675067901611328, -0.013937950134277344, -0.01220083236694336, -0.010463714599609375, -0.00872659683227539, -0.006989479064941406, -0.005252361297607422, -0.0035152435302734375, -0.0017781257629394531, -4.100799560546875e-05, 0.0016961097717285156, 0.0034332275390625, 0.005170345306396484, 0.006907463073730469, 0.008644580841064453, 0.010381698608398438, 0.012118816375732422, 0.013855934143066406, 0.01559305191040039, 0.017330169677734375, 0.01906728744506836, 0.020804405212402344, 0.022541522979736328, 0.024278640747070312, 0.026015758514404297, 0.02775287628173828, 0.029489994049072266, 0.03122711181640625, 0.032964229583740234, 0.03470134735107422, 0.0364384651184082, 0.03817558288574219, 0.03991270065307617, 0.041649818420410156, 0.04338693618774414, 0.045124053955078125, 0.04686117172241211, 0.048598289489746094, 0.05033540725708008, 0.05207252502441406, 0.05380964279174805, 0.05554676055908203, 0.057283878326416016, 0.05902099609375]}, "gradients/decoder.transformer.h.5.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 13.0, 28.0, 65.0, 120.0, 197.0, 189.0, 170.0, 131.0, 64.0, 18.0, 11.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.42818084359169006, -0.41498836874961853, -0.401795893907547, -0.38860341906547546, -0.3754109740257263, -0.3622184991836548, -0.34902602434158325, -0.3358335494995117, -0.3226410746574402, -0.30944859981536865, -0.2962561249732971, -0.2830636501312256, -0.26987117528915405, -0.2566787004470825, -0.24348625540733337, -0.23029378056526184, -0.2171013057231903, -0.20390883088111877, -0.19071635603904724, -0.1775238960981369, -0.16433142125606537, -0.15113894641399384, -0.1379464864730835, -0.12475401163101196, -0.11156153678894043, -0.0983690619468689, -0.08517659455537796, -0.07198412716388702, -0.05879165232181549, -0.04559917747974396, -0.03240671008825302, -0.019214242696762085, -0.0060217976570129395, 0.007170673459768295, 0.02036314457654953, 0.033555615693330765, 0.046748086810112, 0.05994056165218353, 0.07313302904367447, 0.0863254964351654, 0.09951797127723694, 0.11271044611930847, 0.12590292096138, 0.13909538090229034, 0.15228785574436188, 0.1654803305864334, 0.17867279052734375, 0.19186526536941528, 0.20505774021148682, 0.21825021505355835, 0.23144268989562988, 0.24463514983654022, 0.25782763957977295, 0.2710201144218445, 0.28421255946159363, 0.29740503430366516, 0.3105975091457367, 0.3237899839878082, 0.33698245882987976, 0.3501749336719513, 0.36336737871170044, 0.376559853553772, 0.3897523283958435, 0.40294480323791504, 0.4161372780799866]}, "gradients/decoder.transformer.h.5.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 5.0, 2.0, 6.0, 3.0, 5.0, 10.0, 6.0, 18.0, 8.0, 13.0, 15.0, 13.0, 8.0, 23.0, 23.0, 20.0, 29.0, 33.0, 31.0, 31.0, 38.0, 29.0, 39.0, 44.0, 43.0, 39.0, 32.0, 25.0, 39.0, 41.0, 32.0, 36.0, 34.0, 21.0, 23.0, 27.0, 21.0, 16.0, 23.0, 16.0, 19.0, 11.0, 14.0, 9.0, 8.0, 8.0, 5.0, 3.0, 2.0, 6.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.14689791202545166, -0.1417631059885025, -0.13662829995155334, -0.1314934939146042, -0.12635868787765503, -0.12122387439012527, -0.11608906090259552, -0.11095425486564636, -0.1058194488286972, -0.10068464279174805, -0.09554983675479889, -0.09041502326726913, -0.08528021723031998, -0.08014541119337082, -0.07501059770584106, -0.0698757916688919, -0.06474098563194275, -0.05960617959499359, -0.054471369832754135, -0.04933656007051468, -0.04420175403356552, -0.039066947996616364, -0.03393213823437691, -0.02879732847213745, -0.023662522435188293, -0.018527714535593987, -0.01339290663599968, -0.008258098736405373, -0.0031232908368110657, 0.0020115170627832413, 0.007146324962377548, 0.012281134724617004, 0.017415940761566162, 0.02255074866116047, 0.027685556560754776, 0.03282036632299423, 0.03795517235994339, 0.04308997839689255, 0.048224788159132004, 0.05335959792137146, 0.05849440395832062, 0.06362920999526978, 0.06876401603221893, 0.07389882951974869, 0.07903363555669785, 0.084168441593647, 0.08930325508117676, 0.09443806111812592, 0.09957286715507507, 0.10470767319202423, 0.10984247922897339, 0.11497729271650314, 0.1201120987534523, 0.12524691224098206, 0.1303817182779312, 0.13551652431488037, 0.14065133035182953, 0.1457861363887787, 0.15092094242572784, 0.156055748462677, 0.16119056940078735, 0.1663253754377365, 0.17146018147468567, 0.17659498751163483, 0.18172979354858398]}, "gradients/decoder.transformer.h.4.mlp.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 2.0, 3.0, 4.0, 4.0, 6.0, 7.0, 10.0, 13.0, 12.0, 15.0, 25.0, 19.0, 18.0, 14.0, 38.0, 40.0, 38.0, 35.0, 49.0, 36.0, 47.0, 41.0, 40.0, 43.0, 40.0, 47.0, 39.0, 31.0, 37.0, 37.0, 35.0, 39.0, 22.0, 25.0, 18.0, 20.0, 7.0, 11.0, 9.0, 9.0, 8.0, 10.0, 0.0, 4.0, 3.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0227203369140625, -0.021930694580078125, -0.02114105224609375, -0.020351409912109375, -0.019561767578125, -0.018772125244140625, -0.01798248291015625, -0.017192840576171875, -0.0164031982421875, -0.015613555908203125, -0.01482391357421875, -0.014034271240234375, -0.01324462890625, -0.012454986572265625, -0.01166534423828125, -0.010875701904296875, -0.0100860595703125, -0.009296417236328125, -0.00850677490234375, -0.007717132568359375, -0.006927490234375, -0.006137847900390625, -0.00534820556640625, -0.004558563232421875, -0.0037689208984375, -0.002979278564453125, -0.00218963623046875, -0.001399993896484375, -0.0006103515625, 0.000179290771484375, 0.00096893310546875, 0.001758575439453125, 0.0025482177734375, 0.003337860107421875, 0.00412750244140625, 0.004917144775390625, 0.005706787109375, 0.006496429443359375, 0.00728607177734375, 0.008075714111328125, 0.0088653564453125, 0.009654998779296875, 0.01044464111328125, 0.011234283447265625, 0.01202392578125, 0.012813568115234375, 0.01360321044921875, 0.014392852783203125, 0.0151824951171875, 0.015972137451171875, 0.01676177978515625, 0.017551422119140625, 0.018341064453125, 0.019130706787109375, 0.01992034912109375, 0.020709991455078125, 0.0214996337890625, 0.022289276123046875, 0.02307891845703125, 0.023868560791015625, 0.024658203125, 0.025447845458984375, 0.02623748779296875, 0.027027130126953125, 0.0278167724609375]}, "gradients/decoder.transformer.h.4.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 4.0, 3.0, 6.0, 18.0, 22.0, 44.0, 92.0, 232.0, 620.0, 2530.0, 14715.0, 149695.0, 3428779.0, 554368.0, 36210.0, 5223.0, 1147.0, 322.0, 116.0, 63.0, 33.0, 15.0, 10.0, 7.0, 8.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.090576171875, -0.08620262145996094, -0.08182907104492188, -0.07745552062988281, -0.07308197021484375, -0.06870841979980469, -0.06433486938476562, -0.05996131896972656, -0.0555877685546875, -0.05121421813964844, -0.046840667724609375, -0.04246711730957031, -0.03809356689453125, -0.03372001647949219, -0.029346466064453125, -0.024972915649414062, -0.020599365234375, -0.016225814819335938, -0.011852264404296875, -0.0074787139892578125, -0.00310516357421875, 0.0012683868408203125, 0.005641937255859375, 0.010015487670898438, 0.0143890380859375, 0.018762588500976562, 0.023136138916015625, 0.027509689331054688, 0.03188323974609375, 0.03625679016113281, 0.040630340576171875, 0.04500389099121094, 0.04937744140625, 0.05375099182128906, 0.058124542236328125, 0.06249809265136719, 0.06687164306640625, 0.07124519348144531, 0.07561874389648438, 0.07999229431152344, 0.0843658447265625, 0.08873939514160156, 0.09311294555664062, 0.09748649597167969, 0.10186004638671875, 0.10623359680175781, 0.11060714721679688, 0.11498069763183594, 0.119354248046875, 0.12372779846191406, 0.12810134887695312, 0.1324748992919922, 0.13684844970703125, 0.1412220001220703, 0.14559555053710938, 0.14996910095214844, 0.1543426513671875, 0.15871620178222656, 0.16308975219726562, 0.1674633026123047, 0.17183685302734375, 0.1762104034423828, 0.18058395385742188, 0.18495750427246094, 0.1893310546875]}, "gradients/decoder.transformer.h.4.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 1.0, 3.0, 9.0, 7.0, 14.0, 12.0, 20.0, 24.0, 23.0, 25.0, 40.0, 64.0, 91.0, 106.0, 134.0, 180.0, 242.0, 293.0, 388.0, 581.0, 464.0, 342.0, 258.0, 149.0, 147.0, 90.0, 84.0, 62.0, 57.0, 38.0, 32.0, 18.0, 20.0, 15.0, 8.0, 12.0, 4.0, 6.0, 5.0, 4.0, 2.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0423583984375, -0.04109811782836914, -0.03983783721923828, -0.03857755661010742, -0.03731727600097656, -0.0360569953918457, -0.034796714782714844, -0.033536434173583984, -0.032276153564453125, -0.031015872955322266, -0.029755592346191406, -0.028495311737060547, -0.027235031127929688, -0.025974750518798828, -0.02471446990966797, -0.02345418930053711, -0.02219390869140625, -0.02093362808227539, -0.01967334747314453, -0.018413066864013672, -0.017152786254882812, -0.015892505645751953, -0.014632225036621094, -0.013371944427490234, -0.012111663818359375, -0.010851383209228516, -0.009591102600097656, -0.008330821990966797, -0.0070705413818359375, -0.005810260772705078, -0.004549980163574219, -0.0032896995544433594, -0.0020294189453125, -0.0007691383361816406, 0.0004911422729492188, 0.0017514228820800781, 0.0030117034912109375, 0.004271984100341797, 0.005532264709472656, 0.006792545318603516, 0.008052825927734375, 0.009313106536865234, 0.010573387145996094, 0.011833667755126953, 0.013093948364257812, 0.014354228973388672, 0.015614509582519531, 0.01687479019165039, 0.01813507080078125, 0.01939535140991211, 0.02065563201904297, 0.021915912628173828, 0.023176193237304688, 0.024436473846435547, 0.025696754455566406, 0.026957035064697266, 0.028217315673828125, 0.029477596282958984, 0.030737876892089844, 0.0319981575012207, 0.03325843811035156, 0.03451871871948242, 0.03577899932861328, 0.03703927993774414, 0.038299560546875]}, "gradients/decoder.transformer.h.4.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 2.0, 2.0, 4.0, 3.0, 6.0, 8.0, 10.0, 25.0, 32.0, 58.0, 61.0, 108.0, 181.0, 325.0, 611.0, 1338.0, 3210.0, 8760.0, 26555.0, 92816.0, 398955.0, 2395848.0, 1001041.0, 190316.0, 49628.0, 15042.0, 5321.0, 2041.0, 873.0, 462.0, 248.0, 130.0, 94.0, 57.0, 28.0, 23.0, 14.0, 14.0, 7.0, 7.0, 4.0, 6.0, 7.0, 3.0, 2.0, 2.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.06683349609375, -0.06458759307861328, -0.06234169006347656, -0.060095787048339844, -0.057849884033203125, -0.055603981018066406, -0.05335807800292969, -0.05111217498779297, -0.04886627197265625, -0.04662036895751953, -0.04437446594238281, -0.042128562927246094, -0.039882659912109375, -0.037636756896972656, -0.03539085388183594, -0.03314495086669922, -0.0308990478515625, -0.02865314483642578, -0.026407241821289062, -0.024161338806152344, -0.021915435791015625, -0.019669532775878906, -0.017423629760742188, -0.015177726745605469, -0.01293182373046875, -0.010685920715332031, -0.008440017700195312, -0.006194114685058594, -0.003948211669921875, -0.0017023086547851562, 0.0005435943603515625, 0.0027894973754882812, 0.005035400390625, 0.007281303405761719, 0.009527206420898438, 0.011773109436035156, 0.014019012451171875, 0.016264915466308594, 0.018510818481445312, 0.02075672149658203, 0.02300262451171875, 0.02524852752685547, 0.027494430541992188, 0.029740333557128906, 0.031986236572265625, 0.034232139587402344, 0.03647804260253906, 0.03872394561767578, 0.0409698486328125, 0.04321575164794922, 0.04546165466308594, 0.047707557678222656, 0.049953460693359375, 0.052199363708496094, 0.05444526672363281, 0.05669116973876953, 0.05893707275390625, 0.06118297576904297, 0.06342887878417969, 0.0656747817993164, 0.06792068481445312, 0.07016658782958984, 0.07241249084472656, 0.07465839385986328, 0.076904296875]}, "gradients/decoder.transformer.h.4.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 6.0, 6.0, 10.0, 16.0, 36.0, 51.0, 85.0, 106.0, 142.0, 134.0, 140.0, 106.0, 75.0, 49.0, 24.0, 11.0, 7.0, 10.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.4116586446762085, -0.4021742045879364, -0.3926897644996643, -0.3832053244113922, -0.3737208843231201, -0.364236444234848, -0.3547520041465759, -0.34526756405830383, -0.33578312397003174, -0.32629868388175964, -0.31681424379348755, -0.30732980370521545, -0.29784536361694336, -0.28836092352867126, -0.27887648344039917, -0.2693920433521271, -0.259907603263855, -0.2504231631755829, -0.2409387230873108, -0.2314542829990387, -0.2219698429107666, -0.2124854028224945, -0.2030009627342224, -0.19351652264595032, -0.18403208255767822, -0.17454764246940613, -0.16506320238113403, -0.15557876229286194, -0.14609432220458984, -0.13660988211631775, -0.12712544202804565, -0.11764100193977356, -0.10815657675266266, -0.09867213666439056, -0.08918769657611847, -0.07970325648784637, -0.07021881639957428, -0.060734376311302185, -0.05124993622303009, -0.041765496134757996, -0.0322810560464859, -0.022796615958213806, -0.013312175869941711, -0.0038277357816696167, 0.005656704306602478, 0.015141144394874573, 0.024625584483146667, 0.03411002457141876, 0.04359446465969086, 0.05307890474796295, 0.06256334483623505, 0.07204778492450714, 0.08153222501277924, 0.09101666510105133, 0.10050110518932343, 0.10998554527759552, 0.11946998536586761, 0.1289544254541397, 0.1384388655424118, 0.1479233056306839, 0.157407745718956, 0.1668921858072281, 0.17637662589550018, 0.18586106598377228, 0.19534550607204437]}, "gradients/decoder.transformer.h.4.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 2.0, 7.0, 7.0, 4.0, 7.0, 6.0, 10.0, 9.0, 8.0, 22.0, 12.0, 19.0, 29.0, 29.0, 31.0, 19.0, 31.0, 29.0, 29.0, 35.0, 46.0, 38.0, 33.0, 42.0, 35.0, 44.0, 37.0, 42.0, 35.0, 33.0, 30.0, 40.0, 29.0, 18.0, 19.0, 17.0, 26.0, 16.0, 15.0, 15.0, 10.0, 8.0, 7.0, 9.0, 5.0, 2.0, 4.0, 4.0, 1.0, 4.0, 0.0, 1.0, 3.0, 1.0], "bins": [-0.15386080741882324, -0.149353489279747, -0.14484617114067078, -0.14033885300159454, -0.1358315348625183, -0.13132423162460327, -0.12681691348552704, -0.1223095953464508, -0.11780227720737457, -0.11329495906829834, -0.1087876409292221, -0.10428033024072647, -0.09977301210165024, -0.095265693962574, -0.09075838327407837, -0.08625106513500214, -0.0817437469959259, -0.07723642885684967, -0.07272911071777344, -0.0682218000292778, -0.06371448189020157, -0.059207163751125336, -0.0546998493373394, -0.05019253492355347, -0.045685216784477234, -0.041177898645401, -0.036670584231615067, -0.03216326981782913, -0.0276559516787529, -0.023148635402321815, -0.018641319125890732, -0.014134004712104797, -0.009626686573028564, -0.005119370296597481, -0.0006120540201663971, 0.0038952622562646866, 0.00840257853269577, 0.012909894809126854, 0.017417211085557938, 0.021924525499343872, 0.026431843638420105, 0.03093915991485119, 0.03544647619128227, 0.03995379060506821, 0.04446110874414444, 0.04896842688322067, 0.05347574129700661, 0.05798305571079254, 0.062490373849868774, 0.06699769198894501, 0.07150501012802124, 0.07601232081651688, 0.08051963895559311, 0.08502695709466934, 0.08953426778316498, 0.09404158592224121, 0.09854890406131744, 0.10305622220039368, 0.10756354033946991, 0.11207085102796555, 0.11657816916704178, 0.12108548730611801, 0.12559279799461365, 0.13010011613368988, 0.1346074342727661]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 6.0, 5.0, 5.0, 9.0, 11.0, 18.0, 12.0, 18.0, 19.0, 26.0, 22.0, 38.0, 36.0, 41.0, 46.0, 44.0, 46.0, 45.0, 43.0, 42.0, 37.0, 47.0, 46.0, 49.0, 44.0, 46.0, 35.0, 21.0, 28.0, 28.0, 20.0, 19.0, 10.0, 12.0, 9.0, 9.0, 3.0, 4.0, 5.0, 1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0275115966796875, -0.02660655975341797, -0.025701522827148438, -0.024796485900878906, -0.023891448974609375, -0.022986412048339844, -0.022081375122070312, -0.02117633819580078, -0.02027130126953125, -0.01936626434326172, -0.018461227416992188, -0.017556190490722656, -0.016651153564453125, -0.015746116638183594, -0.014841079711914062, -0.013936042785644531, -0.013031005859375, -0.012125968933105469, -0.011220932006835938, -0.010315895080566406, -0.009410858154296875, -0.008505821228027344, -0.0076007843017578125, -0.006695747375488281, -0.00579071044921875, -0.004885673522949219, -0.0039806365966796875, -0.0030755996704101562, -0.002170562744140625, -0.0012655258178710938, -0.0003604888916015625, 0.0005445480346679688, 0.0014495849609375, 0.0023546218872070312, 0.0032596588134765625, 0.004164695739746094, 0.005069732666015625, 0.005974769592285156, 0.0068798065185546875, 0.007784843444824219, 0.00868988037109375, 0.009594917297363281, 0.010499954223632812, 0.011404991149902344, 0.012310028076171875, 0.013215065002441406, 0.014120101928710938, 0.015025138854980469, 0.01593017578125, 0.01683521270751953, 0.017740249633789062, 0.018645286560058594, 0.019550323486328125, 0.020455360412597656, 0.021360397338867188, 0.02226543426513672, 0.02317047119140625, 0.02407550811767578, 0.024980545043945312, 0.025885581970214844, 0.026790618896484375, 0.027695655822753906, 0.028600692749023438, 0.02950572967529297, 0.0304107666015625]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 2.0, 1.0, 3.0, 2.0, 11.0, 9.0, 17.0, 17.0, 29.0, 41.0, 50.0, 76.0, 112.0, 170.0, 236.0, 362.0, 590.0, 804.0, 1321.0, 2128.0, 3179.0, 5218.0, 8289.0, 13129.0, 22334.0, 37715.0, 67069.0, 125217.0, 310277.0, 212016.0, 100996.0, 55826.0, 31751.0, 18815.0, 11294.0, 7096.0, 4327.0, 2842.0, 1793.0, 1161.0, 747.0, 485.0, 342.0, 218.0, 137.0, 95.0, 75.0, 46.0, 27.0, 23.0, 14.0, 14.0, 6.0, 5.0, 3.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0002589225769042969, -0.0002507902681827545, -0.00024265795946121216, -0.0002345256507396698, -0.00022639334201812744, -0.00021826103329658508, -0.00021012872457504272, -0.00020199641585350037, -0.000193864107131958, -0.00018573179841041565, -0.0001775994896888733, -0.00016946718096733093, -0.00016133487224578857, -0.00015320256352424622, -0.00014507025480270386, -0.0001369379460811615, -0.00012880563735961914, -0.00012067332863807678, -0.00011254101991653442, -0.00010440871119499207, -9.627640247344971e-05, -8.814409375190735e-05, -8.001178503036499e-05, -7.187947630882263e-05, -6.374716758728027e-05, -5.5614858865737915e-05, -4.748255014419556e-05, -3.93502414226532e-05, -3.121793270111084e-05, -2.308562397956848e-05, -1.4953315258026123e-05, -6.821006536483765e-06, 1.3113021850585938e-06, 9.443610906600952e-06, 1.757591962814331e-05, 2.570822834968567e-05, 3.384053707122803e-05, 4.1972845792770386e-05, 5.0105154514312744e-05, 5.82374632358551e-05, 6.636977195739746e-05, 7.450208067893982e-05, 8.263438940048218e-05, 9.076669812202454e-05, 9.88990068435669e-05, 0.00010703131556510925, 0.00011516362428665161, 0.00012329593300819397, 0.00013142824172973633, 0.0001395605504512787, 0.00014769285917282104, 0.0001558251678943634, 0.00016395747661590576, 0.00017208978533744812, 0.00018022209405899048, 0.00018835440278053284, 0.0001964867115020752, 0.00020461902022361755, 0.0002127513289451599, 0.00022088363766670227, 0.00022901594638824463, 0.000237148255109787, 0.00024528056383132935, 0.0002534128725528717, 0.00026154518127441406]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 5.0, 5.0, 5.0, 8.0, 7.0, 13.0, 15.0, 16.0, 11.0, 34.0, 24.0, 23.0, 25.0, 32.0, 29.0, 41.0, 35.0, 30.0, 26.0, 49.0, 40.0, 1063.0, 32.0, 26.0, 46.0, 35.0, 35.0, 42.0, 27.0, 25.0, 34.0, 30.0, 28.0, 22.0, 21.0, 14.0, 13.0, 18.0, 13.0, 9.0, 6.0, 2.0, 5.0, 5.0, 3.0, 4.0, 3.0, 2.0, 2.0, 2.0], "bins": [-0.030059814453125, -0.029216289520263672, -0.028372764587402344, -0.027529239654541016, -0.026685714721679688, -0.02584218978881836, -0.02499866485595703, -0.024155139923095703, -0.023311614990234375, -0.022468090057373047, -0.02162456512451172, -0.02078104019165039, -0.019937515258789062, -0.019093990325927734, -0.018250465393066406, -0.017406940460205078, -0.01656341552734375, -0.015719890594482422, -0.014876365661621094, -0.014032840728759766, -0.013189315795898438, -0.01234579086303711, -0.011502265930175781, -0.010658740997314453, -0.009815216064453125, -0.008971691131591797, -0.008128166198730469, -0.007284641265869141, -0.0064411163330078125, -0.005597591400146484, -0.004754066467285156, -0.003910541534423828, -0.0030670166015625, -0.002223491668701172, -0.0013799667358398438, -0.0005364418029785156, 0.0003070831298828125, 0.0011506080627441406, 0.0019941329956054688, 0.002837657928466797, 0.003681182861328125, 0.004524707794189453, 0.005368232727050781, 0.006211757659912109, 0.0070552825927734375, 0.007898807525634766, 0.008742332458496094, 0.009585857391357422, 0.01042938232421875, 0.011272907257080078, 0.012116432189941406, 0.012959957122802734, 0.013803482055664062, 0.01464700698852539, 0.015490531921386719, 0.016334056854248047, 0.017177581787109375, 0.018021106719970703, 0.01886463165283203, 0.01970815658569336, 0.020551681518554688, 0.021395206451416016, 0.022238731384277344, 0.023082256317138672, 0.02392578125]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 3.0, 2.0, 5.0, 3.0, 4.0, 5.0, 4.0, 8.0, 11.0, 21.0, 12.0, 12.0, 18.0, 27.0, 24.0, 30.0, 38.0, 49.0, 29.0, 74.0, 104.0, 160.0, 389.0, 1570.0, 8047.0, 2065457.0, 17804.0, 2020.0, 502.0, 229.0, 102.0, 89.0, 46.0, 44.0, 26.0, 27.0, 24.0, 32.0, 16.0, 13.0, 13.0, 15.0, 7.0, 9.0, 6.0, 3.0, 6.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7642974853515625e-05, -1.7026439309120178e-05, -1.640990376472473e-05, -1.5793368220329285e-05, -1.5176832675933838e-05, -1.4560297131538391e-05, -1.3943761587142944e-05, -1.3327226042747498e-05, -1.271069049835205e-05, -1.2094154953956604e-05, -1.1477619409561157e-05, -1.086108386516571e-05, -1.0244548320770264e-05, -9.628012776374817e-06, -9.01147723197937e-06, -8.394941687583923e-06, -7.778406143188477e-06, -7.16187059879303e-06, -6.545335054397583e-06, -5.928799510002136e-06, -5.3122639656066895e-06, -4.695728421211243e-06, -4.079192876815796e-06, -3.462657332420349e-06, -2.8461217880249023e-06, -2.2295862436294556e-06, -1.6130506992340088e-06, -9.96515154838562e-07, -3.7997961044311523e-07, 2.3655593395233154e-07, 8.530914783477783e-07, 1.469627022743225e-06, 2.086162567138672e-06, 2.7026981115341187e-06, 3.3192336559295654e-06, 3.935769200325012e-06, 4.552304744720459e-06, 5.168840289115906e-06, 5.7853758335113525e-06, 6.401911377906799e-06, 7.018446922302246e-06, 7.634982466697693e-06, 8.25151801109314e-06, 8.868053555488586e-06, 9.484589099884033e-06, 1.010112464427948e-05, 1.0717660188674927e-05, 1.1334195733070374e-05, 1.195073127746582e-05, 1.2567266821861267e-05, 1.3183802366256714e-05, 1.380033791065216e-05, 1.4416873455047607e-05, 1.5033408999443054e-05, 1.56499445438385e-05, 1.6266480088233948e-05, 1.6883015632629395e-05, 1.749955117702484e-05, 1.8116086721420288e-05, 1.8732622265815735e-05, 1.934915781021118e-05, 1.996569335460663e-05, 2.0582228899002075e-05, 2.1198764443397522e-05, 2.181529998779297e-05]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 6.0, 5.0, 5.0, 9.0, 11.0, 18.0, 12.0, 18.0, 19.0, 26.0, 22.0, 38.0, 36.0, 41.0, 46.0, 44.0, 46.0, 45.0, 43.0, 42.0, 37.0, 47.0, 46.0, 49.0, 44.0, 46.0, 35.0, 21.0, 28.0, 28.0, 20.0, 19.0, 10.0, 12.0, 9.0, 9.0, 3.0, 4.0, 5.0, 1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0275115966796875, -0.02660655975341797, -0.025701522827148438, -0.024796485900878906, -0.023891448974609375, -0.022986412048339844, -0.022081375122070312, -0.02117633819580078, -0.02027130126953125, -0.01936626434326172, -0.018461227416992188, -0.017556190490722656, -0.016651153564453125, -0.015746116638183594, -0.014841079711914062, -0.013936042785644531, -0.013031005859375, -0.012125968933105469, -0.011220932006835938, -0.010315895080566406, -0.009410858154296875, -0.008505821228027344, -0.0076007843017578125, -0.006695747375488281, -0.00579071044921875, -0.004885673522949219, -0.0039806365966796875, -0.0030755996704101562, -0.002170562744140625, -0.0012655258178710938, -0.0003604888916015625, 0.0005445480346679688, 0.0014495849609375, 0.0023546218872070312, 0.0032596588134765625, 0.004164695739746094, 0.005069732666015625, 0.005974769592285156, 0.0068798065185546875, 0.007784843444824219, 0.00868988037109375, 0.009594917297363281, 0.010499954223632812, 0.011404991149902344, 0.012310028076171875, 0.013215065002441406, 0.014120101928710938, 0.015025138854980469, 0.01593017578125, 0.01683521270751953, 0.017740249633789062, 0.018645286560058594, 0.019550323486328125, 0.020455360412597656, 0.021360397338867188, 0.02226543426513672, 0.02317047119140625, 0.02407550811767578, 0.024980545043945312, 0.025885581970214844, 0.026790618896484375, 0.027695655822753906, 0.028600692749023438, 0.02950572967529297, 0.0304107666015625]}, "gradients/decoder.transformer.h.4.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 4.0, 5.0, 9.0, 13.0, 17.0, 39.0, 47.0, 68.0, 108.0, 171.0, 239.0, 468.0, 684.0, 1210.0, 1909.0, 3092.0, 4953.0, 7872.0, 12566.0, 19856.0, 31847.0, 51011.0, 81620.0, 160428.0, 326995.0, 140373.0, 75936.0, 47489.0, 29564.0, 18712.0, 11871.0, 7257.0, 4604.0, 2819.0, 1812.0, 1077.0, 708.0, 438.0, 265.0, 191.0, 76.0, 48.0, 41.0, 24.0, 9.0, 6.0, 2.0, 2.0, 3.0, 2.0, 5.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0360107421875, -0.03490018844604492, -0.033789634704589844, -0.032679080963134766, -0.03156852722167969, -0.03045797348022461, -0.02934741973876953, -0.028236865997314453, -0.027126312255859375, -0.026015758514404297, -0.02490520477294922, -0.02379465103149414, -0.022684097290039062, -0.021573543548583984, -0.020462989807128906, -0.019352436065673828, -0.01824188232421875, -0.017131328582763672, -0.016020774841308594, -0.014910221099853516, -0.013799667358398438, -0.01268911361694336, -0.011578559875488281, -0.010468006134033203, -0.009357452392578125, -0.008246898651123047, -0.007136344909667969, -0.006025791168212891, -0.0049152374267578125, -0.0038046836853027344, -0.0026941299438476562, -0.0015835762023925781, -0.0004730224609375, 0.0006375312805175781, 0.0017480850219726562, 0.0028586387634277344, 0.0039691925048828125, 0.005079746246337891, 0.006190299987792969, 0.007300853729248047, 0.008411407470703125, 0.009521961212158203, 0.010632514953613281, 0.01174306869506836, 0.012853622436523438, 0.013964176177978516, 0.015074729919433594, 0.016185283660888672, 0.01729583740234375, 0.018406391143798828, 0.019516944885253906, 0.020627498626708984, 0.021738052368164062, 0.02284860610961914, 0.02395915985107422, 0.025069713592529297, 0.026180267333984375, 0.027290821075439453, 0.02840137481689453, 0.02951192855834961, 0.030622482299804688, 0.031733036041259766, 0.032843589782714844, 0.03395414352416992, 0.035064697265625]}, "gradients/decoder.transformer.h.4.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 4.0, 3.0, 1.0, 5.0, 7.0, 9.0, 12.0, 10.0, 14.0, 18.0, 25.0, 22.0, 18.0, 24.0, 24.0, 31.0, 40.0, 42.0, 48.0, 69.0, 104.0, 150.0, 267.0, 1377.0, 183.0, 98.0, 68.0, 66.0, 53.0, 48.0, 44.0, 28.0, 29.0, 13.0, 18.0, 17.0, 11.0, 12.0, 15.0, 8.0, 6.0, 5.0, 7.0, 3.0, 2.0, 1.0, 1.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.07159423828125, -0.06937026977539062, -0.06714630126953125, -0.06492233276367188, -0.0626983642578125, -0.060474395751953125, -0.05825042724609375, -0.056026458740234375, -0.053802490234375, -0.051578521728515625, -0.04935455322265625, -0.047130584716796875, -0.0449066162109375, -0.042682647705078125, -0.04045867919921875, -0.038234710693359375, -0.0360107421875, -0.033786773681640625, -0.03156280517578125, -0.029338836669921875, -0.0271148681640625, -0.024890899658203125, -0.02266693115234375, -0.020442962646484375, -0.018218994140625, -0.015995025634765625, -0.01377105712890625, -0.011547088623046875, -0.0093231201171875, -0.007099151611328125, -0.00487518310546875, -0.002651214599609375, -0.00042724609375, 0.001796722412109375, 0.00402069091796875, 0.006244659423828125, 0.0084686279296875, 0.010692596435546875, 0.01291656494140625, 0.015140533447265625, 0.017364501953125, 0.019588470458984375, 0.02181243896484375, 0.024036407470703125, 0.0262603759765625, 0.028484344482421875, 0.03070831298828125, 0.032932281494140625, 0.03515625, 0.037380218505859375, 0.03960418701171875, 0.041828155517578125, 0.0440521240234375, 0.046276092529296875, 0.04850006103515625, 0.050724029541015625, 0.052947998046875, 0.055171966552734375, 0.05739593505859375, 0.059619903564453125, 0.0618438720703125, 0.06406784057617188, 0.06629180908203125, 0.06851577758789062, 0.07073974609375]}, "gradients/decoder.transformer.h.4.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 5.0, 5.0, 12.0, 9.0, 14.0, 27.0, 21.0, 27.0, 48.0, 56.0, 95.0, 124.0, 230.0, 327.0, 905.0, 2485.0, 8841.0, 35983.0, 196394.0, 2103911.0, 682739.0, 86711.0, 18793.0, 4984.0, 1466.0, 589.0, 305.0, 167.0, 120.0, 84.0, 44.0, 51.0, 37.0, 20.0, 21.0, 18.0, 12.0, 9.0, 4.0, 7.0, 3.0, 3.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.08221435546875, -0.0795431137084961, -0.07687187194824219, -0.07420063018798828, -0.07152938842773438, -0.06885814666748047, -0.06618690490722656, -0.06351566314697266, -0.06084442138671875, -0.058173179626464844, -0.05550193786621094, -0.05283069610595703, -0.050159454345703125, -0.04748821258544922, -0.04481697082519531, -0.042145729064941406, -0.0394744873046875, -0.036803245544433594, -0.03413200378417969, -0.03146076202392578, -0.028789520263671875, -0.02611827850341797, -0.023447036743164062, -0.020775794982910156, -0.01810455322265625, -0.015433311462402344, -0.012762069702148438, -0.010090827941894531, -0.007419586181640625, -0.004748344421386719, -0.0020771026611328125, 0.0005941390991210938, 0.003265380859375, 0.005936622619628906, 0.008607864379882812, 0.011279106140136719, 0.013950347900390625, 0.01662158966064453, 0.019292831420898438, 0.021964073181152344, 0.02463531494140625, 0.027306556701660156, 0.029977798461914062, 0.03264904022216797, 0.035320281982421875, 0.03799152374267578, 0.04066276550292969, 0.043334007263183594, 0.0460052490234375, 0.048676490783691406, 0.05134773254394531, 0.05401897430419922, 0.056690216064453125, 0.05936145782470703, 0.06203269958496094, 0.06470394134521484, 0.06737518310546875, 0.07004642486572266, 0.07271766662597656, 0.07538890838623047, 0.07806015014648438, 0.08073139190673828, 0.08340263366699219, 0.0860738754272461, 0.0887451171875]}, "gradients/decoder.transformer.h.4.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 53.0, 346.0, 459.0, 140.0, 12.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-1.8500388860702515, -1.8171244859695435, -1.784210205078125, -1.751295804977417, -1.7183815240859985, -1.6854671239852905, -1.652552843093872, -1.619638442993164, -1.5867241621017456, -1.5538097620010376, -1.5208954811096191, -1.4879810810089111, -1.4550668001174927, -1.4221524000167847, -1.3892381191253662, -1.3563237190246582, -1.3234093189239502, -1.2904949188232422, -1.2575806379318237, -1.2246662378311157, -1.1917519569396973, -1.1588375568389893, -1.1259232759475708, -1.0930088758468628, -1.0600945949554443, -1.0271801948547363, -0.9942659139633179, -0.9613515734672546, -0.9284372329711914, -0.8955228924751282, -0.8626085519790649, -0.8296941518783569, -0.7967797517776489, -0.7638654112815857, -0.7309510707855225, -0.6980367302894592, -0.665122389793396, -0.6322080492973328, -0.5992937088012695, -0.5663793087005615, -0.5334650278091431, -0.5005506873130798, -0.4676363468170166, -0.43472200632095337, -0.40180766582489014, -0.3688933253288269, -0.3359789550304413, -0.30306461453437805, -0.2701502740383148, -0.2372359335422516, -0.20432159304618835, -0.17140723764896393, -0.1384928971529007, -0.10557855665683746, -0.07266420125961304, -0.039749860763549805, -0.006835520267486572, 0.02607882395386696, 0.05899316817522049, 0.09190751612186432, 0.12482185661792755, 0.15773619711399078, 0.1906505525112152, 0.22356489300727844, 0.2564792335033417]}, "gradients/decoder.transformer.h.4.ln_1.bias": {"_type": "histogram", "values": [3.0, 0.0, 3.0, 2.0, 3.0, 3.0, 1.0, 2.0, 2.0, 5.0, 4.0, 5.0, 6.0, 10.0, 12.0, 9.0, 15.0, 16.0, 18.0, 16.0, 18.0, 23.0, 23.0, 30.0, 26.0, 30.0, 25.0, 35.0, 46.0, 29.0, 36.0, 37.0, 31.0, 38.0, 26.0, 38.0, 32.0, 31.0, 29.0, 21.0, 33.0, 25.0, 31.0, 31.0, 9.0, 25.0, 25.0, 17.0, 18.0, 12.0, 12.0, 12.0, 5.0, 9.0, 6.0, 2.0, 1.0, 1.0, 0.0, 4.0, 4.0, 1.0, 0.0, 2.0], "bins": [-0.1548500657081604, -0.14966551959514618, -0.14448097348213196, -0.13929642736911774, -0.13411188125610352, -0.1289273351430893, -0.12374278157949448, -0.11855823546648026, -0.11337368935346603, -0.10818914324045181, -0.10300459712743759, -0.09782005101442337, -0.09263549745082855, -0.08745095133781433, -0.08226640522480011, -0.07708185911178589, -0.07189731299877167, -0.06671276688575745, -0.061528220772743225, -0.056343670934438705, -0.051159124821424484, -0.04597457870841026, -0.04079002887010574, -0.03560548275709152, -0.0304209366440773, -0.02523639053106308, -0.02005184255540371, -0.014867295511066914, -0.009682748466730118, -0.004498202353715897, 0.0006863456219434738, 0.005870893597602844, 0.011055439710617065, 0.016239985823631287, 0.021424533799290657, 0.026609081774950027, 0.03179362788796425, 0.03697817400097847, 0.04216272383928299, 0.04734726995229721, 0.05253181606531143, 0.05771636217832565, 0.06290090829133987, 0.0680854544043541, 0.07327000796794891, 0.07845455408096313, 0.08363910019397736, 0.08882364630699158, 0.0940081924200058, 0.09919273853302002, 0.10437728464603424, 0.10956183075904846, 0.11474637687206268, 0.1199309229850769, 0.12511546909809113, 0.13030001521110535, 0.13548457622528076, 0.14066912233829498, 0.1458536684513092, 0.15103821456432343, 0.15622276067733765, 0.16140730679035187, 0.1665918529033661, 0.1717764139175415, 0.17696094512939453]}, "gradients/decoder.transformer.h.3.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 2.0, 8.0, 5.0, 9.0, 10.0, 14.0, 20.0, 11.0, 16.0, 26.0, 33.0, 27.0, 42.0, 32.0, 39.0, 44.0, 54.0, 41.0, 50.0, 32.0, 42.0, 45.0, 34.0, 44.0, 50.0, 35.0, 38.0, 31.0, 33.0, 28.0, 21.0, 22.0, 14.0, 13.0, 8.0, 10.0, 3.0, 8.0, 4.0, 2.0, 2.0, 1.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.026458740234375, -0.02556896209716797, -0.024679183959960938, -0.023789405822753906, -0.022899627685546875, -0.022009849548339844, -0.021120071411132812, -0.02023029327392578, -0.01934051513671875, -0.01845073699951172, -0.017560958862304688, -0.016671180725097656, -0.015781402587890625, -0.014891624450683594, -0.014001846313476562, -0.013112068176269531, -0.0122222900390625, -0.011332511901855469, -0.010442733764648438, -0.009552955627441406, -0.008663177490234375, -0.007773399353027344, -0.0068836212158203125, -0.005993843078613281, -0.00510406494140625, -0.004214286804199219, -0.0033245086669921875, -0.0024347305297851562, -0.001544952392578125, -0.0006551742553710938, 0.0002346038818359375, 0.0011243820190429688, 0.00201416015625, 0.0029039382934570312, 0.0037937164306640625, 0.004683494567871094, 0.005573272705078125, 0.006463050842285156, 0.0073528289794921875, 0.008242607116699219, 0.00913238525390625, 0.010022163391113281, 0.010911941528320312, 0.011801719665527344, 0.012691497802734375, 0.013581275939941406, 0.014471054077148438, 0.015360832214355469, 0.0162506103515625, 0.01714038848876953, 0.018030166625976562, 0.018919944763183594, 0.019809722900390625, 0.020699501037597656, 0.021589279174804688, 0.02247905731201172, 0.02336883544921875, 0.02425861358642578, 0.025148391723632812, 0.026038169860839844, 0.026927947998046875, 0.027817726135253906, 0.028707504272460938, 0.02959728240966797, 0.030487060546875]}, "gradients/decoder.transformer.h.3.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 8.0, 11.0, 15.0, 24.0, 26.0, 57.0, 110.0, 157.0, 335.0, 788.0, 3829663.0, 361761.0, 670.0, 292.0, 142.0, 87.0, 52.0, 29.0, 18.0, 13.0, 15.0, 4.0, 6.0, 2.0, 0.0, 2.0, 0.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.64111328125, -0.6104965209960938, -0.5798797607421875, -0.5492630004882812, -0.518646240234375, -0.48802947998046875, -0.4574127197265625, -0.42679595947265625, -0.39617919921875, -0.36556243896484375, -0.3349456787109375, -0.30432891845703125, -0.273712158203125, -0.24309539794921875, -0.2124786376953125, -0.18186187744140625, -0.1512451171875, -0.12062835693359375, -0.0900115966796875, -0.05939483642578125, -0.028778076171875, 0.00183868408203125, 0.0324554443359375, 0.06307220458984375, 0.09368896484375, 0.12430572509765625, 0.1549224853515625, 0.18553924560546875, 0.216156005859375, 0.24677276611328125, 0.2773895263671875, 0.30800628662109375, 0.338623046875, 0.36923980712890625, 0.3998565673828125, 0.43047332763671875, 0.461090087890625, 0.49170684814453125, 0.5223236083984375, 0.5529403686523438, 0.58355712890625, 0.6141738891601562, 0.6447906494140625, 0.6754074096679688, 0.706024169921875, 0.7366409301757812, 0.7672576904296875, 0.7978744506835938, 0.8284912109375, 0.8591079711914062, 0.8897247314453125, 0.9203414916992188, 0.950958251953125, 0.9815750122070312, 1.0121917724609375, 1.0428085327148438, 1.07342529296875, 1.1040420532226562, 1.1346588134765625, 1.1652755737304688, 1.195892333984375, 1.2265090942382812, 1.2571258544921875, 1.2877426147460938, 1.318359375]}, "gradients/decoder.transformer.h.3.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 1.0, 1.0, 4.0, 4.0, 5.0, 5.0, 11.0, 12.0, 18.0, 24.0, 36.0, 35.0, 49.0, 45.0, 81.0, 104.0, 100.0, 162.0, 231.0, 238.0, 343.0, 536.0, 511.0, 404.0, 284.0, 176.0, 147.0, 124.0, 76.0, 75.0, 51.0, 53.0, 23.0, 16.0, 22.0, 20.0, 14.0, 9.0, 7.0, 11.0, 3.0, 5.0, 4.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.03863525390625, -0.03742647171020508, -0.036217689514160156, -0.035008907318115234, -0.03380012512207031, -0.03259134292602539, -0.03138256072998047, -0.030173778533935547, -0.028964996337890625, -0.027756214141845703, -0.02654743194580078, -0.02533864974975586, -0.024129867553710938, -0.022921085357666016, -0.021712303161621094, -0.020503520965576172, -0.01929473876953125, -0.018085956573486328, -0.016877174377441406, -0.015668392181396484, -0.014459609985351562, -0.01325082778930664, -0.012042045593261719, -0.010833263397216797, -0.009624481201171875, -0.008415699005126953, -0.007206916809082031, -0.005998134613037109, -0.0047893524169921875, -0.0035805702209472656, -0.0023717880249023438, -0.0011630058288574219, 4.57763671875e-05, 0.0012545585632324219, 0.0024633407592773438, 0.0036721229553222656, 0.0048809051513671875, 0.006089687347412109, 0.007298469543457031, 0.008507251739501953, 0.009716033935546875, 0.010924816131591797, 0.012133598327636719, 0.01334238052368164, 0.014551162719726562, 0.015759944915771484, 0.016968727111816406, 0.018177509307861328, 0.01938629150390625, 0.020595073699951172, 0.021803855895996094, 0.023012638092041016, 0.024221420288085938, 0.02543020248413086, 0.02663898468017578, 0.027847766876220703, 0.029056549072265625, 0.030265331268310547, 0.03147411346435547, 0.03268289566040039, 0.03389167785644531, 0.035100460052490234, 0.036309242248535156, 0.03751802444458008, 0.038726806640625]}, "gradients/decoder.transformer.h.3.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 5.0, 2.0, 1.0, 3.0, 4.0, 12.0, 4.0, 8.0, 7.0, 10.0, 8.0, 18.0, 25.0, 25.0, 35.0, 48.0, 74.0, 134.0, 231.0, 630.0, 2712.0, 17433.0, 191745.0, 3358055.0, 575205.0, 40855.0, 5138.0, 1058.0, 345.0, 149.0, 82.0, 39.0, 40.0, 27.0, 19.0, 25.0, 11.0, 12.0, 13.0, 7.0, 5.0, 6.0, 7.0, 3.0, 5.0, 2.0, 6.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.136962890625, -0.13264083862304688, -0.12831878662109375, -0.12399673461914062, -0.1196746826171875, -0.11535263061523438, -0.11103057861328125, -0.10670852661132812, -0.102386474609375, -0.09806442260742188, -0.09374237060546875, -0.08942031860351562, -0.0850982666015625, -0.08077621459960938, -0.07645416259765625, -0.07213211059570312, -0.06781005859375, -0.06348800659179688, -0.05916595458984375, -0.054843902587890625, -0.0505218505859375, -0.046199798583984375, -0.04187774658203125, -0.037555694580078125, -0.033233642578125, -0.028911590576171875, -0.02458953857421875, -0.020267486572265625, -0.0159454345703125, -0.011623382568359375, -0.00730133056640625, -0.002979278564453125, 0.0013427734375, 0.005664825439453125, 0.00998687744140625, 0.014308929443359375, 0.0186309814453125, 0.022953033447265625, 0.02727508544921875, 0.031597137451171875, 0.035919189453125, 0.040241241455078125, 0.04456329345703125, 0.048885345458984375, 0.0532073974609375, 0.057529449462890625, 0.06185150146484375, 0.06617355346679688, 0.07049560546875, 0.07481765747070312, 0.07913970947265625, 0.08346176147460938, 0.0877838134765625, 0.09210586547851562, 0.09642791748046875, 0.10074996948242188, 0.105072021484375, 0.10939407348632812, 0.11371612548828125, 0.11803817749023438, 0.1223602294921875, 0.12668228149414062, 0.13100433349609375, 0.13532638549804688, 0.1396484375]}, "gradients/decoder.transformer.h.3.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 7.0, 18.0, 78.0, 157.0, 242.0, 242.0, 164.0, 71.0, 25.0, 6.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6650908589363098, -0.6488983035087585, -0.6327057480812073, -0.616513192653656, -0.6003206372261047, -0.5841280221939087, -0.5679354667663574, -0.5517429113388062, -0.5355503559112549, -0.5193578004837036, -0.5031652450561523, -0.4869726896286011, -0.4707801043987274, -0.45458754897117615, -0.4383949935436249, -0.4222024381160736, -0.40600988268852234, -0.38981732726097107, -0.3736247718334198, -0.35743218660354614, -0.3412396311759949, -0.3250470757484436, -0.30885452032089233, -0.29266196489334106, -0.2764694094657898, -0.2602768540382385, -0.24408428370952606, -0.2278917282819748, -0.21169915795326233, -0.19550660252571106, -0.1793140470981598, -0.16312149167060852, -0.14692893624305725, -0.13073638081550598, -0.11454381048679352, -0.09835125505924225, -0.08215869218111038, -0.06596612930297852, -0.049773573875427246, -0.03358101099729538, -0.017388448119163513, -0.001195887103676796, 0.014996673911809921, 0.03118923306465149, 0.047381795942783356, 0.06357435882091522, 0.07976691424846649, 0.09595947712659836, 0.11215204000473022, 0.1283445954322815, 0.14453716576099396, 0.16072972118854523, 0.1769222915172577, 0.19311484694480896, 0.20930740237236023, 0.2254999577999115, 0.24169252812862396, 0.2578850984573364, 0.2740776538848877, 0.29027020931243896, 0.30646276473999023, 0.3226553201675415, 0.3388478755950928, 0.35504046082496643, 0.3712330162525177]}, "gradients/decoder.transformer.h.3.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 4.0, 7.0, 9.0, 7.0, 17.0, 9.0, 10.0, 9.0, 20.0, 25.0, 30.0, 34.0, 22.0, 31.0, 36.0, 43.0, 39.0, 37.0, 47.0, 57.0, 44.0, 43.0, 49.0, 43.0, 47.0, 48.0, 28.0, 29.0, 27.0, 23.0, 27.0, 24.0, 20.0, 14.0, 6.0, 8.0, 9.0, 8.0, 8.0, 1.0, 2.0, 5.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.177193284034729, -0.17187564074993134, -0.16655799746513367, -0.161240354180336, -0.15592271089553833, -0.15060505270957947, -0.1452874094247818, -0.13996976613998413, -0.13465212285518646, -0.1293344795703888, -0.12401683628559113, -0.11869918555021286, -0.11338154226541519, -0.10806389898061752, -0.10274624824523926, -0.09742860496044159, -0.09211096167564392, -0.08679331839084625, -0.08147567510604858, -0.07615802437067032, -0.07084038108587265, -0.06552273780107498, -0.060205090790987015, -0.05488744378089905, -0.04956980049610138, -0.04425215721130371, -0.038934510201215744, -0.03361686319112778, -0.02829921990633011, -0.02298157475888729, -0.017663929611444473, -0.012346282601356506, -0.007028639316558838, -0.0017109941691160202, 0.0036066509783267975, 0.008924296125769615, 0.014241941273212433, 0.01955958642065525, 0.024877231568098068, 0.030194878578186035, 0.035512521862983704, 0.04083016514778137, 0.04614781215786934, 0.051465459167957306, 0.056783102452754974, 0.06210074573755264, 0.06741839647293091, 0.07273603975772858, 0.07805368304252625, 0.08337132632732391, 0.08868896961212158, 0.09400662034749985, 0.09932426363229752, 0.10464190691709518, 0.10995955765247345, 0.11527720093727112, 0.12059484422206879, 0.12591248750686646, 0.13123013079166412, 0.1365477740764618, 0.14186543226242065, 0.14718307554721832, 0.152500718832016, 0.15781836211681366, 0.16313600540161133]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 7.0, 1.0, 7.0, 2.0, 4.0, 4.0, 18.0, 15.0, 13.0, 22.0, 29.0, 19.0, 30.0, 31.0, 28.0, 36.0, 44.0, 28.0, 41.0, 49.0, 48.0, 50.0, 47.0, 41.0, 40.0, 28.0, 40.0, 39.0, 37.0, 43.0, 29.0, 23.0, 29.0, 14.0, 23.0, 14.0, 11.0, 5.0, 4.0, 5.0, 2.0, 4.0, 3.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027099609375, -0.02618885040283203, -0.025278091430664062, -0.024367332458496094, -0.023456573486328125, -0.022545814514160156, -0.021635055541992188, -0.02072429656982422, -0.01981353759765625, -0.01890277862548828, -0.017992019653320312, -0.017081260681152344, -0.016170501708984375, -0.015259742736816406, -0.014348983764648438, -0.013438224792480469, -0.0125274658203125, -0.011616706848144531, -0.010705947875976562, -0.009795188903808594, -0.008884429931640625, -0.007973670959472656, -0.0070629119873046875, -0.006152153015136719, -0.00524139404296875, -0.004330635070800781, -0.0034198760986328125, -0.0025091171264648438, -0.001598358154296875, -0.0006875991821289062, 0.0002231597900390625, 0.0011339187622070312, 0.002044677734375, 0.0029554367065429688, 0.0038661956787109375, 0.004776954650878906, 0.005687713623046875, 0.006598472595214844, 0.0075092315673828125, 0.008419990539550781, 0.00933074951171875, 0.010241508483886719, 0.011152267456054688, 0.012063026428222656, 0.012973785400390625, 0.013884544372558594, 0.014795303344726562, 0.01570606231689453, 0.0166168212890625, 0.01752758026123047, 0.018438339233398438, 0.019349098205566406, 0.020259857177734375, 0.021170616149902344, 0.022081375122070312, 0.02299213409423828, 0.02390289306640625, 0.02481365203857422, 0.025724411010742188, 0.026635169982910156, 0.027545928955078125, 0.028456687927246094, 0.029367446899414062, 0.03027820587158203, 0.03118896484375]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 6.0, 7.0, 7.0, 9.0, 17.0, 20.0, 34.0, 65.0, 87.0, 137.0, 216.0, 353.0, 479.0, 816.0, 1303.0, 2269.0, 3498.0, 5994.0, 10486.0, 18038.0, 31046.0, 53571.0, 91395.0, 191201.0, 344843.0, 125341.0, 69674.0, 40476.0, 23393.0, 13828.0, 7985.0, 4561.0, 2854.0, 1720.0, 1046.0, 620.0, 408.0, 239.0, 199.0, 114.0, 67.0, 45.0, 23.0, 32.0, 12.0, 15.0, 7.0, 5.0, 2.0, 2.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.0005140304565429688, -0.0004990212619304657, -0.00048401206731796265, -0.0004690028727054596, -0.00045399367809295654, -0.0004389844834804535, -0.00042397528886795044, -0.0004089660942554474, -0.00039395689964294434, -0.0003789477050304413, -0.00036393851041793823, -0.0003489293158054352, -0.00033392012119293213, -0.0003189109265804291, -0.000303901731967926, -0.000288892537355423, -0.0002738833427429199, -0.00025887414813041687, -0.00024386495351791382, -0.00022885575890541077, -0.00021384656429290771, -0.00019883736968040466, -0.0001838281750679016, -0.00016881898045539856, -0.0001538097858428955, -0.00013880059123039246, -0.0001237913966178894, -0.00010878220200538635, -9.37730073928833e-05, -7.876381278038025e-05, -6.37546181678772e-05, -4.8745423555374146e-05, -3.3736228942871094e-05, -1.8727034330368042e-05, -3.7178397178649902e-06, 1.1291354894638062e-05, 2.6300549507141113e-05, 4.1309744119644165e-05, 5.631893873214722e-05, 7.132813334465027e-05, 8.633732795715332e-05, 0.00010134652256965637, 0.00011635571718215942, 0.00013136491179466248, 0.00014637410640716553, 0.00016138330101966858, 0.00017639249563217163, 0.00019140169024467468, 0.00020641088485717773, 0.00022142007946968079, 0.00023642927408218384, 0.0002514384686946869, 0.00026644766330718994, 0.000281456857919693, 0.00029646605253219604, 0.0003114752471446991, 0.00032648444175720215, 0.0003414936363697052, 0.00035650283098220825, 0.0003715120255947113, 0.00038652122020721436, 0.0004015304148197174, 0.00041653960943222046, 0.0004315488040447235, 0.00044655799865722656]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 5.0, 3.0, 4.0, 4.0, 7.0, 14.0, 13.0, 14.0, 13.0, 19.0, 18.0, 17.0, 22.0, 25.0, 31.0, 23.0, 23.0, 33.0, 38.0, 42.0, 38.0, 32.0, 33.0, 1077.0, 45.0, 42.0, 41.0, 40.0, 45.0, 25.0, 29.0, 26.0, 24.0, 18.0, 19.0, 21.0, 17.0, 17.0, 12.0, 17.0, 5.0, 8.0, 9.0, 3.0, 4.0, 6.0, 2.0, 1.0, 2.0, 3.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.026458740234375, -0.025615930557250977, -0.024773120880126953, -0.02393031120300293, -0.023087501525878906, -0.022244691848754883, -0.02140188217163086, -0.020559072494506836, -0.019716262817382812, -0.01887345314025879, -0.018030643463134766, -0.017187833786010742, -0.01634502410888672, -0.015502214431762695, -0.014659404754638672, -0.013816595077514648, -0.012973785400390625, -0.012130975723266602, -0.011288166046142578, -0.010445356369018555, -0.009602546691894531, -0.008759737014770508, -0.007916927337646484, -0.007074117660522461, -0.0062313079833984375, -0.005388498306274414, -0.004545688629150391, -0.003702878952026367, -0.0028600692749023438, -0.0020172595977783203, -0.0011744499206542969, -0.00033164024353027344, 0.00051116943359375, 0.0013539791107177734, 0.002196788787841797, 0.0030395984649658203, 0.0038824081420898438, 0.004725217819213867, 0.005568027496337891, 0.006410837173461914, 0.0072536468505859375, 0.008096456527709961, 0.008939266204833984, 0.009782075881958008, 0.010624885559082031, 0.011467695236206055, 0.012310504913330078, 0.013153314590454102, 0.013996124267578125, 0.014838933944702148, 0.015681743621826172, 0.016524553298950195, 0.01736736297607422, 0.018210172653198242, 0.019052982330322266, 0.01989579200744629, 0.020738601684570312, 0.021581411361694336, 0.02242422103881836, 0.023267030715942383, 0.024109840393066406, 0.02495265007019043, 0.025795459747314453, 0.026638269424438477, 0.0274810791015625]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 2.0, 3.0, 1.0, 1.0, 4.0, 7.0, 2.0, 8.0, 7.0, 8.0, 11.0, 13.0, 17.0, 15.0, 21.0, 18.0, 24.0, 27.0, 39.0, 38.0, 57.0, 103.0, 170.0, 339.0, 1050.0, 4487.0, 2043203.0, 42479.0, 3352.0, 777.0, 294.0, 140.0, 85.0, 62.0, 42.0, 34.0, 27.0, 28.0, 24.0, 12.0, 16.0, 16.0, 16.0, 15.0, 10.0, 13.0, 3.0, 5.0, 3.0, 4.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 5.0, 1.0], "bins": [-2.008676528930664e-05, -1.9475817680358887e-05, -1.8864870071411133e-05, -1.825392246246338e-05, -1.7642974853515625e-05, -1.703202724456787e-05, -1.6421079635620117e-05, -1.5810132026672363e-05, -1.519918441772461e-05, -1.4588236808776855e-05, -1.3977289199829102e-05, -1.3366341590881348e-05, -1.2755393981933594e-05, -1.214444637298584e-05, -1.1533498764038086e-05, -1.0922551155090332e-05, -1.0311603546142578e-05, -9.700655937194824e-06, -9.08970832824707e-06, -8.478760719299316e-06, -7.867813110351562e-06, -7.256865501403809e-06, -6.645917892456055e-06, -6.034970283508301e-06, -5.424022674560547e-06, -4.813075065612793e-06, -4.202127456665039e-06, -3.591179847717285e-06, -2.9802322387695312e-06, -2.3692846298217773e-06, -1.7583370208740234e-06, -1.1473894119262695e-06, -5.364418029785156e-07, 7.450580596923828e-08, 6.854534149169922e-07, 1.296401023864746e-06, 1.9073486328125e-06, 2.518296241760254e-06, 3.129243850708008e-06, 3.7401914596557617e-06, 4.351139068603516e-06, 4.9620866775512695e-06, 5.5730342864990234e-06, 6.183981895446777e-06, 6.794929504394531e-06, 7.405877113342285e-06, 8.016824722290039e-06, 8.627772331237793e-06, 9.238719940185547e-06, 9.8496675491333e-06, 1.0460615158081055e-05, 1.1071562767028809e-05, 1.1682510375976562e-05, 1.2293457984924316e-05, 1.290440559387207e-05, 1.3515353202819824e-05, 1.4126300811767578e-05, 1.4737248420715332e-05, 1.5348196029663086e-05, 1.595914363861084e-05, 1.6570091247558594e-05, 1.7181038856506348e-05, 1.77919864654541e-05, 1.8402934074401855e-05, 1.901388168334961e-05]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 7.0, 1.0, 7.0, 2.0, 4.0, 4.0, 18.0, 15.0, 13.0, 22.0, 29.0, 19.0, 30.0, 31.0, 28.0, 36.0, 44.0, 28.0, 41.0, 49.0, 48.0, 50.0, 47.0, 41.0, 40.0, 28.0, 40.0, 39.0, 37.0, 43.0, 29.0, 23.0, 29.0, 14.0, 23.0, 14.0, 11.0, 5.0, 4.0, 5.0, 2.0, 4.0, 3.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027099609375, -0.02618885040283203, -0.025278091430664062, -0.024367332458496094, -0.023456573486328125, -0.022545814514160156, -0.021635055541992188, -0.02072429656982422, -0.01981353759765625, -0.01890277862548828, -0.017992019653320312, -0.017081260681152344, -0.016170501708984375, -0.015259742736816406, -0.014348983764648438, -0.013438224792480469, -0.0125274658203125, -0.011616706848144531, -0.010705947875976562, -0.009795188903808594, -0.008884429931640625, -0.007973670959472656, -0.0070629119873046875, -0.006152153015136719, -0.00524139404296875, -0.004330635070800781, -0.0034198760986328125, -0.0025091171264648438, -0.001598358154296875, -0.0006875991821289062, 0.0002231597900390625, 0.0011339187622070312, 0.002044677734375, 0.0029554367065429688, 0.0038661956787109375, 0.004776954650878906, 0.005687713623046875, 0.006598472595214844, 0.0075092315673828125, 0.008419990539550781, 0.00933074951171875, 0.010241508483886719, 0.011152267456054688, 0.012063026428222656, 0.012973785400390625, 0.013884544372558594, 0.014795303344726562, 0.01570606231689453, 0.0166168212890625, 0.01752758026123047, 0.018438339233398438, 0.019349098205566406, 0.020259857177734375, 0.021170616149902344, 0.022081375122070312, 0.02299213409423828, 0.02390289306640625, 0.02481365203857422, 0.025724411010742188, 0.026635169982910156, 0.027545928955078125, 0.028456687927246094, 0.029367446899414062, 0.03027820587158203, 0.03118896484375]}, "gradients/decoder.transformer.h.3.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 9.0, 10.0, 18.0, 19.0, 34.0, 39.0, 52.0, 93.0, 128.0, 186.0, 268.0, 464.0, 696.0, 980.0, 1501.0, 2356.0, 3733.0, 5982.0, 10235.0, 16816.0, 28607.0, 48319.0, 81461.0, 136545.0, 197003.0, 191684.0, 129941.0, 77396.0, 45283.0, 27012.0, 16021.0, 9799.0, 5779.0, 3540.0, 2276.0, 1466.0, 921.0, 632.0, 421.0, 285.0, 185.0, 131.0, 91.0, 56.0, 32.0, 31.0, 5.0, 8.0, 2.0, 2.0, 5.0, 6.0, 0.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.036956787109375, -0.03579998016357422, -0.03464317321777344, -0.033486366271972656, -0.032329559326171875, -0.031172752380371094, -0.030015945434570312, -0.02885913848876953, -0.02770233154296875, -0.02654552459716797, -0.025388717651367188, -0.024231910705566406, -0.023075103759765625, -0.021918296813964844, -0.020761489868164062, -0.01960468292236328, -0.0184478759765625, -0.01729106903076172, -0.016134262084960938, -0.014977455139160156, -0.013820648193359375, -0.012663841247558594, -0.011507034301757812, -0.010350227355957031, -0.00919342041015625, -0.008036613464355469, -0.0068798065185546875, -0.005722999572753906, -0.004566192626953125, -0.0034093856811523438, -0.0022525787353515625, -0.0010957717895507812, 6.103515625e-05, 0.0012178421020507812, 0.0023746490478515625, 0.0035314559936523438, 0.004688262939453125, 0.005845069885253906, 0.0070018768310546875, 0.008158683776855469, 0.00931549072265625, 0.010472297668457031, 0.011629104614257812, 0.012785911560058594, 0.013942718505859375, 0.015099525451660156, 0.016256332397460938, 0.01741313934326172, 0.0185699462890625, 0.01972675323486328, 0.020883560180664062, 0.022040367126464844, 0.023197174072265625, 0.024353981018066406, 0.025510787963867188, 0.02666759490966797, 0.02782440185546875, 0.02898120880126953, 0.030138015747070312, 0.031294822692871094, 0.032451629638671875, 0.033608436584472656, 0.03476524353027344, 0.03592205047607422, 0.037078857421875]}, "gradients/decoder.transformer.h.3.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 0.0, 3.0, 6.0, 6.0, 5.0, 7.0, 12.0, 12.0, 8.0, 13.0, 16.0, 24.0, 25.0, 32.0, 36.0, 37.0, 52.0, 89.0, 94.0, 146.0, 192.0, 1315.0, 226.0, 128.0, 124.0, 77.0, 51.0, 41.0, 51.0, 37.0, 27.0, 28.0, 26.0, 22.0, 18.0, 11.0, 14.0, 9.0, 7.0, 9.0, 7.0, 3.0, 3.0, 3.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.07672119140625, -0.07429695129394531, -0.07187271118164062, -0.06944847106933594, -0.06702423095703125, -0.06459999084472656, -0.062175750732421875, -0.05975151062011719, -0.0573272705078125, -0.05490303039550781, -0.052478790283203125, -0.05005455017089844, -0.04763031005859375, -0.04520606994628906, -0.042781829833984375, -0.04035758972167969, -0.037933349609375, -0.03550910949707031, -0.033084869384765625, -0.030660629272460938, -0.02823638916015625, -0.025812149047851562, -0.023387908935546875, -0.020963668823242188, -0.0185394287109375, -0.016115188598632812, -0.013690948486328125, -0.011266708374023438, -0.00884246826171875, -0.0064182281494140625, -0.003993988037109375, -0.0015697479248046875, 0.0008544921875, 0.0032787322998046875, 0.005702972412109375, 0.008127212524414062, 0.01055145263671875, 0.012975692749023438, 0.015399932861328125, 0.017824172973632812, 0.0202484130859375, 0.022672653198242188, 0.025096893310546875, 0.027521133422851562, 0.02994537353515625, 0.03236961364746094, 0.034793853759765625, 0.03721809387207031, 0.039642333984375, 0.04206657409667969, 0.044490814208984375, 0.04691505432128906, 0.04933929443359375, 0.05176353454589844, 0.054187774658203125, 0.05661201477050781, 0.0590362548828125, 0.06146049499511719, 0.06388473510742188, 0.06630897521972656, 0.06873321533203125, 0.07115745544433594, 0.07358169555664062, 0.07600593566894531, 0.07843017578125]}, "gradients/decoder.transformer.h.3.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 3.0, 1.0, 4.0, 2.0, 3.0, 1.0, 5.0, 3.0, 11.0, 3.0, 12.0, 16.0, 16.0, 17.0, 31.0, 28.0, 52.0, 78.0, 105.0, 167.0, 222.0, 382.0, 751.0, 2157.0, 13439.0, 419535.0, 2643637.0, 57770.0, 4696.0, 1202.0, 495.0, 305.0, 185.0, 94.0, 92.0, 62.0, 34.0, 23.0, 19.0, 20.0, 11.0, 8.0, 6.0, 4.0, 1.0, 3.0, 3.0, 2.0, 1.0, 1.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1512451171875, -0.14569473266601562, -0.14014434814453125, -0.13459396362304688, -0.1290435791015625, -0.12349319458007812, -0.11794281005859375, -0.11239242553710938, -0.106842041015625, -0.10129165649414062, -0.09574127197265625, -0.09019088745117188, -0.0846405029296875, -0.07909011840820312, -0.07353973388671875, -0.06798934936523438, -0.06243896484375, -0.056888580322265625, -0.05133819580078125, -0.045787811279296875, -0.0402374267578125, -0.034687042236328125, -0.02913665771484375, -0.023586273193359375, -0.018035888671875, -0.012485504150390625, -0.00693511962890625, -0.001384735107421875, 0.0041656494140625, 0.009716033935546875, 0.01526641845703125, 0.020816802978515625, 0.0263671875, 0.031917572021484375, 0.03746795654296875, 0.043018341064453125, 0.0485687255859375, 0.054119110107421875, 0.05966949462890625, 0.06521987915039062, 0.070770263671875, 0.07632064819335938, 0.08187103271484375, 0.08742141723632812, 0.0929718017578125, 0.09852218627929688, 0.10407257080078125, 0.10962295532226562, 0.11517333984375, 0.12072372436523438, 0.12627410888671875, 0.13182449340820312, 0.1373748779296875, 0.14292526245117188, 0.14847564697265625, 0.15402603149414062, 0.159576416015625, 0.16512680053710938, 0.17067718505859375, 0.17622756958007812, 0.1817779541015625, 0.18732833862304688, 0.19287872314453125, 0.19842910766601562, 0.2039794921875]}, "gradients/decoder.transformer.h.3.ln_1.weight": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 18.0, 92.0, 342.0, 406.0, 133.0, 21.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.277938574552536, -0.23221492767333984, -0.18649128079414368, -0.1407676488161087, -0.09504400193691254, -0.04932035505771637, -0.0035967230796813965, 0.04212692379951477, 0.08785057067871094, 0.1335742175579071, 0.17929786443710327, 0.22502149641513824, 0.2707451581954956, 0.3164687752723694, 0.36219242215156555, 0.4079160690307617, 0.4536397159099579, 0.49936336278915405, 0.5450869798660278, 0.5908106565475464, 0.6365342736244202, 0.6822579503059387, 0.7279815673828125, 0.773705244064331, 0.8194288611412048, 0.8651524782180786, 0.9108761548995972, 0.956599771976471, 1.0023233890533447, 1.0480470657348633, 1.0937707424163818, 1.1394944190979004, 1.1852179765701294, 1.230941653251648, 1.276665210723877, 1.3223888874053955, 1.368112564086914, 1.4138362407684326, 1.4595597982406616, 1.5052834749221802, 1.5510071516036987, 1.5967308282852173, 1.6424543857574463, 1.6881780624389648, 1.7339017391204834, 1.779625415802002, 1.825348973274231, 1.8710726499557495, 1.9167962074279785, 1.962519884109497, 2.0082435607910156, 2.053967237472534, 2.0996906757354736, 2.145414352416992, 2.1911380290985107, 2.2368617057800293, 2.282585382461548, 2.3283090591430664, 2.374032735824585, 2.4197564125061035, 2.465479850769043, 2.5112035274505615, 2.55692720413208, 2.6026508808135986, 2.648374557495117]}, "gradients/decoder.transformer.h.3.ln_1.bias": {"_type": "histogram", "values": [4.0, 3.0, 3.0, 1.0, 2.0, 2.0, 2.0, 3.0, 2.0, 6.0, 4.0, 6.0, 5.0, 11.0, 10.0, 10.0, 8.0, 14.0, 22.0, 22.0, 26.0, 27.0, 23.0, 22.0, 23.0, 29.0, 32.0, 46.0, 29.0, 50.0, 45.0, 45.0, 35.0, 42.0, 42.0, 35.0, 34.0, 34.0, 31.0, 35.0, 23.0, 17.0, 18.0, 24.0, 13.0, 17.0, 11.0, 12.0, 10.0, 9.0, 8.0, 7.0, 3.0, 4.0, 4.0, 3.0, 6.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.2505919933319092, -0.24238455295562744, -0.2341771125793457, -0.22596968710422516, -0.21776224672794342, -0.20955480635166168, -0.20134738087654114, -0.1931399405002594, -0.18493250012397766, -0.17672505974769592, -0.16851761937141418, -0.16031019389629364, -0.1521027535200119, -0.14389531314373016, -0.13568788766860962, -0.12748044729232788, -0.11927300691604614, -0.1110655665397644, -0.10285813361406326, -0.09465070068836212, -0.08644326031208038, -0.07823581993579865, -0.0700283870100975, -0.061820950359106064, -0.053613513708114624, -0.045406077057123184, -0.037198640406131744, -0.028991203755140305, -0.020783767104148865, -0.012576330453157425, -0.004368893802165985, 0.0038385428488254547, 0.012045979499816895, 0.020253416150808334, 0.028460852801799774, 0.036668289452791214, 0.044875726103782654, 0.053083162754774094, 0.06129059940576553, 0.06949803233146667, 0.07770547270774841, 0.08591291308403015, 0.09412034600973129, 0.10232777893543243, 0.11053521931171417, 0.11874265968799591, 0.12695008516311646, 0.1351575255393982, 0.14336496591567993, 0.15157240629196167, 0.1597798466682434, 0.16798727214336395, 0.1761947125196457, 0.18440215289592743, 0.19260957837104797, 0.2008170187473297, 0.20902445912361145, 0.2172318994998932, 0.22543933987617493, 0.23364676535129547, 0.2418542057275772, 0.25006163120269775, 0.2582690715789795, 0.26647651195526123, 0.27468395233154297]}, "gradients/decoder.transformer.h.2.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 3.0, 4.0, 8.0, 9.0, 8.0, 11.0, 12.0, 15.0, 18.0, 23.0, 32.0, 24.0, 31.0, 19.0, 33.0, 38.0, 45.0, 45.0, 42.0, 44.0, 33.0, 41.0, 39.0, 46.0, 41.0, 35.0, 39.0, 49.0, 28.0, 34.0, 25.0, 25.0, 17.0, 23.0, 12.0, 15.0, 7.0, 8.0, 4.0, 7.0, 2.0, 7.0, 4.0, 3.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0260009765625, -0.02507495880126953, -0.024148941040039062, -0.023222923278808594, -0.022296905517578125, -0.021370887756347656, -0.020444869995117188, -0.01951885223388672, -0.01859283447265625, -0.01766681671142578, -0.016740798950195312, -0.015814781188964844, -0.014888763427734375, -0.013962745666503906, -0.013036727905273438, -0.012110710144042969, -0.0111846923828125, -0.010258674621582031, -0.009332656860351562, -0.008406639099121094, -0.007480621337890625, -0.006554603576660156, -0.0056285858154296875, -0.004702568054199219, -0.00377655029296875, -0.0028505325317382812, -0.0019245147705078125, -0.0009984970092773438, -7.2479248046875e-05, 0.0008535385131835938, 0.0017795562744140625, 0.0027055740356445312, 0.003631591796875, 0.004557609558105469, 0.0054836273193359375, 0.006409645080566406, 0.007335662841796875, 0.008261680603027344, 0.009187698364257812, 0.010113716125488281, 0.01103973388671875, 0.011965751647949219, 0.012891769409179688, 0.013817787170410156, 0.014743804931640625, 0.015669822692871094, 0.016595840454101562, 0.01752185821533203, 0.0184478759765625, 0.01937389373779297, 0.020299911499023438, 0.021225929260253906, 0.022151947021484375, 0.023077964782714844, 0.024003982543945312, 0.02493000030517578, 0.02585601806640625, 0.02678203582763672, 0.027708053588867188, 0.028634071350097656, 0.029560089111328125, 0.030486106872558594, 0.03141212463378906, 0.03233814239501953, 0.03326416015625]}, "gradients/decoder.transformer.h.2.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 2.0, 7.0, 9.0, 15.0, 28.0, 43.0, 65.0, 141.0, 273.0, 471.0, 899.0, 1823.0, 3505.0, 7372.0, 16551.0, 46901.0, 277259.0, 2660975.0, 1032534.0, 97560.0, 26726.0, 10752.0, 5134.0, 2419.0, 1318.0, 658.0, 377.0, 213.0, 97.0, 60.0, 34.0, 29.0, 12.0, 7.0, 9.0, 3.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06585693359375, -0.06339550018310547, -0.06093406677246094, -0.058472633361816406, -0.056011199951171875, -0.053549766540527344, -0.05108833312988281, -0.04862689971923828, -0.04616546630859375, -0.04370403289794922, -0.04124259948730469, -0.038781166076660156, -0.036319732666015625, -0.033858299255371094, -0.03139686584472656, -0.02893543243408203, -0.0264739990234375, -0.02401256561279297, -0.021551132202148438, -0.019089698791503906, -0.016628265380859375, -0.014166831970214844, -0.011705398559570312, -0.009243965148925781, -0.00678253173828125, -0.004321098327636719, -0.0018596649169921875, 0.0006017684936523438, 0.003063201904296875, 0.005524635314941406, 0.007986068725585938, 0.010447502136230469, 0.012908935546875, 0.015370368957519531, 0.017831802368164062, 0.020293235778808594, 0.022754669189453125, 0.025216102600097656, 0.027677536010742188, 0.03013896942138672, 0.03260040283203125, 0.03506183624267578, 0.03752326965332031, 0.039984703063964844, 0.042446136474609375, 0.044907569885253906, 0.04736900329589844, 0.04983043670654297, 0.0522918701171875, 0.05475330352783203, 0.05721473693847656, 0.059676170349121094, 0.062137603759765625, 0.06459903717041016, 0.06706047058105469, 0.06952190399169922, 0.07198333740234375, 0.07444477081298828, 0.07690620422363281, 0.07936763763427734, 0.08182907104492188, 0.0842905044555664, 0.08675193786621094, 0.08921337127685547, 0.0916748046875]}, "gradients/decoder.transformer.h.2.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 3.0, 7.0, 4.0, 5.0, 7.0, 3.0, 10.0, 13.0, 27.0, 17.0, 29.0, 44.0, 58.0, 66.0, 92.0, 127.0, 178.0, 268.0, 382.0, 517.0, 575.0, 475.0, 342.0, 226.0, 161.0, 109.0, 73.0, 66.0, 51.0, 35.0, 28.0, 21.0, 14.0, 10.0, 12.0, 7.0, 5.0, 6.0, 2.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.046783447265625, -0.04528379440307617, -0.043784141540527344, -0.042284488677978516, -0.04078483581542969, -0.03928518295288086, -0.03778553009033203, -0.0362858772277832, -0.034786224365234375, -0.03328657150268555, -0.03178691864013672, -0.03028726577758789, -0.028787612915039062, -0.027287960052490234, -0.025788307189941406, -0.024288654327392578, -0.02278900146484375, -0.021289348602294922, -0.019789695739746094, -0.018290042877197266, -0.016790390014648438, -0.01529073715209961, -0.013791084289550781, -0.012291431427001953, -0.010791778564453125, -0.009292125701904297, -0.007792472839355469, -0.006292819976806641, -0.0047931671142578125, -0.0032935142517089844, -0.0017938613891601562, -0.0002942085266113281, 0.0012054443359375, 0.002705097198486328, 0.004204750061035156, 0.005704402923583984, 0.0072040557861328125, 0.00870370864868164, 0.010203361511230469, 0.011703014373779297, 0.013202667236328125, 0.014702320098876953, 0.01620197296142578, 0.01770162582397461, 0.019201278686523438, 0.020700931549072266, 0.022200584411621094, 0.023700237274169922, 0.02519989013671875, 0.026699542999267578, 0.028199195861816406, 0.029698848724365234, 0.031198501586914062, 0.03269815444946289, 0.03419780731201172, 0.03569746017456055, 0.037197113037109375, 0.0386967658996582, 0.04019641876220703, 0.04169607162475586, 0.04319572448730469, 0.044695377349853516, 0.046195030212402344, 0.04769468307495117, 0.0491943359375]}, "gradients/decoder.transformer.h.2.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 3.0, 1.0, 5.0, 5.0, 5.0, 6.0, 8.0, 24.0, 30.0, 57.0, 70.0, 83.0, 135.0, 229.0, 356.0, 583.0, 1038.0, 2051.0, 4618.0, 11099.0, 32592.0, 122138.0, 717022.0, 2738554.0, 436819.0, 85709.0, 24585.0, 8808.0, 3593.0, 1708.0, 962.0, 485.0, 311.0, 192.0, 131.0, 98.0, 50.0, 38.0, 29.0, 20.0, 14.0, 5.0, 12.0, 8.0, 3.0, 0.0, 0.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0701904296875, -0.06808757781982422, -0.06598472595214844, -0.06388187408447266, -0.061779022216796875, -0.059676170349121094, -0.05757331848144531, -0.05547046661376953, -0.05336761474609375, -0.05126476287841797, -0.04916191101074219, -0.047059059143066406, -0.044956207275390625, -0.042853355407714844, -0.04075050354003906, -0.03864765167236328, -0.0365447998046875, -0.03444194793701172, -0.03233909606933594, -0.030236244201660156, -0.028133392333984375, -0.026030540466308594, -0.023927688598632812, -0.02182483673095703, -0.01972198486328125, -0.01761913299560547, -0.015516281127929688, -0.013413429260253906, -0.011310577392578125, -0.009207725524902344, -0.0071048736572265625, -0.005002021789550781, -0.002899169921875, -0.0007963180541992188, 0.0013065338134765625, 0.0034093856811523438, 0.005512237548828125, 0.007615089416503906, 0.009717941284179688, 0.011820793151855469, 0.01392364501953125, 0.01602649688720703, 0.018129348754882812, 0.020232200622558594, 0.022335052490234375, 0.024437904357910156, 0.026540756225585938, 0.02864360809326172, 0.0307464599609375, 0.03284931182861328, 0.03495216369628906, 0.037055015563964844, 0.039157867431640625, 0.041260719299316406, 0.04336357116699219, 0.04546642303466797, 0.04756927490234375, 0.04967212677001953, 0.05177497863769531, 0.053877830505371094, 0.055980682373046875, 0.058083534240722656, 0.06018638610839844, 0.06228923797607422, 0.06439208984375]}, "gradients/decoder.transformer.h.2.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 7.0, 72.0, 428.0, 417.0, 82.0, 7.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.4544131755828857, -1.4152034521102905, -1.3759937286376953, -1.3367838859558105, -1.2975741624832153, -1.2583644390106201, -1.2191545963287354, -1.1799448728561401, -1.140735149383545, -1.1015254259109497, -1.0623157024383545, -1.0231058597564697, -0.9838961362838745, -0.9446864128112793, -0.9054766297340393, -0.8662668466567993, -0.8270571231842041, -0.7878473997116089, -0.7486376166343689, -0.7094278335571289, -0.6702181100845337, -0.6310083866119385, -0.5917986035346985, -0.5525888204574585, -0.5133790969848633, -0.4741693437099457, -0.4349595904350281, -0.3957498371601105, -0.35654008388519287, -0.31733033061027527, -0.27812057733535767, -0.23891082406044006, -0.1997009515762329, -0.1604911983013153, -0.1212814450263977, -0.0820716917514801, -0.0428619384765625, -0.0036521852016448975, 0.035557568073272705, 0.07476732134819031, 0.11397707462310791, 0.1531868278980255, 0.19239658117294312, 0.23160633444786072, 0.2708160877227783, 0.3100258409976959, 0.3492355942726135, 0.38844534754753113, 0.42765510082244873, 0.46686485409736633, 0.5060746073722839, 0.5452843904495239, 0.5844941139221191, 0.6237038373947144, 0.6629136204719543, 0.7021234035491943, 0.7413331270217896, 0.7805428504943848, 0.8197526335716248, 0.8589624166488647, 0.89817214012146, 0.9373818635940552, 0.9765916466712952, 1.0158014297485352, 1.0550111532211304]}, "gradients/decoder.transformer.h.2.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 6.0, 2.0, 3.0, 5.0, 8.0, 10.0, 3.0, 17.0, 15.0, 15.0, 13.0, 17.0, 16.0, 14.0, 26.0, 33.0, 31.0, 40.0, 32.0, 40.0, 38.0, 38.0, 47.0, 40.0, 27.0, 47.0, 35.0, 48.0, 32.0, 41.0, 28.0, 40.0, 28.0, 28.0, 31.0, 19.0, 23.0, 15.0, 9.0, 7.0, 7.0, 5.0, 15.0, 4.0, 8.0, 2.0, 2.0, 2.0, 1.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.18641090393066406, -0.18047824501991272, -0.17454558610916138, -0.16861292719841003, -0.1626802682876587, -0.15674760937690735, -0.150814950466156, -0.14488229155540466, -0.13894963264465332, -0.13301697373390198, -0.12708431482315063, -0.12115165591239929, -0.11521899700164795, -0.1092863380908966, -0.10335367918014526, -0.09742102026939392, -0.09148836135864258, -0.08555570244789124, -0.07962304353713989, -0.07369038462638855, -0.06775772571563721, -0.061825066804885864, -0.05589240789413452, -0.04995974898338318, -0.044027090072631836, -0.03809443116188049, -0.03216177225112915, -0.026229113340377808, -0.020296454429626465, -0.014363795518875122, -0.00843113660812378, -0.0024984776973724365, 0.0034341812133789062, 0.009366840124130249, 0.015299499034881592, 0.021232157945632935, 0.027164816856384277, 0.03309747576713562, 0.03903013467788696, 0.044962793588638306, 0.05089545249938965, 0.05682811141014099, 0.06276077032089233, 0.06869342923164368, 0.07462608814239502, 0.08055874705314636, 0.0864914059638977, 0.09242406487464905, 0.09835672378540039, 0.10428938269615173, 0.11022204160690308, 0.11615470051765442, 0.12208735942840576, 0.1280200183391571, 0.13395267724990845, 0.1398853361606598, 0.14581799507141113, 0.15175065398216248, 0.15768331289291382, 0.16361597180366516, 0.1695486307144165, 0.17548128962516785, 0.1814139485359192, 0.18734660744667053, 0.19327926635742188]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 4.0, 3.0, 5.0, 7.0, 9.0, 11.0, 10.0, 5.0, 23.0, 13.0, 27.0, 28.0, 26.0, 27.0, 32.0, 31.0, 31.0, 41.0, 35.0, 42.0, 38.0, 39.0, 40.0, 48.0, 38.0, 41.0, 39.0, 34.0, 35.0, 35.0, 29.0, 22.0, 22.0, 19.0, 22.0, 16.0, 11.0, 12.0, 10.0, 5.0, 5.0, 6.0, 11.0, 4.0, 5.0, 4.0, 4.0, 2.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0257110595703125, -0.024805307388305664, -0.023899555206298828, -0.022993803024291992, -0.022088050842285156, -0.02118229866027832, -0.020276546478271484, -0.01937079429626465, -0.018465042114257812, -0.017559289932250977, -0.01665353775024414, -0.015747785568237305, -0.014842033386230469, -0.013936281204223633, -0.013030529022216797, -0.012124776840209961, -0.011219024658203125, -0.010313272476196289, -0.009407520294189453, -0.008501768112182617, -0.007596015930175781, -0.006690263748168945, -0.005784511566162109, -0.0048787593841552734, -0.0039730072021484375, -0.0030672550201416016, -0.0021615028381347656, -0.0012557506561279297, -0.00034999847412109375, 0.0005557537078857422, 0.0014615058898925781, 0.002367258071899414, 0.00327301025390625, 0.004178762435913086, 0.005084514617919922, 0.005990266799926758, 0.006896018981933594, 0.00780177116394043, 0.008707523345947266, 0.009613275527954102, 0.010519027709960938, 0.011424779891967773, 0.01233053207397461, 0.013236284255981445, 0.014142036437988281, 0.015047788619995117, 0.015953540802001953, 0.01685929298400879, 0.017765045166015625, 0.01867079734802246, 0.019576549530029297, 0.020482301712036133, 0.02138805389404297, 0.022293806076049805, 0.02319955825805664, 0.024105310440063477, 0.025011062622070312, 0.02591681480407715, 0.026822566986083984, 0.02772831916809082, 0.028634071350097656, 0.029539823532104492, 0.030445575714111328, 0.031351327896118164, 0.032257080078125]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 4.0, 7.0, 10.0, 11.0, 21.0, 26.0, 51.0, 74.0, 95.0, 157.0, 245.0, 386.0, 554.0, 847.0, 1249.0, 1934.0, 2871.0, 4433.0, 6778.0, 10359.0, 16024.0, 25430.0, 40528.0, 68584.0, 129334.0, 336690.0, 179635.0, 86760.0, 49947.0, 30474.0, 19247.0, 12212.0, 8015.0, 5403.0, 3482.0, 2305.0, 1503.0, 989.0, 679.0, 428.0, 279.0, 179.0, 120.0, 75.0, 53.0, 23.0, 23.0, 15.0, 7.0, 8.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.00038242340087890625, -0.00037107616662979126, -0.00035972893238067627, -0.0003483816981315613, -0.0003370344638824463, -0.0003256872296333313, -0.0003143399953842163, -0.0003029927611351013, -0.00029164552688598633, -0.00028029829263687134, -0.00026895105838775635, -0.00025760382413864136, -0.00024625658988952637, -0.00023490935564041138, -0.0002235621213912964, -0.0002122148871421814, -0.0002008676528930664, -0.00018952041864395142, -0.00017817318439483643, -0.00016682595014572144, -0.00015547871589660645, -0.00014413148164749146, -0.00013278424739837646, -0.00012143701314926147, -0.00011008977890014648, -9.87425446510315e-05, -8.73953104019165e-05, -7.604807615280151e-05, -6.470084190368652e-05, -5.335360765457153e-05, -4.200637340545654e-05, -3.065913915634155e-05, -1.9311904907226562e-05, -7.964670658111572e-06, 3.382563591003418e-06, 1.4729797840118408e-05, 2.60770320892334e-05, 3.742426633834839e-05, 4.877150058746338e-05, 6.011873483657837e-05, 7.146596908569336e-05, 8.281320333480835e-05, 9.416043758392334e-05, 0.00010550767183303833, 0.00011685490608215332, 0.0001282021403312683, 0.0001395493745803833, 0.0001508966088294983, 0.00016224384307861328, 0.00017359107732772827, 0.00018493831157684326, 0.00019628554582595825, 0.00020763278007507324, 0.00021898001432418823, 0.00023032724857330322, 0.0002416744828224182, 0.0002530217170715332, 0.0002643689513206482, 0.0002757161855697632, 0.0002870634198188782, 0.00029841065406799316, 0.00030975788831710815, 0.00032110512256622314, 0.00033245235681533813, 0.0003437995910644531]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 3.0, 3.0, 2.0, 5.0, 5.0, 0.0, 11.0, 8.0, 13.0, 15.0, 9.0, 18.0, 15.0, 19.0, 21.0, 15.0, 27.0, 38.0, 35.0, 31.0, 26.0, 41.0, 32.0, 41.0, 34.0, 1060.0, 36.0, 37.0, 35.0, 39.0, 43.0, 30.0, 41.0, 30.0, 31.0, 27.0, 29.0, 23.0, 14.0, 14.0, 20.0, 6.0, 10.0, 10.0, 9.0, 3.0, 7.0, 3.0, 2.0, 5.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0277099609375, -0.026834964752197266, -0.02595996856689453, -0.025084972381591797, -0.024209976196289062, -0.023334980010986328, -0.022459983825683594, -0.02158498764038086, -0.020709991455078125, -0.01983499526977539, -0.018959999084472656, -0.018085002899169922, -0.017210006713867188, -0.016335010528564453, -0.015460014343261719, -0.014585018157958984, -0.01371002197265625, -0.012835025787353516, -0.011960029602050781, -0.011085033416748047, -0.010210037231445312, -0.009335041046142578, -0.008460044860839844, -0.007585048675537109, -0.006710052490234375, -0.005835056304931641, -0.004960060119628906, -0.004085063934326172, -0.0032100677490234375, -0.002335071563720703, -0.0014600753784179688, -0.0005850791931152344, 0.0002899169921875, 0.0011649131774902344, 0.0020399093627929688, 0.002914905548095703, 0.0037899017333984375, 0.004664897918701172, 0.005539894104003906, 0.006414890289306641, 0.007289886474609375, 0.00816488265991211, 0.009039878845214844, 0.009914875030517578, 0.010789871215820312, 0.011664867401123047, 0.012539863586425781, 0.013414859771728516, 0.01428985595703125, 0.015164852142333984, 0.01603984832763672, 0.016914844512939453, 0.017789840698242188, 0.018664836883544922, 0.019539833068847656, 0.02041482925415039, 0.021289825439453125, 0.02216482162475586, 0.023039817810058594, 0.023914813995361328, 0.024789810180664062, 0.025664806365966797, 0.02653980255126953, 0.027414798736572266, 0.028289794921875]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 5.0, 2.0, 8.0, 2.0, 6.0, 12.0, 13.0, 5.0, 20.0, 12.0, 18.0, 24.0, 23.0, 35.0, 40.0, 44.0, 62.0, 81.0, 127.0, 236.0, 629.0, 2302.0, 18479.0, 2065442.0, 6860.0, 1585.0, 409.0, 175.0, 96.0, 71.0, 55.0, 45.0, 36.0, 19.0, 26.0, 17.0, 13.0, 22.0, 12.0, 10.0, 10.0, 15.0, 10.0, 0.0, 4.0, 4.0, 4.0, 2.0, 4.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0], "bins": [-2.0384788513183594e-05, -1.9754283130168915e-05, -1.9123777747154236e-05, -1.8493272364139557e-05, -1.7862766981124878e-05, -1.72322615981102e-05, -1.660175621509552e-05, -1.597125083208084e-05, -1.5340745449066162e-05, -1.4710240066051483e-05, -1.4079734683036804e-05, -1.3449229300022125e-05, -1.2818723917007446e-05, -1.2188218533992767e-05, -1.1557713150978088e-05, -1.092720776796341e-05, -1.029670238494873e-05, -9.666197001934052e-06, -9.035691618919373e-06, -8.405186235904694e-06, -7.774680852890015e-06, -7.144175469875336e-06, -6.513670086860657e-06, -5.883164703845978e-06, -5.252659320831299e-06, -4.62215393781662e-06, -3.991648554801941e-06, -3.361143171787262e-06, -2.730637788772583e-06, -2.100132405757904e-06, -1.469627022743225e-06, -8.391216397285461e-07, -2.086162567138672e-07, 4.2188912630081177e-07, 1.0523945093154907e-06, 1.6828998923301697e-06, 2.3134052753448486e-06, 2.9439106583595276e-06, 3.5744160413742065e-06, 4.2049214243888855e-06, 4.8354268074035645e-06, 5.465932190418243e-06, 6.096437573432922e-06, 6.726942956447601e-06, 7.35744833946228e-06, 7.98795372247696e-06, 8.618459105491638e-06, 9.248964488506317e-06, 9.879469871520996e-06, 1.0509975254535675e-05, 1.1140480637550354e-05, 1.1770986020565033e-05, 1.2401491403579712e-05, 1.3031996786594391e-05, 1.366250216960907e-05, 1.4293007552623749e-05, 1.4923512935638428e-05, 1.5554018318653107e-05, 1.6184523701667786e-05, 1.6815029084682465e-05, 1.7445534467697144e-05, 1.8076039850711823e-05, 1.87065452337265e-05, 1.933705061674118e-05, 1.996755599975586e-05]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 4.0, 3.0, 5.0, 7.0, 9.0, 11.0, 10.0, 5.0, 23.0, 13.0, 27.0, 28.0, 26.0, 27.0, 32.0, 31.0, 31.0, 41.0, 35.0, 42.0, 38.0, 39.0, 40.0, 48.0, 38.0, 41.0, 39.0, 34.0, 35.0, 35.0, 29.0, 22.0, 22.0, 19.0, 22.0, 16.0, 11.0, 12.0, 10.0, 5.0, 5.0, 6.0, 11.0, 4.0, 5.0, 4.0, 4.0, 2.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0257110595703125, -0.024805307388305664, -0.023899555206298828, -0.022993803024291992, -0.022088050842285156, -0.02118229866027832, -0.020276546478271484, -0.01937079429626465, -0.018465042114257812, -0.017559289932250977, -0.01665353775024414, -0.015747785568237305, -0.014842033386230469, -0.013936281204223633, -0.013030529022216797, -0.012124776840209961, -0.011219024658203125, -0.010313272476196289, -0.009407520294189453, -0.008501768112182617, -0.007596015930175781, -0.006690263748168945, -0.005784511566162109, -0.0048787593841552734, -0.0039730072021484375, -0.0030672550201416016, -0.0021615028381347656, -0.0012557506561279297, -0.00034999847412109375, 0.0005557537078857422, 0.0014615058898925781, 0.002367258071899414, 0.00327301025390625, 0.004178762435913086, 0.005084514617919922, 0.005990266799926758, 0.006896018981933594, 0.00780177116394043, 0.008707523345947266, 0.009613275527954102, 0.010519027709960938, 0.011424779891967773, 0.01233053207397461, 0.013236284255981445, 0.014142036437988281, 0.015047788619995117, 0.015953540802001953, 0.01685929298400879, 0.017765045166015625, 0.01867079734802246, 0.019576549530029297, 0.020482301712036133, 0.02138805389404297, 0.022293806076049805, 0.02319955825805664, 0.024105310440063477, 0.025011062622070312, 0.02591681480407715, 0.026822566986083984, 0.02772831916809082, 0.028634071350097656, 0.029539823532104492, 0.030445575714111328, 0.031351327896118164, 0.032257080078125]}, "gradients/decoder.transformer.h.2.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 4.0, 2.0, 10.0, 11.0, 7.0, 8.0, 17.0, 29.0, 29.0, 42.0, 56.0, 92.0, 138.0, 207.0, 331.0, 457.0, 745.0, 1224.0, 2070.0, 3426.0, 5968.0, 10465.0, 18717.0, 34100.0, 65504.0, 136991.0, 311532.0, 238641.0, 103291.0, 51235.0, 27649.0, 14995.0, 8348.0, 4821.0, 2814.0, 1654.0, 1027.0, 677.0, 415.0, 253.0, 172.0, 104.0, 83.0, 65.0, 44.0, 29.0, 16.0, 11.0, 19.0, 8.0, 3.0, 7.0, 0.0, 2.0, 3.0], "bins": [-0.042816162109375, -0.041620731353759766, -0.04042530059814453, -0.0392298698425293, -0.03803443908691406, -0.03683900833129883, -0.035643577575683594, -0.03444814682006836, -0.033252716064453125, -0.03205728530883789, -0.030861854553222656, -0.029666423797607422, -0.028470993041992188, -0.027275562286376953, -0.02608013153076172, -0.024884700775146484, -0.02368927001953125, -0.022493839263916016, -0.02129840850830078, -0.020102977752685547, -0.018907546997070312, -0.017712116241455078, -0.016516685485839844, -0.01532125473022461, -0.014125823974609375, -0.01293039321899414, -0.011734962463378906, -0.010539531707763672, -0.009344100952148438, -0.008148670196533203, -0.006953239440917969, -0.005757808685302734, -0.0045623779296875, -0.0033669471740722656, -0.0021715164184570312, -0.0009760856628417969, 0.0002193450927734375, 0.0014147758483886719, 0.0026102066040039062, 0.0038056373596191406, 0.005001068115234375, 0.006196498870849609, 0.007391929626464844, 0.008587360382080078, 0.009782791137695312, 0.010978221893310547, 0.012173652648925781, 0.013369083404541016, 0.01456451416015625, 0.015759944915771484, 0.01695537567138672, 0.018150806427001953, 0.019346237182617188, 0.020541667938232422, 0.021737098693847656, 0.02293252944946289, 0.024127960205078125, 0.02532339096069336, 0.026518821716308594, 0.027714252471923828, 0.028909683227539062, 0.030105113983154297, 0.03130054473876953, 0.032495975494384766, 0.03369140625]}, "gradients/decoder.transformer.h.2.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 1.0, 2.0, 6.0, 6.0, 4.0, 7.0, 13.0, 18.0, 16.0, 19.0, 28.0, 26.0, 41.0, 59.0, 77.0, 66.0, 86.0, 103.0, 177.0, 1356.0, 274.0, 143.0, 116.0, 76.0, 62.0, 55.0, 39.0, 34.0, 40.0, 22.0, 9.0, 19.0, 10.0, 9.0, 7.0, 6.0, 7.0, 3.0, 6.0, 1.0, 5.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.1021728515625, -0.09931564331054688, -0.09645843505859375, -0.09360122680664062, -0.0907440185546875, -0.08788681030273438, -0.08502960205078125, -0.08217239379882812, -0.079315185546875, -0.07645797729492188, -0.07360076904296875, -0.07074356079101562, -0.0678863525390625, -0.06502914428710938, -0.06217193603515625, -0.059314727783203125, -0.05645751953125, -0.053600311279296875, -0.05074310302734375, -0.047885894775390625, -0.0450286865234375, -0.042171478271484375, -0.03931427001953125, -0.036457061767578125, -0.033599853515625, -0.030742645263671875, -0.02788543701171875, -0.025028228759765625, -0.0221710205078125, -0.019313812255859375, -0.01645660400390625, -0.013599395751953125, -0.0107421875, -0.007884979248046875, -0.00502777099609375, -0.002170562744140625, 0.0006866455078125, 0.003543853759765625, 0.00640106201171875, 0.009258270263671875, 0.012115478515625, 0.014972686767578125, 0.01782989501953125, 0.020687103271484375, 0.0235443115234375, 0.026401519775390625, 0.02925872802734375, 0.032115936279296875, 0.03497314453125, 0.037830352783203125, 0.04068756103515625, 0.043544769287109375, 0.0464019775390625, 0.049259185791015625, 0.05211639404296875, 0.054973602294921875, 0.057830810546875, 0.060688018798828125, 0.06354522705078125, 0.06640243530273438, 0.0692596435546875, 0.07211685180664062, 0.07497406005859375, 0.07783126831054688, 0.0806884765625]}, "gradients/decoder.transformer.h.2.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 5.0, 8.0, 4.0, 11.0, 16.0, 21.0, 30.0, 43.0, 70.0, 126.0, 182.0, 334.0, 639.0, 1535.0, 19059.0, 3064139.0, 55768.0, 2018.0, 759.0, 378.0, 205.0, 128.0, 83.0, 61.0, 28.0, 23.0, 5.0, 10.0, 5.0, 5.0, 5.0, 6.0, 4.0, 0.0, 4.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2449951171875, -0.23748016357421875, -0.2299652099609375, -0.22245025634765625, -0.214935302734375, -0.20742034912109375, -0.1999053955078125, -0.19239044189453125, -0.18487548828125, -0.17736053466796875, -0.1698455810546875, -0.16233062744140625, -0.154815673828125, -0.14730072021484375, -0.1397857666015625, -0.13227081298828125, -0.124755859375, -0.11724090576171875, -0.1097259521484375, -0.10221099853515625, -0.094696044921875, -0.08718109130859375, -0.0796661376953125, -0.07215118408203125, -0.06463623046875, -0.05712127685546875, -0.0496063232421875, -0.04209136962890625, -0.034576416015625, -0.02706146240234375, -0.0195465087890625, -0.01203155517578125, -0.0045166015625, 0.00299835205078125, 0.0105133056640625, 0.01802825927734375, 0.025543212890625, 0.03305816650390625, 0.0405731201171875, 0.04808807373046875, 0.05560302734375, 0.06311798095703125, 0.0706329345703125, 0.07814788818359375, 0.085662841796875, 0.09317779541015625, 0.1006927490234375, 0.10820770263671875, 0.11572265625, 0.12323760986328125, 0.1307525634765625, 0.13826751708984375, 0.145782470703125, 0.15329742431640625, 0.1608123779296875, 0.16832733154296875, 0.17584228515625, 0.18335723876953125, 0.1908721923828125, 0.19838714599609375, 0.205902099609375, 0.21341705322265625, 0.2209320068359375, 0.22844696044921875, 0.2359619140625]}, "gradients/decoder.transformer.h.2.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 4.0, 7.0, 38.0, 326.0, 522.0, 112.0, 8.0, 1.0], "bins": [-3.2610976696014404, -3.2070205211639404, -3.1529431343078613, -3.0988659858703613, -3.0447885990142822, -2.9907114505767822, -2.936634063720703, -2.882556915283203, -2.828479528427124, -2.774402379989624, -2.720324993133545, -2.666247844696045, -2.612170457839966, -2.558093309402466, -2.5040159225463867, -2.4499387741088867, -2.3958616256713867, -2.3417844772338867, -2.2877070903778076, -2.2336299419403076, -2.1795525550842285, -2.1254754066467285, -2.0713980197906494, -2.0173208713531494, -1.9632434844970703, -1.9091662168502808, -1.8550889492034912, -1.8010116815567017, -1.746934413909912, -1.692857265472412, -1.638779878616333, -1.584702730178833, -1.530625581741333, -1.4765483140945435, -1.422471046447754, -1.3683937788009644, -1.3143165111541748, -1.2602393627166748, -1.2061619758605957, -1.1520848274230957, -1.0980074405670166, -1.043930172920227, -0.9898529052734375, -0.935775637626648, -0.8816984295845032, -0.8276211619377136, -0.7735438942909241, -0.7194666862487793, -0.6653894186019897, -0.6113121509552002, -0.5572348833084106, -0.5031576156616211, -0.4490804076194763, -0.39500313997268677, -0.3409258723258972, -0.28684863448143005, -0.2327713668346405, -0.17869411408901215, -0.12461685389280319, -0.07053959369659424, -0.01646234095096588, 0.037614911794662476, 0.09169217944145203, 0.1457694172859192, 0.19984668493270874]}, "gradients/decoder.transformer.h.2.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 4.0, 2.0, 5.0, 4.0, 4.0, 9.0, 8.0, 5.0, 8.0, 3.0, 16.0, 27.0, 25.0, 23.0, 28.0, 28.0, 42.0, 26.0, 32.0, 30.0, 41.0, 44.0, 33.0, 38.0, 48.0, 38.0, 42.0, 40.0, 41.0, 29.0, 41.0, 34.0, 25.0, 26.0, 27.0, 21.0, 16.0, 12.0, 14.0, 9.0, 14.0, 9.0, 7.0, 12.0, 5.0, 4.0, 6.0, 4.0, 3.0, 1.0, 3.0, 0.0, 1.0], "bins": [-0.35600757598876953, -0.3452720046043396, -0.33453643321990967, -0.32380083203315735, -0.3130652606487274, -0.3023296892642975, -0.29159408807754517, -0.28085851669311523, -0.2701229453086853, -0.25938737392425537, -0.24865178763866425, -0.23791620135307312, -0.2271806299686432, -0.21644505858421326, -0.20570947229862213, -0.194973886013031, -0.18423831462860107, -0.17350274324417114, -0.16276715695858002, -0.1520315706729889, -0.14129599928855896, -0.13056042790412903, -0.1198248416185379, -0.10908926278352737, -0.09835368394851685, -0.08761810511350632, -0.07688252627849579, -0.06614694744348526, -0.05541136860847473, -0.0446757897734642, -0.033940210938453674, -0.023204632103443146, -0.012469053268432617, -0.0017334744334220886, 0.00900210440158844, 0.01973768323659897, 0.030473262071609497, 0.041208840906620026, 0.051944419741630554, 0.06267999857664108, 0.07341557741165161, 0.08415115624666214, 0.09488673508167267, 0.1056223139166832, 0.11635789275169373, 0.12709346413612366, 0.13782905042171478, 0.1485646367073059, 0.15930020809173584, 0.17003577947616577, 0.1807713657617569, 0.19150695204734802, 0.20224252343177795, 0.21297809481620789, 0.223713681101799, 0.23444926738739014, 0.24518483877182007, 0.25592041015625, 0.26665598154067993, 0.27739158272743225, 0.2881271541118622, 0.2988627254962921, 0.30959832668304443, 0.32033389806747437, 0.3310694694519043]}, "gradients/decoder.transformer.h.1.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 6.0, 5.0, 6.0, 7.0, 4.0, 20.0, 9.0, 12.0, 16.0, 19.0, 15.0, 25.0, 27.0, 25.0, 32.0, 31.0, 39.0, 37.0, 41.0, 51.0, 44.0, 35.0, 50.0, 31.0, 39.0, 36.0, 31.0, 34.0, 32.0, 36.0, 29.0, 23.0, 23.0, 18.0, 16.0, 18.0, 14.0, 10.0, 11.0, 9.0, 8.0, 5.0, 8.0, 8.0, 5.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0279998779296875, -0.027044057846069336, -0.026088237762451172, -0.025132417678833008, -0.024176597595214844, -0.02322077751159668, -0.022264957427978516, -0.02130913734436035, -0.020353317260742188, -0.019397497177124023, -0.01844167709350586, -0.017485857009887695, -0.01653003692626953, -0.015574216842651367, -0.014618396759033203, -0.013662576675415039, -0.012706756591796875, -0.011750936508178711, -0.010795116424560547, -0.009839296340942383, -0.008883476257324219, -0.007927656173706055, -0.006971836090087891, -0.0060160160064697266, -0.0050601959228515625, -0.0041043758392333984, -0.0031485557556152344, -0.0021927356719970703, -0.0012369155883789062, -0.0002810955047607422, 0.0006747245788574219, 0.001630544662475586, 0.00258636474609375, 0.003542184829711914, 0.004498004913330078, 0.005453824996948242, 0.006409645080566406, 0.00736546516418457, 0.008321285247802734, 0.009277105331420898, 0.010232925415039062, 0.011188745498657227, 0.01214456558227539, 0.013100385665893555, 0.014056205749511719, 0.015012025833129883, 0.015967845916748047, 0.01692366600036621, 0.017879486083984375, 0.01883530616760254, 0.019791126251220703, 0.020746946334838867, 0.02170276641845703, 0.022658586502075195, 0.02361440658569336, 0.024570226669311523, 0.025526046752929688, 0.02648186683654785, 0.027437686920166016, 0.02839350700378418, 0.029349327087402344, 0.030305147171020508, 0.03126096725463867, 0.032216787338256836, 0.033172607421875]}, "gradients/decoder.transformer.h.1.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 2.0, 2.0, 7.0, 6.0, 6.0, 11.0, 18.0, 20.0, 18.0, 27.0, 50.0, 93.0, 184.0, 323.0, 625.0, 1129.0, 2225.0, 4382.0, 9317.0, 23323.0, 93116.0, 1863853.0, 2060057.0, 92791.0, 23847.0, 9626.0, 4480.0, 2260.0, 1103.0, 609.0, 321.0, 152.0, 92.0, 71.0, 36.0, 33.0, 20.0, 11.0, 14.0, 11.0, 6.0, 7.0, 2.0, 3.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.1129150390625, -0.10949420928955078, -0.10607337951660156, -0.10265254974365234, -0.09923171997070312, -0.0958108901977539, -0.09239006042480469, -0.08896923065185547, -0.08554840087890625, -0.08212757110595703, -0.07870674133300781, -0.0752859115600586, -0.07186508178710938, -0.06844425201416016, -0.06502342224121094, -0.06160259246826172, -0.0581817626953125, -0.05476093292236328, -0.05134010314941406, -0.047919273376464844, -0.044498443603515625, -0.041077613830566406, -0.03765678405761719, -0.03423595428466797, -0.03081512451171875, -0.02739429473876953, -0.023973464965820312, -0.020552635192871094, -0.017131805419921875, -0.013710975646972656, -0.010290145874023438, -0.006869316101074219, -0.003448486328125, -2.765655517578125e-05, 0.0033931732177734375, 0.006814002990722656, 0.010234832763671875, 0.013655662536621094, 0.017076492309570312, 0.02049732208251953, 0.02391815185546875, 0.02733898162841797, 0.030759811401367188, 0.034180641174316406, 0.037601470947265625, 0.041022300720214844, 0.04444313049316406, 0.04786396026611328, 0.0512847900390625, 0.05470561981201172, 0.05812644958496094, 0.061547279357910156, 0.06496810913085938, 0.0683889389038086, 0.07180976867675781, 0.07523059844970703, 0.07865142822265625, 0.08207225799560547, 0.08549308776855469, 0.0889139175415039, 0.09233474731445312, 0.09575557708740234, 0.09917640686035156, 0.10259723663330078, 0.10601806640625]}, "gradients/decoder.transformer.h.1.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 2.0, 5.0, 4.0, 4.0, 1.0, 4.0, 11.0, 16.0, 16.0, 39.0, 33.0, 72.0, 100.0, 170.0, 299.0, 632.0, 993.0, 652.0, 382.0, 245.0, 136.0, 94.0, 49.0, 30.0, 26.0, 10.0, 15.0, 8.0, 11.0, 5.0, 8.0, 2.0, 5.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.05328369140625, -0.051117897033691406, -0.04895210266113281, -0.04678630828857422, -0.044620513916015625, -0.04245471954345703, -0.04028892517089844, -0.038123130798339844, -0.03595733642578125, -0.033791542053222656, -0.03162574768066406, -0.02945995330810547, -0.027294158935546875, -0.02512836456298828, -0.022962570190429688, -0.020796775817871094, -0.0186309814453125, -0.016465187072753906, -0.014299392700195312, -0.012133598327636719, -0.009967803955078125, -0.007802009582519531, -0.0056362152099609375, -0.0034704208374023438, -0.00130462646484375, 0.0008611679077148438, 0.0030269622802734375, 0.005192756652832031, 0.007358551025390625, 0.009524345397949219, 0.011690139770507812, 0.013855934143066406, 0.016021728515625, 0.018187522888183594, 0.020353317260742188, 0.02251911163330078, 0.024684906005859375, 0.02685070037841797, 0.029016494750976562, 0.031182289123535156, 0.03334808349609375, 0.035513877868652344, 0.03767967224121094, 0.03984546661376953, 0.042011260986328125, 0.04417705535888672, 0.04634284973144531, 0.048508644104003906, 0.0506744384765625, 0.052840232849121094, 0.05500602722167969, 0.05717182159423828, 0.059337615966796875, 0.06150341033935547, 0.06366920471191406, 0.06583499908447266, 0.06800079345703125, 0.07016658782958984, 0.07233238220214844, 0.07449817657470703, 0.07666397094726562, 0.07882976531982422, 0.08099555969238281, 0.0831613540649414, 0.0853271484375]}, "gradients/decoder.transformer.h.1.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 9.0, 14.0, 14.0, 17.0, 23.0, 37.0, 59.0, 86.0, 119.0, 246.0, 402.0, 971.0, 2497.0, 7801.0, 35598.0, 445465.0, 3512691.0, 159936.0, 19874.0, 5232.0, 1717.0, 680.0, 342.0, 173.0, 100.0, 50.0, 42.0, 29.0, 22.0, 15.0, 7.0, 6.0, 0.0, 2.0, 2.0, 2.0, 5.0, 3.0, 2.0], "bins": [-0.1602783203125, -0.1564006805419922, -0.15252304077148438, -0.14864540100097656, -0.14476776123046875, -0.14089012145996094, -0.13701248168945312, -0.1331348419189453, -0.1292572021484375, -0.1253795623779297, -0.12150192260742188, -0.11762428283691406, -0.11374664306640625, -0.10986900329589844, -0.10599136352539062, -0.10211372375488281, -0.098236083984375, -0.09435844421386719, -0.09048080444335938, -0.08660316467285156, -0.08272552490234375, -0.07884788513183594, -0.07497024536132812, -0.07109260559082031, -0.0672149658203125, -0.06333732604980469, -0.059459686279296875, -0.05558204650878906, -0.05170440673828125, -0.04782676696777344, -0.043949127197265625, -0.04007148742675781, -0.03619384765625, -0.03231620788574219, -0.028438568115234375, -0.024560928344726562, -0.02068328857421875, -0.016805648803710938, -0.012928009033203125, -0.009050369262695312, -0.0051727294921875, -0.0012950897216796875, 0.002582550048828125, 0.0064601898193359375, 0.01033782958984375, 0.014215469360351562, 0.018093109130859375, 0.021970748901367188, 0.025848388671875, 0.029726028442382812, 0.033603668212890625, 0.03748130798339844, 0.04135894775390625, 0.04523658752441406, 0.049114227294921875, 0.05299186706542969, 0.0568695068359375, 0.06074714660644531, 0.06462478637695312, 0.06850242614746094, 0.07238006591796875, 0.07625770568847656, 0.08013534545898438, 0.08401298522949219, 0.087890625]}, "gradients/decoder.transformer.h.1.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 8.0, 32.0, 131.0, 307.0, 342.0, 159.0, 32.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3534868955612183, -1.3240944147109985, -1.2947019338607788, -1.2653095722198486, -1.235917091369629, -1.2065246105194092, -1.1771321296691895, -1.1477396488189697, -1.11834716796875, -1.0889546871185303, -1.0595622062683105, -1.0301697254180908, -1.0007773637771606, -0.9713848829269409, -0.9419924020767212, -0.9125999212265015, -0.8832075595855713, -0.8538150787353516, -0.8244226574897766, -0.7950301766395569, -0.7656376957893372, -0.7362452745437622, -0.7068527936935425, -0.6774603128433228, -0.648067831993103, -0.6186753511428833, -0.5892829298973083, -0.5598904490470886, -0.5304979681968689, -0.501105546951294, -0.4717130661010742, -0.4423206150531769, -0.41292816400527954, -0.3835357129573822, -0.3541432321071625, -0.32475078105926514, -0.2953583300113678, -0.26596587896347046, -0.23657339811325073, -0.2071809470653534, -0.17778848111629486, -0.14839601516723633, -0.11900356411933899, -0.08961109817028046, -0.06021863967180252, -0.030826181173324585, -0.0014337152242660522, 0.027958735823631287, 0.05735120177268982, 0.08674366027116776, 0.11613611876964569, 0.14552858471870422, 0.17492103576660156, 0.2043135017156601, 0.23370596766471863, 0.26309841871261597, 0.2924908995628357, 0.32188335061073303, 0.35127583146095276, 0.3806682825088501, 0.41006073355674744, 0.4394531846046448, 0.4688456654548645, 0.49823811650276184, 0.5276305675506592]}, "gradients/decoder.transformer.h.1.ln_2.bias": {"_type": "histogram", "values": [2.0, 4.0, 0.0, 0.0, 1.0, 2.0, 0.0, 5.0, 3.0, 2.0, 7.0, 6.0, 11.0, 10.0, 14.0, 13.0, 16.0, 19.0, 19.0, 22.0, 22.0, 24.0, 28.0, 29.0, 42.0, 38.0, 41.0, 32.0, 28.0, 35.0, 35.0, 34.0, 40.0, 43.0, 38.0, 38.0, 39.0, 38.0, 30.0, 26.0, 25.0, 24.0, 23.0, 17.0, 18.0, 13.0, 5.0, 6.0, 13.0, 9.0, 9.0, 3.0, 8.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.16183680295944214, -0.15664158761501312, -0.1514463722705841, -0.1462511420249939, -0.14105592668056488, -0.13586071133613586, -0.13066549599170685, -0.12547028064727783, -0.12027505785226822, -0.1150798425078392, -0.10988461971282959, -0.10468940436840057, -0.09949418902397156, -0.09429896622896194, -0.08910375088453293, -0.08390852808952332, -0.0787133127450943, -0.07351809740066528, -0.06832287460565567, -0.06312765926122665, -0.05793244019150734, -0.052737221121788025, -0.04754200577735901, -0.042346786707639694, -0.03715156763792038, -0.031956348568201065, -0.0267611313611269, -0.021565914154052734, -0.01637069508433342, -0.011175476014614105, -0.00598025880753994, -0.0007850416004657745, 0.00441017746925354, 0.00960539560765028, 0.01480061374604702, 0.019995830953121185, 0.0251910500228405, 0.030386269092559814, 0.03558148443698883, 0.040776703506708145, 0.04597192257642746, 0.051167141646146774, 0.05636236071586609, 0.061557576060295105, 0.06675279140472412, 0.07194801419973373, 0.07714322954416275, 0.08233845233917236, 0.08753366768360138, 0.0927288830280304, 0.09792410582304001, 0.10311932116746902, 0.10831454396247864, 0.11350975930690765, 0.11870497465133667, 0.12390018999576569, 0.1290954053401947, 0.13429062068462372, 0.13948583602905273, 0.14468106627464294, 0.14987628161907196, 0.15507149696350098, 0.16026671230793, 0.165461927652359, 0.17065715789794922]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 3.0, 3.0, 4.0, 1.0, 7.0, 6.0, 11.0, 9.0, 8.0, 9.0, 13.0, 12.0, 17.0, 26.0, 20.0, 32.0, 20.0, 35.0, 38.0, 38.0, 29.0, 39.0, 32.0, 44.0, 40.0, 43.0, 32.0, 36.0, 30.0, 36.0, 32.0, 34.0, 36.0, 30.0, 34.0, 26.0, 20.0, 20.0, 17.0, 14.0, 12.0, 9.0, 8.0, 11.0, 11.0, 1.0, 5.0, 11.0, 2.0, 1.0, 4.0, 3.0, 0.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.0338134765625, -0.032773494720458984, -0.03173351287841797, -0.030693531036376953, -0.029653549194335938, -0.028613567352294922, -0.027573585510253906, -0.02653360366821289, -0.025493621826171875, -0.02445363998413086, -0.023413658142089844, -0.022373676300048828, -0.021333694458007812, -0.020293712615966797, -0.01925373077392578, -0.018213748931884766, -0.01717376708984375, -0.016133785247802734, -0.015093803405761719, -0.014053821563720703, -0.013013839721679688, -0.011973857879638672, -0.010933876037597656, -0.00989389419555664, -0.008853912353515625, -0.00781393051147461, -0.006773948669433594, -0.005733966827392578, -0.0046939849853515625, -0.003654003143310547, -0.0026140213012695312, -0.0015740394592285156, -0.0005340576171875, 0.0005059242248535156, 0.0015459060668945312, 0.002585887908935547, 0.0036258697509765625, 0.004665851593017578, 0.005705833435058594, 0.006745815277099609, 0.007785797119140625, 0.00882577896118164, 0.009865760803222656, 0.010905742645263672, 0.011945724487304688, 0.012985706329345703, 0.014025688171386719, 0.015065670013427734, 0.01610565185546875, 0.017145633697509766, 0.01818561553955078, 0.019225597381591797, 0.020265579223632812, 0.021305561065673828, 0.022345542907714844, 0.02338552474975586, 0.024425506591796875, 0.02546548843383789, 0.026505470275878906, 0.027545452117919922, 0.028585433959960938, 0.029625415802001953, 0.03066539764404297, 0.031705379486083984, 0.032745361328125]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 3.0, 0.0, 4.0, 5.0, 8.0, 13.0, 16.0, 20.0, 52.0, 68.0, 85.0, 135.0, 207.0, 271.0, 406.0, 623.0, 803.0, 1216.0, 1696.0, 2442.0, 3527.0, 4895.0, 7328.0, 10409.0, 15107.0, 22596.0, 33745.0, 52498.0, 83253.0, 145131.0, 282318.0, 141871.0, 82029.0, 51529.0, 33324.0, 22332.0, 14845.0, 10285.0, 7019.0, 5032.0, 3431.0, 2342.0, 1745.0, 1171.0, 892.0, 583.0, 353.0, 320.0, 197.0, 131.0, 103.0, 47.0, 34.0, 36.0, 15.0, 12.0, 7.0, 4.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0004925727844238281, -0.0004769265651702881, -0.00046128034591674805, -0.000445634126663208, -0.00042998790740966797, -0.00041434168815612793, -0.0003986954689025879, -0.00038304924964904785, -0.0003674030303955078, -0.0003517568111419678, -0.00033611059188842773, -0.0003204643726348877, -0.00030481815338134766, -0.0002891719341278076, -0.0002735257148742676, -0.00025787949562072754, -0.0002422332763671875, -0.00022658705711364746, -0.00021094083786010742, -0.00019529461860656738, -0.00017964839935302734, -0.0001640021800994873, -0.00014835596084594727, -0.00013270974159240723, -0.00011706352233886719, -0.00010141730308532715, -8.577108383178711e-05, -7.012486457824707e-05, -5.447864532470703e-05, -3.883242607116699e-05, -2.3186206817626953e-05, -7.539987564086914e-06, 8.106231689453125e-06, 2.3752450942993164e-05, 3.93986701965332e-05, 5.504488945007324e-05, 7.069110870361328e-05, 8.633732795715332e-05, 0.00010198354721069336, 0.0001176297664642334, 0.00013327598571777344, 0.00014892220497131348, 0.00016456842422485352, 0.00018021464347839355, 0.0001958608627319336, 0.00021150708198547363, 0.00022715330123901367, 0.0002427995204925537, 0.00025844573974609375, 0.0002740919589996338, 0.00028973817825317383, 0.00030538439750671387, 0.0003210306167602539, 0.00033667683601379395, 0.000352323055267334, 0.000367969274520874, 0.00038361549377441406, 0.0003992617130279541, 0.00041490793228149414, 0.0004305541515350342, 0.0004462003707885742, 0.00046184659004211426, 0.0004774928092956543, 0.0004931390285491943, 0.0005087852478027344]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 6.0, 5.0, 6.0, 10.0, 11.0, 6.0, 14.0, 19.0, 17.0, 21.0, 25.0, 27.0, 26.0, 27.0, 40.0, 33.0, 40.0, 28.0, 40.0, 31.0, 31.0, 1061.0, 37.0, 36.0, 34.0, 41.0, 37.0, 27.0, 26.0, 26.0, 34.0, 27.0, 26.0, 25.0, 22.0, 13.0, 13.0, 19.0, 15.0, 9.0, 11.0, 7.0, 9.0, 3.0, 3.0, 4.0, 3.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.045989990234375, -0.04453706741333008, -0.043084144592285156, -0.041631221771240234, -0.04017829895019531, -0.03872537612915039, -0.03727245330810547, -0.03581953048706055, -0.034366607666015625, -0.0329136848449707, -0.03146076202392578, -0.03000783920288086, -0.028554916381835938, -0.027101993560791016, -0.025649070739746094, -0.024196147918701172, -0.02274322509765625, -0.021290302276611328, -0.019837379455566406, -0.018384456634521484, -0.016931533813476562, -0.01547861099243164, -0.014025688171386719, -0.012572765350341797, -0.011119842529296875, -0.009666919708251953, -0.008213996887207031, -0.006761074066162109, -0.0053081512451171875, -0.0038552284240722656, -0.0024023056030273438, -0.0009493827819824219, 0.0005035400390625, 0.001956462860107422, 0.0034093856811523438, 0.004862308502197266, 0.0063152313232421875, 0.007768154144287109, 0.009221076965332031, 0.010673999786376953, 0.012126922607421875, 0.013579845428466797, 0.015032768249511719, 0.01648569107055664, 0.017938613891601562, 0.019391536712646484, 0.020844459533691406, 0.022297382354736328, 0.02375030517578125, 0.025203227996826172, 0.026656150817871094, 0.028109073638916016, 0.029561996459960938, 0.03101491928100586, 0.03246784210205078, 0.0339207649230957, 0.035373687744140625, 0.03682661056518555, 0.03827953338623047, 0.03973245620727539, 0.04118537902832031, 0.042638301849365234, 0.044091224670410156, 0.04554414749145508, 0.0469970703125]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 4.0, 4.0, 3.0, 8.0, 7.0, 11.0, 9.0, 12.0, 15.0, 21.0, 9.0, 22.0, 23.0, 29.0, 27.0, 33.0, 41.0, 50.0, 72.0, 90.0, 176.0, 363.0, 1286.0, 6644.0, 2058768.0, 24863.0, 3039.0, 684.0, 286.0, 129.0, 74.0, 68.0, 47.0, 24.0, 34.0, 32.0, 20.0, 20.0, 22.0, 12.0, 11.0, 8.0, 11.0, 9.0, 6.0, 4.0, 5.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0], "bins": [-3.439188003540039e-05, -3.3342279493808746e-05, -3.22926789522171e-05, -3.124307841062546e-05, -3.0193477869033813e-05, -2.914387732744217e-05, -2.8094276785850525e-05, -2.704467624425888e-05, -2.5995075702667236e-05, -2.4945475161075592e-05, -2.3895874619483948e-05, -2.2846274077892303e-05, -2.179667353630066e-05, -2.0747072994709015e-05, -1.969747245311737e-05, -1.8647871911525726e-05, -1.7598271369934082e-05, -1.6548670828342438e-05, -1.5499070286750793e-05, -1.444946974515915e-05, -1.3399869203567505e-05, -1.235026866197586e-05, -1.1300668120384216e-05, -1.0251067578792572e-05, -9.201467037200928e-06, -8.151866495609283e-06, -7.102265954017639e-06, -6.052665412425995e-06, -5.003064870834351e-06, -3.953464329242706e-06, -2.903863787651062e-06, -1.8542632460594177e-06, -8.046627044677734e-07, 2.4493783712387085e-07, 1.2945383787155151e-06, 2.3441389203071594e-06, 3.3937394618988037e-06, 4.443340003490448e-06, 5.492940545082092e-06, 6.5425410866737366e-06, 7.592141628265381e-06, 8.641742169857025e-06, 9.69134271144867e-06, 1.0740943253040314e-05, 1.1790543794631958e-05, 1.2840144336223602e-05, 1.3889744877815247e-05, 1.4939345419406891e-05, 1.5988945960998535e-05, 1.703854650259018e-05, 1.8088147044181824e-05, 1.9137747585773468e-05, 2.0187348127365112e-05, 2.1236948668956757e-05, 2.22865492105484e-05, 2.3336149752140045e-05, 2.438575029373169e-05, 2.5435350835323334e-05, 2.6484951376914978e-05, 2.7534551918506622e-05, 2.8584152460098267e-05, 2.963375300168991e-05, 3.0683353543281555e-05, 3.17329540848732e-05, 3.2782554626464844e-05]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 3.0, 3.0, 4.0, 1.0, 7.0, 6.0, 11.0, 9.0, 8.0, 9.0, 13.0, 12.0, 17.0, 26.0, 20.0, 32.0, 20.0, 35.0, 38.0, 38.0, 29.0, 39.0, 32.0, 44.0, 40.0, 43.0, 32.0, 36.0, 30.0, 36.0, 32.0, 34.0, 36.0, 30.0, 34.0, 26.0, 20.0, 20.0, 17.0, 14.0, 12.0, 9.0, 8.0, 11.0, 11.0, 1.0, 5.0, 11.0, 2.0, 1.0, 4.0, 3.0, 0.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.0338134765625, -0.032773494720458984, -0.03173351287841797, -0.030693531036376953, -0.029653549194335938, -0.028613567352294922, -0.027573585510253906, -0.02653360366821289, -0.025493621826171875, -0.02445363998413086, -0.023413658142089844, -0.022373676300048828, -0.021333694458007812, -0.020293712615966797, -0.01925373077392578, -0.018213748931884766, -0.01717376708984375, -0.016133785247802734, -0.015093803405761719, -0.014053821563720703, -0.013013839721679688, -0.011973857879638672, -0.010933876037597656, -0.00989389419555664, -0.008853912353515625, -0.00781393051147461, -0.006773948669433594, -0.005733966827392578, -0.0046939849853515625, -0.003654003143310547, -0.0026140213012695312, -0.0015740394592285156, -0.0005340576171875, 0.0005059242248535156, 0.0015459060668945312, 0.002585887908935547, 0.0036258697509765625, 0.004665851593017578, 0.005705833435058594, 0.006745815277099609, 0.007785797119140625, 0.00882577896118164, 0.009865760803222656, 0.010905742645263672, 0.011945724487304688, 0.012985706329345703, 0.014025688171386719, 0.015065670013427734, 0.01610565185546875, 0.017145633697509766, 0.01818561553955078, 0.019225597381591797, 0.020265579223632812, 0.021305561065673828, 0.022345542907714844, 0.02338552474975586, 0.024425506591796875, 0.02546548843383789, 0.026505470275878906, 0.027545452117919922, 0.028585433959960938, 0.029625415802001953, 0.03066539764404297, 0.031705379486083984, 0.032745361328125]}, "gradients/decoder.transformer.h.1.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 3.0, 8.0, 7.0, 4.0, 8.0, 18.0, 22.0, 34.0, 50.0, 64.0, 87.0, 120.0, 188.0, 284.0, 383.0, 603.0, 850.0, 1253.0, 1772.0, 2731.0, 4275.0, 7172.0, 12365.0, 24866.0, 54261.0, 127939.0, 263726.0, 282037.0, 140912.0, 60397.0, 27420.0, 13686.0, 7631.0, 4565.0, 2835.0, 1916.0, 1264.0, 904.0, 565.0, 425.0, 297.0, 201.0, 128.0, 79.0, 66.0, 41.0, 34.0, 15.0, 14.0, 21.0, 8.0, 3.0, 3.0, 5.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03076171875, -0.029738426208496094, -0.028715133666992188, -0.02769184112548828, -0.026668548583984375, -0.02564525604248047, -0.024621963500976562, -0.023598670959472656, -0.02257537841796875, -0.021552085876464844, -0.020528793334960938, -0.01950550079345703, -0.018482208251953125, -0.01745891571044922, -0.016435623168945312, -0.015412330627441406, -0.0143890380859375, -0.013365745544433594, -0.012342453002929688, -0.011319160461425781, -0.010295867919921875, -0.009272575378417969, -0.008249282836914062, -0.007225990295410156, -0.00620269775390625, -0.005179405212402344, -0.0041561126708984375, -0.0031328201293945312, -0.002109527587890625, -0.0010862350463867188, -6.29425048828125e-05, 0.0009603500366210938, 0.001983642578125, 0.0030069351196289062, 0.0040302276611328125, 0.005053520202636719, 0.006076812744140625, 0.007100105285644531, 0.008123397827148438, 0.009146690368652344, 0.01016998291015625, 0.011193275451660156, 0.012216567993164062, 0.013239860534667969, 0.014263153076171875, 0.015286445617675781, 0.016309738159179688, 0.017333030700683594, 0.0183563232421875, 0.019379615783691406, 0.020402908325195312, 0.02142620086669922, 0.022449493408203125, 0.02347278594970703, 0.024496078491210938, 0.025519371032714844, 0.02654266357421875, 0.027565956115722656, 0.028589248657226562, 0.02961254119873047, 0.030635833740234375, 0.03165912628173828, 0.03268241882324219, 0.033705711364746094, 0.03472900390625]}, "gradients/decoder.transformer.h.1.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 6.0, 5.0, 6.0, 9.0, 11.0, 9.0, 21.0, 20.0, 18.0, 25.0, 33.0, 31.0, 52.0, 42.0, 64.0, 77.0, 115.0, 201.0, 1556.0, 207.0, 121.0, 65.0, 70.0, 47.0, 37.0, 37.0, 32.0, 22.0, 24.0, 20.0, 14.0, 10.0, 12.0, 7.0, 11.0, 6.0, 1.0, 3.0, 3.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0931396484375, -0.08962440490722656, -0.08610916137695312, -0.08259391784667969, -0.07907867431640625, -0.07556343078613281, -0.07204818725585938, -0.06853294372558594, -0.0650177001953125, -0.06150245666503906, -0.057987213134765625, -0.05447196960449219, -0.05095672607421875, -0.04744148254394531, -0.043926239013671875, -0.04041099548339844, -0.036895751953125, -0.03338050842285156, -0.029865264892578125, -0.026350021362304688, -0.02283477783203125, -0.019319534301757812, -0.015804290771484375, -0.012289047241210938, -0.0087738037109375, -0.0052585601806640625, -0.001743316650390625, 0.0017719268798828125, 0.00528717041015625, 0.008802413940429688, 0.012317657470703125, 0.015832901000976562, 0.01934814453125, 0.022863388061523438, 0.026378631591796875, 0.029893875122070312, 0.03340911865234375, 0.03692436218261719, 0.040439605712890625, 0.04395484924316406, 0.0474700927734375, 0.05098533630371094, 0.054500579833984375, 0.05801582336425781, 0.06153106689453125, 0.06504631042480469, 0.06856155395507812, 0.07207679748535156, 0.075592041015625, 0.07910728454589844, 0.08262252807617188, 0.08613777160644531, 0.08965301513671875, 0.09316825866699219, 0.09668350219726562, 0.10019874572753906, 0.1037139892578125, 0.10722923278808594, 0.11074447631835938, 0.11425971984863281, 0.11777496337890625, 0.12129020690917969, 0.12480545043945312, 0.12832069396972656, 0.1318359375]}, "gradients/decoder.transformer.h.1.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 2.0, 5.0, 3.0, 9.0, 11.0, 9.0, 19.0, 24.0, 19.0, 21.0, 66.0, 56.0, 64.0, 106.0, 147.0, 254.0, 422.0, 1455.0, 30802.0, 3077992.0, 31517.0, 1522.0, 407.0, 225.0, 139.0, 99.0, 77.0, 45.0, 45.0, 35.0, 23.0, 22.0, 15.0, 9.0, 12.0, 6.0, 8.0, 7.0, 2.0, 7.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2242431640625, -0.21809959411621094, -0.21195602416992188, -0.2058124542236328, -0.19966888427734375, -0.1935253143310547, -0.18738174438476562, -0.18123817443847656, -0.1750946044921875, -0.16895103454589844, -0.16280746459960938, -0.1566638946533203, -0.15052032470703125, -0.1443767547607422, -0.13823318481445312, -0.13208961486816406, -0.125946044921875, -0.11980247497558594, -0.11365890502929688, -0.10751533508300781, -0.10137176513671875, -0.09522819519042969, -0.08908462524414062, -0.08294105529785156, -0.0767974853515625, -0.07065391540527344, -0.06451034545898438, -0.05836677551269531, -0.05222320556640625, -0.04607963562011719, -0.039936065673828125, -0.03379249572753906, -0.02764892578125, -0.021505355834960938, -0.015361785888671875, -0.009218215942382812, -0.00307464599609375, 0.0030689239501953125, 0.009212493896484375, 0.015356063842773438, 0.0214996337890625, 0.027643203735351562, 0.033786773681640625, 0.03993034362792969, 0.04607391357421875, 0.05221748352050781, 0.058361053466796875, 0.06450462341308594, 0.070648193359375, 0.07679176330566406, 0.08293533325195312, 0.08907890319824219, 0.09522247314453125, 0.10136604309082031, 0.10750961303710938, 0.11365318298339844, 0.1197967529296875, 0.12594032287597656, 0.13208389282226562, 0.1382274627685547, 0.14437103271484375, 0.1505146026611328, 0.15665817260742188, 0.16280174255371094, 0.1689453125]}, "gradients/decoder.transformer.h.1.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 295.0, 681.0, 32.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6948652267456055, -2.6451518535614014, -2.595438241958618, -2.545724868774414, -2.49601149559021, -2.4462978839874268, -2.3965845108032227, -2.3468711376190186, -2.2971577644348145, -2.2474443912506104, -2.197730779647827, -2.148017406463623, -2.098304033279419, -2.0485904216766357, -1.9988770484924316, -1.9491636753082275, -1.8994500637054443, -1.8497365713119507, -1.8000231981277466, -1.750309705734253, -1.7005963325500488, -1.6508828401565552, -1.6011693477630615, -1.5514559745788574, -1.5017424821853638, -1.4520289897918701, -1.402315616607666, -1.3526021242141724, -1.3028886318206787, -1.2531752586364746, -1.203461766242981, -1.1537482738494873, -1.1040349006652832, -1.0543214082717896, -1.0046080350875854, -0.9548945426940918, -0.9051811099052429, -0.855467677116394, -0.8057541847229004, -0.7560407519340515, -0.7063273191452026, -0.6566138863563538, -0.6069004535675049, -0.5571869611740112, -0.5074735283851624, -0.4577600955963135, -0.4080466330051422, -0.35833317041397095, -0.3086197078227997, -0.2589062452316284, -0.20919281244277954, -0.15947936475276947, -0.1097659170627594, -0.06005246937274933, -0.010339021682739258, 0.03937444090843201, 0.08908787369728088, 0.13880132138729095, 0.18851476907730103, 0.2382282167673111, 0.28794166445732117, 0.33765512704849243, 0.3873685598373413, 0.4370820224285126, 0.48679545521736145]}, "gradients/decoder.transformer.h.1.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 6.0, 8.0, 6.0, 7.0, 6.0, 11.0, 21.0, 18.0, 20.0, 21.0, 31.0, 26.0, 24.0, 28.0, 46.0, 33.0, 33.0, 48.0, 51.0, 31.0, 58.0, 36.0, 34.0, 32.0, 42.0, 44.0, 38.0, 44.0, 30.0, 27.0, 24.0, 21.0, 14.0, 9.0, 12.0, 14.0, 13.0, 9.0, 8.0, 1.0, 6.0, 6.0, 1.0, 3.0, 1.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.2980058193206787, -0.2884928584098816, -0.2789798974990845, -0.26946693658828735, -0.25995397567749023, -0.2504410445690155, -0.24092808365821838, -0.23141512274742126, -0.22190216183662415, -0.21238920092582703, -0.2028762400150299, -0.19336329400539398, -0.18385033309459686, -0.17433737218379974, -0.16482442617416382, -0.1553114652633667, -0.14579850435256958, -0.13628554344177246, -0.12677258253097534, -0.11725963652133942, -0.1077466756105423, -0.09823371469974518, -0.08872076123952866, -0.07920780777931213, -0.06969484686851501, -0.060181889683008194, -0.05066893249750137, -0.04115597531199455, -0.03164301812648773, -0.02213006094098091, -0.01261710375547409, -0.0031041502952575684, 0.006408810615539551, 0.01592176780104637, 0.025434724986553192, 0.03494768217206001, 0.044460639357566833, 0.053973596543073654, 0.06348655372858047, 0.072999507188797, 0.08251246809959412, 0.09202542901039124, 0.10153838247060776, 0.11105133593082428, 0.1205642968416214, 0.13007725775241852, 0.13959020376205444, 0.14910316467285156, 0.15861612558364868, 0.1681290864944458, 0.17764204740524292, 0.18715499341487885, 0.19666795432567596, 0.20618091523647308, 0.215693861246109, 0.22520682215690613, 0.23471978306770325, 0.24423274397850037, 0.2537457048892975, 0.2632586658000946, 0.27277159690856934, 0.28228455781936646, 0.2917975187301636, 0.3013104796409607, 0.3108234405517578]}, "gradients/decoder.transformer.h.0.mlp.c_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 6.0, 1.0, 3.0, 2.0, 11.0, 7.0, 13.0, 8.0, 12.0, 10.0, 26.0, 16.0, 32.0, 23.0, 32.0, 28.0, 30.0, 51.0, 36.0, 42.0, 40.0, 45.0, 28.0, 38.0, 33.0, 37.0, 40.0, 35.0, 31.0, 26.0, 35.0, 24.0, 33.0, 17.0, 25.0, 22.0, 13.0, 15.0, 12.0, 15.0, 12.0, 8.0, 7.0, 7.0, 6.0, 6.0, 2.0, 2.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.03570556640625, -0.03456735610961914, -0.03342914581298828, -0.03229093551635742, -0.031152725219726562, -0.030014514923095703, -0.028876304626464844, -0.027738094329833984, -0.026599884033203125, -0.025461673736572266, -0.024323463439941406, -0.023185253143310547, -0.022047042846679688, -0.020908832550048828, -0.01977062225341797, -0.01863241195678711, -0.01749420166015625, -0.01635599136352539, -0.015217781066894531, -0.014079570770263672, -0.012941360473632812, -0.011803150177001953, -0.010664939880371094, -0.009526729583740234, -0.008388519287109375, -0.007250308990478516, -0.006112098693847656, -0.004973888397216797, -0.0038356781005859375, -0.002697467803955078, -0.0015592575073242188, -0.0004210472106933594, 0.0007171630859375, 0.0018553733825683594, 0.0029935836791992188, 0.004131793975830078, 0.0052700042724609375, 0.006408214569091797, 0.007546424865722656, 0.008684635162353516, 0.009822845458984375, 0.010961055755615234, 0.012099266052246094, 0.013237476348876953, 0.014375686645507812, 0.015513896942138672, 0.01665210723876953, 0.01779031753540039, 0.01892852783203125, 0.02006673812866211, 0.02120494842529297, 0.022343158721923828, 0.023481369018554688, 0.024619579315185547, 0.025757789611816406, 0.026895999908447266, 0.028034210205078125, 0.029172420501708984, 0.030310630798339844, 0.0314488410949707, 0.03258705139160156, 0.03372526168823242, 0.03486347198486328, 0.03600168228149414, 0.037139892578125]}, "gradients/decoder.transformer.h.0.mlp.c_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 0.0, 3.0, 2.0, 5.0, 5.0, 12.0, 9.0, 11.0, 16.0, 42.0, 42.0, 49.0, 67.0, 101.0, 137.0, 176.0, 251.0, 357.0, 534.0, 847.0, 1757.0, 5427.0, 32937.0, 646602.0, 3364367.0, 121669.0, 12556.0, 3006.0, 1076.0, 622.0, 438.0, 316.0, 200.0, 173.0, 98.0, 99.0, 74.0, 50.0, 43.0, 36.0, 26.0, 21.0, 6.0, 7.0, 12.0, 4.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.2276611328125, -0.2189922332763672, -0.21032333374023438, -0.20165443420410156, -0.19298553466796875, -0.18431663513183594, -0.17564773559570312, -0.1669788360595703, -0.1583099365234375, -0.1496410369873047, -0.14097213745117188, -0.13230323791503906, -0.12363433837890625, -0.11496543884277344, -0.10629653930664062, -0.09762763977050781, -0.088958740234375, -0.08028984069824219, -0.07162094116210938, -0.06295204162597656, -0.05428314208984375, -0.04561424255371094, -0.036945343017578125, -0.028276443481445312, -0.0196075439453125, -0.010938644409179688, -0.002269744873046875, 0.0063991546630859375, 0.01506805419921875, 0.023736953735351562, 0.032405853271484375, 0.04107475280761719, 0.04974365234375, 0.05841255187988281, 0.06708145141601562, 0.07575035095214844, 0.08441925048828125, 0.09308815002441406, 0.10175704956054688, 0.11042594909667969, 0.1190948486328125, 0.1277637481689453, 0.13643264770507812, 0.14510154724121094, 0.15377044677734375, 0.16243934631347656, 0.17110824584960938, 0.1797771453857422, 0.188446044921875, 0.1971149444580078, 0.20578384399414062, 0.21445274353027344, 0.22312164306640625, 0.23179054260253906, 0.24045944213867188, 0.2491283416748047, 0.2577972412109375, 0.2664661407470703, 0.2751350402832031, 0.28380393981933594, 0.29247283935546875, 0.30114173889160156, 0.3098106384277344, 0.3184795379638672, 0.3271484375]}, "gradients/decoder.transformer.h.0.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 6.0, 4.0, 7.0, 3.0, 8.0, 13.0, 19.0, 26.0, 23.0, 42.0, 56.0, 79.0, 89.0, 132.0, 161.0, 232.0, 293.0, 395.0, 494.0, 484.0, 408.0, 295.0, 216.0, 165.0, 122.0, 93.0, 58.0, 35.0, 37.0, 19.0, 20.0, 10.0, 9.0, 7.0, 6.0, 10.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.09686279296875, -0.0940084457397461, -0.09115409851074219, -0.08829975128173828, -0.08544540405273438, -0.08259105682373047, -0.07973670959472656, -0.07688236236572266, -0.07402801513671875, -0.07117366790771484, -0.06831932067871094, -0.06546497344970703, -0.06261062622070312, -0.05975627899169922, -0.05690193176269531, -0.054047584533691406, -0.0511932373046875, -0.048338890075683594, -0.04548454284667969, -0.04263019561767578, -0.039775848388671875, -0.03692150115966797, -0.03406715393066406, -0.031212806701660156, -0.02835845947265625, -0.025504112243652344, -0.022649765014648438, -0.01979541778564453, -0.016941070556640625, -0.014086723327636719, -0.011232376098632812, -0.008378028869628906, -0.005523681640625, -0.0026693344116210938, 0.0001850128173828125, 0.0030393600463867188, 0.005893707275390625, 0.008748054504394531, 0.011602401733398438, 0.014456748962402344, 0.01731109619140625, 0.020165443420410156, 0.023019790649414062, 0.02587413787841797, 0.028728485107421875, 0.03158283233642578, 0.03443717956542969, 0.037291526794433594, 0.0401458740234375, 0.043000221252441406, 0.04585456848144531, 0.04870891571044922, 0.051563262939453125, 0.05441761016845703, 0.05727195739746094, 0.060126304626464844, 0.06298065185546875, 0.06583499908447266, 0.06868934631347656, 0.07154369354248047, 0.07439804077148438, 0.07725238800048828, 0.08010673522949219, 0.0829610824584961, 0.0858154296875]}, "gradients/decoder.transformer.h.0.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 3.0, 2.0, 2.0, 3.0, 10.0, 17.0, 21.0, 48.0, 68.0, 101.0, 140.0, 310.0, 606.0, 1451.0, 3948.0, 15622.0, 95176.0, 1356498.0, 2525916.0, 163169.0, 22591.0, 5348.0, 1779.0, 666.0, 348.0, 175.0, 90.0, 56.0, 47.0, 24.0, 18.0, 12.0, 10.0, 4.0, 4.0, 3.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.1683349609375, -0.1625537872314453, -0.15677261352539062, -0.15099143981933594, -0.14521026611328125, -0.13942909240722656, -0.13364791870117188, -0.1278667449951172, -0.1220855712890625, -0.11630439758300781, -0.11052322387695312, -0.10474205017089844, -0.09896087646484375, -0.09317970275878906, -0.08739852905273438, -0.08161735534667969, -0.075836181640625, -0.07005500793457031, -0.06427383422851562, -0.05849266052246094, -0.05271148681640625, -0.04693031311035156, -0.041149139404296875, -0.03536796569824219, -0.0295867919921875, -0.023805618286132812, -0.018024444580078125, -0.012243270874023438, -0.00646209716796875, -0.0006809234619140625, 0.005100250244140625, 0.010881423950195312, 0.01666259765625, 0.022443771362304688, 0.028224945068359375, 0.03400611877441406, 0.03978729248046875, 0.04556846618652344, 0.051349639892578125, 0.05713081359863281, 0.0629119873046875, 0.06869316101074219, 0.07447433471679688, 0.08025550842285156, 0.08603668212890625, 0.09181785583496094, 0.09759902954101562, 0.10338020324707031, 0.109161376953125, 0.11494255065917969, 0.12072372436523438, 0.12650489807128906, 0.13228607177734375, 0.13806724548339844, 0.14384841918945312, 0.1496295928955078, 0.1554107666015625, 0.1611919403076172, 0.16697311401367188, 0.17275428771972656, 0.17853546142578125, 0.18431663513183594, 0.19009780883789062, 0.1958789825439453, 0.20166015625]}, "gradients/decoder.transformer.h.0.ln_2.weight": {"_type": "histogram", "values": [3.0, 1.0, 2.0, 4.0, 0.0, 5.0, 6.0, 11.0, 10.0, 12.0, 13.0, 20.0, 29.0, 47.0, 58.0, 68.0, 58.0, 75.0, 78.0, 83.0, 62.0, 61.0, 59.0, 43.0, 49.0, 43.0, 36.0, 28.0, 10.0, 13.0, 8.0, 7.0, 5.0, 2.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.40600600838661194, -0.38588231801986694, -0.36575862765312195, -0.34563493728637695, -0.32551124691963196, -0.30538755655288696, -0.28526389598846436, -0.265140175819397, -0.24501650035381317, -0.22489280998706818, -0.20476911962032318, -0.18464544415473938, -0.16452175378799438, -0.1443980634212494, -0.1242743730545044, -0.1041506826877594, -0.0840269923210144, -0.06390330195426941, -0.04377961531281471, -0.023655928671360016, -0.0035322383046150208, 0.016591452062129974, 0.03671513497829437, 0.05683882534503937, 0.07696251571178436, 0.09708620607852936, 0.11720989644527435, 0.13733357191085815, 0.15745726227760315, 0.17758095264434814, 0.19770464301109314, 0.21782833337783813, 0.23795205354690552, 0.2580757439136505, 0.2781994342803955, 0.2983231246471405, 0.3184468150138855, 0.3385705053806305, 0.3586941957473755, 0.3788178563117981, 0.3989415764808655, 0.4190652668476105, 0.43918895721435547, 0.45931264758110046, 0.47943633794784546, 0.49956002831459045, 0.5196837186813354, 0.5398073792457581, 0.5599310398101807, 0.5800547003746033, 0.6001784205436707, 0.6203020811080933, 0.6404258012771606, 0.6605494618415833, 0.6806731820106506, 0.7007968425750732, 0.7209205627441406, 0.7410442233085632, 0.7611679434776306, 0.7812916040420532, 0.8014153242111206, 0.8215389847755432, 0.8416627049446106, 0.8617863655090332, 0.8819100856781006]}, "gradients/decoder.transformer.h.0.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 0.0, 2.0, 2.0, 3.0, 9.0, 2.0, 3.0, 3.0, 8.0, 8.0, 14.0, 7.0, 16.0, 10.0, 17.0, 20.0, 25.0, 28.0, 28.0, 22.0, 33.0, 33.0, 39.0, 25.0, 39.0, 39.0, 37.0, 46.0, 43.0, 30.0, 26.0, 40.0, 36.0, 42.0, 31.0, 43.0, 23.0, 24.0, 29.0, 17.0, 15.0, 9.0, 19.0, 11.0, 15.0, 10.0, 8.0, 8.0, 3.0, 2.0, 4.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0], "bins": [-0.40089845657348633, -0.3878871500492096, -0.3748758137226105, -0.36186450719833374, -0.3488531708717346, -0.3358418643474579, -0.32283055782318115, -0.30981922149658203, -0.2968079149723053, -0.28379660844802856, -0.27078527212142944, -0.2577739655971527, -0.24476264417171478, -0.23175132274627686, -0.21874001622200012, -0.2057286947965622, -0.19271737337112427, -0.17970605194568634, -0.1666947305202484, -0.15368342399597168, -0.14067210257053375, -0.12766078114509583, -0.1146494671702385, -0.10163815319538116, -0.08862683176994324, -0.07561551034450531, -0.06260419636964798, -0.04959287866950035, -0.03658156096935272, -0.023570239543914795, -0.010558925569057465, 0.0024523884057998657, 0.015463709831237793, 0.028475027531385422, 0.04148634523153305, 0.05449766293168068, 0.06750898063182831, 0.08052030205726624, 0.09353161603212357, 0.1065429300069809, 0.11955425143241882, 0.13256557285785675, 0.14557689428329468, 0.1585882008075714, 0.17159952223300934, 0.18461084365844727, 0.197622150182724, 0.21063347160816193, 0.22364479303359985, 0.23665611445903778, 0.2496674358844757, 0.26267874240875244, 0.27569007873535156, 0.2887013852596283, 0.30171269178390503, 0.31472402811050415, 0.3277353346347809, 0.3407466411590576, 0.35375797748565674, 0.36676928400993347, 0.3797805905342102, 0.3927919268608093, 0.40580323338508606, 0.4188145399093628, 0.4318258762359619]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 5.0, 8.0, 7.0, 8.0, 8.0, 13.0, 9.0, 11.0, 19.0, 24.0, 26.0, 21.0, 33.0, 25.0, 25.0, 33.0, 38.0, 48.0, 48.0, 41.0, 44.0, 31.0, 43.0, 46.0, 42.0, 38.0, 36.0, 35.0, 36.0, 31.0, 26.0, 17.0, 19.0, 20.0, 19.0, 15.0, 10.0, 8.0, 12.0, 5.0, 4.0, 1.0, 3.0, 3.0, 5.0, 5.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.88330078125, -0.8550262451171875, -0.826751708984375, -0.7984771728515625, -0.77020263671875, -0.7419281005859375, -0.713653564453125, -0.6853790283203125, -0.6571044921875, -0.6288299560546875, -0.600555419921875, -0.5722808837890625, -0.54400634765625, -0.5157318115234375, -0.487457275390625, -0.4591827392578125, -0.430908203125, -0.4026336669921875, -0.374359130859375, -0.3460845947265625, -0.31781005859375, -0.2895355224609375, -0.261260986328125, -0.2329864501953125, -0.2047119140625, -0.1764373779296875, -0.148162841796875, -0.1198883056640625, -0.09161376953125, -0.0633392333984375, -0.035064697265625, -0.0067901611328125, 0.021484375, 0.0497589111328125, 0.078033447265625, 0.1063079833984375, 0.13458251953125, 0.1628570556640625, 0.191131591796875, 0.2194061279296875, 0.2476806640625, 0.2759552001953125, 0.304229736328125, 0.3325042724609375, 0.36077880859375, 0.3890533447265625, 0.417327880859375, 0.4456024169921875, 0.473876953125, 0.5021514892578125, 0.530426025390625, 0.5587005615234375, 0.58697509765625, 0.6152496337890625, 0.643524169921875, 0.6717987060546875, 0.7000732421875, 0.7283477783203125, 0.756622314453125, 0.7848968505859375, 0.81317138671875, 0.8414459228515625, 0.869720458984375, 0.8979949951171875, 0.92626953125]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.weight": {"_type": "histogram", "values": [4.0, 2.0, 3.0, 1.0, 8.0, 4.0, 6.0, 19.0, 23.0, 35.0, 45.0, 46.0, 68.0, 114.0, 178.0, 245.0, 328.0, 487.0, 746.0, 1156.0, 1582.0, 2301.0, 3460.0, 5143.0, 7784.0, 12039.0, 18040.0, 28921.0, 46944.0, 81413.0, 164373.0, 332676.0, 145323.0, 74092.0, 43192.0, 27025.0, 17176.0, 11136.0, 7305.0, 4945.0, 3295.0, 2173.0, 1507.0, 969.0, 648.0, 483.0, 341.0, 223.0, 173.0, 108.0, 68.0, 65.0, 43.0, 20.0, 29.0, 14.0, 7.0, 8.0, 3.0, 5.0, 1.0, 3.0, 0.0, 2.0], "bins": [-0.007396697998046875, -0.007161319255828857, -0.00692594051361084, -0.006690561771392822, -0.006455183029174805, -0.006219804286956787, -0.0059844255447387695, -0.005749046802520752, -0.005513668060302734, -0.005278289318084717, -0.005042910575866699, -0.004807531833648682, -0.004572153091430664, -0.0043367743492126465, -0.004101395606994629, -0.0038660168647766113, -0.0036306381225585938, -0.003395259380340576, -0.0031598806381225586, -0.002924501895904541, -0.0026891231536865234, -0.002453744411468506, -0.0022183656692504883, -0.0019829869270324707, -0.0017476081848144531, -0.0015122294425964355, -0.001276850700378418, -0.0010414719581604004, -0.0008060932159423828, -0.0005707144737243652, -0.00033533573150634766, -9.995698928833008e-05, 0.0001354217529296875, 0.0003708004951477051, 0.0006061792373657227, 0.0008415579795837402, 0.0010769367218017578, 0.0013123154640197754, 0.001547694206237793, 0.0017830729484558105, 0.002018451690673828, 0.0022538304328918457, 0.0024892091751098633, 0.002724587917327881, 0.0029599666595458984, 0.003195345401763916, 0.0034307241439819336, 0.003666102886199951, 0.0039014816284179688, 0.004136860370635986, 0.004372239112854004, 0.0046076178550720215, 0.004842996597290039, 0.005078375339508057, 0.005313754081726074, 0.005549132823944092, 0.005784511566162109, 0.006019890308380127, 0.0062552690505981445, 0.006490647792816162, 0.00672602653503418, 0.006961405277252197, 0.007196784019470215, 0.007432162761688232, 0.00766754150390625]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 0.0, 4.0, 5.0, 7.0, 17.0, 10.0, 9.0, 16.0, 16.0, 20.0, 25.0, 23.0, 27.0, 27.0, 32.0, 29.0, 42.0, 40.0, 41.0, 36.0, 48.0, 47.0, 1074.0, 47.0, 40.0, 35.0, 41.0, 29.0, 36.0, 30.0, 21.0, 27.0, 18.0, 19.0, 18.0, 15.0, 13.0, 14.0, 8.0, 10.0, 2.0, 3.0, 4.0, 5.0, 4.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.95556640625, -0.9282913208007812, -0.9010162353515625, -0.8737411499023438, -0.846466064453125, -0.8191909790039062, -0.7919158935546875, -0.7646408081054688, -0.73736572265625, -0.7100906372070312, -0.6828155517578125, -0.6555404663085938, -0.628265380859375, -0.6009902954101562, -0.5737152099609375, -0.5464401245117188, -0.5191650390625, -0.49188995361328125, -0.4646148681640625, -0.43733978271484375, -0.410064697265625, -0.38278961181640625, -0.3555145263671875, -0.32823944091796875, -0.30096435546875, -0.27368927001953125, -0.2464141845703125, -0.21913909912109375, -0.191864013671875, -0.16458892822265625, -0.1373138427734375, -0.11003875732421875, -0.082763671875, -0.05548858642578125, -0.0282135009765625, -0.00093841552734375, 0.026336669921875, 0.05361175537109375, 0.0808868408203125, 0.10816192626953125, 0.13543701171875, 0.16271209716796875, 0.1899871826171875, 0.21726226806640625, 0.244537353515625, 0.27181243896484375, 0.2990875244140625, 0.32636260986328125, 0.3536376953125, 0.38091278076171875, 0.4081878662109375, 0.43546295166015625, 0.462738037109375, 0.49001312255859375, 0.5172882080078125, 0.5445632934570312, 0.57183837890625, 0.5991134643554688, 0.6263885498046875, 0.6536636352539062, 0.680938720703125, 0.7082138061523438, 0.7354888916015625, 0.7627639770507812, 0.7900390625]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 1.0, 2.0, 5.0, 5.0, 4.0, 0.0, 4.0, 12.0, 11.0, 12.0, 16.0, 12.0, 20.0, 21.0, 25.0, 25.0, 39.0, 47.0, 62.0, 78.0, 177.0, 405.0, 1528.0, 9567.0, 2072197.0, 10254.0, 1590.0, 390.0, 167.0, 109.0, 74.0, 47.0, 37.0, 30.0, 22.0, 25.0, 23.0, 21.0, 21.0, 6.0, 12.0, 13.0, 10.0, 6.0, 4.0, 3.0, 0.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005688667297363281, -0.0005489140748977661, -0.0005289614200592041, -0.0005090087652206421, -0.0004890561103820801, -0.00046910345554351807, -0.00044915080070495605, -0.00042919814586639404, -0.00040924549102783203, -0.00038929283618927, -0.000369340181350708, -0.000349387526512146, -0.000329434871673584, -0.00030948221683502197, -0.00028952956199645996, -0.00026957690715789795, -0.00024962425231933594, -0.00022967159748077393, -0.00020971894264221191, -0.0001897662878036499, -0.0001698136329650879, -0.00014986097812652588, -0.00012990832328796387, -0.00010995566844940186, -9.000301361083984e-05, -7.005035877227783e-05, -5.009770393371582e-05, -3.014504909515381e-05, -1.0192394256591797e-05, 9.760260581970215e-06, 2.9712915420532227e-05, 4.966557025909424e-05, 6.961822509765625e-05, 8.957087993621826e-05, 0.00010952353477478027, 0.00012947618961334229, 0.0001494288444519043, 0.0001693814992904663, 0.00018933415412902832, 0.00020928680896759033, 0.00022923946380615234, 0.00024919211864471436, 0.00026914477348327637, 0.0002890974283218384, 0.0003090500831604004, 0.0003290027379989624, 0.0003489553928375244, 0.0003689080476760864, 0.00038886070251464844, 0.00040881335735321045, 0.00042876601219177246, 0.00044871866703033447, 0.0004686713218688965, 0.0004886239767074585, 0.0005085766315460205, 0.0005285292863845825, 0.0005484819412231445, 0.0005684345960617065, 0.0005883872509002686, 0.0006083399057388306, 0.0006282925605773926, 0.0006482452154159546, 0.0006681978702545166, 0.0006881505250930786, 0.0007081031799316406]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.bias": {"_type": "histogram", "values": [6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 17.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 971.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 11.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.weight": {"_type": "histogram", "values": [4.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 16.0, 0.0, 14.0, 10.0, 0.0, 12.0, 0.0, 39.0, 28.0, 0.0, 54.0, 0.0, 119.0, 264.0, 0.0, 511.0, 0.0, 1171.0, 2597.0, 0.0, 5848.0, 0.0, 13157.0, 0.0, 1001051.0, 12886.0, 0.0, 5962.0, 0.0, 2587.0, 1175.0, 0.0, 486.0, 0.0, 271.0, 129.0, 0.0, 55.0, 0.0, 25.0, 35.0, 0.0, 12.0, 0.0, 10.0, 16.0, 0.0, 15.0, 0.0, 0.0, 1.0, 0.0, 6.0, 0.0, 0.0, 6.0], "bins": [-1.1324882507324219e-06, -1.0970979928970337e-06, -1.0617077350616455e-06, -1.0263174772262573e-06, -9.909272193908691e-07, -9.55536961555481e-07, -9.201467037200928e-07, -8.847564458847046e-07, -8.493661880493164e-07, -8.139759302139282e-07, -7.7858567237854e-07, -7.431954145431519e-07, -7.078051567077637e-07, -6.724148988723755e-07, -6.370246410369873e-07, -6.016343832015991e-07, -5.662441253662109e-07, -5.308538675308228e-07, -4.954636096954346e-07, -4.600733518600464e-07, -4.246830940246582e-07, -3.8929283618927e-07, -3.5390257835388184e-07, -3.1851232051849365e-07, -2.8312206268310547e-07, -2.477318048477173e-07, -2.123415470123291e-07, -1.7695128917694092e-07, -1.4156103134155273e-07, -1.0617077350616455e-07, -7.078051567077637e-08, -3.5390257835388184e-08, 0.0, 3.5390257835388184e-08, 7.078051567077637e-08, 1.0617077350616455e-07, 1.4156103134155273e-07, 1.7695128917694092e-07, 2.123415470123291e-07, 2.477318048477173e-07, 2.8312206268310547e-07, 3.1851232051849365e-07, 3.5390257835388184e-07, 3.8929283618927e-07, 4.246830940246582e-07, 4.600733518600464e-07, 4.954636096954346e-07, 5.308538675308228e-07, 5.662441253662109e-07, 6.016343832015991e-07, 6.370246410369873e-07, 6.724148988723755e-07, 7.078051567077637e-07, 7.431954145431519e-07, 7.7858567237854e-07, 8.139759302139282e-07, 8.493661880493164e-07, 8.847564458847046e-07, 9.201467037200928e-07, 9.55536961555481e-07, 9.909272193908691e-07, 1.0263174772262573e-06, 1.0617077350616455e-06, 1.0970979928970337e-06, 1.1324882507324219e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 6.0, 5.0, 9.0, 6.0, 7.0, 7.0, 7.0, 9.0, 13.0, 10.0, 20.0, 22.0, 33.0, 18.0, 26.0, 580.0, 22.0, 21.0, 18.0, 24.0, 21.0, 18.0, 14.0, 21.0, 16.0, 10.0, 5.0, 10.0, 5.0, 6.0, 7.0, 1.0, 1.0, 2.0, 4.0, 2.0, 2.0, 1.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.2012991368901567e-07, -3.0969283670856385e-07, -2.99255759728112e-07, -2.888186543259508e-07, -2.7838157734549895e-07, -2.6794450036504713e-07, -2.575073949628859e-07, -2.4707031798243406e-07, -2.3663324100198224e-07, -2.2619616402153042e-07, -2.1575907283022389e-07, -2.0532198163891735e-07, -1.9488490465846553e-07, -1.844478276780137e-07, -1.7401073648670717e-07, -1.6357364529540064e-07, -1.5313656831494882e-07, -1.42699491334497e-07, -1.3226240014319046e-07, -1.2182530895188393e-07, -1.113882319714321e-07, -1.0095114788555293e-07, -9.051406379967375e-08, -8.007697971379457e-08, -6.96398956279154e-08, -5.9202811542036216e-08, -4.876572745615704e-08, -3.832864337027786e-08, -2.789155928439868e-08, -1.7454475198519503e-08, -7.0173911126403254e-09, 3.4196929732388526e-09, 1.38567486374086e-08, 2.4293832723287778e-08, 3.4730916809166956e-08, 4.5168000895046134e-08, 5.560508498092531e-08, 6.604216906680449e-08, 7.647925315268367e-08, 8.691633723856285e-08, 9.735342132444202e-08, 1.077905054103212e-07, 1.1822758949620038e-07, 1.2866468068750692e-07, 1.3910175766795874e-07, 1.4953883464841056e-07, 1.599759258397171e-07, 1.7041301703102363e-07, 1.8085009401147545e-07, 1.9128717099192727e-07, 2.017242621832338e-07, 2.1216135337454034e-07, 2.2259843035499216e-07, 2.3303550733544398e-07, 2.434725843158958e-07, 2.5390968971805705e-07, 2.6434676669850887e-07, 2.747838436789607e-07, 2.8522094908112194e-07, 2.9565802606157376e-07, 3.060951030420256e-07, 3.165321800224774e-07, 3.269692570029292e-07, 3.374063624050905e-07, 3.478434393855423e-07]}, "gradients/decoder.transformer.h.0.ln_cross_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 18.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 163.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 623.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 171.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 24.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.384185791015625e-07, -2.300366759300232e-07, -2.2165477275848389e-07, -2.1327286958694458e-07, -2.0489096641540527e-07, -1.9650906324386597e-07, -1.8812716007232666e-07, -1.7974525690078735e-07, -1.7136335372924805e-07, -1.6298145055770874e-07, -1.5459954738616943e-07, -1.4621764421463013e-07, -1.3783574104309082e-07, -1.2945383787155151e-07, -1.210719347000122e-07, -1.126900315284729e-07, -1.043081283569336e-07, -9.592622518539429e-08, -8.754432201385498e-08, -7.916241884231567e-08, -7.078051567077637e-08, -6.239861249923706e-08, -5.4016709327697754e-08, -4.563480615615845e-08, -3.725290298461914e-08, -2.8870999813079834e-08, -2.0489096641540527e-08, -1.210719347000122e-08, -3.725290298461914e-09, 4.6566128730773926e-09, 1.30385160446167e-08, 2.1420419216156006e-08, 2.9802322387695312e-08, 3.818422555923462e-08, 4.6566128730773926e-08, 5.494803190231323e-08, 6.332993507385254e-08, 7.171183824539185e-08, 8.009374141693115e-08, 8.847564458847046e-08, 9.685754776000977e-08, 1.0523945093154907e-07, 1.1362135410308838e-07, 1.2200325727462769e-07, 1.30385160446167e-07, 1.387670636177063e-07, 1.471489667892456e-07, 1.555308699607849e-07, 1.6391277313232422e-07, 1.7229467630386353e-07, 1.8067657947540283e-07, 1.8905848264694214e-07, 1.9744038581848145e-07, 2.0582228899002075e-07, 2.1420419216156006e-07, 2.2258609533309937e-07, 2.3096799850463867e-07, 2.39349901676178e-07, 2.477318048477173e-07, 2.561137080192566e-07, 2.644956111907959e-07, 2.728775143623352e-07, 2.812594175338745e-07, 2.896413207054138e-07, 2.980232238769531e-07]}, "gradients/decoder.transformer.h.0.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 5.0, 8.0, 7.0, 8.0, 8.0, 13.0, 9.0, 11.0, 19.0, 24.0, 26.0, 21.0, 33.0, 25.0, 25.0, 33.0, 38.0, 48.0, 48.0, 41.0, 44.0, 31.0, 43.0, 46.0, 42.0, 38.0, 36.0, 35.0, 36.0, 31.0, 26.0, 17.0, 19.0, 20.0, 19.0, 15.0, 10.0, 8.0, 12.0, 5.0, 4.0, 1.0, 3.0, 3.0, 5.0, 5.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.88330078125, -0.8550262451171875, -0.826751708984375, -0.7984771728515625, -0.77020263671875, -0.7419281005859375, -0.713653564453125, -0.6853790283203125, -0.6571044921875, -0.6288299560546875, -0.600555419921875, -0.5722808837890625, -0.54400634765625, -0.5157318115234375, -0.487457275390625, -0.4591827392578125, -0.430908203125, -0.4026336669921875, -0.374359130859375, -0.3460845947265625, -0.31781005859375, -0.2895355224609375, -0.261260986328125, -0.2329864501953125, -0.2047119140625, -0.1764373779296875, -0.148162841796875, -0.1198883056640625, -0.09161376953125, -0.0633392333984375, -0.035064697265625, -0.0067901611328125, 0.021484375, 0.0497589111328125, 0.078033447265625, 0.1063079833984375, 0.13458251953125, 0.1628570556640625, 0.191131591796875, 0.2194061279296875, 0.2476806640625, 0.2759552001953125, 0.304229736328125, 0.3325042724609375, 0.36077880859375, 0.3890533447265625, 0.417327880859375, 0.4456024169921875, 0.473876953125, 0.5021514892578125, 0.530426025390625, 0.5587005615234375, 0.58697509765625, 0.6152496337890625, 0.643524169921875, 0.6717987060546875, 0.7000732421875, 0.7283477783203125, 0.756622314453125, 0.7848968505859375, 0.81317138671875, 0.8414459228515625, 0.869720458984375, 0.8979949951171875, 0.92626953125]}, "gradients/decoder.transformer.h.0.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 6.0, 4.0, 7.0, 11.0, 8.0, 15.0, 7.0, 14.0, 13.0, 31.0, 25.0, 34.0, 33.0, 54.0, 102.0, 183.0, 443.0, 1381.0, 5144.0, 25518.0, 147946.0, 511821.0, 288855.0, 53379.0, 9960.0, 2237.0, 633.0, 264.0, 126.0, 69.0, 56.0, 39.0, 20.0, 24.0, 19.0, 15.0, 15.0, 9.0, 11.0, 4.0, 7.0, 0.0, 4.0, 5.0, 3.0, 3.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.146484375, -0.14186477661132812, -0.13724517822265625, -0.13262557983398438, -0.1280059814453125, -0.12338638305664062, -0.11876678466796875, -0.11414718627929688, -0.109527587890625, -0.10490798950195312, -0.10028839111328125, -0.09566879272460938, -0.0910491943359375, -0.08642959594726562, -0.08180999755859375, -0.07719039916992188, -0.07257080078125, -0.06795120239257812, -0.06333160400390625, -0.058712005615234375, -0.0540924072265625, -0.049472808837890625, -0.04485321044921875, -0.040233612060546875, -0.035614013671875, -0.030994415283203125, -0.02637481689453125, -0.021755218505859375, -0.0171356201171875, -0.012516021728515625, -0.00789642333984375, -0.003276824951171875, 0.0013427734375, 0.005962371826171875, 0.01058197021484375, 0.015201568603515625, 0.0198211669921875, 0.024440765380859375, 0.02906036376953125, 0.033679962158203125, 0.038299560546875, 0.042919158935546875, 0.04753875732421875, 0.052158355712890625, 0.0567779541015625, 0.061397552490234375, 0.06601715087890625, 0.07063674926757812, 0.07525634765625, 0.07987594604492188, 0.08449554443359375, 0.08911514282226562, 0.0937347412109375, 0.09835433959960938, 0.10297393798828125, 0.10759353637695312, 0.112213134765625, 0.11683273315429688, 0.12145233154296875, 0.12607192993164062, 0.1306915283203125, 0.13531112670898438, 0.13993072509765625, 0.14455032348632812, 0.149169921875]}, "gradients/decoder.transformer.h.0.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 3.0, 4.0, 8.0, 13.0, 15.0, 29.0, 52.0, 58.0, 82.0, 80.0, 73.0, 2150.0, 119.0, 105.0, 62.0, 64.0, 56.0, 16.0, 37.0, 15.0, 14.0, 3.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.84765625, -2.747955322265625, -2.64825439453125, -2.548553466796875, -2.4488525390625, -2.349151611328125, -2.24945068359375, -2.149749755859375, -2.050048828125, -1.950347900390625, -1.85064697265625, -1.750946044921875, -1.6512451171875, -1.551544189453125, -1.45184326171875, -1.352142333984375, -1.25244140625, -1.152740478515625, -1.05303955078125, -0.953338623046875, -0.8536376953125, -0.753936767578125, -0.65423583984375, -0.554534912109375, -0.454833984375, -0.355133056640625, -0.25543212890625, -0.155731201171875, -0.0560302734375, 0.043670654296875, 0.14337158203125, 0.243072509765625, 0.3427734375, 0.442474365234375, 0.54217529296875, 0.641876220703125, 0.7415771484375, 0.841278076171875, 0.94097900390625, 1.040679931640625, 1.140380859375, 1.240081787109375, 1.33978271484375, 1.439483642578125, 1.5391845703125, 1.638885498046875, 1.73858642578125, 1.838287353515625, 1.93798828125, 2.037689208984375, 2.13739013671875, 2.237091064453125, 2.3367919921875, 2.436492919921875, 2.53619384765625, 2.635894775390625, 2.735595703125, 2.835296630859375, 2.93499755859375, 3.034698486328125, 3.1343994140625, 3.234100341796875, 3.33380126953125, 3.433502197265625, 3.533203125]}, "gradients/decoder.transformer.h.0.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 3.0, 6.0, 4.0, 3.0, 19.0, 33.0, 47.0, 98.0, 173.0, 328.0, 642.0, 1615.0, 7035.0, 98457.0, 2943872.0, 83996.0, 6499.0, 1588.0, 644.0, 291.0, 138.0, 97.0, 55.0, 30.0, 14.0, 8.0, 7.0, 9.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1839599609375, -0.17749977111816406, -0.17103958129882812, -0.1645793914794922, -0.15811920166015625, -0.1516590118408203, -0.14519882202148438, -0.13873863220214844, -0.1322784423828125, -0.12581825256347656, -0.11935806274414062, -0.11289787292480469, -0.10643768310546875, -0.09997749328613281, -0.09351730346679688, -0.08705711364746094, -0.080596923828125, -0.07413673400878906, -0.06767654418945312, -0.06121635437011719, -0.05475616455078125, -0.04829597473144531, -0.041835784912109375, -0.03537559509277344, -0.0289154052734375, -0.022455215454101562, -0.015995025634765625, -0.009534835815429688, -0.00307464599609375, 0.0033855438232421875, 0.009845733642578125, 0.016305923461914062, 0.02276611328125, 0.029226303100585938, 0.035686492919921875, 0.04214668273925781, 0.04860687255859375, 0.05506706237792969, 0.061527252197265625, 0.06798744201660156, 0.0744476318359375, 0.08090782165527344, 0.08736801147460938, 0.09382820129394531, 0.10028839111328125, 0.10674858093261719, 0.11320877075195312, 0.11966896057128906, 0.126129150390625, 0.13258934020996094, 0.13904953002929688, 0.1455097198486328, 0.15196990966796875, 0.1584300994873047, 0.16489028930664062, 0.17135047912597656, 0.1778106689453125, 0.18427085876464844, 0.19073104858398438, 0.1971912384033203, 0.20365142822265625, 0.2101116180419922, 0.21657180786132812, 0.22303199768066406, 0.2294921875]}, "gradients/decoder.transformer.h.0.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 7.0, 5.0, 9.0, 14.0, 12.0, 21.0, 40.0, 62.0, 147.0, 214.0, 184.0, 123.0, 68.0, 35.0, 25.0, 14.0, 6.0, 5.0, 7.0, 3.0, 3.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.3882246017456055, -4.2657952308654785, -4.143365859985352, -4.020936489105225, -3.8985071182250977, -3.7760777473449707, -3.6536483764648438, -3.531219005584717, -3.40878963470459, -3.286360263824463, -3.163930892944336, -3.041501522064209, -2.919072151184082, -2.796642780303955, -2.674213409423828, -2.551784038543701, -2.429354429244995, -2.306925058364868, -2.184495687484741, -2.0620663166046143, -1.9396369457244873, -1.8172075748443604, -1.6947780847549438, -1.572348713874817, -1.44991934299469, -1.327489972114563, -1.205060601234436, -1.0826311111450195, -0.9602017998695374, -0.8377724289894104, -0.7153429985046387, -0.5929136276245117, -0.47048425674438477, -0.3480548858642578, -0.22562548518180847, -0.10319608449935913, 0.019233286380767822, 0.14166265726089478, 0.2640920877456665, 0.38652145862579346, 0.5089508295059204, 0.6313802003860474, 0.7538095712661743, 0.876239001750946, 0.998668372631073, 1.1210978031158447, 1.2435271739959717, 1.3659565448760986, 1.4883859157562256, 1.6108152866363525, 1.7332446575164795, 1.8556740283966064, 1.9781033992767334, 2.1005327701568604, 2.2229623794555664, 2.3453917503356934, 2.4678211212158203, 2.5902504920959473, 2.712679862976074, 2.835109233856201, 2.957538604736328, 3.079967975616455, 3.202397346496582, 3.324826717376709, 3.447256088256836]}, "gradients/decoder.transformer.h.0.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 0.0, 6.0, 4.0, 5.0, 7.0, 5.0, 14.0, 11.0, 16.0, 19.0, 23.0, 25.0, 25.0, 36.0, 39.0, 39.0, 44.0, 44.0, 60.0, 51.0, 51.0, 62.0, 58.0, 44.0, 43.0, 50.0, 34.0, 30.0, 34.0, 29.0, 26.0, 16.0, 14.0, 10.0, 11.0, 4.0, 8.0, 4.0, 2.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.940767288208008, -3.8187530040740967, -3.6967384815216064, -3.5747241973876953, -3.452709913253784, -3.330695629119873, -3.208681106567383, -3.0866668224334717, -2.9646525382995605, -2.8426382541656494, -2.720623731613159, -2.598609447479248, -2.476595163345337, -2.354580879211426, -2.2325663566589355, -2.1105520725250244, -1.9885376691818237, -1.866523265838623, -1.744508981704712, -1.6224945783615112, -1.5004802942276, -1.3784658908843994, -1.2564516067504883, -1.1344372034072876, -1.012422800064087, -0.890408456325531, -0.7683941125869751, -0.6463797092437744, -0.5243654251098633, -0.4023510217666626, -0.2803366780281067, -0.15832233428955078, -0.03630805015563965, 0.08570630103349686, 0.20772065222263336, 0.32973501086235046, 0.45174935460090637, 0.5737637281417847, 0.6957780718803406, 0.8177924156188965, 0.9398067593574524, 1.0618211030960083, 1.183835506439209, 1.3058497905731201, 1.4278641939163208, 1.5498785972595215, 1.6718928813934326, 1.7939071655273438, 1.9159215688705444, 2.037935972213745, 2.1599502563476562, 2.2819645404815674, 2.4039790630340576, 2.5259933471679688, 2.64800763130188, 2.770021915435791, 2.8920364379882812, 3.0140507221221924, 3.1360652446746826, 3.2580795288085938, 3.380093812942505, 3.502108097076416, 3.6241226196289062, 3.7461369037628174, 3.8681511878967285]}, "gradients/decoder.transformer.wpe.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 2.0, 2.0, 5.0, 9.0, 4.0, 7.0, 8.0, 13.0, 17.0, 17.0, 18.0, 38.0, 37.0, 58.0, 74.0, 72.0, 92.0, 143.0, 183.0, 188.0, 291.0, 315.0, 424.0, 506.0, 628.0, 738.0, 1040168.0, 831.0, 769.0, 598.0, 430.0, 391.0, 334.0, 238.0, 194.0, 162.0, 110.0, 116.0, 73.0, 65.0, 44.0, 42.0, 26.0, 19.0, 19.0, 13.0, 15.0, 10.0, 4.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.44387248158454895, -0.4289897382259369, -0.4141070246696472, -0.39922428131103516, -0.3843415379524231, -0.36945879459381104, -0.354576051235199, -0.3396933376789093, -0.32481059432029724, -0.3099278509616852, -0.2950451374053955, -0.28016239404678345, -0.2652796506881714, -0.2503969073295593, -0.23551417887210846, -0.2206314504146576, -0.20574870705604553, -0.19086596369743347, -0.1759832352399826, -0.16110050678253174, -0.14621776342391968, -0.13133502006530762, -0.11645229160785675, -0.10156955569982529, -0.08668681979179382, -0.07180408388376236, -0.056921347975730896, -0.04203861206769943, -0.02715587615966797, -0.012273140251636505, 0.0026095956563949585, 0.017492331564426422, 0.0323750376701355, 0.04725777357816696, 0.062140509486198425, 0.07702324539422989, 0.09190598130226135, 0.10678871721029282, 0.12167145311832428, 0.13655418157577515, 0.1514369249343872, 0.16631966829299927, 0.18120239675045013, 0.196085125207901, 0.21096786856651306, 0.22585061192512512, 0.240733340382576, 0.25561606884002686, 0.2704988121986389, 0.285381555557251, 0.30026429891586304, 0.3151470124721527, 0.33002975583076477, 0.34491249918937683, 0.3597952127456665, 0.37467795610427856, 0.3895606994628906, 0.4044434428215027, 0.41932618618011475, 0.4342088997364044, 0.4490916430950165, 0.46397438645362854, 0.4788571000099182, 0.4937398433685303, 0.5086225867271423]}, "gradients/decoder.transformer.wte.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 3.0, 4.0, 5.0, 4.0, 10.0, 10.0, 14.0, 22.0, 19.0, 42.0, 54.0, 140.0, 511.0, 14168.0, 51446556.0, 1203.0, 162.0, 71.0, 46.0, 35.0, 15.0, 18.0, 11.0, 7.0, 10.0, 3.0, 8.0, 2.0, 3.0, 4.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.5111799240112305, -6.21816349029541, -5.92514705657959, -5.6321306228637695, -5.339114189147949, -5.046097755432129, -4.753081798553467, -4.4600653648376465, -4.167048931121826, -3.874032497406006, -3.5810160636901855, -3.2879998683929443, -2.994983434677124, -2.7019670009613037, -2.4089508056640625, -2.115934371948242, -1.8229179382324219, -1.5299015045166016, -1.2368851900100708, -0.9438688158988953, -0.6508524417877197, -0.3578360080718994, -0.06481969356536865, 0.2281966209411621, 0.5212130546569824, 0.814229428768158, 1.1072458028793335, 1.4002621173858643, 1.6932785511016846, 1.9862949848175049, 2.279311180114746, 2.5723276138305664, 2.865345001220703, 3.1583614349365234, 3.4513778686523438, 3.744394063949585, 4.037410736083984, 4.330427169799805, 4.623443126678467, 4.916459560394287, 5.209475994110107, 5.502492427825928, 5.795508861541748, 6.088525295257568, 6.3815412521362305, 6.674557685852051, 6.967574119567871, 7.260590553283691, 7.553606986999512, 7.846623420715332, 8.139639854431152, 8.432656288146973, 8.725672721862793, 9.018689155578613, 9.311705589294434, 9.604721069335938, 9.897737503051758, 10.190753936767578, 10.483770370483398, 10.776786804199219, 11.069803237915039, 11.36281967163086, 11.65583610534668, 11.9488525390625, 12.24186897277832]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 6.0, 2.0, 7.0, 7.0, 5.0, 12.0, 5.0, 15.0, 14.0, 27.0, 26.0, 31.0, 45.0, 70.0, 75.0, 86.0, 150.0, 213.0, 325.0, 612.0, 1309.0, 4076.0, 173176.0, 6103134.0, 4752.0, 1505.0, 618.0, 309.0, 190.0, 122.0, 107.0, 89.0, 71.0, 62.0, 42.0, 29.0, 23.0, 25.0, 14.0, 19.0, 8.0, 6.0, 6.0, 7.0, 3.0, 3.0, 2.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0004825592041015625, -0.00046838074922561646, -0.0004542022943496704, -0.00044002383947372437, -0.0004258453845977783, -0.0004116669297218323, -0.00039748847484588623, -0.0003833100199699402, -0.00036913156509399414, -0.0003549531102180481, -0.00034077465534210205, -0.000326596200466156, -0.00031241774559020996, -0.0002982392907142639, -0.00028406083583831787, -0.0002698823809623718, -0.0002557039260864258, -0.00024152547121047974, -0.0002273470163345337, -0.00021316856145858765, -0.0001989901065826416, -0.00018481165170669556, -0.0001706331968307495, -0.00015645474195480347, -0.00014227628707885742, -0.00012809783220291138, -0.00011391937732696533, -9.974092245101929e-05, -8.556246757507324e-05, -7.13840126991272e-05, -5.720555782318115e-05, -4.302710294723511e-05, -2.8848648071289062e-05, -1.4670193195343018e-05, -4.917383193969727e-07, 1.3686716556549072e-05, 2.7865171432495117e-05, 4.204362630844116e-05, 5.622208118438721e-05, 7.040053606033325e-05, 8.45789909362793e-05, 9.875744581222534e-05, 0.00011293590068817139, 0.00012711435556411743, 0.00014129281044006348, 0.00015547126531600952, 0.00016964972019195557, 0.0001838281750679016, 0.00019800662994384766, 0.0002121850848197937, 0.00022636353969573975, 0.0002405419945716858, 0.00025472044944763184, 0.0002688989043235779, 0.0002830773591995239, 0.00029725581407546997, 0.000311434268951416, 0.00032561272382736206, 0.0003397911787033081, 0.00035396963357925415, 0.0003681480884552002, 0.00038232654333114624, 0.0003965049982070923, 0.00041068345308303833, 0.0004248619079589844]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 9.0, 7.0, 13.0, 36.0, 1569.0, 331.0, 38.0, 7.0, 4.0, 5.0, 5.0, 5.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001531839370727539, -0.00014805980026721954, -0.00014293566346168518, -0.00013781152665615082, -0.00013268738985061646, -0.0001275632530450821, -0.00012243911623954773, -0.00011731497943401337, -0.000112190842628479, -0.00010706670582294464, -0.00010194256901741028, -9.681843221187592e-05, -9.169429540634155e-05, -8.657015860080719e-05, -8.144602179527283e-05, -7.632188498973846e-05, -7.11977481842041e-05, -6.607361137866974e-05, -6.0949474573135376e-05, -5.582533776760101e-05, -5.070120096206665e-05, -4.557706415653229e-05, -4.0452927350997925e-05, -3.532879054546356e-05, -3.02046537399292e-05, -2.5080516934394836e-05, -1.9956380128860474e-05, -1.483224332332611e-05, -9.708106517791748e-06, -4.583969712257385e-06, 5.401670932769775e-07, 5.66430389881134e-06, 1.0788440704345703e-05, 1.5912577509880066e-05, 2.103671431541443e-05, 2.616085112094879e-05, 3.1284987926483154e-05, 3.640912473201752e-05, 4.153326153755188e-05, 4.665739834308624e-05, 5.1781535148620605e-05, 5.690567195415497e-05, 6.202980875968933e-05, 6.71539455652237e-05, 7.227808237075806e-05, 7.740221917629242e-05, 8.252635598182678e-05, 8.765049278736115e-05, 9.277462959289551e-05, 9.789876639842987e-05, 0.00010302290320396423, 0.0001081470400094986, 0.00011327117681503296, 0.00011839531362056732, 0.00012351945042610168, 0.00012864358723163605, 0.0001337677240371704, 0.00013889186084270477, 0.00014401599764823914, 0.0001491401344537735, 0.00015426427125930786, 0.00015938840806484222, 0.0001645125448703766, 0.00016963668167591095, 0.0001747608184814453]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 3.0, 4.0, 2.0, 6.0, 7.0, 10.0, 24.0, 23.0, 49.0, 74.0, 159.0, 529.0, 2401.0, 56673.0, 6218281.0, 11208.0, 1371.0, 329.0, 130.0, 62.0, 32.0, 24.0, 9.0, 13.0, 7.0, 8.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0001361370086669922, -0.00013299286365509033, -0.00012984871864318848, -0.00012670457363128662, -0.00012356042861938477, -0.00012041628360748291, -0.00011727213859558105, -0.0001141279935836792, -0.00011098384857177734, -0.00010783970355987549, -0.00010469555854797363, -0.00010155141353607178, -9.840726852416992e-05, -9.526312351226807e-05, -9.211897850036621e-05, -8.897483348846436e-05, -8.58306884765625e-05, -8.268654346466064e-05, -7.954239845275879e-05, -7.639825344085693e-05, -7.325410842895508e-05, -7.010996341705322e-05, -6.696581840515137e-05, -6.382167339324951e-05, -6.0677528381347656e-05, -5.75333833694458e-05, -5.4389238357543945e-05, -5.124509334564209e-05, -4.8100948333740234e-05, -4.495680332183838e-05, -4.1812658309936523e-05, -3.866851329803467e-05, -3.552436828613281e-05, -3.238022327423096e-05, -2.92360782623291e-05, -2.6091933250427246e-05, -2.294778823852539e-05, -1.9803643226623535e-05, -1.665949821472168e-05, -1.3515353202819824e-05, -1.0371208190917969e-05, -7.227063179016113e-06, -4.082918167114258e-06, -9.387731552124023e-07, 2.205371856689453e-06, 5.349516868591309e-06, 8.493661880493164e-06, 1.163780689239502e-05, 1.4781951904296875e-05, 1.792609691619873e-05, 2.1070241928100586e-05, 2.421438694000244e-05, 2.7358531951904297e-05, 3.0502676963806152e-05, 3.364682197570801e-05, 3.679096698760986e-05, 3.993511199951172e-05, 4.3079257011413574e-05, 4.622340202331543e-05, 4.9367547035217285e-05, 5.251169204711914e-05, 5.5655837059020996e-05, 5.879998207092285e-05, 6.194412708282471e-05, 6.508827209472656e-05]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 4.0, 2.0, 3.0, 7.0, 8.0, 12.0, 14.0, 21.0, 61.0, 159.0, 254.0, 875.0, 336.0, 150.0, 49.0, 32.0, 13.0, 10.0, 5.0, 6.0, 6.0, 2.0, 6.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001596212387084961, -0.0001559397205710411, -0.00015225820243358612, -0.00014857668429613113, -0.00014489516615867615, -0.00014121364802122116, -0.00013753212988376617, -0.0001338506117463112, -0.0001301690936088562, -0.00012648757547140121, -0.00012280605733394623, -0.00011912453919649124, -0.00011544302105903625, -0.00011176150292158127, -0.00010807998478412628, -0.0001043984666466713, -0.00010071694850921631, -9.703543037176132e-05, -9.335391223430634e-05, -8.967239409685135e-05, -8.599087595939636e-05, -8.230935782194138e-05, -7.862783968448639e-05, -7.49463215470314e-05, -7.126480340957642e-05, -6.758328527212143e-05, -6.390176713466644e-05, -6.0220248997211456e-05, -5.653873085975647e-05, -5.285721272230148e-05, -4.9175694584846497e-05, -4.549417644739151e-05, -4.1812658309936523e-05, -3.813114017248154e-05, -3.444962203502655e-05, -3.0768103897571564e-05, -2.7086585760116577e-05, -2.340506762266159e-05, -1.9723549485206604e-05, -1.6042031347751617e-05, -1.2360513210296631e-05, -8.678995072841644e-06, -4.997476935386658e-06, -1.3159587979316711e-06, 2.3655593395233154e-06, 6.047077476978302e-06, 9.728595614433289e-06, 1.3410113751888275e-05, 1.7091631889343262e-05, 2.0773150026798248e-05, 2.4454668164253235e-05, 2.813618630170822e-05, 3.181770443916321e-05, 3.5499222576618195e-05, 3.918074071407318e-05, 4.286225885152817e-05, 4.6543776988983154e-05, 5.022529512643814e-05, 5.390681326389313e-05, 5.7588331401348114e-05, 6.12698495388031e-05, 6.495136767625809e-05, 6.863288581371307e-05, 7.231440395116806e-05, 7.599592208862305e-05]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 4.0, 5.0, 2.0, 6.0, 4.0, 7.0, 12.0, 11.0, 14.0, 9.0, 24.0, 43.0, 68.0, 98.0, 165.0, 286.0, 547.0, 1179.0, 3315.0, 13038.0, 355353.0, 5893033.0, 18006.0, 3622.0, 1269.0, 588.0, 283.0, 143.0, 99.0, 61.0, 48.0, 22.0, 15.0, 12.0, 16.0, 10.0, 6.0, 5.0, 4.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0], "bins": [-4.971027374267578e-05, -4.8208050429821014e-05, -4.670582711696625e-05, -4.520360380411148e-05, -4.3701380491256714e-05, -4.219915717840195e-05, -4.069693386554718e-05, -3.919471055269241e-05, -3.7692487239837646e-05, -3.619026392698288e-05, -3.468804061412811e-05, -3.3185817301273346e-05, -3.168359398841858e-05, -3.0181370675563812e-05, -2.8679147362709045e-05, -2.717692404985428e-05, -2.5674700736999512e-05, -2.4172477424144745e-05, -2.2670254111289978e-05, -2.116803079843521e-05, -1.9665807485580444e-05, -1.8163584172725677e-05, -1.666136085987091e-05, -1.5159137547016144e-05, -1.3656914234161377e-05, -1.215469092130661e-05, -1.0652467608451843e-05, -9.150244295597076e-06, -7.64802098274231e-06, -6.145797669887543e-06, -4.643574357032776e-06, -3.141351044178009e-06, -1.6391277313232422e-06, -1.3690441846847534e-07, 1.3653188943862915e-06, 2.8675422072410583e-06, 4.369765520095825e-06, 5.871988832950592e-06, 7.374212145805359e-06, 8.876435458660126e-06, 1.0378658771514893e-05, 1.188088208436966e-05, 1.3383105397224426e-05, 1.4885328710079193e-05, 1.638755202293396e-05, 1.7889775335788727e-05, 1.9391998648643494e-05, 2.089422196149826e-05, 2.2396445274353027e-05, 2.3898668587207794e-05, 2.540089190006256e-05, 2.6903115212917328e-05, 2.8405338525772095e-05, 2.990756183862686e-05, 3.140978515148163e-05, 3.2912008464336395e-05, 3.441423177719116e-05, 3.591645509004593e-05, 3.7418678402900696e-05, 3.892090171575546e-05, 4.042312502861023e-05, 4.1925348341464996e-05, 4.342757165431976e-05, 4.492979496717453e-05, 4.64320182800293e-05]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 5.0, 3.0, 4.0, 6.0, 6.0, 7.0, 19.0, 24.0, 39.0, 62.0, 90.0, 163.0, 346.0, 687.0, 287.0, 90.0, 55.0, 60.0, 29.0, 17.0, 10.0, 9.0, 4.0, 5.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.407499313354492e-05, -6.261095404624939e-05, -6.114691495895386e-05, -5.9682875871658325e-05, -5.821883678436279e-05, -5.675479769706726e-05, -5.529075860977173e-05, -5.3826719522476196e-05, -5.2362680435180664e-05, -5.089864134788513e-05, -4.94346022605896e-05, -4.797056317329407e-05, -4.6506524085998535e-05, -4.5042484998703e-05, -4.357844591140747e-05, -4.211440682411194e-05, -4.0650367736816406e-05, -3.9186328649520874e-05, -3.772228956222534e-05, -3.625825047492981e-05, -3.479421138763428e-05, -3.3330172300338745e-05, -3.186613321304321e-05, -3.040209412574768e-05, -2.893805503845215e-05, -2.7474015951156616e-05, -2.6009976863861084e-05, -2.4545937776565552e-05, -2.308189868927002e-05, -2.1617859601974487e-05, -2.0153820514678955e-05, -1.8689781427383423e-05, -1.722574234008789e-05, -1.576170325279236e-05, -1.4297664165496826e-05, -1.2833625078201294e-05, -1.1369585990905762e-05, -9.90554690361023e-06, -8.441507816314697e-06, -6.977468729019165e-06, -5.513429641723633e-06, -4.049390554428101e-06, -2.5853514671325684e-06, -1.1213123798370361e-06, 3.427267074584961e-07, 1.8067657947540283e-06, 3.2708048820495605e-06, 4.734843969345093e-06, 6.198883056640625e-06, 7.662922143936157e-06, 9.12696123123169e-06, 1.0591000318527222e-05, 1.2055039405822754e-05, 1.3519078493118286e-05, 1.4983117580413818e-05, 1.644715666770935e-05, 1.7911195755004883e-05, 1.9375234842300415e-05, 2.0839273929595947e-05, 2.230331301689148e-05, 2.3767352104187012e-05, 2.5231391191482544e-05, 2.6695430278778076e-05, 2.815946936607361e-05, 2.962350845336914e-05]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 7.0, 11.0, 5.0, 10.0, 9.0, 9.0, 13.0, 19.0, 16.0, 21.0, 25.0, 28.0, 30.0, 30.0, 22.0, 27.0, 41.0, 30.0, 61.0, 144.0, 68.0, 49.0, 34.0, 42.0, 30.0, 29.0, 27.0, 29.0, 24.0, 29.0, 26.0, 20.0, 10.0, 6.0, 6.0, 1.0, 3.0, 3.0, 1.0, 4.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0006470419466495514, -0.0006286258576437831, -0.0006102097686380148, -0.0005917936796322465, -0.0005733775906264782, -0.0005549615016207099, -0.0005365454126149416, -0.0005181293236091733, -0.000499713234603405, -0.0004812971455976367, -0.0004628810565918684, -0.0004444649675861001, -0.0004260488785803318, -0.0004076327895745635, -0.00038921667146496475, -0.00037080058245919645, -0.0003523844643495977, -0.0003339683753438294, -0.0003155522863380611, -0.0002971361973322928, -0.0002787201083265245, -0.0002603040193207562, -0.00024188790121115744, -0.00022347181220538914, -0.00020505572319962084, -0.00018663963419385254, -0.00016822354518808424, -0.00014980744163040072, -0.00013139135262463242, -0.00011297526361886412, -9.45591673371382e-05, -7.614307105541229e-05, -5.772698204964399e-05, -3.931088940589689e-05, -2.089479676214978e-05, -2.478704118402675e-06, 1.593738852534443e-05, 3.435347753111273e-05, 5.2769573812838644e-05, 7.118567009456456e-05, 8.960175910033286e-05, 0.00010801784810610116, 0.00012643393711186945, 0.00014485004066955298, 0.00016326612967532128, 0.00018168221868108958, 0.0002000983222387731, 0.0002185144112445414, 0.0002369305002503097, 0.000255346589256078, 0.0002737626782618463, 0.0002921787672676146, 0.0003105948562733829, 0.0003290109452791512, 0.00034742706338874996, 0.00036584315239451826, 0.00038425924140028656, 0.00040267533040605485, 0.00042109141941182315, 0.00043950750841759145, 0.0004579236265271902, 0.0004763397155329585, 0.0004947558045387268, 0.0005131718935444951, 0.0005315879825502634]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 3.0, 1.0, 3.0, 4.0, 2.0, 9.0, 2.0, 12.0, 12.0, 10.0, 20.0, 15.0, 16.0, 32.0, 22.0, 30.0, 20.0, 27.0, 26.0, 23.0, 34.0, 43.0, 27.0, 44.0, 49.0, 32.0, 39.0, 38.0, 41.0, 38.0, 36.0, 33.0, 18.0, 28.0, 28.0, 28.0, 29.0, 25.0, 19.0, 19.0, 20.0, 9.0, 13.0, 12.0, 5.0, 8.0, 2.0, 5.0, 1.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0004296302795410156, -0.0004147971048951149, -0.00039996393024921417, -0.00038513075560331345, -0.0003702975809574127, -0.000355464406311512, -0.00034063123166561127, -0.00032579805701971054, -0.0003109648823738098, -0.0002961317077279091, -0.00028129853308200836, -0.00026646535843610764, -0.0002516321837902069, -0.00023679900914430618, -0.00022196583449840546, -0.00020713265985250473, -0.000192299485206604, -0.00017746631056070328, -0.00016263313591480255, -0.00014779996126890182, -0.0001329667866230011, -0.00011813361197710037, -0.00010330043733119965, -8.846726268529892e-05, -7.36340880393982e-05, -5.880091339349747e-05, -4.396773874759674e-05, -2.9134564101696014e-05, -1.4301389455795288e-05, 5.317851901054382e-07, 1.5364959836006165e-05, 3.019813448190689e-05, 4.503130912780762e-05, 5.9864483773708344e-05, 7.469765841960907e-05, 8.95308330655098e-05, 0.00010436400771141052, 0.00011919718235731125, 0.00013403035700321198, 0.0001488635316491127, 0.00016369670629501343, 0.00017852988094091415, 0.00019336305558681488, 0.0002081962302327156, 0.00022302940487861633, 0.00023786257952451706, 0.0002526957541704178, 0.0002675289288163185, 0.00028236210346221924, 0.00029719527810811996, 0.0003120284527540207, 0.0003268616273999214, 0.00034169480204582214, 0.00035652797669172287, 0.0003713611513376236, 0.0003861943259835243, 0.00040102750062942505, 0.0004158606752753258, 0.0004306938499212265, 0.00044552702456712723, 0.00046036019921302795, 0.0004751933738589287, 0.0004900265485048294, 0.0005048597231507301, 0.0005196928977966309]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8388608.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 128.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 524288.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "eval/loss": 5.70602560043335, "eval/wer": 1.9426418088060293, "eval/runtime": 950.6376, "eval/samples_per_second": 2.779, "eval/steps_per_second": 0.348}
\ No newline at end of file
+{"train/loss": 5.0912, "train/learning_rate": 0.00022897196261682242, "train/epoch": 0.84, "train/global_step": 1500, "_runtime": 7724, "_timestamp": 1646276044, "_step": 1502, "gradients/decoder.transformer.ln_f.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 101.0, 915.0], "bins": [-17.208539962768555, -16.936351776123047, -16.664165496826172, -16.391977310180664, -16.11979103088379, -15.847602844238281, -15.57541561126709, -15.303228378295898, -15.031041145324707, -14.758853912353516, -14.486666679382324, -14.214479446411133, -13.942291259765625, -13.670104026794434, -13.397916793823242, -13.12572956085205, -12.85354232788086, -12.581355094909668, -12.309167861938477, -12.036979675292969, -11.764792442321777, -11.492605209350586, -11.220417976379395, -10.948230743408203, -10.676042556762695, -10.403855323791504, -10.131668090820312, -9.859479904174805, -9.587292671203613, -9.315105438232422, -9.04291820526123, -8.770730972290039, -8.498543739318848, -8.226356506347656, -7.954168796539307, -7.681981563568115, -7.409794330596924, -7.137606620788574, -6.865419387817383, -6.593232154846191, -6.321044445037842, -6.04885721206665, -5.776669502258301, -5.504482269287109, -5.232295036315918, -4.960107803344727, -4.687920093536377, -4.4157328605651855, -4.143545150756836, -3.8713576793670654, -3.599170446395874, -3.3269829750061035, -3.054795742034912, -2.7826082706451416, -2.510420799255371, -2.2382335662841797, -1.9660460948944092, -1.6938587427139282, -1.4216713905334473, -1.1494839191436768, -0.8772965669631958, -0.6051092147827148, -0.33292174339294434, -0.06073439121246338, 0.211452916264534]}, "gradients/decoder.transformer.ln_f.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 4.0, 0.0, 7.0, 9.0, 7.0, 7.0, 19.0, 20.0, 17.0, 15.0, 20.0, 30.0, 21.0, 31.0, 30.0, 43.0, 47.0, 42.0, 45.0, 58.0, 57.0, 53.0, 50.0, 41.0, 40.0, 43.0, 46.0, 27.0, 36.0, 31.0, 20.0, 26.0, 13.0, 12.0, 11.0, 5.0, 4.0, 4.0, 5.0, 3.0, 6.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-1.6517627239227295, -1.6054511070251465, -1.559139370918274, -1.512827754020691, -1.4665160179138184, -1.4202044010162354, -1.3738927841186523, -1.3275810480117798, -1.2812694311141968, -1.2349578142166138, -1.1886460781097412, -1.1423344612121582, -1.0960227251052856, -1.0497111082077026, -1.00339937210083, -0.9570877552032471, -0.9107760787010193, -0.8644644021987915, -0.8181527256965637, -0.7718410491943359, -0.7255294322967529, -0.6792177557945251, -0.6329060792922974, -0.5865944623947144, -0.5402827262878418, -0.493971049785614, -0.4476594030857086, -0.40134772658348083, -0.35503607988357544, -0.30872440338134766, -0.2624127268791199, -0.21610108017921448, -0.16978943347930908, -0.12347777187824249, -0.0771661028265953, -0.03085443377494812, 0.01545722782611847, 0.06176888942718506, 0.10808056592941284, 0.15439221262931824, 0.20070388913154602, 0.2470155507326126, 0.2933272123336792, 0.339638888835907, 0.38595056533813477, 0.43226221203804016, 0.47857388854026794, 0.5248855352401733, 0.5711972117424011, 0.6175088882446289, 0.6638205647468567, 0.7101322412490845, 0.7564438581466675, 0.8027555346488953, 0.849067211151123, 0.895378828048706, 0.9416905641555786, 0.9880022406578064, 1.0343139171600342, 1.0806255340576172, 1.1269372701644897, 1.1732488870620728, 1.2195606231689453, 1.2658722400665283, 1.3121838569641113]}, "gradients/decoder.transformer.h.23.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 3.0, 10.0, 14.0, 24.0, 24.0, 28.0, 33.0, 42.0, 41.0, 61.0, 60.0, 78.0, 70.0, 78.0, 69.0, 60.0, 61.0, 69.0, 49.0, 40.0, 31.0, 21.0, 12.0, 10.0, 6.0, 2.0, 3.0, 6.0, 2.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0232696533203125, -0.02272820472717285, -0.022186756134033203, -0.021645307540893555, -0.021103858947753906, -0.020562410354614258, -0.02002096176147461, -0.01947951316833496, -0.018938064575195312, -0.018396615982055664, -0.017855167388916016, -0.017313718795776367, -0.01677227020263672, -0.01623082160949707, -0.015689373016357422, -0.015147924423217773, -0.014606475830078125, -0.014065027236938477, -0.013523578643798828, -0.01298213005065918, -0.012440681457519531, -0.011899232864379883, -0.011357784271240234, -0.010816335678100586, -0.010274887084960938, -0.009733438491821289, -0.00919198989868164, -0.008650541305541992, -0.008109092712402344, -0.007567644119262695, -0.007026195526123047, -0.0064847469329833984, -0.00594329833984375, -0.0054018497467041016, -0.004860401153564453, -0.004318952560424805, -0.0037775039672851562, -0.003236055374145508, -0.0026946067810058594, -0.002153158187866211, -0.0016117095947265625, -0.001070261001586914, -0.0005288124084472656, 1.2636184692382812e-05, 0.0005540847778320312, 0.0010955333709716797, 0.0016369819641113281, 0.0021784305572509766, 0.002719879150390625, 0.0032613277435302734, 0.003802776336669922, 0.00434422492980957, 0.004885673522949219, 0.005427122116088867, 0.005968570709228516, 0.006510019302368164, 0.0070514678955078125, 0.007592916488647461, 0.00813436508178711, 0.008675813674926758, 0.009217262268066406, 0.009758710861206055, 0.010300159454345703, 0.010841608047485352, 0.011383056640625]}, "gradients/decoder.transformer.h.23.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 3.0, 1.0, 1.0, 7.0, 6.0, 8.0, 5.0, 13.0, 18.0, 20.0, 45.0, 92.0, 116.0, 170.0, 312.0, 510.0, 938.0, 1770.0, 3947.0, 11546.0, 417065.0, 3731534.0, 16827.0, 4901.0, 2123.0, 997.0, 558.0, 294.0, 172.0, 119.0, 53.0, 42.0, 28.0, 13.0, 12.0, 11.0, 6.0, 3.0, 2.0, 0.0, 0.0, 2.0, 2.0], "bins": [-0.263916015625, -0.2576484680175781, -0.25138092041015625, -0.24511337280273438, -0.2388458251953125, -0.23257827758789062, -0.22631072998046875, -0.22004318237304688, -0.213775634765625, -0.20750808715820312, -0.20124053955078125, -0.19497299194335938, -0.1887054443359375, -0.18243789672851562, -0.17617034912109375, -0.16990280151367188, -0.16363525390625, -0.15736770629882812, -0.15110015869140625, -0.14483261108398438, -0.1385650634765625, -0.13229751586914062, -0.12602996826171875, -0.11976242065429688, -0.113494873046875, -0.10722732543945312, -0.10095977783203125, -0.09469223022460938, -0.0884246826171875, -0.08215713500976562, -0.07588958740234375, -0.06962203979492188, -0.0633544921875, -0.057086944580078125, -0.05081939697265625, -0.044551849365234375, -0.0382843017578125, -0.032016754150390625, -0.02574920654296875, -0.019481658935546875, -0.013214111328125, -0.006946563720703125, -0.00067901611328125, 0.005588531494140625, 0.0118560791015625, 0.018123626708984375, 0.02439117431640625, 0.030658721923828125, 0.03692626953125, 0.043193817138671875, 0.04946136474609375, 0.055728912353515625, 0.0619964599609375, 0.06826400756835938, 0.07453155517578125, 0.08079910278320312, 0.087066650390625, 0.09333419799804688, 0.09960174560546875, 0.10586929321289062, 0.1121368408203125, 0.11840438842773438, 0.12467193603515625, 0.13093948364257812, 0.13720703125]}, "gradients/decoder.transformer.h.23.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 11.0, 10.0, 25.0, 64.0, 104.0, 214.0, 471.0, 1575.0, 956.0, 301.0, 157.0, 93.0, 54.0, 27.0, 13.0, 5.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11456298828125, -0.1110696792602539, -0.10757637023925781, -0.10408306121826172, -0.10058975219726562, -0.09709644317626953, -0.09360313415527344, -0.09010982513427734, -0.08661651611328125, -0.08312320709228516, -0.07962989807128906, -0.07613658905029297, -0.07264328002929688, -0.06914997100830078, -0.06565666198730469, -0.062163352966308594, -0.0586700439453125, -0.055176734924316406, -0.05168342590332031, -0.04819011688232422, -0.044696807861328125, -0.04120349884033203, -0.03771018981933594, -0.034216880798339844, -0.03072357177734375, -0.027230262756347656, -0.023736953735351562, -0.02024364471435547, -0.016750335693359375, -0.013257026672363281, -0.009763717651367188, -0.006270408630371094, -0.002777099609375, 0.0007162094116210938, 0.0042095184326171875, 0.007702827453613281, 0.011196136474609375, 0.014689445495605469, 0.018182754516601562, 0.021676063537597656, 0.02516937255859375, 0.028662681579589844, 0.03215599060058594, 0.03564929962158203, 0.039142608642578125, 0.04263591766357422, 0.04612922668457031, 0.049622535705566406, 0.0531158447265625, 0.056609153747558594, 0.06010246276855469, 0.06359577178955078, 0.06708908081054688, 0.07058238983154297, 0.07407569885253906, 0.07756900787353516, 0.08106231689453125, 0.08455562591552734, 0.08804893493652344, 0.09154224395751953, 0.09503555297851562, 0.09852886199951172, 0.10202217102050781, 0.1055154800415039, 0.1090087890625]}, "gradients/decoder.transformer.h.23.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 3.0, 4.0, 7.0, 21.0, 42.0, 90.0, 215.0, 680.0, 4727.0, 4178763.0, 8336.0, 946.0, 262.0, 109.0, 48.0, 15.0, 11.0, 2.0, 0.0, 3.0, 4.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.425048828125, -0.4123878479003906, -0.39972686767578125, -0.3870658874511719, -0.3744049072265625, -0.3617439270019531, -0.34908294677734375, -0.3364219665527344, -0.323760986328125, -0.3111000061035156, -0.29843902587890625, -0.2857780456542969, -0.2731170654296875, -0.2604560852050781, -0.24779510498046875, -0.23513412475585938, -0.22247314453125, -0.20981216430664062, -0.19715118408203125, -0.18449020385742188, -0.1718292236328125, -0.15916824340820312, -0.14650726318359375, -0.13384628295898438, -0.121185302734375, -0.10852432250976562, -0.09586334228515625, -0.08320236206054688, -0.0705413818359375, -0.057880401611328125, -0.04521942138671875, -0.032558441162109375, -0.0198974609375, -0.007236480712890625, 0.00542449951171875, 0.018085479736328125, 0.0307464599609375, 0.043407440185546875, 0.05606842041015625, 0.06872940063476562, 0.081390380859375, 0.09405136108398438, 0.10671234130859375, 0.11937332153320312, 0.1320343017578125, 0.14469528198242188, 0.15735626220703125, 0.17001724243164062, 0.18267822265625, 0.19533920288085938, 0.20800018310546875, 0.22066116333007812, 0.2333221435546875, 0.24598312377929688, 0.25864410400390625, 0.2713050842285156, 0.283966064453125, 0.2966270446777344, 0.30928802490234375, 0.3219490051269531, 0.3346099853515625, 0.3472709655761719, 0.35993194580078125, 0.3725929260253906, 0.38525390625]}, "gradients/decoder.transformer.h.23.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 8.0, 672.0, 320.0, 13.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.748523473739624, -0.7142030000686646, -0.6798825263977051, -0.6455620527267456, -0.6112415790557861, -0.5769211053848267, -0.5426006317138672, -0.5082801580429077, -0.47395968437194824, -0.43963921070098877, -0.4053187370300293, -0.3709982633590698, -0.33667778968811035, -0.3023573160171509, -0.2680368423461914, -0.23371636867523193, -0.19939589500427246, -0.165075421333313, -0.13075494766235352, -0.09643447399139404, -0.06211400032043457, -0.027793526649475098, 0.006526947021484375, 0.04084742069244385, 0.07516789436340332, 0.10948836803436279, 0.14380884170532227, 0.17812931537628174, 0.2124497890472412, 0.24677026271820068, 0.28109073638916016, 0.31541121006011963, 0.3497316837310791, 0.3840521574020386, 0.41837263107299805, 0.4526931047439575, 0.487013578414917, 0.5213340520858765, 0.5556545257568359, 0.5899749994277954, 0.6242954730987549, 0.6586159467697144, 0.6929364204406738, 0.7272568941116333, 0.7615773677825928, 0.7958978414535522, 0.8302183151245117, 0.8645387887954712, 0.8988592624664307, 0.9331797361373901, 0.9675002098083496, 1.001820683479309, 1.0361411571502686, 1.070461630821228, 1.1047821044921875, 1.139102578163147, 1.1734230518341064, 1.207743525505066, 1.2420639991760254, 1.2763844728469849, 1.3107049465179443, 1.3450254201889038, 1.3793458938598633, 1.4136663675308228, 1.4479868412017822]}, "gradients/decoder.transformer.h.23.ln_2.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 2.0, 3.0, 8.0, 2.0, 3.0, 4.0, 7.0, 3.0, 6.0, 14.0, 16.0, 12.0, 20.0, 20.0, 21.0, 24.0, 30.0, 38.0, 42.0, 49.0, 33.0, 40.0, 44.0, 50.0, 41.0, 41.0, 39.0, 42.0, 40.0, 29.0, 26.0, 32.0, 40.0, 30.0, 24.0, 24.0, 23.0, 17.0, 13.0, 13.0, 11.0, 8.0, 6.0, 4.0, 5.0, 4.0, 6.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19367218017578125, -0.1874643862247467, -0.18125660717487335, -0.175048828125, -0.16884103417396545, -0.1626332402229309, -0.15642546117305756, -0.1502176821231842, -0.14400988817214966, -0.1378020942211151, -0.13159431517124176, -0.1253865361213684, -0.11917874217033386, -0.11297095566987991, -0.10676316916942596, -0.10055538266897202, -0.09434759616851807, -0.08813980966806412, -0.08193202316761017, -0.07572423666715622, -0.06951645016670227, -0.06330866366624832, -0.05710087716579437, -0.050893090665340424, -0.044685304164886475, -0.038477517664432526, -0.03226973116397858, -0.026061944663524628, -0.01985415816307068, -0.01364637166261673, -0.007438585162162781, -0.0012307986617088318, 0.004976987838745117, 0.011184774339199066, 0.017392560839653015, 0.023600347340106964, 0.029808133840560913, 0.03601592034101486, 0.04222370684146881, 0.04843149334192276, 0.05463927984237671, 0.06084706634283066, 0.0670548528432846, 0.07326263934373856, 0.0794704258441925, 0.08567821234464645, 0.0918859988451004, 0.09809378534555435, 0.1043015718460083, 0.11050935834646225, 0.1167171448469162, 0.12292493134737015, 0.1291327178478241, 0.13534051179885864, 0.141548290848732, 0.14775606989860535, 0.1539638638496399, 0.16017165780067444, 0.1663794368505478, 0.17258721590042114, 0.1787950098514557, 0.18500280380249023, 0.1912105828523636, 0.19741836190223694, 0.20362615585327148]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 3.0, 8.0, 14.0, 25.0, 18.0, 30.0, 32.0, 39.0, 45.0, 46.0, 66.0, 74.0, 67.0, 68.0, 81.0, 70.0, 55.0, 65.0, 51.0, 49.0, 32.0, 24.0, 14.0, 10.0, 6.0, 4.0, 3.0, 4.0, 3.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0228424072265625, -0.022301435470581055, -0.02176046371459961, -0.021219491958618164, -0.02067852020263672, -0.020137548446655273, -0.019596576690673828, -0.019055604934692383, -0.018514633178710938, -0.017973661422729492, -0.017432689666748047, -0.0168917179107666, -0.016350746154785156, -0.01580977439880371, -0.015268802642822266, -0.01472783088684082, -0.014186859130859375, -0.01364588737487793, -0.013104915618896484, -0.012563943862915039, -0.012022972106933594, -0.011482000350952148, -0.010941028594970703, -0.010400056838989258, -0.009859085083007812, -0.009318113327026367, -0.008777141571044922, -0.008236169815063477, -0.007695198059082031, -0.007154226303100586, -0.006613254547119141, -0.006072282791137695, -0.00553131103515625, -0.004990339279174805, -0.004449367523193359, -0.003908395767211914, -0.0033674240112304688, -0.0028264522552490234, -0.002285480499267578, -0.0017445087432861328, -0.0012035369873046875, -0.0006625652313232422, -0.00012159347534179688, 0.00041937828063964844, 0.0009603500366210938, 0.001501321792602539, 0.0020422935485839844, 0.0025832653045654297, 0.003124237060546875, 0.0036652088165283203, 0.004206180572509766, 0.004747152328491211, 0.005288124084472656, 0.0058290958404541016, 0.006370067596435547, 0.006911039352416992, 0.0074520111083984375, 0.007992982864379883, 0.008533954620361328, 0.009074926376342773, 0.009615898132324219, 0.010156869888305664, 0.01069784164428711, 0.011238813400268555, 0.01177978515625]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 6.0, 6.0, 6.0, 6.0, 13.0, 15.0, 22.0, 25.0, 40.0, 67.0, 108.0, 208.0, 362.0, 713.0, 1475.0, 3507.0, 8803.0, 24052.0, 70274.0, 274880.0, 509630.0, 101181.0, 32460.0, 12119.0, 4624.0, 2056.0, 890.0, 442.0, 213.0, 114.0, 71.0, 44.0, 31.0, 34.0, 11.0, 11.0, 15.0, 6.0, 8.0, 4.0, 4.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00020456314086914062, -0.00019874423742294312, -0.0001929253339767456, -0.0001871064305305481, -0.00018128752708435059, -0.00017546862363815308, -0.00016964972019195557, -0.00016383081674575806, -0.00015801191329956055, -0.00015219300985336304, -0.00014637410640716553, -0.00014055520296096802, -0.0001347362995147705, -0.000128917396068573, -0.0001230984926223755, -0.00011727958917617798, -0.00011146068572998047, -0.00010564178228378296, -9.982287883758545e-05, -9.400397539138794e-05, -8.818507194519043e-05, -8.236616849899292e-05, -7.654726505279541e-05, -7.07283616065979e-05, -6.490945816040039e-05, -5.909055471420288e-05, -5.327165126800537e-05, -4.745274782180786e-05, -4.163384437561035e-05, -3.581494092941284e-05, -2.9996037483215332e-05, -2.4177134037017822e-05, -1.8358230590820312e-05, -1.2539327144622803e-05, -6.720423698425293e-06, -9.015202522277832e-07, 4.9173831939697266e-06, 1.0736286640167236e-05, 1.6555190086364746e-05, 2.2374093532562256e-05, 2.8192996978759766e-05, 3.4011900424957275e-05, 3.9830803871154785e-05, 4.5649707317352295e-05, 5.1468610763549805e-05, 5.7287514209747314e-05, 6.310641765594482e-05, 6.892532110214233e-05, 7.474422454833984e-05, 8.056312799453735e-05, 8.638203144073486e-05, 9.220093488693237e-05, 9.801983833312988e-05, 0.00010383874177932739, 0.0001096576452255249, 0.00011547654867172241, 0.00012129545211791992, 0.00012711435556411743, 0.00013293325901031494, 0.00013875216245651245, 0.00014457106590270996, 0.00015038996934890747, 0.00015620887279510498, 0.0001620277762413025, 0.0001678466796875]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 1.0, 2.0, 2.0, 5.0, 0.0, 5.0, 2.0, 5.0, 5.0, 7.0, 16.0, 11.0, 19.0, 13.0, 13.0, 19.0, 21.0, 22.0, 26.0, 29.0, 41.0, 24.0, 32.0, 39.0, 44.0, 43.0, 45.0, 1058.0, 43.0, 32.0, 39.0, 49.0, 34.0, 39.0, 31.0, 24.0, 23.0, 17.0, 32.0, 24.0, 17.0, 16.0, 17.0, 12.0, 7.0, 9.0, 3.0, 5.0, 6.0, 3.0, 8.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0083770751953125, -0.008102655410766602, -0.007828235626220703, -0.007553815841674805, -0.007279396057128906, -0.007004976272583008, -0.006730556488037109, -0.006456136703491211, -0.0061817169189453125, -0.005907297134399414, -0.005632877349853516, -0.005358457565307617, -0.005084037780761719, -0.00480961799621582, -0.004535198211669922, -0.0042607784271240234, -0.003986358642578125, -0.0037119388580322266, -0.003437519073486328, -0.0031630992889404297, -0.0028886795043945312, -0.002614259719848633, -0.0023398399353027344, -0.002065420150756836, -0.0017910003662109375, -0.001516580581665039, -0.0012421607971191406, -0.0009677410125732422, -0.0006933212280273438, -0.0004189014434814453, -0.00014448165893554688, 0.00012993812561035156, 0.00040435791015625, 0.0006787776947021484, 0.0009531974792480469, 0.0012276172637939453, 0.0015020370483398438, 0.0017764568328857422, 0.0020508766174316406, 0.002325296401977539, 0.0025997161865234375, 0.002874135971069336, 0.0031485557556152344, 0.003422975540161133, 0.0036973953247070312, 0.00397181510925293, 0.004246234893798828, 0.0045206546783447266, 0.004795074462890625, 0.0050694942474365234, 0.005343914031982422, 0.00561833381652832, 0.005892753601074219, 0.006167173385620117, 0.006441593170166016, 0.006716012954711914, 0.0069904327392578125, 0.007264852523803711, 0.007539272308349609, 0.007813692092895508, 0.008088111877441406, 0.008362531661987305, 0.008636951446533203, 0.008911371231079102, 0.009185791015625]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 6.0, 1.0, 4.0, 9.0, 4.0, 7.0, 9.0, 16.0, 10.0, 17.0, 24.0, 15.0, 18.0, 35.0, 23.0, 31.0, 71.0, 100.0, 163.0, 388.0, 756.0, 1785.0, 6429.0, 2061837.0, 19655.0, 3313.0, 1314.0, 413.0, 226.0, 137.0, 69.0, 40.0, 37.0, 20.0, 23.0, 21.0, 18.0, 8.0, 13.0, 16.0, 14.0, 6.0, 9.0, 4.0, 9.0, 3.0, 1.0, 1.0, 3.0, 4.0, 2.0, 1.0, 1.0, 2.0, 2.0], "bins": [-8.404254913330078e-06, -8.147209882736206e-06, -7.890164852142334e-06, -7.633119821548462e-06, -7.37607479095459e-06, -7.119029760360718e-06, -6.861984729766846e-06, -6.604939699172974e-06, -6.3478946685791016e-06, -6.0908496379852295e-06, -5.833804607391357e-06, -5.576759576797485e-06, -5.319714546203613e-06, -5.062669515609741e-06, -4.805624485015869e-06, -4.548579454421997e-06, -4.291534423828125e-06, -4.034489393234253e-06, -3.777444362640381e-06, -3.520399332046509e-06, -3.2633543014526367e-06, -3.0063092708587646e-06, -2.7492642402648926e-06, -2.4922192096710205e-06, -2.2351741790771484e-06, -1.9781291484832764e-06, -1.7210841178894043e-06, -1.4640390872955322e-06, -1.2069940567016602e-06, -9.499490261077881e-07, -6.92903995513916e-07, -4.3585896492004395e-07, -1.7881393432617188e-07, 7.82310962677002e-08, 3.3527612686157227e-07, 5.923211574554443e-07, 8.493661880493164e-07, 1.1064112186431885e-06, 1.3634562492370605e-06, 1.6205012798309326e-06, 1.8775463104248047e-06, 2.1345913410186768e-06, 2.391636371612549e-06, 2.648681402206421e-06, 2.905726432800293e-06, 3.162771463394165e-06, 3.419816493988037e-06, 3.676861524581909e-06, 3.933906555175781e-06, 4.190951585769653e-06, 4.447996616363525e-06, 4.7050416469573975e-06, 4.9620866775512695e-06, 5.219131708145142e-06, 5.476176738739014e-06, 5.733221769332886e-06, 5.990266799926758e-06, 6.24731183052063e-06, 6.504356861114502e-06, 6.761401891708374e-06, 7.018446922302246e-06, 7.275491952896118e-06, 7.53253698348999e-06, 7.789582014083862e-06, 8.046627044677734e-06]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 3.0, 8.0, 14.0, 25.0, 18.0, 30.0, 32.0, 39.0, 45.0, 46.0, 66.0, 74.0, 67.0, 68.0, 81.0, 70.0, 55.0, 65.0, 51.0, 49.0, 32.0, 24.0, 14.0, 10.0, 6.0, 4.0, 3.0, 4.0, 3.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0228424072265625, -0.022301435470581055, -0.02176046371459961, -0.021219491958618164, -0.02067852020263672, -0.020137548446655273, -0.019596576690673828, -0.019055604934692383, -0.018514633178710938, -0.017973661422729492, -0.017432689666748047, -0.0168917179107666, -0.016350746154785156, -0.01580977439880371, -0.015268802642822266, -0.01472783088684082, -0.014186859130859375, -0.01364588737487793, -0.013104915618896484, -0.012563943862915039, -0.012022972106933594, -0.011482000350952148, -0.010941028594970703, -0.010400056838989258, -0.009859085083007812, -0.009318113327026367, -0.008777141571044922, -0.008236169815063477, -0.007695198059082031, -0.007154226303100586, -0.006613254547119141, -0.006072282791137695, -0.00553131103515625, -0.004990339279174805, -0.004449367523193359, -0.003908395767211914, -0.0033674240112304688, -0.0028264522552490234, -0.002285480499267578, -0.0017445087432861328, -0.0012035369873046875, -0.0006625652313232422, -0.00012159347534179688, 0.00041937828063964844, 0.0009603500366210938, 0.001501321792602539, 0.0020422935485839844, 0.0025832653045654297, 0.003124237060546875, 0.0036652088165283203, 0.004206180572509766, 0.004747152328491211, 0.005288124084472656, 0.0058290958404541016, 0.006370067596435547, 0.006911039352416992, 0.0074520111083984375, 0.007992982864379883, 0.008533954620361328, 0.009074926376342773, 0.009615898132324219, 0.010156869888305664, 0.01069784164428711, 0.011238813400268555, 0.01177978515625]}, "gradients/decoder.transformer.h.23.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 4.0, 5.0, 4.0, 14.0, 16.0, 19.0, 28.0, 66.0, 86.0, 153.0, 251.0, 491.0, 822.0, 1391.0, 2400.0, 4399.0, 10833.0, 108354.0, 879712.0, 25334.0, 6553.0, 3196.0, 1809.0, 1133.0, 631.0, 328.0, 201.0, 125.0, 72.0, 56.0, 22.0, 14.0, 14.0, 4.0, 3.0, 4.0, 3.0, 0.0, 2.0, 0.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2125244140625, -0.2050037384033203, -0.19748306274414062, -0.18996238708496094, -0.18244171142578125, -0.17492103576660156, -0.16740036010742188, -0.1598796844482422, -0.1523590087890625, -0.1448383331298828, -0.13731765747070312, -0.12979698181152344, -0.12227630615234375, -0.11475563049316406, -0.10723495483398438, -0.09971427917480469, -0.092193603515625, -0.08467292785644531, -0.07715225219726562, -0.06963157653808594, -0.06211090087890625, -0.05459022521972656, -0.047069549560546875, -0.03954887390136719, -0.0320281982421875, -0.024507522583007812, -0.016986846923828125, -0.009466171264648438, -0.00194549560546875, 0.0055751800537109375, 0.013095855712890625, 0.020616531372070312, 0.02813720703125, 0.03565788269042969, 0.043178558349609375, 0.05069923400878906, 0.05821990966796875, 0.06574058532714844, 0.07326126098632812, 0.08078193664550781, 0.0883026123046875, 0.09582328796386719, 0.10334396362304688, 0.11086463928222656, 0.11838531494140625, 0.12590599060058594, 0.13342666625976562, 0.1409473419189453, 0.148468017578125, 0.1559886932373047, 0.16350936889648438, 0.17103004455566406, 0.17855072021484375, 0.18607139587402344, 0.19359207153320312, 0.2011127471923828, 0.2086334228515625, 0.2161540985107422, 0.22367477416992188, 0.23119544982910156, 0.23871612548828125, 0.24623680114746094, 0.2537574768066406, 0.2612781524658203, 0.268798828125]}, "gradients/decoder.transformer.h.23.attn.c_attn.bias": {"_type": "histogram", "values": [5.0, 4.0, 1.0, 2.0, 2.0, 2.0, 4.0, 4.0, 5.0, 9.0, 6.0, 3.0, 11.0, 9.0, 13.0, 14.0, 17.0, 15.0, 11.0, 25.0, 30.0, 22.0, 45.0, 36.0, 39.0, 49.0, 70.0, 81.0, 92.0, 200.0, 1542.0, 157.0, 89.0, 76.0, 58.0, 38.0, 37.0, 26.0, 30.0, 29.0, 26.0, 10.0, 19.0, 12.0, 17.0, 18.0, 12.0, 14.0, 2.0, 5.0, 3.0, 6.0, 3.0, 2.0, 2.0, 0.0, 4.0, 4.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.030242919921875, -0.029246807098388672, -0.028250694274902344, -0.027254581451416016, -0.026258468627929688, -0.02526235580444336, -0.02426624298095703, -0.023270130157470703, -0.022274017333984375, -0.021277904510498047, -0.02028179168701172, -0.01928567886352539, -0.018289566040039062, -0.017293453216552734, -0.016297340393066406, -0.015301227569580078, -0.01430511474609375, -0.013309001922607422, -0.012312889099121094, -0.011316776275634766, -0.010320663452148438, -0.00932455062866211, -0.008328437805175781, -0.007332324981689453, -0.006336212158203125, -0.005340099334716797, -0.004343986511230469, -0.0033478736877441406, -0.0023517608642578125, -0.0013556480407714844, -0.00035953521728515625, 0.0006365776062011719, 0.0016326904296875, 0.002628803253173828, 0.0036249160766601562, 0.004621028900146484, 0.0056171417236328125, 0.006613254547119141, 0.007609367370605469, 0.008605480194091797, 0.009601593017578125, 0.010597705841064453, 0.011593818664550781, 0.01258993148803711, 0.013586044311523438, 0.014582157135009766, 0.015578269958496094, 0.016574382781982422, 0.01757049560546875, 0.018566608428955078, 0.019562721252441406, 0.020558834075927734, 0.021554946899414062, 0.02255105972290039, 0.02354717254638672, 0.024543285369873047, 0.025539398193359375, 0.026535511016845703, 0.02753162384033203, 0.02852773666381836, 0.029523849487304688, 0.030519962310791016, 0.031516075134277344, 0.03251218795776367, 0.03350830078125]}, "gradients/decoder.transformer.h.23.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 1.0, 2.0, 2.0, 5.0, 8.0, 2.0, 6.0, 3.0, 8.0, 5.0, 18.0, 23.0, 26.0, 18.0, 22.0, 39.0, 52.0, 56.0, 87.0, 107.0, 159.0, 284.0, 612.0, 2021.0, 26733.0, 2807154.0, 297432.0, 8381.0, 1203.0, 434.0, 243.0, 114.0, 90.0, 84.0, 63.0, 45.0, 27.0, 23.0, 18.0, 20.0, 23.0, 15.0, 9.0, 10.0, 11.0, 1.0, 3.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 2.0, 3.0], "bins": [-0.122802734375, -0.1191701889038086, -0.11553764343261719, -0.11190509796142578, -0.10827255249023438, -0.10464000701904297, -0.10100746154785156, -0.09737491607666016, -0.09374237060546875, -0.09010982513427734, -0.08647727966308594, -0.08284473419189453, -0.07921218872070312, -0.07557964324951172, -0.07194709777832031, -0.0683145523071289, -0.0646820068359375, -0.061049461364746094, -0.05741691589355469, -0.05378437042236328, -0.050151824951171875, -0.04651927947998047, -0.04288673400878906, -0.039254188537597656, -0.03562164306640625, -0.031989097595214844, -0.028356552124023438, -0.02472400665283203, -0.021091461181640625, -0.01745891571044922, -0.013826370239257812, -0.010193824768066406, -0.006561279296875, -0.0029287338256835938, 0.0007038116455078125, 0.004336357116699219, 0.007968902587890625, 0.011601448059082031, 0.015233993530273438, 0.018866539001464844, 0.02249908447265625, 0.026131629943847656, 0.029764175415039062, 0.03339672088623047, 0.037029266357421875, 0.04066181182861328, 0.04429435729980469, 0.047926902770996094, 0.0515594482421875, 0.055191993713378906, 0.05882453918457031, 0.06245708465576172, 0.06608963012695312, 0.06972217559814453, 0.07335472106933594, 0.07698726654052734, 0.08061981201171875, 0.08425235748291016, 0.08788490295410156, 0.09151744842529297, 0.09514999389648438, 0.09878253936767578, 0.10241508483886719, 0.1060476303100586, 0.10968017578125]}, "gradients/decoder.transformer.h.23.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 24.0, 396.0, 577.0, 19.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.2627075910568237, -1.2405915260314941, -1.2184754610061646, -1.196359395980835, -1.1742433309555054, -1.1521272659301758, -1.1300112009048462, -1.1078951358795166, -1.0857791900634766, -1.063663125038147, -1.0415470600128174, -1.0194309949874878, -0.9973149299621582, -0.9751989245414734, -0.9530828595161438, -0.9309667944908142, -0.9088506698608398, -0.8867346048355103, -0.8646185398101807, -0.8425024747848511, -0.8203864097595215, -0.7982704043388367, -0.7761543393135071, -0.7540382742881775, -0.7319222092628479, -0.7098061442375183, -0.6876900792121887, -0.6655740141868591, -0.6434580087661743, -0.6213419437408447, -0.5992258787155151, -0.5771098136901855, -0.5549936890602112, -0.5328776240348816, -0.510761559009552, -0.4886455237865448, -0.4665294587612152, -0.4444133937358856, -0.4222973585128784, -0.40018129348754883, -0.37806522846221924, -0.35594916343688965, -0.33383309841156006, -0.31171706318855286, -0.28960099816322327, -0.2674849331378937, -0.24536888301372528, -0.22325283288955688, -0.2011367827653885, -0.1790207326412201, -0.1569046676158905, -0.1347886025905609, -0.11267255246639252, -0.09055649489164352, -0.06844043731689453, -0.046324387192726135, -0.024208322167396545, -0.0020922645926475525, 0.02002379298210144, 0.04213985055685043, 0.06425590813159943, 0.08637196570634842, 0.10848802328109741, 0.1306040734052658, 0.1527201384305954]}, "gradients/decoder.transformer.h.23.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 4.0, 0.0, 2.0, 2.0, 3.0, 3.0, 3.0, 8.0, 9.0, 10.0, 11.0, 9.0, 16.0, 18.0, 18.0, 19.0, 30.0, 39.0, 35.0, 56.0, 53.0, 37.0, 52.0, 49.0, 42.0, 45.0, 48.0, 44.0, 51.0, 36.0, 32.0, 42.0, 37.0, 22.0, 24.0, 15.0, 17.0, 14.0, 10.0, 11.0, 7.0, 8.0, 9.0, 4.0, 3.0, 3.0, 0.0, 3.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.14427226781845093, -0.13963304460048676, -0.1349938064813614, -0.13035458326339722, -0.12571534514427185, -0.12107612192630768, -0.11643689125776291, -0.11179766058921814, -0.10715842992067337, -0.1025191992521286, -0.09787996858358383, -0.09324073791503906, -0.08860151469707489, -0.08396227657794952, -0.07932305335998535, -0.07468382269144058, -0.07004459202289581, -0.06540536135435104, -0.060766130685806274, -0.056126903742551804, -0.051487673074007034, -0.046848442405462265, -0.042209215462207794, -0.037569984793663025, -0.032930754125118256, -0.028291523456573486, -0.023652294650673866, -0.019013065844774246, -0.014373835176229477, -0.009734604507684708, -0.005095375701785088, -0.00045614689588546753, 0.004183083772659302, 0.008822313509881496, 0.013461543247103691, 0.01810077205300331, 0.02274000272154808, 0.02737923339009285, 0.03201846033334732, 0.03665769100189209, 0.04129692167043686, 0.04593615233898163, 0.0505753830075264, 0.05521460995078087, 0.05985384061932564, 0.0644930750131607, 0.06913229823112488, 0.07377152889966965, 0.07841075956821442, 0.08304999023675919, 0.08768922090530396, 0.09232845157384872, 0.0969676822423935, 0.10160690546035767, 0.10624613612890244, 0.1108853667974472, 0.11552459746599197, 0.12016382813453674, 0.12480305880308151, 0.12944228947162628, 0.13408151268959045, 0.13872075080871582, 0.14335997402668, 0.14799919724464417, 0.15263843536376953]}, "gradients/decoder.transformer.h.22.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 4.0, 5.0, 9.0, 19.0, 20.0, 23.0, 28.0, 27.0, 44.0, 50.0, 53.0, 68.0, 72.0, 64.0, 60.0, 93.0, 69.0, 54.0, 62.0, 54.0, 44.0, 26.0, 22.0, 13.0, 14.0, 3.0, 3.0, 4.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.023468017578125, -0.02290976047515869, -0.022351503372192383, -0.021793246269226074, -0.021234989166259766, -0.020676732063293457, -0.02011847496032715, -0.01956021785736084, -0.01900196075439453, -0.018443703651428223, -0.017885446548461914, -0.017327189445495605, -0.016768932342529297, -0.01621067523956299, -0.01565241813659668, -0.015094161033630371, -0.014535903930664062, -0.013977646827697754, -0.013419389724731445, -0.012861132621765137, -0.012302875518798828, -0.01174461841583252, -0.011186361312866211, -0.010628104209899902, -0.010069847106933594, -0.009511590003967285, -0.008953332901000977, -0.008395075798034668, -0.00783681869506836, -0.007278561592102051, -0.006720304489135742, -0.006162047386169434, -0.005603790283203125, -0.005045533180236816, -0.004487276077270508, -0.003929018974304199, -0.0033707618713378906, -0.002812504768371582, -0.0022542476654052734, -0.0016959905624389648, -0.0011377334594726562, -0.0005794763565063477, -2.1219253540039062e-05, 0.0005370378494262695, 0.0010952949523925781, 0.0016535520553588867, 0.0022118091583251953, 0.002770066261291504, 0.0033283233642578125, 0.003886580467224121, 0.00444483757019043, 0.005003094673156738, 0.005561351776123047, 0.0061196088790893555, 0.006677865982055664, 0.007236123085021973, 0.007794380187988281, 0.00835263729095459, 0.008910894393920898, 0.009469151496887207, 0.010027408599853516, 0.010585665702819824, 0.011143922805786133, 0.011702179908752441, 0.01226043701171875]}, "gradients/decoder.transformer.h.22.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 1.0, 3.0, 1.0, 3.0, 5.0, 9.0, 9.0, 19.0, 27.0, 45.0, 85.0, 136.0, 228.0, 346.0, 692.0, 1395.0, 4591.0, 103608.0, 4045494.0, 31972.0, 3236.0, 1132.0, 549.0, 273.0, 166.0, 106.0, 67.0, 39.0, 19.0, 14.0, 9.0, 3.0, 4.0, 3.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2216796875, -0.2160491943359375, -0.210418701171875, -0.2047882080078125, -0.19915771484375, -0.1935272216796875, -0.187896728515625, -0.1822662353515625, -0.1766357421875, -0.1710052490234375, -0.165374755859375, -0.1597442626953125, -0.15411376953125, -0.1484832763671875, -0.142852783203125, -0.1372222900390625, -0.131591796875, -0.1259613037109375, -0.120330810546875, -0.1147003173828125, -0.10906982421875, -0.1034393310546875, -0.097808837890625, -0.0921783447265625, -0.0865478515625, -0.0809173583984375, -0.075286865234375, -0.0696563720703125, -0.06402587890625, -0.0583953857421875, -0.052764892578125, -0.0471343994140625, -0.04150390625, -0.0358734130859375, -0.030242919921875, -0.0246124267578125, -0.01898193359375, -0.0133514404296875, -0.007720947265625, -0.0020904541015625, 0.0035400390625, 0.0091705322265625, 0.014801025390625, 0.0204315185546875, 0.02606201171875, 0.0316925048828125, 0.037322998046875, 0.0429534912109375, 0.048583984375, 0.0542144775390625, 0.059844970703125, 0.0654754638671875, 0.07110595703125, 0.0767364501953125, 0.082366943359375, 0.0879974365234375, 0.0936279296875, 0.0992584228515625, 0.104888916015625, 0.1105194091796875, 0.11614990234375, 0.1217803955078125, 0.127410888671875, 0.1330413818359375, 0.138671875]}, "gradients/decoder.transformer.h.22.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 2.0, 5.0, 0.0, 2.0, 10.0, 13.0, 12.0, 29.0, 43.0, 80.0, 165.0, 296.0, 638.0, 1109.0, 778.0, 391.0, 238.0, 116.0, 68.0, 41.0, 18.0, 10.0, 7.0, 6.0, 4.0, 3.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052703857421875, -0.05027055740356445, -0.047837257385253906, -0.04540395736694336, -0.04297065734863281, -0.040537357330322266, -0.03810405731201172, -0.03567075729370117, -0.033237457275390625, -0.030804157257080078, -0.02837085723876953, -0.025937557220458984, -0.023504257202148438, -0.02107095718383789, -0.018637657165527344, -0.016204357147216797, -0.01377105712890625, -0.011337757110595703, -0.008904457092285156, -0.006471157073974609, -0.0040378570556640625, -0.0016045570373535156, 0.0008287429809570312, 0.003262042999267578, 0.005695343017578125, 0.008128643035888672, 0.010561943054199219, 0.012995243072509766, 0.015428543090820312, 0.01786184310913086, 0.020295143127441406, 0.022728443145751953, 0.0251617431640625, 0.027595043182373047, 0.030028343200683594, 0.03246164321899414, 0.03489494323730469, 0.037328243255615234, 0.03976154327392578, 0.04219484329223633, 0.044628143310546875, 0.04706144332885742, 0.04949474334716797, 0.051928043365478516, 0.05436134338378906, 0.05679464340209961, 0.059227943420410156, 0.0616612434387207, 0.06409454345703125, 0.0665278434753418, 0.06896114349365234, 0.07139444351196289, 0.07382774353027344, 0.07626104354858398, 0.07869434356689453, 0.08112764358520508, 0.08356094360351562, 0.08599424362182617, 0.08842754364013672, 0.09086084365844727, 0.09329414367675781, 0.09572744369506836, 0.0981607437133789, 0.10059404373168945, 0.10302734375]}, "gradients/decoder.transformer.h.22.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 0.0, 2.0, 3.0, 7.0, 6.0, 13.0, 24.0, 14.0, 65.0, 94.0, 226.0, 508.0, 1252.0, 4324.0, 49022.0, 3161353.0, 951317.0, 21574.0, 2782.0, 873.0, 423.0, 185.0, 107.0, 46.0, 29.0, 18.0, 9.0, 4.0, 2.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1180419921875, -0.11329460144042969, -0.10854721069335938, -0.10379981994628906, -0.09905242919921875, -0.09430503845214844, -0.08955764770507812, -0.08481025695800781, -0.0800628662109375, -0.07531547546386719, -0.07056808471679688, -0.06582069396972656, -0.06107330322265625, -0.05632591247558594, -0.051578521728515625, -0.04683113098144531, -0.042083740234375, -0.03733634948730469, -0.032588958740234375, -0.027841567993164062, -0.02309417724609375, -0.018346786499023438, -0.013599395751953125, -0.008852005004882812, -0.0041046142578125, 0.0006427764892578125, 0.005390167236328125, 0.010137557983398438, 0.01488494873046875, 0.019632339477539062, 0.024379730224609375, 0.029127120971679688, 0.03387451171875, 0.03862190246582031, 0.043369293212890625, 0.04811668395996094, 0.05286407470703125, 0.05761146545410156, 0.062358856201171875, 0.06710624694824219, 0.0718536376953125, 0.07660102844238281, 0.08134841918945312, 0.08609580993652344, 0.09084320068359375, 0.09559059143066406, 0.10033798217773438, 0.10508537292480469, 0.109832763671875, 0.11458015441894531, 0.11932754516601562, 0.12407493591308594, 0.12882232666015625, 0.13356971740722656, 0.13831710815429688, 0.1430644989013672, 0.1478118896484375, 0.1525592803955078, 0.15730667114257812, 0.16205406188964844, 0.16680145263671875, 0.17154884338378906, 0.17629623413085938, 0.1810436248779297, 0.185791015625]}, "gradients/decoder.transformer.h.22.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 30.0, 115.0, 321.0, 333.0, 148.0, 53.0, 10.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.5340493321418762, -0.5163298845291138, -0.49861040711402893, -0.4808909296989441, -0.46317148208618164, -0.4454520046710968, -0.42773252725601196, -0.4100130796432495, -0.39229363203048706, -0.3745741546154022, -0.35685470700263977, -0.33913522958755493, -0.3214157819747925, -0.30369630455970764, -0.2859768271446228, -0.26825737953186035, -0.2505379021167755, -0.23281843960285187, -0.21509897708892822, -0.19737949967384338, -0.17966005206108093, -0.1619405746459961, -0.14422111213207245, -0.1265016496181488, -0.10878218710422516, -0.09106272459030151, -0.07334326207637787, -0.05562379211187363, -0.03790432959794998, -0.020184867084026337, -0.0024653971195220947, 0.01525406539440155, 0.032973527908325195, 0.05069299042224884, 0.06841245293617249, 0.08613192290067673, 0.10385138541460037, 0.12157084792852402, 0.13929031789302826, 0.1570097804069519, 0.17472924292087555, 0.1924487054347992, 0.21016816794872284, 0.22788763046264648, 0.24560710787773132, 0.2633265554904938, 0.2810460329055786, 0.29876548051834106, 0.3164849579334259, 0.33420443534851074, 0.3519238829612732, 0.36964336037635803, 0.3873628079891205, 0.4050822854042053, 0.4228017330169678, 0.4405212104320526, 0.45824068784713745, 0.4759601652622223, 0.49367961287498474, 0.5113990902900696, 0.529118537902832, 0.5468379855155945, 0.5645574927330017, 0.5822769403457642, 0.5999963879585266]}, "gradients/decoder.transformer.h.22.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 6.0, 5.0, 9.0, 7.0, 5.0, 15.0, 18.0, 22.0, 16.0, 15.0, 23.0, 29.0, 34.0, 33.0, 41.0, 37.0, 44.0, 35.0, 45.0, 47.0, 43.0, 46.0, 39.0, 34.0, 34.0, 30.0, 33.0, 30.0, 28.0, 34.0, 22.0, 28.0, 24.0, 17.0, 27.0, 13.0, 10.0, 7.0, 10.0, 6.0, 10.0, 4.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.14944636821746826, -0.14453375339508057, -0.13962115347385406, -0.13470853865146637, -0.12979593873023987, -0.12488332390785217, -0.11997070908546448, -0.11505810171365738, -0.11014549434185028, -0.10523288697004318, -0.10032027959823608, -0.09540766477584839, -0.09049505740404129, -0.08558245003223419, -0.0806698352098465, -0.0757572278380394, -0.0708446204662323, -0.0659320130944252, -0.061019401997327805, -0.05610679090023041, -0.05119418352842331, -0.04628157615661621, -0.041368965059518814, -0.03645635396242142, -0.03154374659061432, -0.02663113735616207, -0.021718528121709824, -0.016805918887257576, -0.011893309652805328, -0.006980700418353081, -0.002068091183900833, 0.0028445199131965637, 0.007757127285003662, 0.01266973651945591, 0.017582345753908157, 0.022494954988360405, 0.027407564222812653, 0.03232017159461975, 0.03723278269171715, 0.042145393788814545, 0.04705800116062164, 0.05197060853242874, 0.05688321962952614, 0.061795830726623535, 0.06670843809843063, 0.07162104547023773, 0.07653366029262543, 0.08144626766443253, 0.08635887503623962, 0.09127148240804672, 0.09618408977985382, 0.10109670460224152, 0.10600931197404861, 0.11092191934585571, 0.11583453416824341, 0.1207471415400505, 0.1256597489118576, 0.1305723637342453, 0.1354849636554718, 0.1403975784778595, 0.1453101933002472, 0.1502227932214737, 0.1551354080438614, 0.1600480079650879, 0.16496062278747559]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 9.0, 19.0, 10.0, 25.0, 24.0, 23.0, 32.0, 38.0, 58.0, 48.0, 68.0, 57.0, 74.0, 77.0, 72.0, 70.0, 53.0, 61.0, 60.0, 36.0, 27.0, 18.0, 11.0, 15.0, 12.0, 3.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.023223876953125, -0.022670388221740723, -0.022116899490356445, -0.021563410758972168, -0.02100992202758789, -0.020456433296203613, -0.019902944564819336, -0.01934945583343506, -0.01879596710205078, -0.018242478370666504, -0.017688989639282227, -0.01713550090789795, -0.016582012176513672, -0.016028523445129395, -0.015475034713745117, -0.01492154598236084, -0.014368057250976562, -0.013814568519592285, -0.013261079788208008, -0.01270759105682373, -0.012154102325439453, -0.011600613594055176, -0.011047124862670898, -0.010493636131286621, -0.009940147399902344, -0.009386658668518066, -0.008833169937133789, -0.008279681205749512, -0.007726192474365234, -0.007172703742980957, -0.00661921501159668, -0.006065726280212402, -0.005512237548828125, -0.004958748817443848, -0.00440526008605957, -0.003851771354675293, -0.0032982826232910156, -0.0027447938919067383, -0.002191305160522461, -0.0016378164291381836, -0.0010843276977539062, -0.0005308389663696289, 2.2649765014648438e-05, 0.0005761384963989258, 0.0011296272277832031, 0.0016831159591674805, 0.002236604690551758, 0.002790093421936035, 0.0033435821533203125, 0.00389707088470459, 0.004450559616088867, 0.0050040483474731445, 0.005557537078857422, 0.006111025810241699, 0.0066645145416259766, 0.007218003273010254, 0.007771492004394531, 0.008324980735778809, 0.008878469467163086, 0.009431958198547363, 0.00998544692993164, 0.010538935661315918, 0.011092424392700195, 0.011645913124084473, 0.01219940185546875]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 9.0, 2.0, 4.0, 12.0, 27.0, 16.0, 35.0, 59.0, 70.0, 124.0, 262.0, 500.0, 982.0, 2158.0, 5074.0, 12704.0, 33457.0, 105739.0, 545350.0, 243132.0, 62394.0, 21406.0, 8387.0, 3558.0, 1459.0, 747.0, 388.0, 194.0, 102.0, 68.0, 40.0, 23.0, 14.0, 14.0, 16.0, 8.0, 4.0, 4.0, 1.0, 5.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00018799304962158203, -0.00018122605979442596, -0.0001744590699672699, -0.00016769208014011383, -0.00016092509031295776, -0.0001541581004858017, -0.00014739111065864563, -0.00014062412083148956, -0.0001338571310043335, -0.00012709014117717743, -0.00012032315135002136, -0.0001135561615228653, -0.00010678917169570923, -0.00010002218186855316, -9.32551920413971e-05, -8.648820221424103e-05, -7.972121238708496e-05, -7.29542225599289e-05, -6.618723273277283e-05, -5.942024290561676e-05, -5.265325307846069e-05, -4.5886263251304626e-05, -3.911927342414856e-05, -3.235228359699249e-05, -2.5585293769836426e-05, -1.881830394268036e-05, -1.2051314115524292e-05, -5.284324288368225e-06, 1.4826655387878418e-06, 8.249655365943909e-06, 1.5016645193099976e-05, 2.1783635020256042e-05, 2.855062484741211e-05, 3.5317614674568176e-05, 4.208460450172424e-05, 4.885159432888031e-05, 5.561858415603638e-05, 6.238557398319244e-05, 6.915256381034851e-05, 7.591955363750458e-05, 8.268654346466064e-05, 8.945353329181671e-05, 9.622052311897278e-05, 0.00010298751294612885, 0.00010975450277328491, 0.00011652149260044098, 0.00012328848242759705, 0.0001300554722547531, 0.00013682246208190918, 0.00014358945190906525, 0.0001503564417362213, 0.00015712343156337738, 0.00016389042139053345, 0.00017065741121768951, 0.00017742440104484558, 0.00018419139087200165, 0.00019095838069915771, 0.00019772537052631378, 0.00020449236035346985, 0.00021125935018062592, 0.00021802634000778198, 0.00022479332983493805, 0.00023156031966209412, 0.00023832730948925018, 0.00024509429931640625]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 1.0, 4.0, 2.0, 4.0, 2.0, 5.0, 8.0, 13.0, 7.0, 9.0, 12.0, 15.0, 15.0, 18.0, 20.0, 19.0, 22.0, 20.0, 28.0, 28.0, 27.0, 29.0, 35.0, 44.0, 48.0, 32.0, 39.0, 1064.0, 18.0, 35.0, 31.0, 34.0, 31.0, 46.0, 28.0, 25.0, 28.0, 24.0, 34.0, 17.0, 13.0, 16.0, 14.0, 9.0, 13.0, 14.0, 5.0, 9.0, 4.0, 4.0, 2.0, 4.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0], "bins": [-0.00930023193359375, -0.009010553359985352, -0.008720874786376953, -0.008431196212768555, -0.008141517639160156, -0.007851839065551758, -0.007562160491943359, -0.007272481918334961, -0.0069828033447265625, -0.006693124771118164, -0.006403446197509766, -0.006113767623901367, -0.005824089050292969, -0.00553441047668457, -0.005244731903076172, -0.0049550533294677734, -0.004665374755859375, -0.0043756961822509766, -0.004086017608642578, -0.0037963390350341797, -0.0035066604614257812, -0.003216981887817383, -0.0029273033142089844, -0.002637624740600586, -0.0023479461669921875, -0.002058267593383789, -0.0017685890197753906, -0.0014789104461669922, -0.0011892318725585938, -0.0008995532989501953, -0.0006098747253417969, -0.00032019615173339844, -3.0517578125e-05, 0.00025916099548339844, 0.0005488395690917969, 0.0008385181427001953, 0.0011281967163085938, 0.0014178752899169922, 0.0017075538635253906, 0.001997232437133789, 0.0022869110107421875, 0.002576589584350586, 0.0028662681579589844, 0.003155946731567383, 0.0034456253051757812, 0.0037353038787841797, 0.004024982452392578, 0.0043146610260009766, 0.004604339599609375, 0.0048940181732177734, 0.005183696746826172, 0.00547337532043457, 0.005763053894042969, 0.006052732467651367, 0.006342411041259766, 0.006632089614868164, 0.0069217681884765625, 0.007211446762084961, 0.007501125335693359, 0.007790803909301758, 0.008080482482910156, 0.008370161056518555, 0.008659839630126953, 0.008949518203735352, 0.00923919677734375]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 1.0, 4.0, 3.0, 6.0, 1.0, 2.0, 5.0, 9.0, 4.0, 15.0, 8.0, 12.0, 15.0, 15.0, 20.0, 19.0, 24.0, 36.0, 31.0, 56.0, 79.0, 139.0, 305.0, 596.0, 909.0, 2987.0, 14149.0, 2043900.0, 27426.0, 3701.0, 1297.0, 505.0, 333.0, 185.0, 71.0, 54.0, 34.0, 27.0, 20.0, 13.0, 16.0, 19.0, 13.0, 8.0, 17.0, 11.0, 11.0, 7.0, 7.0, 2.0, 5.0, 5.0, 1.0, 1.0, 4.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-8.821487426757812e-06, -8.542090654373169e-06, -8.262693881988525e-06, -7.983297109603882e-06, -7.703900337219238e-06, -7.424503564834595e-06, -7.145106792449951e-06, -6.865710020065308e-06, -6.586313247680664e-06, -6.3069164752960205e-06, -6.027519702911377e-06, -5.748122930526733e-06, -5.46872615814209e-06, -5.189329385757446e-06, -4.909932613372803e-06, -4.630535840988159e-06, -4.351139068603516e-06, -4.071742296218872e-06, -3.7923455238342285e-06, -3.512948751449585e-06, -3.2335519790649414e-06, -2.954155206680298e-06, -2.6747584342956543e-06, -2.3953616619110107e-06, -2.115964889526367e-06, -1.8365681171417236e-06, -1.55717134475708e-06, -1.2777745723724365e-06, -9.98377799987793e-07, -7.189810276031494e-07, -4.3958425521850586e-07, -1.601874828338623e-07, 1.1920928955078125e-07, 3.986060619354248e-07, 6.780028343200684e-07, 9.57399606704712e-07, 1.2367963790893555e-06, 1.516193151473999e-06, 1.7955899238586426e-06, 2.074986696243286e-06, 2.3543834686279297e-06, 2.6337802410125732e-06, 2.913177013397217e-06, 3.1925737857818604e-06, 3.471970558166504e-06, 3.7513673305511475e-06, 4.030764102935791e-06, 4.3101608753204346e-06, 4.589557647705078e-06, 4.868954420089722e-06, 5.148351192474365e-06, 5.427747964859009e-06, 5.707144737243652e-06, 5.986541509628296e-06, 6.2659382820129395e-06, 6.545335054397583e-06, 6.8247318267822266e-06, 7.10412859916687e-06, 7.383525371551514e-06, 7.662922143936157e-06, 7.9423189163208e-06, 8.221715688705444e-06, 8.501112461090088e-06, 8.780509233474731e-06, 9.059906005859375e-06]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 9.0, 19.0, 10.0, 25.0, 24.0, 23.0, 32.0, 38.0, 58.0, 48.0, 68.0, 57.0, 74.0, 77.0, 72.0, 70.0, 53.0, 61.0, 60.0, 36.0, 27.0, 18.0, 11.0, 15.0, 12.0, 3.0, 4.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.023223876953125, -0.022670388221740723, -0.022116899490356445, -0.021563410758972168, -0.02100992202758789, -0.020456433296203613, -0.019902944564819336, -0.01934945583343506, -0.01879596710205078, -0.018242478370666504, -0.017688989639282227, -0.01713550090789795, -0.016582012176513672, -0.016028523445129395, -0.015475034713745117, -0.01492154598236084, -0.014368057250976562, -0.013814568519592285, -0.013261079788208008, -0.01270759105682373, -0.012154102325439453, -0.011600613594055176, -0.011047124862670898, -0.010493636131286621, -0.009940147399902344, -0.009386658668518066, -0.008833169937133789, -0.008279681205749512, -0.007726192474365234, -0.007172703742980957, -0.00661921501159668, -0.006065726280212402, -0.005512237548828125, -0.004958748817443848, -0.00440526008605957, -0.003851771354675293, -0.0032982826232910156, -0.0027447938919067383, -0.002191305160522461, -0.0016378164291381836, -0.0010843276977539062, -0.0005308389663696289, 2.2649765014648438e-05, 0.0005761384963989258, 0.0011296272277832031, 0.0016831159591674805, 0.002236604690551758, 0.002790093421936035, 0.0033435821533203125, 0.00389707088470459, 0.004450559616088867, 0.0050040483474731445, 0.005557537078857422, 0.006111025810241699, 0.0066645145416259766, 0.007218003273010254, 0.007771492004394531, 0.008324980735778809, 0.008878469467163086, 0.009431958198547363, 0.00998544692993164, 0.010538935661315918, 0.011092424392700195, 0.011645913124084473, 0.01219940185546875]}, "gradients/decoder.transformer.h.22.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0, 9.0, 6.0, 5.0, 4.0, 9.0, 15.0, 23.0, 32.0, 67.0, 209.0, 778.0, 3736.0, 32212.0, 663310.0, 323890.0, 20580.0, 2744.0, 616.0, 154.0, 57.0, 29.0, 18.0, 21.0, 11.0, 3.0, 9.0, 1.0, 2.0, 3.0, 2.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07708740234375, -0.07520294189453125, -0.0733184814453125, -0.07143402099609375, -0.069549560546875, -0.06766510009765625, -0.0657806396484375, -0.06389617919921875, -0.06201171875, -0.06012725830078125, -0.0582427978515625, -0.05635833740234375, -0.054473876953125, -0.05258941650390625, -0.0507049560546875, -0.04882049560546875, -0.04693603515625, -0.04505157470703125, -0.0431671142578125, -0.04128265380859375, -0.039398193359375, -0.03751373291015625, -0.0356292724609375, -0.03374481201171875, -0.0318603515625, -0.02997589111328125, -0.0280914306640625, -0.02620697021484375, -0.024322509765625, -0.02243804931640625, -0.0205535888671875, -0.01866912841796875, -0.01678466796875, -0.01490020751953125, -0.0130157470703125, -0.01113128662109375, -0.009246826171875, -0.00736236572265625, -0.0054779052734375, -0.00359344482421875, -0.001708984375, 0.00017547607421875, 0.0020599365234375, 0.00394439697265625, 0.005828857421875, 0.00771331787109375, 0.0095977783203125, 0.01148223876953125, 0.01336669921875, 0.01525115966796875, 0.0171356201171875, 0.01902008056640625, 0.020904541015625, 0.02278900146484375, 0.0246734619140625, 0.02655792236328125, 0.0284423828125, 0.03032684326171875, 0.0322113037109375, 0.03409576416015625, 0.035980224609375, 0.03786468505859375, 0.0397491455078125, 0.04163360595703125, 0.04351806640625]}, "gradients/decoder.transformer.h.22.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 4.0, 0.0, 1.0, 4.0, 2.0, 5.0, 1.0, 7.0, 10.0, 9.0, 5.0, 6.0, 12.0, 10.0, 15.0, 24.0, 19.0, 19.0, 29.0, 32.0, 32.0, 36.0, 29.0, 36.0, 38.0, 80.0, 102.0, 302.0, 1562.0, 143.0, 63.0, 49.0, 45.0, 29.0, 52.0, 32.0, 29.0, 27.0, 25.0, 19.0, 23.0, 20.0, 8.0, 20.0, 10.0, 13.0, 7.0, 4.0, 3.0, 6.0, 3.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.03302001953125, -0.031887054443359375, -0.03075408935546875, -0.029621124267578125, -0.0284881591796875, -0.027355194091796875, -0.02622222900390625, -0.025089263916015625, -0.023956298828125, -0.022823333740234375, -0.02169036865234375, -0.020557403564453125, -0.0194244384765625, -0.018291473388671875, -0.01715850830078125, -0.016025543212890625, -0.014892578125, -0.013759613037109375, -0.01262664794921875, -0.011493682861328125, -0.0103607177734375, -0.009227752685546875, -0.00809478759765625, -0.006961822509765625, -0.005828857421875, -0.004695892333984375, -0.00356292724609375, -0.002429962158203125, -0.0012969970703125, -0.000164031982421875, 0.00096893310546875, 0.002101898193359375, 0.00323486328125, 0.004367828369140625, 0.00550079345703125, 0.006633758544921875, 0.0077667236328125, 0.008899688720703125, 0.01003265380859375, 0.011165618896484375, 0.012298583984375, 0.013431549072265625, 0.01456451416015625, 0.015697479248046875, 0.0168304443359375, 0.017963409423828125, 0.01909637451171875, 0.020229339599609375, 0.0213623046875, 0.022495269775390625, 0.02362823486328125, 0.024761199951171875, 0.0258941650390625, 0.027027130126953125, 0.02816009521484375, 0.029293060302734375, 0.030426025390625, 0.031558990478515625, 0.03269195556640625, 0.033824920654296875, 0.0349578857421875, 0.036090850830078125, 0.03722381591796875, 0.038356781005859375, 0.03948974609375]}, "gradients/decoder.transformer.h.22.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 6.0, 3.0, 3.0, 5.0, 4.0, 10.0, 15.0, 12.0, 23.0, 16.0, 27.0, 18.0, 29.0, 28.0, 50.0, 64.0, 76.0, 144.0, 217.0, 493.0, 2004.0, 45753.0, 3014612.0, 78059.0, 2739.0, 519.0, 208.0, 150.0, 85.0, 65.0, 52.0, 43.0, 36.0, 19.0, 19.0, 21.0, 14.0, 11.0, 5.0, 11.0, 5.0, 8.0, 9.0, 8.0, 2.0, 2.0, 3.0, 2.0, 4.0, 0.0, 4.0], "bins": [-0.09234619140625, -0.08974933624267578, -0.08715248107910156, -0.08455562591552734, -0.08195877075195312, -0.0793619155883789, -0.07676506042480469, -0.07416820526123047, -0.07157135009765625, -0.06897449493408203, -0.06637763977050781, -0.0637807846069336, -0.061183929443359375, -0.058587074279785156, -0.05599021911621094, -0.05339336395263672, -0.0507965087890625, -0.04819965362548828, -0.04560279846191406, -0.043005943298339844, -0.040409088134765625, -0.037812232971191406, -0.03521537780761719, -0.03261852264404297, -0.03002166748046875, -0.02742481231689453, -0.024827957153320312, -0.022231101989746094, -0.019634246826171875, -0.017037391662597656, -0.014440536499023438, -0.011843681335449219, -0.009246826171875, -0.006649971008300781, -0.0040531158447265625, -0.0014562606811523438, 0.001140594482421875, 0.0037374496459960938, 0.0063343048095703125, 0.008931159973144531, 0.01152801513671875, 0.014124870300292969, 0.016721725463867188, 0.019318580627441406, 0.021915435791015625, 0.024512290954589844, 0.027109146118164062, 0.02970600128173828, 0.0323028564453125, 0.03489971160888672, 0.03749656677246094, 0.040093421936035156, 0.042690277099609375, 0.045287132263183594, 0.04788398742675781, 0.05048084259033203, 0.05307769775390625, 0.05567455291748047, 0.05827140808105469, 0.060868263244628906, 0.06346511840820312, 0.06606197357177734, 0.06865882873535156, 0.07125568389892578, 0.0738525390625]}, "gradients/decoder.transformer.h.22.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 11.0, 23.0, 42.0, 115.0, 167.0, 184.0, 178.0, 148.0, 76.0, 36.0, 15.0, 8.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06950105726718903, -0.06643399596214294, -0.06336693465709686, -0.06029987335205078, -0.0572328120470047, -0.05416575074195862, -0.051098693162202835, -0.048031631857156754, -0.04496457055211067, -0.04189750924706459, -0.03883044794201851, -0.035763390362262726, -0.032696329057216644, -0.029629265889525414, -0.02656220644712448, -0.0234951451420784, -0.020428083837032318, -0.017361022531986237, -0.01429396215826273, -0.011226901784539223, -0.008159840479493141, -0.00509277917444706, -0.0020257197320461273, 0.0010413415729999542, 0.004108402878046036, 0.00717546371743083, 0.010242524556815624, 0.013309584930539131, 0.016376646235585213, 0.019443707540631294, 0.022510766983032227, 0.025577828288078308, 0.02864488959312439, 0.03171195089817047, 0.03477901220321655, 0.037846073508262634, 0.040913134813308716, 0.0439801961183548, 0.04704725369811058, 0.05011431500315666, 0.053181376308202744, 0.056248437613248825, 0.05931549891829491, 0.06238255649805069, 0.06544961780309677, 0.06851667910814285, 0.07158374041318893, 0.07465080171823502, 0.0777178630232811, 0.08078492432832718, 0.08385198563337326, 0.08691904693841934, 0.08998610824346542, 0.0930531695485115, 0.09612022340297699, 0.09918728470802307, 0.10225434601306915, 0.10532140731811523, 0.10838846862316132, 0.1114555299282074, 0.11452259123325348, 0.11758965253829956, 0.12065671384334564, 0.12372377514839172, 0.1267908364534378]}, "gradients/decoder.transformer.h.22.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 3.0, 6.0, 4.0, 5.0, 4.0, 8.0, 5.0, 10.0, 12.0, 10.0, 11.0, 10.0, 13.0, 18.0, 22.0, 22.0, 23.0, 23.0, 32.0, 31.0, 26.0, 34.0, 35.0, 40.0, 32.0, 42.0, 43.0, 33.0, 49.0, 40.0, 24.0, 31.0, 33.0, 24.0, 28.0, 33.0, 31.0, 21.0, 15.0, 19.0, 16.0, 16.0, 17.0, 8.0, 13.0, 10.0, 7.0, 6.0, 6.0, 2.0, 0.0, 4.0, 0.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.11085492372512817, -0.10716159641742706, -0.10346826910972595, -0.09977493435144424, -0.09608160704374313, -0.09238827973604202, -0.08869494497776031, -0.0850016176700592, -0.0813082903623581, -0.07761496305465698, -0.07392163574695587, -0.07022830098867416, -0.06653497368097305, -0.06284164637327194, -0.05914831534028053, -0.055454984307289124, -0.05176165699958801, -0.0480683296918869, -0.04437499865889549, -0.04068166762590408, -0.03698834031820297, -0.03329501301050186, -0.029601681977510452, -0.025908352807164192, -0.022215023636817932, -0.018521694466471672, -0.014828365296125412, -0.011135036125779152, -0.007441706955432892, -0.0037483777850866318, -5.5048614740371704e-05, 0.0036382805556058884, 0.0073316097259521484, 0.011024938896298409, 0.014718268066644669, 0.01841159723699093, 0.02210492640733719, 0.02579825557768345, 0.02949158474802971, 0.03318491578102112, 0.03687824308872223, 0.04057157039642334, 0.04426490142941475, 0.04795823246240616, 0.05165155977010727, 0.05534488707780838, 0.05903821811079979, 0.0627315491437912, 0.06642487645149231, 0.07011820375919342, 0.07381153106689453, 0.07750486582517624, 0.08119819313287735, 0.08489152044057846, 0.08858485519886017, 0.09227818250656128, 0.09597150981426239, 0.0996648371219635, 0.10335816442966461, 0.10705149918794632, 0.11074482649564743, 0.11443815380334854, 0.11813148856163025, 0.12182481586933136, 0.12551814317703247]}, "gradients/decoder.transformer.h.21.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 2.0, 6.0, 9.0, 17.0, 16.0, 24.0, 20.0, 30.0, 32.0, 44.0, 53.0, 55.0, 61.0, 67.0, 68.0, 73.0, 75.0, 66.0, 55.0, 72.0, 42.0, 37.0, 26.0, 18.0, 10.0, 14.0, 11.0, 3.0, 2.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.023345947265625, -0.022786617279052734, -0.02222728729248047, -0.021667957305908203, -0.021108627319335938, -0.020549297332763672, -0.019989967346191406, -0.01943063735961914, -0.018871307373046875, -0.01831197738647461, -0.017752647399902344, -0.017193317413330078, -0.016633987426757812, -0.016074657440185547, -0.015515327453613281, -0.014955997467041016, -0.01439666748046875, -0.013837337493896484, -0.013278007507324219, -0.012718677520751953, -0.012159347534179688, -0.011600017547607422, -0.011040687561035156, -0.01048135757446289, -0.009922027587890625, -0.00936269760131836, -0.008803367614746094, -0.008244037628173828, -0.0076847076416015625, -0.007125377655029297, -0.006566047668457031, -0.006006717681884766, -0.0054473876953125, -0.004888057708740234, -0.004328727722167969, -0.003769397735595703, -0.0032100677490234375, -0.002650737762451172, -0.0020914077758789062, -0.0015320777893066406, -0.000972747802734375, -0.0004134178161621094, 0.00014591217041015625, 0.0007052421569824219, 0.0012645721435546875, 0.0018239021301269531, 0.0023832321166992188, 0.0029425621032714844, 0.00350189208984375, 0.004061222076416016, 0.004620552062988281, 0.005179882049560547, 0.0057392120361328125, 0.006298542022705078, 0.006857872009277344, 0.007417201995849609, 0.007976531982421875, 0.00853586196899414, 0.009095191955566406, 0.009654521942138672, 0.010213851928710938, 0.010773181915283203, 0.011332511901855469, 0.011891841888427734, 0.012451171875]}, "gradients/decoder.transformer.h.21.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 6.0, 2.0, 6.0, 8.0, 9.0, 23.0, 23.0, 38.0, 39.0, 55.0, 91.0, 148.0, 259.0, 524.0, 1103.0, 3071.0, 21009.0, 797920.0, 3310880.0, 51235.0, 5193.0, 1377.0, 564.0, 288.0, 138.0, 94.0, 56.0, 32.0, 31.0, 22.0, 15.0, 16.0, 4.0, 4.0, 5.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.1397705078125, -0.1362895965576172, -0.13280868530273438, -0.12932777404785156, -0.12584686279296875, -0.12236595153808594, -0.11888504028320312, -0.11540412902832031, -0.1119232177734375, -0.10844230651855469, -0.10496139526367188, -0.10148048400878906, -0.09799957275390625, -0.09451866149902344, -0.09103775024414062, -0.08755683898925781, -0.084075927734375, -0.08059501647949219, -0.07711410522460938, -0.07363319396972656, -0.07015228271484375, -0.06667137145996094, -0.06319046020507812, -0.05970954895019531, -0.0562286376953125, -0.05274772644042969, -0.049266815185546875, -0.04578590393066406, -0.04230499267578125, -0.03882408142089844, -0.035343170166015625, -0.03186225891113281, -0.02838134765625, -0.024900436401367188, -0.021419525146484375, -0.017938613891601562, -0.01445770263671875, -0.010976791381835938, -0.007495880126953125, -0.0040149688720703125, -0.0005340576171875, 0.0029468536376953125, 0.006427764892578125, 0.009908676147460938, 0.01338958740234375, 0.016870498657226562, 0.020351409912109375, 0.023832321166992188, 0.027313232421875, 0.030794143676757812, 0.034275054931640625, 0.03775596618652344, 0.04123687744140625, 0.04471778869628906, 0.048198699951171875, 0.05167961120605469, 0.0551605224609375, 0.05864143371582031, 0.062122344970703125, 0.06560325622558594, 0.06908416748046875, 0.07256507873535156, 0.07604598999023438, 0.07952690124511719, 0.0830078125]}, "gradients/decoder.transformer.h.21.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 6.0, 3.0, 3.0, 6.0, 13.0, 16.0, 12.0, 23.0, 40.0, 54.0, 90.0, 94.0, 158.0, 260.0, 397.0, 569.0, 646.0, 549.0, 365.0, 272.0, 159.0, 109.0, 74.0, 52.0, 33.0, 29.0, 13.0, 10.0, 13.0, 3.0, 6.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.05328369140625, -0.051691532135009766, -0.05009937286376953, -0.0485072135925293, -0.04691505432128906, -0.04532289505004883, -0.043730735778808594, -0.04213857650756836, -0.040546417236328125, -0.03895425796508789, -0.037362098693847656, -0.03576993942260742, -0.03417778015136719, -0.03258562088012695, -0.03099346160888672, -0.029401302337646484, -0.02780914306640625, -0.026216983795166016, -0.02462482452392578, -0.023032665252685547, -0.021440505981445312, -0.019848346710205078, -0.018256187438964844, -0.01666402816772461, -0.015071868896484375, -0.01347970962524414, -0.011887550354003906, -0.010295391082763672, -0.008703231811523438, -0.007111072540283203, -0.005518913269042969, -0.003926753997802734, -0.0023345947265625, -0.0007424354553222656, 0.0008497238159179688, 0.002441883087158203, 0.0040340423583984375, 0.005626201629638672, 0.007218360900878906, 0.00881052017211914, 0.010402679443359375, 0.01199483871459961, 0.013586997985839844, 0.015179157257080078, 0.016771316528320312, 0.018363475799560547, 0.01995563507080078, 0.021547794342041016, 0.02313995361328125, 0.024732112884521484, 0.02632427215576172, 0.027916431427001953, 0.029508590698242188, 0.031100749969482422, 0.032692909240722656, 0.03428506851196289, 0.035877227783203125, 0.03746938705444336, 0.039061546325683594, 0.04065370559692383, 0.04224586486816406, 0.0438380241394043, 0.04543018341064453, 0.047022342681884766, 0.048614501953125]}, "gradients/decoder.transformer.h.21.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 3.0, 6.0, 4.0, 13.0, 11.0, 13.0, 24.0, 33.0, 60.0, 114.0, 191.0, 345.0, 657.0, 1562.0, 5064.0, 32908.0, 494267.0, 3351470.0, 279351.0, 21639.0, 3901.0, 1288.0, 616.0, 303.0, 167.0, 104.0, 55.0, 44.0, 26.0, 13.0, 10.0, 8.0, 2.0, 4.0, 1.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.099609375, -0.09610271453857422, -0.09259605407714844, -0.08908939361572266, -0.08558273315429688, -0.0820760726928711, -0.07856941223144531, -0.07506275177001953, -0.07155609130859375, -0.06804943084716797, -0.06454277038574219, -0.061036109924316406, -0.057529449462890625, -0.054022789001464844, -0.05051612854003906, -0.04700946807861328, -0.0435028076171875, -0.03999614715576172, -0.03648948669433594, -0.032982826232910156, -0.029476165771484375, -0.025969505310058594, -0.022462844848632812, -0.01895618438720703, -0.01544952392578125, -0.011942863464355469, -0.008436203002929688, -0.004929542541503906, -0.001422882080078125, 0.0020837783813476562, 0.0055904388427734375, 0.009097099304199219, 0.012603759765625, 0.01611042022705078, 0.019617080688476562, 0.023123741149902344, 0.026630401611328125, 0.030137062072753906, 0.03364372253417969, 0.03715038299560547, 0.04065704345703125, 0.04416370391845703, 0.04767036437988281, 0.051177024841308594, 0.054683685302734375, 0.058190345764160156, 0.06169700622558594, 0.06520366668701172, 0.0687103271484375, 0.07221698760986328, 0.07572364807128906, 0.07923030853271484, 0.08273696899414062, 0.0862436294555664, 0.08975028991699219, 0.09325695037841797, 0.09676361083984375, 0.10027027130126953, 0.10377693176269531, 0.1072835922241211, 0.11079025268554688, 0.11429691314697266, 0.11780357360839844, 0.12131023406982422, 0.12481689453125]}, "gradients/decoder.transformer.h.21.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 5.0, 2.0, 19.0, 32.0, 95.0, 175.0, 207.0, 183.0, 150.0, 85.0, 36.0, 20.0, 7.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4604577422142029, -0.4486212432384491, -0.4367847144603729, -0.42494821548461914, -0.41311171650886536, -0.4012752175331116, -0.3894386887550354, -0.3776021897792816, -0.36576569080352783, -0.35392919182777405, -0.3420926630496979, -0.3302561640739441, -0.3184196650981903, -0.3065831661224365, -0.29474663734436035, -0.28291013836860657, -0.2710736393928528, -0.259237140417099, -0.24740062654018402, -0.23556411266326904, -0.22372761368751526, -0.21189109981060028, -0.2000545859336853, -0.18821808695793152, -0.17638155817985535, -0.16454504430294037, -0.15270854532718658, -0.1408720314502716, -0.12903553247451782, -0.11719901859760284, -0.10536251217126846, -0.09352600574493408, -0.0816895067691803, -0.06985300034284592, -0.058016493916511536, -0.046179983764886856, -0.034343477338552475, -0.022506970912218094, -0.010670460760593414, 0.0011660456657409668, 0.013002552092075348, 0.02483905851840973, 0.03667556494474411, 0.04851207509636879, 0.06034858152270317, 0.07218508422374725, 0.08402159810066223, 0.09585810452699661, 0.107694610953331, 0.11953111737966537, 0.13136762380599976, 0.14320413768291473, 0.15504063665866852, 0.1668771505355835, 0.17871364951133728, 0.19055016338825226, 0.20238667726516724, 0.21422319114208221, 0.226059690117836, 0.23789620399475098, 0.24973270297050476, 0.26156920194625854, 0.2734057307243347, 0.2852422297000885, 0.2970787286758423]}, "gradients/decoder.transformer.h.21.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 5.0, 5.0, 4.0, 3.0, 7.0, 4.0, 10.0, 8.0, 9.0, 8.0, 14.0, 19.0, 30.0, 28.0, 40.0, 18.0, 25.0, 31.0, 41.0, 34.0, 37.0, 39.0, 37.0, 44.0, 33.0, 42.0, 41.0, 42.0, 41.0, 36.0, 27.0, 37.0, 35.0, 27.0, 18.0, 18.0, 12.0, 19.0, 14.0, 8.0, 12.0, 8.0, 14.0, 6.0, 8.0, 1.0, 3.0, 1.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.14587819576263428, -0.14120317995548248, -0.1365281641483307, -0.1318531334400177, -0.1271781176328659, -0.12250310182571411, -0.11782807856798172, -0.11315305531024933, -0.10847803950309753, -0.10380302369594574, -0.09912800043821335, -0.09445297718048096, -0.08977796137332916, -0.08510294556617737, -0.08042792230844498, -0.07575289905071259, -0.07107788324356079, -0.066402867436409, -0.061727844178676605, -0.05705282464623451, -0.05237780511379242, -0.04770278558135033, -0.043027766048908234, -0.03835274651646614, -0.03367772698402405, -0.029002707451581955, -0.024327687919139862, -0.01965266838669777, -0.014977648854255676, -0.010302629321813583, -0.0056276097893714905, -0.0009525902569293976, 0.0037224292755126953, 0.008397448807954788, 0.013072468340396881, 0.017747487872838974, 0.022422507405281067, 0.02709752693772316, 0.03177254647016525, 0.036447566002607346, 0.04112258553504944, 0.04579760506749153, 0.050472624599933624, 0.05514764413237572, 0.05982266366481781, 0.0644976794719696, 0.069172702729702, 0.07384772598743439, 0.07852274179458618, 0.08319775760173798, 0.08787278085947037, 0.09254780411720276, 0.09722281992435455, 0.10189783573150635, 0.10657285898923874, 0.11124788224697113, 0.11592289805412292, 0.12059791386127472, 0.1252729296684265, 0.1299479603767395, 0.1346229761838913, 0.1392979919910431, 0.14397302269935608, 0.14864803850650787, 0.15332305431365967]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 6.0, 10.0, 10.0, 18.0, 23.0, 32.0, 25.0, 27.0, 45.0, 59.0, 55.0, 56.0, 71.0, 80.0, 63.0, 77.0, 69.0, 55.0, 60.0, 54.0, 26.0, 20.0, 25.0, 19.0, 7.0, 9.0, 4.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0243988037109375, -0.02381312847137451, -0.023227453231811523, -0.022641777992248535, -0.022056102752685547, -0.02147042751312256, -0.02088475227355957, -0.020299077033996582, -0.019713401794433594, -0.019127726554870605, -0.018542051315307617, -0.01795637607574463, -0.01737070083618164, -0.016785025596618652, -0.016199350357055664, -0.015613675117492676, -0.015027999877929688, -0.0144423246383667, -0.013856649398803711, -0.013270974159240723, -0.012685298919677734, -0.012099623680114746, -0.011513948440551758, -0.01092827320098877, -0.010342597961425781, -0.009756922721862793, -0.009171247482299805, -0.008585572242736816, -0.007999897003173828, -0.00741422176361084, -0.0068285465240478516, -0.006242871284484863, -0.005657196044921875, -0.005071520805358887, -0.0044858455657958984, -0.00390017032623291, -0.003314495086669922, -0.0027288198471069336, -0.0021431446075439453, -0.001557469367980957, -0.0009717941284179688, -0.00038611888885498047, 0.0001995563507080078, 0.0007852315902709961, 0.0013709068298339844, 0.0019565820693969727, 0.002542257308959961, 0.0031279325485229492, 0.0037136077880859375, 0.004299283027648926, 0.004884958267211914, 0.005470633506774902, 0.006056308746337891, 0.006641983985900879, 0.007227659225463867, 0.007813334465026855, 0.008399009704589844, 0.008984684944152832, 0.00957036018371582, 0.010156035423278809, 0.010741710662841797, 0.011327385902404785, 0.011913061141967773, 0.012498736381530762, 0.01308441162109375]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 2.0, 4.0, 7.0, 8.0, 11.0, 22.0, 24.0, 50.0, 95.0, 161.0, 338.0, 659.0, 1508.0, 3720.0, 9890.0, 31300.0, 127231.0, 649054.0, 165556.0, 38717.0, 12103.0, 4591.0, 1859.0, 800.0, 367.0, 199.0, 101.0, 56.0, 32.0, 27.0, 15.0, 14.0, 11.0, 8.0, 8.0, 3.0, 5.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020372867584228516, -0.00019706785678863525, -0.00019040703773498535, -0.00018374621868133545, -0.00017708539962768555, -0.00017042458057403564, -0.00016376376152038574, -0.00015710294246673584, -0.00015044212341308594, -0.00014378130435943604, -0.00013712048530578613, -0.00013045966625213623, -0.00012379884719848633, -0.00011713802814483643, -0.00011047720909118652, -0.00010381639003753662, -9.715557098388672e-05, -9.049475193023682e-05, -8.383393287658691e-05, -7.717311382293701e-05, -7.051229476928711e-05, -6.385147571563721e-05, -5.7190656661987305e-05, -5.05298376083374e-05, -4.38690185546875e-05, -3.72081995010376e-05, -3.0547380447387695e-05, -2.3886561393737793e-05, -1.722574234008789e-05, -1.0564923286437988e-05, -3.904104232788086e-06, 2.7567148208618164e-06, 9.417533874511719e-06, 1.607835292816162e-05, 2.2739171981811523e-05, 2.9399991035461426e-05, 3.606081008911133e-05, 4.272162914276123e-05, 4.938244819641113e-05, 5.6043267250061035e-05, 6.270408630371094e-05, 6.936490535736084e-05, 7.602572441101074e-05, 8.268654346466064e-05, 8.934736251831055e-05, 9.600818157196045e-05, 0.00010266900062561035, 0.00010932981967926025, 0.00011599063873291016, 0.00012265145778656006, 0.00012931227684020996, 0.00013597309589385986, 0.00014263391494750977, 0.00014929473400115967, 0.00015595555305480957, 0.00016261637210845947, 0.00016927719116210938, 0.00017593801021575928, 0.00018259882926940918, 0.00018925964832305908, 0.00019592046737670898, 0.0002025812864303589, 0.0002092421054840088, 0.0002159029245376587, 0.0002225637435913086]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 1.0, 2.0, 7.0, 7.0, 10.0, 10.0, 7.0, 23.0, 22.0, 23.0, 18.0, 20.0, 33.0, 34.0, 40.0, 43.0, 51.0, 43.0, 60.0, 61.0, 1075.0, 58.0, 58.0, 37.0, 46.0, 31.0, 34.0, 30.0, 32.0, 24.0, 17.0, 15.0, 10.0, 17.0, 9.0, 9.0, 7.0, 3.0, 9.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.01531219482421875, -0.014920949935913086, -0.014529705047607422, -0.014138460159301758, -0.013747215270996094, -0.01335597038269043, -0.012964725494384766, -0.012573480606079102, -0.012182235717773438, -0.011790990829467773, -0.01139974594116211, -0.011008501052856445, -0.010617256164550781, -0.010226011276245117, -0.009834766387939453, -0.009443521499633789, -0.009052276611328125, -0.008661031723022461, -0.008269786834716797, -0.007878541946411133, -0.007487297058105469, -0.007096052169799805, -0.006704807281494141, -0.0063135623931884766, -0.0059223175048828125, -0.0055310726165771484, -0.005139827728271484, -0.00474858283996582, -0.004357337951660156, -0.003966093063354492, -0.003574848175048828, -0.003183603286743164, -0.0027923583984375, -0.002401113510131836, -0.002009868621826172, -0.0016186237335205078, -0.0012273788452148438, -0.0008361339569091797, -0.0004448890686035156, -5.364418029785156e-05, 0.0003376007080078125, 0.0007288455963134766, 0.0011200904846191406, 0.0015113353729248047, 0.0019025802612304688, 0.002293825149536133, 0.002685070037841797, 0.003076314926147461, 0.003467559814453125, 0.003858804702758789, 0.004250049591064453, 0.004641294479370117, 0.005032539367675781, 0.005423784255981445, 0.005815029144287109, 0.0062062740325927734, 0.0065975189208984375, 0.0069887638092041016, 0.007380008697509766, 0.00777125358581543, 0.008162498474121094, 0.008553743362426758, 0.008944988250732422, 0.009336233139038086, 0.00972747802734375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 7.0, 5.0, 11.0, 8.0, 14.0, 11.0, 16.0, 14.0, 17.0, 22.0, 40.0, 34.0, 53.0, 110.0, 253.0, 786.0, 2307.0, 26211.0, 2058304.0, 6293.0, 1604.0, 489.0, 211.0, 84.0, 34.0, 36.0, 21.0, 22.0, 17.0, 27.0, 25.0, 15.0, 8.0, 8.0, 11.0, 4.0, 2.0, 3.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.655952453613281e-06, -9.274110198020935e-06, -8.892267942428589e-06, -8.510425686836243e-06, -8.128583431243896e-06, -7.74674117565155e-06, -7.364898920059204e-06, -6.983056664466858e-06, -6.601214408874512e-06, -6.2193721532821655e-06, -5.837529897689819e-06, -5.455687642097473e-06, -5.073845386505127e-06, -4.692003130912781e-06, -4.3101608753204346e-06, -3.928318619728088e-06, -3.546476364135742e-06, -3.164634108543396e-06, -2.78279185295105e-06, -2.4009495973587036e-06, -2.0191073417663574e-06, -1.6372650861740112e-06, -1.255422830581665e-06, -8.735805749893188e-07, -4.917383193969727e-07, -1.0989606380462646e-07, 2.7194619178771973e-07, 6.537884473800659e-07, 1.0356307029724121e-06, 1.4174729585647583e-06, 1.7993152141571045e-06, 2.1811574697494507e-06, 2.562999725341797e-06, 2.944841980934143e-06, 3.3266842365264893e-06, 3.7085264921188354e-06, 4.090368747711182e-06, 4.472211003303528e-06, 4.854053258895874e-06, 5.23589551448822e-06, 5.617737770080566e-06, 5.999580025672913e-06, 6.381422281265259e-06, 6.763264536857605e-06, 7.145106792449951e-06, 7.526949048042297e-06, 7.908791303634644e-06, 8.29063355922699e-06, 8.672475814819336e-06, 9.054318070411682e-06, 9.436160326004028e-06, 9.818002581596375e-06, 1.019984483718872e-05, 1.0581687092781067e-05, 1.0963529348373413e-05, 1.134537160396576e-05, 1.1727213859558105e-05, 1.2109056115150452e-05, 1.2490898370742798e-05, 1.2872740626335144e-05, 1.325458288192749e-05, 1.3636425137519836e-05, 1.4018267393112183e-05, 1.4400109648704529e-05, 1.4781951904296875e-05]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 6.0, 10.0, 10.0, 18.0, 23.0, 32.0, 25.0, 27.0, 45.0, 59.0, 55.0, 56.0, 71.0, 80.0, 63.0, 77.0, 69.0, 55.0, 60.0, 54.0, 26.0, 20.0, 25.0, 19.0, 7.0, 9.0, 4.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0243988037109375, -0.02381312847137451, -0.023227453231811523, -0.022641777992248535, -0.022056102752685547, -0.02147042751312256, -0.02088475227355957, -0.020299077033996582, -0.019713401794433594, -0.019127726554870605, -0.018542051315307617, -0.01795637607574463, -0.01737070083618164, -0.016785025596618652, -0.016199350357055664, -0.015613675117492676, -0.015027999877929688, -0.0144423246383667, -0.013856649398803711, -0.013270974159240723, -0.012685298919677734, -0.012099623680114746, -0.011513948440551758, -0.01092827320098877, -0.010342597961425781, -0.009756922721862793, -0.009171247482299805, -0.008585572242736816, -0.007999897003173828, -0.00741422176361084, -0.0068285465240478516, -0.006242871284484863, -0.005657196044921875, -0.005071520805358887, -0.0044858455657958984, -0.00390017032623291, -0.003314495086669922, -0.0027288198471069336, -0.0021431446075439453, -0.001557469367980957, -0.0009717941284179688, -0.00038611888885498047, 0.0001995563507080078, 0.0007852315902709961, 0.0013709068298339844, 0.0019565820693969727, 0.002542257308959961, 0.0031279325485229492, 0.0037136077880859375, 0.004299283027648926, 0.004884958267211914, 0.005470633506774902, 0.006056308746337891, 0.006641983985900879, 0.007227659225463867, 0.007813334465026855, 0.008399009704589844, 0.008984684944152832, 0.00957036018371582, 0.010156035423278809, 0.010741710662841797, 0.011327385902404785, 0.011913061141967773, 0.012498736381530762, 0.01308441162109375]}, "gradients/decoder.transformer.h.21.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 7.0, 9.0, 9.0, 10.0, 11.0, 24.0, 39.0, 61.0, 119.0, 171.0, 315.0, 568.0, 1147.0, 2213.0, 4782.0, 11287.0, 31576.0, 125922.0, 695399.0, 123246.0, 31115.0, 11102.0, 4622.0, 2259.0, 1170.0, 578.0, 312.0, 198.0, 89.0, 85.0, 46.0, 11.0, 21.0, 14.0, 9.0, 4.0, 2.0, 2.0, 4.0, 1.0, 4.0, 0.0, 1.0], "bins": [-0.048126220703125, -0.046907663345336914, -0.04568910598754883, -0.04447054862976074, -0.043251991271972656, -0.04203343391418457, -0.040814876556396484, -0.0395963191986084, -0.03837776184082031, -0.03715920448303223, -0.03594064712524414, -0.034722089767456055, -0.03350353240966797, -0.03228497505187988, -0.031066417694091797, -0.02984786033630371, -0.028629302978515625, -0.02741074562072754, -0.026192188262939453, -0.024973630905151367, -0.02375507354736328, -0.022536516189575195, -0.02131795883178711, -0.020099401473999023, -0.018880844116210938, -0.01766228675842285, -0.016443729400634766, -0.01522517204284668, -0.014006614685058594, -0.012788057327270508, -0.011569499969482422, -0.010350942611694336, -0.00913238525390625, -0.007913827896118164, -0.006695270538330078, -0.005476713180541992, -0.004258155822753906, -0.0030395984649658203, -0.0018210411071777344, -0.0006024837493896484, 0.0006160736083984375, 0.0018346309661865234, 0.0030531883239746094, 0.004271745681762695, 0.005490303039550781, 0.006708860397338867, 0.007927417755126953, 0.009145975112915039, 0.010364532470703125, 0.011583089828491211, 0.012801647186279297, 0.014020204544067383, 0.015238761901855469, 0.016457319259643555, 0.01767587661743164, 0.018894433975219727, 0.020112991333007812, 0.0213315486907959, 0.022550106048583984, 0.02376866340637207, 0.024987220764160156, 0.026205778121948242, 0.027424335479736328, 0.028642892837524414, 0.0298614501953125]}, "gradients/decoder.transformer.h.21.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 2.0, 1.0, 4.0, 3.0, 6.0, 9.0, 12.0, 7.0, 15.0, 19.0, 31.0, 21.0, 26.0, 32.0, 29.0, 43.0, 39.0, 65.0, 56.0, 101.0, 241.0, 1661.0, 169.0, 85.0, 64.0, 45.0, 36.0, 34.0, 31.0, 28.0, 25.0, 14.0, 19.0, 20.0, 16.0, 17.0, 5.0, 9.0, 2.0, 4.0, 6.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0484619140625, -0.04700613021850586, -0.04555034637451172, -0.04409456253051758, -0.04263877868652344, -0.0411829948425293, -0.039727210998535156, -0.038271427154541016, -0.036815643310546875, -0.035359859466552734, -0.033904075622558594, -0.03244829177856445, -0.030992507934570312, -0.029536724090576172, -0.02808094024658203, -0.02662515640258789, -0.02516937255859375, -0.02371358871459961, -0.02225780487060547, -0.020802021026611328, -0.019346237182617188, -0.017890453338623047, -0.016434669494628906, -0.014978885650634766, -0.013523101806640625, -0.012067317962646484, -0.010611534118652344, -0.009155750274658203, -0.0076999664306640625, -0.006244182586669922, -0.004788398742675781, -0.0033326148986816406, -0.0018768310546875, -0.0004210472106933594, 0.0010347366333007812, 0.002490520477294922, 0.0039463043212890625, 0.005402088165283203, 0.006857872009277344, 0.008313655853271484, 0.009769439697265625, 0.011225223541259766, 0.012681007385253906, 0.014136791229248047, 0.015592575073242188, 0.017048358917236328, 0.01850414276123047, 0.01995992660522461, 0.02141571044921875, 0.02287149429321289, 0.02432727813720703, 0.025783061981201172, 0.027238845825195312, 0.028694629669189453, 0.030150413513183594, 0.031606197357177734, 0.033061981201171875, 0.034517765045166016, 0.035973548889160156, 0.0374293327331543, 0.03888511657714844, 0.04034090042114258, 0.04179668426513672, 0.04325246810913086, 0.044708251953125]}, "gradients/decoder.transformer.h.21.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 4.0, 2.0, 4.0, 6.0, 10.0, 13.0, 18.0, 20.0, 15.0, 23.0, 35.0, 37.0, 56.0, 71.0, 115.0, 241.0, 686.0, 4125.0, 45787.0, 2885396.0, 195901.0, 10928.0, 1371.0, 334.0, 161.0, 83.0, 60.0, 31.0, 41.0, 31.0, 25.0, 25.0, 15.0, 8.0, 11.0, 7.0, 4.0, 3.0, 5.0, 3.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09149169921875, -0.08851242065429688, -0.08553314208984375, -0.08255386352539062, -0.0795745849609375, -0.07659530639648438, -0.07361602783203125, -0.07063674926757812, -0.067657470703125, -0.06467819213867188, -0.06169891357421875, -0.058719635009765625, -0.0557403564453125, -0.052761077880859375, -0.04978179931640625, -0.046802520751953125, -0.0438232421875, -0.040843963623046875, -0.03786468505859375, -0.034885406494140625, -0.0319061279296875, -0.028926849365234375, -0.02594757080078125, -0.022968292236328125, -0.019989013671875, -0.017009735107421875, -0.01403045654296875, -0.011051177978515625, -0.0080718994140625, -0.005092620849609375, -0.00211334228515625, 0.000865936279296875, 0.00384521484375, 0.006824493408203125, 0.00980377197265625, 0.012783050537109375, 0.0157623291015625, 0.018741607666015625, 0.02172088623046875, 0.024700164794921875, 0.027679443359375, 0.030658721923828125, 0.03363800048828125, 0.036617279052734375, 0.0395965576171875, 0.042575836181640625, 0.04555511474609375, 0.048534393310546875, 0.051513671875, 0.054492950439453125, 0.05747222900390625, 0.060451507568359375, 0.0634307861328125, 0.06641006469726562, 0.06938934326171875, 0.07236862182617188, 0.075347900390625, 0.07832717895507812, 0.08130645751953125, 0.08428573608398438, 0.0872650146484375, 0.09024429321289062, 0.09322357177734375, 0.09620285034179688, 0.09918212890625]}, "gradients/decoder.transformer.h.21.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 21.0, 157.0, 474.0, 298.0, 63.0, 8.0, 0.0, 1.0], "bins": [-0.7119547724723816, -0.699834406375885, -0.6877140402793884, -0.6755937337875366, -0.66347336769104, -0.6513530015945435, -0.6392326354980469, -0.6271122694015503, -0.6149919033050537, -0.6028715372085571, -0.5907511711120605, -0.578630805015564, -0.5665104985237122, -0.5543901324272156, -0.542269766330719, -0.5301494002342224, -0.5180290937423706, -0.505908727645874, -0.49378839135169983, -0.48166802525520325, -0.46954765915870667, -0.45742732286453247, -0.4453069567680359, -0.4331865906715393, -0.4210662245750427, -0.40894585847854614, -0.39682552218437195, -0.38470515608787537, -0.3725847899913788, -0.3604644536972046, -0.348344087600708, -0.3362237215042114, -0.32410338521003723, -0.31198301911354065, -0.29986268281936646, -0.2877423167228699, -0.2756219506263733, -0.2635015845298767, -0.2513812482357025, -0.23926088213920593, -0.22714051604270935, -0.21502016484737396, -0.20289979875087738, -0.190779447555542, -0.1786590814590454, -0.16653873026371002, -0.15441837906837463, -0.14229801297187805, -0.13017767667770386, -0.11805731803178787, -0.10593695938587189, -0.0938166081905365, -0.08169624954462051, -0.06957589089870453, -0.05745553970336914, -0.045335181057453156, -0.033214814960956573, -0.021094458177685738, -0.008974101394414902, 0.003146253526210785, 0.01526661217212677, 0.027386970818042755, 0.03950732201337814, 0.05162768065929413, 0.06374803930521011]}, "gradients/decoder.transformer.h.21.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 8.0, 9.0, 8.0, 7.0, 17.0, 9.0, 11.0, 15.0, 12.0, 18.0, 16.0, 22.0, 23.0, 29.0, 37.0, 31.0, 34.0, 29.0, 31.0, 40.0, 39.0, 40.0, 28.0, 50.0, 37.0, 33.0, 36.0, 38.0, 35.0, 27.0, 26.0, 32.0, 23.0, 26.0, 19.0, 18.0, 24.0, 17.0, 7.0, 11.0, 5.0, 10.0, 6.0, 7.0, 1.0, 1.0, 5.0, 2.0, 3.0, 2.0, 0.0, 1.0], "bins": [-0.13781505823135376, -0.1337517648935318, -0.12968847155570984, -0.12562519311904907, -0.12156189978122711, -0.11749860644340515, -0.11343531310558319, -0.10937201976776123, -0.10530873388051987, -0.1012454405426979, -0.09718215465545654, -0.09311886131763458, -0.08905556797981262, -0.08499228209257126, -0.0809289887547493, -0.07686570286750793, -0.07280240952968597, -0.06873911619186401, -0.06467583030462265, -0.06061253696680069, -0.05654924735426903, -0.052485957741737366, -0.048422664403915405, -0.04435937479138374, -0.04029608517885208, -0.03623279556632042, -0.03216950595378876, -0.028106212615966797, -0.024042923003435135, -0.019979633390903473, -0.01591634191572666, -0.01185305044054985, -0.0077897608280181885, -0.003726470284163952, 0.00033682025969028473, 0.004400110803544521, 0.008463401347398758, 0.01252669095993042, 0.01658998243510723, 0.020653273910284042, 0.024716563522815704, 0.028779853135347366, 0.03284314274787903, 0.03690643608570099, 0.04096972569823265, 0.04503301531076431, 0.04909630864858627, 0.053159598261117935, 0.0572228878736496, 0.06128617748618126, 0.06534946709871292, 0.06941276043653488, 0.07347604632377625, 0.0775393396615982, 0.08160263299942017, 0.08566592633724213, 0.08972921222448349, 0.09379250556230545, 0.09785579144954681, 0.10191908478736877, 0.10598237812519073, 0.1100456640124321, 0.11410895735025406, 0.11817224323749542, 0.12223553657531738]}, "gradients/decoder.transformer.h.20.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 4.0, 11.0, 11.0, 18.0, 21.0, 35.0, 23.0, 27.0, 45.0, 46.0, 59.0, 53.0, 84.0, 62.0, 65.0, 74.0, 68.0, 59.0, 63.0, 48.0, 37.0, 23.0, 26.0, 17.0, 11.0, 7.0, 7.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.02471923828125, -0.024128198623657227, -0.023537158966064453, -0.02294611930847168, -0.022355079650878906, -0.021764039993286133, -0.02117300033569336, -0.020581960678100586, -0.019990921020507812, -0.01939988136291504, -0.018808841705322266, -0.018217802047729492, -0.01762676239013672, -0.017035722732543945, -0.016444683074951172, -0.0158536434173584, -0.015262603759765625, -0.014671564102172852, -0.014080524444580078, -0.013489484786987305, -0.012898445129394531, -0.012307405471801758, -0.011716365814208984, -0.011125326156616211, -0.010534286499023438, -0.009943246841430664, -0.00935220718383789, -0.008761167526245117, -0.008170127868652344, -0.00757908821105957, -0.006988048553466797, -0.0063970088958740234, -0.00580596923828125, -0.0052149295806884766, -0.004623889923095703, -0.00403285026550293, -0.0034418106079101562, -0.002850770950317383, -0.0022597312927246094, -0.001668691635131836, -0.0010776519775390625, -0.00048661231994628906, 0.00010442733764648438, 0.0006954669952392578, 0.0012865066528320312, 0.0018775463104248047, 0.002468585968017578, 0.0030596256256103516, 0.003650665283203125, 0.0042417049407958984, 0.004832744598388672, 0.005423784255981445, 0.006014823913574219, 0.006605863571166992, 0.007196903228759766, 0.007787942886352539, 0.008378982543945312, 0.008970022201538086, 0.00956106185913086, 0.010152101516723633, 0.010743141174316406, 0.01133418083190918, 0.011925220489501953, 0.012516260147094727, 0.0131072998046875]}, "gradients/decoder.transformer.h.20.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 9.0, 7.0, 14.0, 20.0, 39.0, 42.0, 58.0, 78.0, 133.0, 188.0, 468.0, 1361.0, 7134.0, 136661.0, 3863388.0, 174296.0, 7961.0, 1463.0, 460.0, 188.0, 115.0, 66.0, 51.0, 33.0, 21.0, 14.0, 8.0, 6.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1513671875, -0.1477222442626953, -0.14407730102539062, -0.14043235778808594, -0.13678741455078125, -0.13314247131347656, -0.12949752807617188, -0.1258525848388672, -0.1222076416015625, -0.11856269836425781, -0.11491775512695312, -0.11127281188964844, -0.10762786865234375, -0.10398292541503906, -0.10033798217773438, -0.09669303894042969, -0.093048095703125, -0.08940315246582031, -0.08575820922851562, -0.08211326599121094, -0.07846832275390625, -0.07482337951660156, -0.07117843627929688, -0.06753349304199219, -0.0638885498046875, -0.06024360656738281, -0.056598663330078125, -0.05295372009277344, -0.04930877685546875, -0.04566383361816406, -0.042018890380859375, -0.03837394714355469, -0.03472900390625, -0.031084060668945312, -0.027439117431640625, -0.023794174194335938, -0.02014923095703125, -0.016504287719726562, -0.012859344482421875, -0.009214401245117188, -0.0055694580078125, -0.0019245147705078125, 0.001720428466796875, 0.0053653717041015625, 0.00901031494140625, 0.012655258178710938, 0.016300201416015625, 0.019945144653320312, 0.023590087890625, 0.027235031127929688, 0.030879974365234375, 0.03452491760253906, 0.03816986083984375, 0.04181480407714844, 0.045459747314453125, 0.04910469055175781, 0.0527496337890625, 0.05639457702636719, 0.060039520263671875, 0.06368446350097656, 0.06732940673828125, 0.07097434997558594, 0.07461929321289062, 0.07826423645019531, 0.0819091796875]}, "gradients/decoder.transformer.h.20.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 6.0, 10.0, 12.0, 26.0, 44.0, 74.0, 107.0, 211.0, 326.0, 537.0, 848.0, 739.0, 455.0, 277.0, 163.0, 106.0, 64.0, 25.0, 11.0, 21.0, 5.0, 2.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07861328125, -0.07653141021728516, -0.07444953918457031, -0.07236766815185547, -0.07028579711914062, -0.06820392608642578, -0.06612205505371094, -0.0640401840209961, -0.06195831298828125, -0.059876441955566406, -0.05779457092285156, -0.05571269989013672, -0.053630828857421875, -0.05154895782470703, -0.04946708679199219, -0.047385215759277344, -0.0453033447265625, -0.043221473693847656, -0.04113960266113281, -0.03905773162841797, -0.036975860595703125, -0.03489398956298828, -0.03281211853027344, -0.030730247497558594, -0.02864837646484375, -0.026566505432128906, -0.024484634399414062, -0.02240276336669922, -0.020320892333984375, -0.01823902130126953, -0.016157150268554688, -0.014075279235839844, -0.011993408203125, -0.009911537170410156, -0.007829666137695312, -0.005747795104980469, -0.003665924072265625, -0.0015840530395507812, 0.0004978179931640625, 0.0025796890258789062, 0.00466156005859375, 0.006743431091308594, 0.008825302124023438, 0.010907173156738281, 0.012989044189453125, 0.015070915222167969, 0.017152786254882812, 0.019234657287597656, 0.0213165283203125, 0.023398399353027344, 0.025480270385742188, 0.02756214141845703, 0.029644012451171875, 0.03172588348388672, 0.03380775451660156, 0.035889625549316406, 0.03797149658203125, 0.040053367614746094, 0.04213523864746094, 0.04421710968017578, 0.046298980712890625, 0.04838085174560547, 0.05046272277832031, 0.052544593811035156, 0.05462646484375]}, "gradients/decoder.transformer.h.20.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 7.0, 6.0, 10.0, 15.0, 27.0, 49.0, 105.0, 172.0, 323.0, 665.0, 1554.0, 5656.0, 114760.0, 3796462.0, 262922.0, 8193.0, 1819.0, 726.0, 392.0, 200.0, 112.0, 52.0, 26.0, 11.0, 11.0, 4.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15283203125, -0.14708518981933594, -0.14133834838867188, -0.1355915069580078, -0.12984466552734375, -0.12409782409667969, -0.11835098266601562, -0.11260414123535156, -0.1068572998046875, -0.10111045837402344, -0.09536361694335938, -0.08961677551269531, -0.08386993408203125, -0.07812309265136719, -0.07237625122070312, -0.06662940979003906, -0.060882568359375, -0.05513572692871094, -0.049388885498046875, -0.04364204406738281, -0.03789520263671875, -0.03214836120605469, -0.026401519775390625, -0.020654678344726562, -0.0149078369140625, -0.009160995483398438, -0.003414154052734375, 0.0023326873779296875, 0.00807952880859375, 0.013826370239257812, 0.019573211669921875, 0.025320053100585938, 0.03106689453125, 0.03681373596191406, 0.042560577392578125, 0.04830741882324219, 0.05405426025390625, 0.05980110168457031, 0.06554794311523438, 0.07129478454589844, 0.0770416259765625, 0.08278846740722656, 0.08853530883789062, 0.09428215026855469, 0.10002899169921875, 0.10577583312988281, 0.11152267456054688, 0.11726951599121094, 0.123016357421875, 0.12876319885253906, 0.13451004028320312, 0.1402568817138672, 0.14600372314453125, 0.1517505645751953, 0.15749740600585938, 0.16324424743652344, 0.1689910888671875, 0.17473793029785156, 0.18048477172851562, 0.1862316131591797, 0.19197845458984375, 0.1977252960205078, 0.20347213745117188, 0.20921897888183594, 0.2149658203125]}, "gradients/decoder.transformer.h.20.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 5.0, 8.0, 9.0, 11.0, 23.0, 23.0, 31.0, 40.0, 49.0, 60.0, 53.0, 92.0, 93.0, 77.0, 79.0, 68.0, 59.0, 59.0, 45.0, 38.0, 28.0, 19.0, 12.0, 17.0, 8.0, 3.0, 0.0, 2.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.25337648391723633, -0.24780234694480896, -0.24222822487354279, -0.2366541028022766, -0.23107996582984924, -0.22550582885742188, -0.2199317067861557, -0.21435758471488953, -0.20878344774246216, -0.2032093107700348, -0.19763518869876862, -0.19206106662750244, -0.18648692965507507, -0.1809127926826477, -0.17533867061138153, -0.16976454854011536, -0.164190411567688, -0.15861627459526062, -0.15304215252399445, -0.14746803045272827, -0.1418938934803009, -0.13631975650787354, -0.13074563443660736, -0.1251715123653412, -0.11959737539291382, -0.11402324587106705, -0.10844911634922028, -0.1028749868273735, -0.09730085730552673, -0.09172672778367996, -0.08615259826183319, -0.08057846873998642, -0.07500433176755905, -0.06943020224571228, -0.06385607272386551, -0.05828194320201874, -0.05270781368017197, -0.047133684158325195, -0.041559554636478424, -0.03598542511463165, -0.03041129559278488, -0.02483716607093811, -0.01926303654909134, -0.013688907027244568, -0.008114777505397797, -0.0025406479835510254, 0.003033481538295746, 0.008607611060142517, 0.014181740581989288, 0.01975587010383606, 0.02532999962568283, 0.030904129147529602, 0.03647825866937637, 0.042052388191223145, 0.047626517713069916, 0.05320064723491669, 0.05877477675676346, 0.06434890627861023, 0.069923035800457, 0.07549716532230377, 0.08107129484415054, 0.08664542436599731, 0.09221955388784409, 0.09779368340969086, 0.10336781293153763]}, "gradients/decoder.transformer.h.20.ln_2.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 4.0, 1.0, 6.0, 8.0, 8.0, 10.0, 11.0, 17.0, 23.0, 18.0, 22.0, 18.0, 13.0, 24.0, 31.0, 26.0, 41.0, 44.0, 33.0, 37.0, 55.0, 32.0, 43.0, 37.0, 40.0, 47.0, 35.0, 44.0, 29.0, 28.0, 26.0, 24.0, 25.0, 14.0, 17.0, 26.0, 10.0, 10.0, 11.0, 13.0, 17.0, 9.0, 7.0, 3.0, 2.0, 5.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.15118730068206787, -0.14651063084602356, -0.14183394610881805, -0.13715727627277374, -0.13248059153556824, -0.12780392169952393, -0.12312725186347961, -0.1184505745768547, -0.1137738972902298, -0.10909722000360489, -0.10442054271697998, -0.09974387288093567, -0.09506719559431076, -0.09039051830768585, -0.08571384847164154, -0.08103717118501663, -0.07636049389839172, -0.07168381661176682, -0.0670071393251419, -0.062330469489097595, -0.05765379220247269, -0.05297711491584778, -0.04830044135451317, -0.04362376779317856, -0.03894709050655365, -0.03427041321992874, -0.02959373965859413, -0.024917064234614372, -0.020240388810634613, -0.015563713386654854, -0.010887037962675095, -0.006210364401340485, -0.0015336871147155762, 0.003142988309264183, 0.007819663733243942, 0.012496339157223701, 0.01717301458120346, 0.02184969000518322, 0.02652636542916298, 0.03120303899049759, 0.0358797162771225, 0.040556393563747406, 0.045233067125082016, 0.049909740686416626, 0.054586417973041534, 0.05926309525966644, 0.06393976509571075, 0.06861644238233566, 0.07329311966896057, 0.07796979695558548, 0.08264647424221039, 0.0873231440782547, 0.09199982136487961, 0.09667649865150452, 0.10135316848754883, 0.10602984577417374, 0.11070652306079865, 0.11538320034742355, 0.12005987763404846, 0.12473654747009277, 0.12941321730613708, 0.1340899020433426, 0.1387665718793869, 0.1434432566165924, 0.14811992645263672]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 6.0, 10.0, 11.0, 17.0, 21.0, 22.0, 36.0, 30.0, 47.0, 54.0, 55.0, 57.0, 69.0, 78.0, 61.0, 58.0, 75.0, 63.0, 51.0, 46.0, 31.0, 27.0, 26.0, 19.0, 17.0, 7.0, 6.0, 1.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0245361328125, -0.02393496036529541, -0.02333378791809082, -0.02273261547088623, -0.02213144302368164, -0.02153027057647705, -0.02092909812927246, -0.02032792568206787, -0.01972675323486328, -0.01912558078765869, -0.0185244083404541, -0.01792323589324951, -0.017322063446044922, -0.016720890998840332, -0.016119718551635742, -0.015518546104431152, -0.014917373657226562, -0.014316201210021973, -0.013715028762817383, -0.013113856315612793, -0.012512683868408203, -0.011911511421203613, -0.011310338973999023, -0.010709166526794434, -0.010107994079589844, -0.009506821632385254, -0.008905649185180664, -0.008304476737976074, -0.007703304290771484, -0.0071021318435668945, -0.006500959396362305, -0.005899786949157715, -0.005298614501953125, -0.004697442054748535, -0.004096269607543945, -0.0034950971603393555, -0.0028939247131347656, -0.0022927522659301758, -0.001691579818725586, -0.001090407371520996, -0.0004892349243164062, 0.0001119375228881836, 0.0007131099700927734, 0.0013142824172973633, 0.0019154548645019531, 0.002516627311706543, 0.003117799758911133, 0.0037189722061157227, 0.0043201446533203125, 0.004921317100524902, 0.005522489547729492, 0.006123661994934082, 0.006724834442138672, 0.007326006889343262, 0.007927179336547852, 0.008528351783752441, 0.009129524230957031, 0.009730696678161621, 0.010331869125366211, 0.0109330415725708, 0.01153421401977539, 0.01213538646697998, 0.01273655891418457, 0.01333773136138916, 0.01393890380859375]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 6.0, 5.0, 10.0, 7.0, 3.0, 5.0, 15.0, 10.0, 28.0, 36.0, 61.0, 89.0, 175.0, 288.0, 591.0, 1209.0, 2557.0, 5563.0, 13029.0, 33668.0, 98657.0, 496985.0, 280565.0, 70683.0, 25516.0, 10077.0, 4577.0, 2088.0, 910.0, 492.0, 267.0, 128.0, 98.0, 51.0, 39.0, 16.0, 15.0, 13.0, 10.0, 5.0, 6.0, 3.0, 2.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013554096221923828, -0.00013067573308944702, -0.00012581050395965576, -0.0001209452748298645, -0.00011608004570007324, -0.00011121481657028198, -0.00010634958744049072, -0.00010148435831069946, -9.66191291809082e-05, -9.175390005111694e-05, -8.688867092132568e-05, -8.202344179153442e-05, -7.715821266174316e-05, -7.22929835319519e-05, -6.742775440216064e-05, -6.256252527236938e-05, -5.7697296142578125e-05, -5.2832067012786865e-05, -4.7966837882995605e-05, -4.3101608753204346e-05, -3.8236379623413086e-05, -3.3371150493621826e-05, -2.8505921363830566e-05, -2.3640692234039307e-05, -1.8775463104248047e-05, -1.3910233974456787e-05, -9.045004844665527e-06, -4.179775714874268e-06, 6.854534149169922e-07, 5.550682544708252e-06, 1.0415911674499512e-05, 1.528114080429077e-05, 2.014636993408203e-05, 2.501159906387329e-05, 2.987682819366455e-05, 3.474205732345581e-05, 3.960728645324707e-05, 4.447251558303833e-05, 4.933774471282959e-05, 5.420297384262085e-05, 5.906820297241211e-05, 6.393343210220337e-05, 6.879866123199463e-05, 7.366389036178589e-05, 7.852911949157715e-05, 8.339434862136841e-05, 8.825957775115967e-05, 9.312480688095093e-05, 9.799003601074219e-05, 0.00010285526514053345, 0.00010772049427032471, 0.00011258572340011597, 0.00011745095252990723, 0.00012231618165969849, 0.00012718141078948975, 0.000132046639919281, 0.00013691186904907227, 0.00014177709817886353, 0.00014664232730865479, 0.00015150755643844604, 0.0001563727855682373, 0.00016123801469802856, 0.00016610324382781982, 0.00017096847295761108, 0.00017583370208740234]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 3.0, 1.0, 1.0, 0.0, 4.0, 1.0, 5.0, 10.0, 5.0, 11.0, 12.0, 6.0, 9.0, 10.0, 25.0, 24.0, 20.0, 22.0, 33.0, 27.0, 32.0, 37.0, 32.0, 34.0, 47.0, 32.0, 44.0, 1059.0, 39.0, 36.0, 39.0, 36.0, 40.0, 33.0, 37.0, 32.0, 25.0, 24.0, 23.0, 15.0, 13.0, 11.0, 16.0, 11.0, 8.0, 11.0, 9.0, 8.0, 3.0, 9.0, 6.0, 2.0, 4.0, 1.0, 1.0, 0.0, 2.0, 3.0, 0.0, 0.0, 1.0], "bins": [-0.00888824462890625, -0.008599042892456055, -0.00830984115600586, -0.008020639419555664, -0.007731437683105469, -0.0074422359466552734, -0.007153034210205078, -0.006863832473754883, -0.0065746307373046875, -0.006285429000854492, -0.005996227264404297, -0.0057070255279541016, -0.005417823791503906, -0.005128622055053711, -0.004839420318603516, -0.00455021858215332, -0.004261016845703125, -0.00397181510925293, -0.0036826133728027344, -0.003393411636352539, -0.0031042098999023438, -0.0028150081634521484, -0.002525806427001953, -0.002236604690551758, -0.0019474029541015625, -0.0016582012176513672, -0.0013689994812011719, -0.0010797977447509766, -0.0007905960083007812, -0.0005013942718505859, -0.00021219253540039062, 7.700920104980469e-05, 0.0003662109375, 0.0006554126739501953, 0.0009446144104003906, 0.001233816146850586, 0.0015230178833007812, 0.0018122196197509766, 0.002101421356201172, 0.002390623092651367, 0.0026798248291015625, 0.002969026565551758, 0.003258228302001953, 0.0035474300384521484, 0.0038366317749023438, 0.004125833511352539, 0.004415035247802734, 0.00470423698425293, 0.004993438720703125, 0.00528264045715332, 0.005571842193603516, 0.005861043930053711, 0.006150245666503906, 0.0064394474029541016, 0.006728649139404297, 0.007017850875854492, 0.0073070526123046875, 0.007596254348754883, 0.007885456085205078, 0.008174657821655273, 0.008463859558105469, 0.008753061294555664, 0.00904226303100586, 0.009331464767456055, 0.00962066650390625]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 5.0, 9.0, 5.0, 8.0, 9.0, 7.0, 10.0, 12.0, 9.0, 13.0, 12.0, 17.0, 23.0, 27.0, 15.0, 37.0, 41.0, 55.0, 86.0, 246.0, 563.0, 1735.0, 4581.0, 2013329.0, 70533.0, 3786.0, 905.0, 472.0, 198.0, 86.0, 46.0, 36.0, 34.0, 27.0, 15.0, 24.0, 27.0, 13.0, 11.0, 11.0, 12.0, 6.0, 4.0, 13.0, 11.0, 2.0, 5.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 1.0], "bins": [-9.298324584960938e-06, -9.015202522277832e-06, -8.732080459594727e-06, -8.448958396911621e-06, -8.165836334228516e-06, -7.88271427154541e-06, -7.599592208862305e-06, -7.316470146179199e-06, -7.033348083496094e-06, -6.750226020812988e-06, -6.467103958129883e-06, -6.183981895446777e-06, -5.900859832763672e-06, -5.617737770080566e-06, -5.334615707397461e-06, -5.0514936447143555e-06, -4.76837158203125e-06, -4.4852495193481445e-06, -4.202127456665039e-06, -3.919005393981934e-06, -3.635883331298828e-06, -3.3527612686157227e-06, -3.069639205932617e-06, -2.7865171432495117e-06, -2.5033950805664062e-06, -2.2202730178833008e-06, -1.9371509552001953e-06, -1.6540288925170898e-06, -1.3709068298339844e-06, -1.087784767150879e-06, -8.046627044677734e-07, -5.21540641784668e-07, -2.384185791015625e-07, 4.470348358154297e-08, 3.2782554626464844e-07, 6.109476089477539e-07, 8.940696716308594e-07, 1.1771917343139648e-06, 1.4603137969970703e-06, 1.7434358596801758e-06, 2.0265579223632812e-06, 2.3096799850463867e-06, 2.592802047729492e-06, 2.8759241104125977e-06, 3.159046173095703e-06, 3.4421682357788086e-06, 3.725290298461914e-06, 4.0084123611450195e-06, 4.291534423828125e-06, 4.5746564865112305e-06, 4.857778549194336e-06, 5.140900611877441e-06, 5.424022674560547e-06, 5.707144737243652e-06, 5.990266799926758e-06, 6.273388862609863e-06, 6.556510925292969e-06, 6.839632987976074e-06, 7.12275505065918e-06, 7.405877113342285e-06, 7.68899917602539e-06, 7.972121238708496e-06, 8.255243301391602e-06, 8.538365364074707e-06, 8.821487426757812e-06]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 6.0, 10.0, 11.0, 17.0, 21.0, 22.0, 36.0, 30.0, 47.0, 54.0, 55.0, 57.0, 69.0, 78.0, 61.0, 58.0, 75.0, 63.0, 51.0, 46.0, 31.0, 27.0, 26.0, 19.0, 17.0, 7.0, 6.0, 1.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0245361328125, -0.02393496036529541, -0.02333378791809082, -0.02273261547088623, -0.02213144302368164, -0.02153027057647705, -0.02092909812927246, -0.02032792568206787, -0.01972675323486328, -0.01912558078765869, -0.0185244083404541, -0.01792323589324951, -0.017322063446044922, -0.016720890998840332, -0.016119718551635742, -0.015518546104431152, -0.014917373657226562, -0.014316201210021973, -0.013715028762817383, -0.013113856315612793, -0.012512683868408203, -0.011911511421203613, -0.011310338973999023, -0.010709166526794434, -0.010107994079589844, -0.009506821632385254, -0.008905649185180664, -0.008304476737976074, -0.007703304290771484, -0.0071021318435668945, -0.006500959396362305, -0.005899786949157715, -0.005298614501953125, -0.004697442054748535, -0.004096269607543945, -0.0034950971603393555, -0.0028939247131347656, -0.0022927522659301758, -0.001691579818725586, -0.001090407371520996, -0.0004892349243164062, 0.0001119375228881836, 0.0007131099700927734, 0.0013142824172973633, 0.0019154548645019531, 0.002516627311706543, 0.003117799758911133, 0.0037189722061157227, 0.0043201446533203125, 0.004921317100524902, 0.005522489547729492, 0.006123661994934082, 0.006724834442138672, 0.007326006889343262, 0.007927179336547852, 0.008528351783752441, 0.009129524230957031, 0.009730696678161621, 0.010331869125366211, 0.0109330415725708, 0.01153421401977539, 0.01213538646697998, 0.01273655891418457, 0.01333773136138916, 0.01393890380859375]}, "gradients/decoder.transformer.h.20.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 5.0, 3.0, 4.0, 10.0, 22.0, 41.0, 98.0, 204.0, 714.0, 3077.0, 16487.0, 103643.0, 739775.0, 155919.0, 22804.0, 4280.0, 972.0, 283.0, 97.0, 48.0, 28.0, 13.0, 4.0, 5.0, 2.0, 4.0, 2.0, 4.0, 1.0, 0.0, 5.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0433349609375, -0.04176473617553711, -0.04019451141357422, -0.03862428665161133, -0.03705406188964844, -0.03548383712768555, -0.033913612365722656, -0.032343387603759766, -0.030773162841796875, -0.029202938079833984, -0.027632713317871094, -0.026062488555908203, -0.024492263793945312, -0.022922039031982422, -0.02135181427001953, -0.01978158950805664, -0.01821136474609375, -0.01664113998413086, -0.015070915222167969, -0.013500690460205078, -0.011930465698242188, -0.010360240936279297, -0.008790016174316406, -0.007219791412353516, -0.005649566650390625, -0.004079341888427734, -0.0025091171264648438, -0.0009388923645019531, 0.0006313323974609375, 0.002201557159423828, 0.0037717819213867188, 0.005342006683349609, 0.0069122314453125, 0.00848245620727539, 0.010052680969238281, 0.011622905731201172, 0.013193130493164062, 0.014763355255126953, 0.016333580017089844, 0.017903804779052734, 0.019474029541015625, 0.021044254302978516, 0.022614479064941406, 0.024184703826904297, 0.025754928588867188, 0.027325153350830078, 0.02889537811279297, 0.03046560287475586, 0.03203582763671875, 0.03360605239868164, 0.03517627716064453, 0.03674650192260742, 0.03831672668457031, 0.0398869514465332, 0.041457176208496094, 0.043027400970458984, 0.044597625732421875, 0.046167850494384766, 0.047738075256347656, 0.04930830001831055, 0.05087852478027344, 0.05244874954223633, 0.05401897430419922, 0.05558919906616211, 0.057159423828125]}, "gradients/decoder.transformer.h.20.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 3.0, 1.0, 4.0, 7.0, 1.0, 8.0, 11.0, 11.0, 19.0, 15.0, 16.0, 16.0, 25.0, 29.0, 37.0, 45.0, 48.0, 61.0, 85.0, 94.0, 187.0, 1548.0, 247.0, 106.0, 82.0, 53.0, 50.0, 42.0, 39.0, 22.0, 25.0, 19.0, 20.0, 21.0, 16.0, 10.0, 10.0, 13.0, 6.0, 1.0, 1.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.04718017578125, -0.0455927848815918, -0.044005393981933594, -0.04241800308227539, -0.04083061218261719, -0.039243221282958984, -0.03765583038330078, -0.03606843948364258, -0.034481048583984375, -0.03289365768432617, -0.03130626678466797, -0.029718875885009766, -0.028131484985351562, -0.02654409408569336, -0.024956703186035156, -0.023369312286376953, -0.02178192138671875, -0.020194530487060547, -0.018607139587402344, -0.01701974868774414, -0.015432357788085938, -0.013844966888427734, -0.012257575988769531, -0.010670185089111328, -0.009082794189453125, -0.007495403289794922, -0.005908012390136719, -0.004320621490478516, -0.0027332305908203125, -0.0011458396911621094, 0.00044155120849609375, 0.002028942108154297, 0.0036163330078125, 0.005203723907470703, 0.006791114807128906, 0.00837850570678711, 0.009965896606445312, 0.011553287506103516, 0.013140678405761719, 0.014728069305419922, 0.016315460205078125, 0.017902851104736328, 0.01949024200439453, 0.021077632904052734, 0.022665023803710938, 0.02425241470336914, 0.025839805603027344, 0.027427196502685547, 0.02901458740234375, 0.030601978302001953, 0.032189369201660156, 0.03377676010131836, 0.03536415100097656, 0.036951541900634766, 0.03853893280029297, 0.04012632369995117, 0.041713714599609375, 0.04330110549926758, 0.04488849639892578, 0.046475887298583984, 0.04806327819824219, 0.04965066909790039, 0.051238059997558594, 0.0528254508972168, 0.054412841796875]}, "gradients/decoder.transformer.h.20.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 6.0, 7.0, 5.0, 12.0, 14.0, 19.0, 21.0, 25.0, 24.0, 40.0, 42.0, 102.0, 161.0, 343.0, 892.0, 4050.0, 35458.0, 1994238.0, 1075306.0, 29747.0, 3558.0, 813.0, 327.0, 171.0, 101.0, 58.0, 40.0, 22.0, 27.0, 13.0, 14.0, 17.0, 10.0, 5.0, 8.0, 5.0, 4.0, 5.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08648681640625, -0.08394050598144531, -0.08139419555664062, -0.07884788513183594, -0.07630157470703125, -0.07375526428222656, -0.07120895385742188, -0.06866264343261719, -0.0661163330078125, -0.06357002258300781, -0.061023712158203125, -0.05847740173339844, -0.05593109130859375, -0.05338478088378906, -0.050838470458984375, -0.04829216003417969, -0.045745849609375, -0.04319953918457031, -0.040653228759765625, -0.03810691833496094, -0.03556060791015625, -0.03301429748535156, -0.030467987060546875, -0.027921676635742188, -0.0253753662109375, -0.022829055786132812, -0.020282745361328125, -0.017736434936523438, -0.01519012451171875, -0.012643814086914062, -0.010097503662109375, -0.0075511932373046875, -0.0050048828125, -0.0024585723876953125, 8.7738037109375e-05, 0.0026340484619140625, 0.00518035888671875, 0.0077266693115234375, 0.010272979736328125, 0.012819290161132812, 0.0153656005859375, 0.017911911010742188, 0.020458221435546875, 0.023004531860351562, 0.02555084228515625, 0.028097152709960938, 0.030643463134765625, 0.03318977355957031, 0.035736083984375, 0.03828239440917969, 0.040828704833984375, 0.04337501525878906, 0.04592132568359375, 0.04846763610839844, 0.051013946533203125, 0.05356025695800781, 0.0561065673828125, 0.05865287780761719, 0.061199188232421875, 0.06374549865722656, 0.06629180908203125, 0.06883811950683594, 0.07138442993164062, 0.07393074035644531, 0.07647705078125]}, "gradients/decoder.transformer.h.20.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 89.0, 586.0, 327.0, 16.0], "bins": [-1.333203911781311, -1.3116127252578735, -1.2900216579437256, -1.268430471420288, -1.2468392848968506, -1.2252482175827026, -1.2036570310592651, -1.1820659637451172, -1.1604747772216797, -1.1388835906982422, -1.1172925233840942, -1.0957013368606567, -1.0741102695465088, -1.0525190830230713, -1.0309278964996338, -1.0093368291854858, -0.9877456426620483, -0.9661545157432556, -0.9445633888244629, -0.9229722023010254, -0.9013810753822327, -0.8797899484634399, -0.8581987619400024, -0.8366076350212097, -0.815016508102417, -0.7934253811836243, -0.7718342542648315, -0.750243067741394, -0.7286519408226013, -0.7070608139038086, -0.6854696273803711, -0.6638785004615784, -0.6422873139381409, -0.6206961870193481, -0.5991050004959106, -0.5775138735771179, -0.5559227466583252, -0.5343316197395325, -0.5127404928207397, -0.49114930629730225, -0.4695582091808319, -0.4479670524597168, -0.4263759255409241, -0.40478479862213135, -0.38319364190101624, -0.3616024851799011, -0.3400113582611084, -0.3184202313423157, -0.29682907462120056, -0.27523791790008545, -0.2536467909812927, -0.2320556491613388, -0.2104645073413849, -0.18887336552143097, -0.16728222370147705, -0.14569108188152313, -0.12409993261098862, -0.1025087907910347, -0.08091764897108078, -0.05932650715112686, -0.03773536533117294, -0.016144223511219025, 0.005446918308734894, 0.027038060128688812, 0.04862920194864273]}, "gradients/decoder.transformer.h.20.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 4.0, 0.0, 3.0, 1.0, 1.0, 2.0, 3.0, 4.0, 8.0, 10.0, 8.0, 10.0, 12.0, 17.0, 14.0, 14.0, 24.0, 19.0, 25.0, 23.0, 27.0, 26.0, 34.0, 45.0, 42.0, 41.0, 29.0, 35.0, 42.0, 40.0, 43.0, 44.0, 38.0, 40.0, 35.0, 32.0, 29.0, 26.0, 20.0, 24.0, 18.0, 19.0, 16.0, 17.0, 9.0, 7.0, 9.0, 9.0, 5.0, 6.0, 1.0, 0.0, 2.0, 3.0, 0.0, 0.0, 4.0, 0.0, 0.0, 1.0], "bins": [-0.14996862411499023, -0.14527598023414612, -0.140583336353302, -0.13589070737361908, -0.13119806349277496, -0.12650541961193085, -0.12181278318166733, -0.11712014675140381, -0.11242750287055969, -0.10773485898971558, -0.10304222255945206, -0.09834958612918854, -0.09365694224834442, -0.0889642983675003, -0.08427166193723679, -0.07957902550697327, -0.07488638162612915, -0.07019373774528503, -0.06550110131502151, -0.0608084611594677, -0.05611582100391388, -0.05142318084836006, -0.046730540692806244, -0.042037900537252426, -0.03734526038169861, -0.03265262022614479, -0.027959980070590973, -0.023267339915037155, -0.018574699759483337, -0.01388205960392952, -0.009189419448375702, -0.004496779292821884, 0.0001958608627319336, 0.004888501018285751, 0.009581141173839569, 0.014273781329393387, 0.018966421484947205, 0.023659061640501022, 0.02835170179605484, 0.03304434195160866, 0.037736982107162476, 0.04242962226271629, 0.04712226241827011, 0.05181490257382393, 0.05650754272937775, 0.061200182884931564, 0.06589282304048538, 0.0705854594707489, 0.07527810335159302, 0.07997074723243713, 0.08466338366270065, 0.08935602009296417, 0.09404866397380829, 0.0987413078546524, 0.10343394428491592, 0.10812658071517944, 0.11281922459602356, 0.11751186847686768, 0.1222045049071312, 0.12689714133739471, 0.13158978521823883, 0.13628242909908295, 0.14097505807876587, 0.14566770195960999, 0.1503603458404541]}, "gradients/decoder.transformer.h.19.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 6.0, 7.0, 5.0, 21.0, 16.0, 19.0, 27.0, 33.0, 37.0, 46.0, 51.0, 56.0, 61.0, 72.0, 67.0, 57.0, 67.0, 67.0, 66.0, 41.0, 46.0, 30.0, 28.0, 24.0, 26.0, 10.0, 8.0, 5.0, 3.0, 4.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.023834228515625, -0.02324700355529785, -0.022659778594970703, -0.022072553634643555, -0.021485328674316406, -0.020898103713989258, -0.02031087875366211, -0.01972365379333496, -0.019136428833007812, -0.018549203872680664, -0.017961978912353516, -0.017374753952026367, -0.01678752899169922, -0.01620030403137207, -0.015613079071044922, -0.015025854110717773, -0.014438629150390625, -0.013851404190063477, -0.013264179229736328, -0.01267695426940918, -0.012089729309082031, -0.011502504348754883, -0.010915279388427734, -0.010328054428100586, -0.009740829467773438, -0.009153604507446289, -0.00856637954711914, -0.007979154586791992, -0.007391929626464844, -0.006804704666137695, -0.006217479705810547, -0.0056302547454833984, -0.00504302978515625, -0.0044558048248291016, -0.003868579864501953, -0.0032813549041748047, -0.0026941299438476562, -0.002106904983520508, -0.0015196800231933594, -0.0009324550628662109, -0.0003452301025390625, 0.00024199485778808594, 0.0008292198181152344, 0.0014164447784423828, 0.0020036697387695312, 0.0025908946990966797, 0.003178119659423828, 0.0037653446197509766, 0.004352569580078125, 0.0049397945404052734, 0.005527019500732422, 0.00611424446105957, 0.006701469421386719, 0.007288694381713867, 0.007875919342041016, 0.008463144302368164, 0.009050369262695312, 0.009637594223022461, 0.01022481918334961, 0.010812044143676758, 0.011399269104003906, 0.011986494064331055, 0.012573719024658203, 0.013160943984985352, 0.0137481689453125]}, "gradients/decoder.transformer.h.19.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 1.0, 3.0, 6.0, 6.0, 6.0, 14.0, 19.0, 21.0, 28.0, 39.0, 61.0, 91.0, 135.0, 210.0, 399.0, 776.0, 2035.0, 6456.0, 26900.0, 172975.0, 2271144.0, 1552922.0, 130415.0, 21216.0, 5126.0, 1740.0, 737.0, 351.0, 184.0, 105.0, 52.0, 37.0, 26.0, 16.0, 10.0, 11.0, 5.0, 3.0, 8.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.06707763671875, -0.06530904769897461, -0.06354045867919922, -0.06177186965942383, -0.06000328063964844, -0.05823469161987305, -0.056466102600097656, -0.054697513580322266, -0.052928924560546875, -0.051160335540771484, -0.049391746520996094, -0.0476231575012207, -0.04585456848144531, -0.04408597946166992, -0.04231739044189453, -0.04054880142211914, -0.03878021240234375, -0.03701162338256836, -0.03524303436279297, -0.03347444534301758, -0.03170585632324219, -0.029937267303466797, -0.028168678283691406, -0.026400089263916016, -0.024631500244140625, -0.022862911224365234, -0.021094322204589844, -0.019325733184814453, -0.017557144165039062, -0.015788555145263672, -0.014019966125488281, -0.01225137710571289, -0.0104827880859375, -0.00871419906616211, -0.006945610046386719, -0.005177021026611328, -0.0034084320068359375, -0.0016398429870605469, 0.00012874603271484375, 0.0018973350524902344, 0.003665924072265625, 0.005434513092041016, 0.007203102111816406, 0.008971691131591797, 0.010740280151367188, 0.012508869171142578, 0.014277458190917969, 0.01604604721069336, 0.01781463623046875, 0.01958322525024414, 0.02135181427001953, 0.023120403289794922, 0.024888992309570312, 0.026657581329345703, 0.028426170349121094, 0.030194759368896484, 0.031963348388671875, 0.033731937408447266, 0.035500526428222656, 0.03726911544799805, 0.03903770446777344, 0.04080629348754883, 0.04257488250732422, 0.04434347152709961, 0.046112060546875]}, "gradients/decoder.transformer.h.19.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 3.0, 6.0, 6.0, 17.0, 23.0, 47.0, 103.0, 209.0, 352.0, 639.0, 965.0, 733.0, 446.0, 256.0, 125.0, 74.0, 32.0, 19.0, 10.0, 4.0, 2.0, 4.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.082275390625, -0.0797567367553711, -0.07723808288574219, -0.07471942901611328, -0.07220077514648438, -0.06968212127685547, -0.06716346740722656, -0.06464481353759766, -0.06212615966796875, -0.059607505798339844, -0.05708885192871094, -0.05457019805908203, -0.052051544189453125, -0.04953289031982422, -0.04701423645019531, -0.044495582580566406, -0.0419769287109375, -0.039458274841308594, -0.03693962097167969, -0.03442096710205078, -0.031902313232421875, -0.02938365936279297, -0.026865005493164062, -0.024346351623535156, -0.02182769775390625, -0.019309043884277344, -0.016790390014648438, -0.014271736145019531, -0.011753082275390625, -0.009234428405761719, -0.0067157745361328125, -0.004197120666503906, -0.001678466796875, 0.0008401870727539062, 0.0033588409423828125, 0.005877494812011719, 0.008396148681640625, 0.010914802551269531, 0.013433456420898438, 0.015952110290527344, 0.01847076416015625, 0.020989418029785156, 0.023508071899414062, 0.02602672576904297, 0.028545379638671875, 0.03106403350830078, 0.03358268737792969, 0.036101341247558594, 0.0386199951171875, 0.041138648986816406, 0.04365730285644531, 0.04617595672607422, 0.048694610595703125, 0.05121326446533203, 0.05373191833496094, 0.056250572204589844, 0.05876922607421875, 0.061287879943847656, 0.06380653381347656, 0.06632518768310547, 0.06884384155273438, 0.07136249542236328, 0.07388114929199219, 0.0763998031616211, 0.07891845703125]}, "gradients/decoder.transformer.h.19.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 7.0, 19.0, 9.0, 21.0, 38.0, 59.0, 76.0, 112.0, 206.0, 350.0, 653.0, 1445.0, 5781.0, 76315.0, 3026876.0, 1047298.0, 29069.0, 3492.0, 1137.0, 582.0, 296.0, 142.0, 100.0, 61.0, 45.0, 35.0, 23.0, 15.0, 15.0, 4.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1513671875, -0.14661407470703125, -0.1418609619140625, -0.13710784912109375, -0.132354736328125, -0.12760162353515625, -0.1228485107421875, -0.11809539794921875, -0.11334228515625, -0.10858917236328125, -0.1038360595703125, -0.09908294677734375, -0.094329833984375, -0.08957672119140625, -0.0848236083984375, -0.08007049560546875, -0.0753173828125, -0.07056427001953125, -0.0658111572265625, -0.06105804443359375, -0.056304931640625, -0.05155181884765625, -0.0467987060546875, -0.04204559326171875, -0.03729248046875, -0.03253936767578125, -0.0277862548828125, -0.02303314208984375, -0.018280029296875, -0.01352691650390625, -0.0087738037109375, -0.00402069091796875, 0.000732421875, 0.00548553466796875, 0.0102386474609375, 0.01499176025390625, 0.019744873046875, 0.02449798583984375, 0.0292510986328125, 0.03400421142578125, 0.03875732421875, 0.04351043701171875, 0.0482635498046875, 0.05301666259765625, 0.057769775390625, 0.06252288818359375, 0.0672760009765625, 0.07202911376953125, 0.0767822265625, 0.08153533935546875, 0.0862884521484375, 0.09104156494140625, 0.095794677734375, 0.10054779052734375, 0.1053009033203125, 0.11005401611328125, 0.11480712890625, 0.11956024169921875, 0.1243133544921875, 0.12906646728515625, 0.133819580078125, 0.13857269287109375, 0.1433258056640625, 0.14807891845703125, 0.15283203125]}, "gradients/decoder.transformer.h.19.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 6.0, 15.0, 25.0, 66.0, 92.0, 138.0, 154.0, 175.0, 147.0, 80.0, 61.0, 21.0, 19.0, 13.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.5445413589477539, -0.5316283106803894, -0.5187153220176697, -0.5058022737503052, -0.49288925528526306, -0.47997623682022095, -0.46706321835517883, -0.4541501998901367, -0.4412371814250946, -0.4283241629600525, -0.4154111444950104, -0.40249812602996826, -0.38958507776260376, -0.37667205929756165, -0.36375904083251953, -0.3508460223674774, -0.3379330039024353, -0.3250199854373932, -0.3121069669723511, -0.2991939187049866, -0.28628090023994446, -0.27336788177490234, -0.26045486330986023, -0.24754184484481812, -0.2346287965774536, -0.2217157781124115, -0.2088027447462082, -0.19588972628116608, -0.18297670781612396, -0.17006367444992065, -0.15715065598487854, -0.14423763751983643, -0.1313246190547943, -0.1184115931391716, -0.10549857467412949, -0.09258554875850677, -0.07967253029346466, -0.06675950437784195, -0.05384647846221924, -0.040933459997177124, -0.028020434081554413, -0.015107410959899426, -0.002194387838244438, 0.010718636214733124, 0.023631658405065536, 0.03654468059539795, 0.04945770651102066, 0.062370724976062775, 0.07528375089168549, 0.0881967768073082, 0.10110979527235031, 0.11402282118797302, 0.12693583965301514, 0.13984885811805725, 0.15276189148426056, 0.16567490994930267, 0.17858794331550598, 0.1915009617805481, 0.2044139951467514, 0.21732701361179352, 0.23024003207683563, 0.24315306544303894, 0.25606608390808105, 0.26897910237312317, 0.2818921208381653]}, "gradients/decoder.transformer.h.19.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 4.0, 0.0, 7.0, 8.0, 1.0, 11.0, 9.0, 6.0, 13.0, 7.0, 11.0, 14.0, 22.0, 19.0, 12.0, 24.0, 30.0, 31.0, 32.0, 40.0, 35.0, 40.0, 32.0, 37.0, 47.0, 31.0, 44.0, 41.0, 31.0, 41.0, 29.0, 44.0, 38.0, 23.0, 23.0, 17.0, 19.0, 19.0, 20.0, 19.0, 13.0, 16.0, 4.0, 7.0, 6.0, 6.0, 10.0, 8.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.13790035247802734, -0.13323962688446045, -0.12857888638973236, -0.12391816079616547, -0.11925742775201797, -0.11459669470787048, -0.10993596911430359, -0.1052752360701561, -0.1006145030260086, -0.09595376998186111, -0.09129303693771362, -0.08663231134414673, -0.08197157829999924, -0.07731084525585175, -0.07265011966228485, -0.06798938661813736, -0.06332865357398987, -0.05866792052984238, -0.054007191210985184, -0.04934646189212799, -0.0446857288479805, -0.04002499580383301, -0.035364266484975815, -0.030703537166118622, -0.02604280412197113, -0.021382072940468788, -0.016721341758966446, -0.012060610577464104, -0.0073998793959617615, -0.0027391482144594193, 0.001921582967042923, 0.006582312285900116, 0.011243045330047607, 0.01590377651154995, 0.020564507693052292, 0.025225238874554634, 0.029885970056056976, 0.03454670310020447, 0.03920743241906166, 0.043868161737918854, 0.048528894782066345, 0.05318962782621384, 0.05785035714507103, 0.06251108646392822, 0.06717181950807571, 0.0718325525522232, 0.0764932781457901, 0.08115401118993759, 0.08581474423408508, 0.09047547727823257, 0.09513621032238007, 0.09979693591594696, 0.10445766896009445, 0.10911840200424194, 0.11377912759780884, 0.11843986064195633, 0.12310059368610382, 0.12776131927967072, 0.1324220597743988, 0.1370827853679657, 0.1417435109615326, 0.14640425145626068, 0.15106497704982758, 0.15572571754455566, 0.16038644313812256]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 5.0, 17.0, 11.0, 24.0, 21.0, 32.0, 47.0, 44.0, 43.0, 61.0, 62.0, 66.0, 66.0, 61.0, 73.0, 65.0, 78.0, 41.0, 43.0, 32.0, 33.0, 23.0, 27.0, 11.0, 3.0, 4.0, 7.0, 2.0, 5.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0254974365234375, -0.02485823631286621, -0.024219036102294922, -0.023579835891723633, -0.022940635681152344, -0.022301435470581055, -0.021662235260009766, -0.021023035049438477, -0.020383834838867188, -0.0197446346282959, -0.01910543441772461, -0.01846623420715332, -0.01782703399658203, -0.017187833786010742, -0.016548633575439453, -0.015909433364868164, -0.015270233154296875, -0.014631032943725586, -0.013991832733154297, -0.013352632522583008, -0.012713432312011719, -0.01207423210144043, -0.01143503189086914, -0.010795831680297852, -0.010156631469726562, -0.009517431259155273, -0.008878231048583984, -0.008239030838012695, -0.007599830627441406, -0.006960630416870117, -0.006321430206298828, -0.005682229995727539, -0.00504302978515625, -0.004403829574584961, -0.003764629364013672, -0.003125429153442383, -0.0024862289428710938, -0.0018470287322998047, -0.0012078285217285156, -0.0005686283111572266, 7.05718994140625e-05, 0.0007097721099853516, 0.0013489723205566406, 0.0019881725311279297, 0.0026273727416992188, 0.003266572952270508, 0.003905773162841797, 0.004544973373413086, 0.005184173583984375, 0.005823373794555664, 0.006462574005126953, 0.007101774215698242, 0.007740974426269531, 0.00838017463684082, 0.00901937484741211, 0.009658575057983398, 0.010297775268554688, 0.010936975479125977, 0.011576175689697266, 0.012215375900268555, 0.012854576110839844, 0.013493776321411133, 0.014132976531982422, 0.014772176742553711, 0.015411376953125]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 5.0, 12.0, 6.0, 7.0, 10.0, 24.0, 26.0, 47.0, 67.0, 111.0, 167.0, 289.0, 559.0, 1159.0, 2293.0, 4982.0, 11692.0, 30063.0, 89740.0, 436696.0, 344649.0, 79298.0, 26963.0, 10633.0, 4661.0, 2043.0, 1046.0, 563.0, 299.0, 167.0, 94.0, 49.0, 42.0, 28.0, 19.0, 14.0, 11.0, 11.0, 2.0, 3.0, 3.0, 0.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.0001811981201171875, -0.00017552636563777924, -0.00016985461115837097, -0.0001641828566789627, -0.00015851110219955444, -0.00015283934772014618, -0.00014716759324073792, -0.00014149583876132965, -0.0001358240842819214, -0.00013015232980251312, -0.00012448057532310486, -0.0001188088208436966, -0.00011313706636428833, -0.00010746531188488007, -0.0001017935574054718, -9.612180292606354e-05, -9.045004844665527e-05, -8.477829396724701e-05, -7.910653948783875e-05, -7.343478500843048e-05, -6.776303052902222e-05, -6.209127604961395e-05, -5.641952157020569e-05, -5.0747767090797424e-05, -4.507601261138916e-05, -3.9404258131980896e-05, -3.373250365257263e-05, -2.8060749173164368e-05, -2.2388994693756104e-05, -1.671724021434784e-05, -1.1045485734939575e-05, -5.373731255531311e-06, 2.980232238769531e-07, 5.969777703285217e-06, 1.1641532182693481e-05, 1.7313286662101746e-05, 2.298504114151001e-05, 2.8656795620918274e-05, 3.432855010032654e-05, 4.00003045797348e-05, 4.5672059059143066e-05, 5.134381353855133e-05, 5.7015568017959595e-05, 6.268732249736786e-05, 6.835907697677612e-05, 7.403083145618439e-05, 7.970258593559265e-05, 8.537434041500092e-05, 9.104609489440918e-05, 9.671784937381744e-05, 0.00010238960385322571, 0.00010806135833263397, 0.00011373311281204224, 0.0001194048672914505, 0.00012507662177085876, 0.00013074837625026703, 0.0001364201307296753, 0.00014209188520908356, 0.00014776363968849182, 0.00015343539416790009, 0.00015910714864730835, 0.00016477890312671661, 0.00017045065760612488, 0.00017612241208553314, 0.0001817941665649414]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 1.0, 5.0, 6.0, 3.0, 5.0, 13.0, 9.0, 11.0, 7.0, 13.0, 18.0, 24.0, 18.0, 30.0, 17.0, 29.0, 32.0, 22.0, 38.0, 36.0, 30.0, 54.0, 45.0, 31.0, 1065.0, 42.0, 50.0, 44.0, 40.0, 21.0, 35.0, 22.0, 25.0, 16.0, 29.0, 25.0, 14.0, 18.0, 15.0, 15.0, 16.0, 16.0, 11.0, 7.0, 5.0, 5.0, 3.0, 0.0, 1.0, 2.0, 2.0], "bins": [-0.01293182373046875, -0.012584805488586426, -0.012237787246704102, -0.011890769004821777, -0.011543750762939453, -0.011196732521057129, -0.010849714279174805, -0.01050269603729248, -0.010155677795410156, -0.009808659553527832, -0.009461641311645508, -0.009114623069763184, -0.00876760482788086, -0.008420586585998535, -0.008073568344116211, -0.007726550102233887, -0.0073795318603515625, -0.007032513618469238, -0.006685495376586914, -0.00633847713470459, -0.005991458892822266, -0.005644440650939941, -0.005297422409057617, -0.004950404167175293, -0.004603385925292969, -0.0042563676834106445, -0.00390934944152832, -0.003562331199645996, -0.003215312957763672, -0.0028682947158813477, -0.0025212764739990234, -0.0021742582321166992, -0.001827239990234375, -0.0014802217483520508, -0.0011332035064697266, -0.0007861852645874023, -0.0004391670227050781, -9.21487808227539e-05, 0.0002548694610595703, 0.0006018877029418945, 0.0009489059448242188, 0.001295924186706543, 0.0016429424285888672, 0.0019899606704711914, 0.0023369789123535156, 0.00268399715423584, 0.003031015396118164, 0.0033780336380004883, 0.0037250518798828125, 0.004072070121765137, 0.004419088363647461, 0.004766106605529785, 0.005113124847412109, 0.005460143089294434, 0.005807161331176758, 0.006154179573059082, 0.006501197814941406, 0.0068482160568237305, 0.007195234298706055, 0.007542252540588379, 0.007889270782470703, 0.008236289024353027, 0.008583307266235352, 0.008930325508117676, 0.00927734375]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.weight": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 1.0, 3.0, 2.0, 7.0, 8.0, 7.0, 11.0, 15.0, 16.0, 20.0, 17.0, 16.0, 14.0, 20.0, 30.0, 17.0, 25.0, 25.0, 45.0, 78.0, 200.0, 532.0, 2009.0, 7663.0, 2070884.0, 12405.0, 1764.0, 668.0, 222.0, 108.0, 42.0, 26.0, 30.0, 27.0, 22.0, 25.0, 22.0, 16.0, 17.0, 16.0, 10.0, 9.0, 11.0, 12.0, 7.0, 3.0, 4.0, 5.0, 3.0, 3.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.238719940185547e-06, -8.903443813323975e-06, -8.568167686462402e-06, -8.23289155960083e-06, -7.897615432739258e-06, -7.5623393058776855e-06, -7.227063179016113e-06, -6.891787052154541e-06, -6.556510925292969e-06, -6.2212347984313965e-06, -5.885958671569824e-06, -5.550682544708252e-06, -5.21540641784668e-06, -4.880130290985107e-06, -4.544854164123535e-06, -4.209578037261963e-06, -3.874301910400391e-06, -3.5390257835388184e-06, -3.203749656677246e-06, -2.868473529815674e-06, -2.5331974029541016e-06, -2.1979212760925293e-06, -1.862645149230957e-06, -1.5273690223693848e-06, -1.1920928955078125e-06, -8.568167686462402e-07, -5.21540641784668e-07, -1.862645149230957e-07, 1.4901161193847656e-07, 4.842877388000488e-07, 8.195638656616211e-07, 1.1548399925231934e-06, 1.4901161193847656e-06, 1.8253922462463379e-06, 2.16066837310791e-06, 2.4959444999694824e-06, 2.8312206268310547e-06, 3.166496753692627e-06, 3.5017728805541992e-06, 3.8370490074157715e-06, 4.172325134277344e-06, 4.507601261138916e-06, 4.842877388000488e-06, 5.1781535148620605e-06, 5.513429641723633e-06, 5.848705768585205e-06, 6.183981895446777e-06, 6.51925802230835e-06, 6.854534149169922e-06, 7.189810276031494e-06, 7.525086402893066e-06, 7.860362529754639e-06, 8.195638656616211e-06, 8.530914783477783e-06, 8.866190910339355e-06, 9.201467037200928e-06, 9.5367431640625e-06, 9.872019290924072e-06, 1.0207295417785645e-05, 1.0542571544647217e-05, 1.0877847671508789e-05, 1.1213123798370361e-05, 1.1548399925231934e-05, 1.1883676052093506e-05, 1.2218952178955078e-05]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 5.0, 17.0, 11.0, 24.0, 21.0, 32.0, 47.0, 44.0, 43.0, 61.0, 62.0, 66.0, 66.0, 61.0, 73.0, 65.0, 78.0, 41.0, 43.0, 32.0, 33.0, 23.0, 27.0, 11.0, 3.0, 4.0, 7.0, 2.0, 5.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0254974365234375, -0.02485823631286621, -0.024219036102294922, -0.023579835891723633, -0.022940635681152344, -0.022301435470581055, -0.021662235260009766, -0.021023035049438477, -0.020383834838867188, -0.0197446346282959, -0.01910543441772461, -0.01846623420715332, -0.01782703399658203, -0.017187833786010742, -0.016548633575439453, -0.015909433364868164, -0.015270233154296875, -0.014631032943725586, -0.013991832733154297, -0.013352632522583008, -0.012713432312011719, -0.01207423210144043, -0.01143503189086914, -0.010795831680297852, -0.010156631469726562, -0.009517431259155273, -0.008878231048583984, -0.008239030838012695, -0.007599830627441406, -0.006960630416870117, -0.006321430206298828, -0.005682229995727539, -0.00504302978515625, -0.004403829574584961, -0.003764629364013672, -0.003125429153442383, -0.0024862289428710938, -0.0018470287322998047, -0.0012078285217285156, -0.0005686283111572266, 7.05718994140625e-05, 0.0007097721099853516, 0.0013489723205566406, 0.0019881725311279297, 0.0026273727416992188, 0.003266572952270508, 0.003905773162841797, 0.004544973373413086, 0.005184173583984375, 0.005823373794555664, 0.006462574005126953, 0.007101774215698242, 0.007740974426269531, 0.00838017463684082, 0.00901937484741211, 0.009658575057983398, 0.010297775268554688, 0.010936975479125977, 0.011576175689697266, 0.012215375900268555, 0.012854576110839844, 0.013493776321411133, 0.014132976531982422, 0.014772176742553711, 0.015411376953125]}, "gradients/decoder.transformer.h.19.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 4.0, 6.0, 6.0, 7.0, 6.0, 17.0, 21.0, 38.0, 93.0, 186.0, 330.0, 697.0, 1515.0, 3951.0, 9842.0, 29399.0, 100606.0, 399294.0, 368022.0, 91827.0, 26990.0, 9370.0, 3530.0, 1440.0, 673.0, 300.0, 147.0, 68.0, 58.0, 36.0, 17.0, 13.0, 16.0, 4.0, 5.0, 8.0, 4.0, 6.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.039093017578125, -0.03790712356567383, -0.036721229553222656, -0.035535335540771484, -0.03434944152832031, -0.03316354751586914, -0.03197765350341797, -0.030791759490966797, -0.029605865478515625, -0.028419971466064453, -0.02723407745361328, -0.02604818344116211, -0.024862289428710938, -0.023676395416259766, -0.022490501403808594, -0.021304607391357422, -0.02011871337890625, -0.018932819366455078, -0.017746925354003906, -0.016561031341552734, -0.015375137329101562, -0.01418924331665039, -0.013003349304199219, -0.011817455291748047, -0.010631561279296875, -0.009445667266845703, -0.008259773254394531, -0.007073879241943359, -0.0058879852294921875, -0.004702091217041016, -0.0035161972045898438, -0.002330303192138672, -0.0011444091796875, 4.1484832763671875e-05, 0.0012273788452148438, 0.0024132728576660156, 0.0035991668701171875, 0.004785060882568359, 0.005970954895019531, 0.007156848907470703, 0.008342742919921875, 0.009528636932373047, 0.010714530944824219, 0.01190042495727539, 0.013086318969726562, 0.014272212982177734, 0.015458106994628906, 0.016644001007080078, 0.01782989501953125, 0.019015789031982422, 0.020201683044433594, 0.021387577056884766, 0.022573471069335938, 0.02375936508178711, 0.02494525909423828, 0.026131153106689453, 0.027317047119140625, 0.028502941131591797, 0.02968883514404297, 0.03087472915649414, 0.03206062316894531, 0.033246517181396484, 0.034432411193847656, 0.03561830520629883, 0.03680419921875]}, "gradients/decoder.transformer.h.19.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 4.0, 5.0, 3.0, 3.0, 6.0, 3.0, 5.0, 10.0, 9.0, 12.0, 8.0, 14.0, 15.0, 24.0, 27.0, 28.0, 33.0, 44.0, 46.0, 61.0, 73.0, 110.0, 181.0, 1312.0, 296.0, 168.0, 110.0, 70.0, 80.0, 47.0, 34.0, 28.0, 41.0, 24.0, 24.0, 33.0, 17.0, 12.0, 13.0, 8.0, 3.0, 5.0, 2.0, 3.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.044891357421875, -0.043283939361572266, -0.04167652130126953, -0.0400691032409668, -0.03846168518066406, -0.03685426712036133, -0.035246849060058594, -0.03363943099975586, -0.032032012939453125, -0.03042459487915039, -0.028817176818847656, -0.027209758758544922, -0.025602340698242188, -0.023994922637939453, -0.02238750457763672, -0.020780086517333984, -0.01917266845703125, -0.017565250396728516, -0.01595783233642578, -0.014350414276123047, -0.012742996215820312, -0.011135578155517578, -0.009528160095214844, -0.00792074203491211, -0.006313323974609375, -0.004705905914306641, -0.0030984878540039062, -0.0014910697937011719, 0.0001163482666015625, 0.0017237663269042969, 0.0033311843872070312, 0.004938602447509766, 0.0065460205078125, 0.008153438568115234, 0.009760856628417969, 0.011368274688720703, 0.012975692749023438, 0.014583110809326172, 0.016190528869628906, 0.01779794692993164, 0.019405364990234375, 0.02101278305053711, 0.022620201110839844, 0.024227619171142578, 0.025835037231445312, 0.027442455291748047, 0.02904987335205078, 0.030657291412353516, 0.03226470947265625, 0.033872127532958984, 0.03547954559326172, 0.03708696365356445, 0.03869438171386719, 0.04030179977416992, 0.041909217834472656, 0.04351663589477539, 0.045124053955078125, 0.04673147201538086, 0.048338890075683594, 0.04994630813598633, 0.05155372619628906, 0.0531611442565918, 0.05476856231689453, 0.056375980377197266, 0.0579833984375]}, "gradients/decoder.transformer.h.19.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 5.0, 0.0, 6.0, 2.0, 8.0, 7.0, 11.0, 18.0, 38.0, 32.0, 36.0, 53.0, 73.0, 130.0, 204.0, 412.0, 911.0, 2501.0, 9652.0, 51150.0, 512342.0, 2340513.0, 191874.0, 27027.0, 5623.0, 1648.0, 605.0, 302.0, 176.0, 95.0, 58.0, 58.0, 29.0, 25.0, 20.0, 15.0, 6.0, 7.0, 8.0, 5.0, 5.0, 5.0, 5.0, 8.0, 4.0, 0.0, 1.0, 0.0, 2.0, 2.0], "bins": [-0.08056640625, -0.07828521728515625, -0.0760040283203125, -0.07372283935546875, -0.071441650390625, -0.06916046142578125, -0.0668792724609375, -0.06459808349609375, -0.06231689453125, -0.06003570556640625, -0.0577545166015625, -0.05547332763671875, -0.053192138671875, -0.05091094970703125, -0.0486297607421875, -0.04634857177734375, -0.0440673828125, -0.04178619384765625, -0.0395050048828125, -0.03722381591796875, -0.034942626953125, -0.03266143798828125, -0.0303802490234375, -0.02809906005859375, -0.02581787109375, -0.02353668212890625, -0.0212554931640625, -0.01897430419921875, -0.016693115234375, -0.01441192626953125, -0.0121307373046875, -0.00984954833984375, -0.007568359375, -0.00528717041015625, -0.0030059814453125, -0.00072479248046875, 0.001556396484375, 0.00383758544921875, 0.0061187744140625, 0.00839996337890625, 0.01068115234375, 0.01296234130859375, 0.0152435302734375, 0.01752471923828125, 0.019805908203125, 0.02208709716796875, 0.0243682861328125, 0.02664947509765625, 0.0289306640625, 0.03121185302734375, 0.0334930419921875, 0.03577423095703125, 0.038055419921875, 0.04033660888671875, 0.0426177978515625, 0.04489898681640625, 0.04718017578125, 0.04946136474609375, 0.0517425537109375, 0.05402374267578125, 0.056304931640625, 0.05858612060546875, 0.0608673095703125, 0.06314849853515625, 0.0654296875]}, "gradients/decoder.transformer.h.19.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 3.0, 107.0, 800.0, 106.0, 2.0, 1.0, 1.0], "bins": [-2.8419156074523926, -2.7941160202026367, -2.746316432952881, -2.698516607284546, -2.65071702003479, -2.602917432785034, -2.5551178455352783, -2.5073182582855225, -2.4595184326171875, -2.4117188453674316, -2.363919258117676, -2.316119432449341, -2.268319845199585, -2.220520257949829, -2.1727206707000732, -2.1249210834503174, -2.0771214962005615, -2.0293219089508057, -1.9815222024917603, -1.9337226152420044, -1.885922908782959, -1.8381233215332031, -1.7903237342834473, -1.7425241470336914, -1.694724440574646, -1.6469248533248901, -1.5991251468658447, -1.5513255596160889, -1.503525972366333, -1.4557262659072876, -1.4079266786575317, -1.3601269721984863, -1.31232750415802, -1.2645279169082642, -1.2167282104492188, -1.168928623199463, -1.121129035949707, -1.0733293294906616, -1.0255297422409058, -0.9777300953865051, -0.9299304485321045, -0.8821308016777039, -0.8343311548233032, -0.7865315675735474, -0.7387319207191467, -0.6909322738647461, -0.6431326866149902, -0.5953330397605896, -0.547533392906189, -0.49973374605178833, -0.4519341289997101, -0.40413451194763184, -0.3563348650932312, -0.30853521823883057, -0.2607356011867523, -0.21293598413467407, -0.16513633728027344, -0.117336705327034, -0.06953707337379456, -0.021737441420555115, 0.026062190532684326, 0.07386182248592377, 0.12166145443916321, 0.16946107149124146, 0.2172607183456421]}, "gradients/decoder.transformer.h.19.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 3.0, 3.0, 4.0, 7.0, 4.0, 7.0, 7.0, 9.0, 16.0, 13.0, 22.0, 18.0, 16.0, 23.0, 27.0, 23.0, 21.0, 41.0, 32.0, 41.0, 39.0, 28.0, 50.0, 31.0, 23.0, 28.0, 41.0, 40.0, 40.0, 38.0, 36.0, 36.0, 37.0, 32.0, 30.0, 15.0, 17.0, 16.0, 14.0, 15.0, 15.0, 10.0, 11.0, 6.0, 6.0, 6.0, 7.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.17478632926940918, -0.1695505678653717, -0.16431480646133423, -0.15907904505729675, -0.15384328365325928, -0.1486075222492218, -0.14337176084518433, -0.13813599944114685, -0.13290023803710938, -0.1276644766330719, -0.12242871522903442, -0.11719295382499695, -0.11195719242095947, -0.106721431016922, -0.10148566216230392, -0.09624990075826645, -0.09101413190364838, -0.0857783704996109, -0.08054260909557343, -0.07530684769153595, -0.07007108628749847, -0.064835324883461, -0.059599556028842926, -0.05436379462480545, -0.049128033220767975, -0.0438922718167305, -0.038656510412693024, -0.03342074528336525, -0.028184983879327774, -0.0229492224752903, -0.017713457345962524, -0.012477695941925049, -0.007241934537887573, -0.002006172202527523, 0.003229590132832527, 0.008465353399515152, 0.013701114803552628, 0.018936876207590103, 0.024172641336917877, 0.029408402740955353, 0.03464416414499283, 0.039879925549030304, 0.04511568695306778, 0.050351452082395554, 0.05558721348643303, 0.060822974890470505, 0.06605874001979828, 0.07129450142383575, 0.07653026282787323, 0.0817660242319107, 0.08700178563594818, 0.09223754703998566, 0.09747330844402313, 0.10270906984806061, 0.10794483870267868, 0.11318060010671616, 0.11841636151075363, 0.12365212291479111, 0.12888789176940918, 0.13412365317344666, 0.13935941457748413, 0.1445951759815216, 0.14983093738555908, 0.15506669878959656, 0.16030246019363403]}, "gradients/decoder.transformer.h.18.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 8.0, 10.0, 11.0, 22.0, 22.0, 29.0, 37.0, 43.0, 46.0, 41.0, 63.0, 56.0, 70.0, 59.0, 67.0, 69.0, 64.0, 58.0, 48.0, 42.0, 38.0, 21.0, 15.0, 23.0, 21.0, 6.0, 4.0, 5.0, 5.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.025299072265625, -0.02467513084411621, -0.024051189422607422, -0.023427248001098633, -0.022803306579589844, -0.022179365158081055, -0.021555423736572266, -0.020931482315063477, -0.020307540893554688, -0.0196835994720459, -0.01905965805053711, -0.01843571662902832, -0.01781177520751953, -0.017187833786010742, -0.016563892364501953, -0.015939950942993164, -0.015316009521484375, -0.014692068099975586, -0.014068126678466797, -0.013444185256958008, -0.012820243835449219, -0.01219630241394043, -0.01157236099243164, -0.010948419570922852, -0.010324478149414062, -0.009700536727905273, -0.009076595306396484, -0.008452653884887695, -0.007828712463378906, -0.007204771041870117, -0.006580829620361328, -0.005956888198852539, -0.00533294677734375, -0.004709005355834961, -0.004085063934326172, -0.003461122512817383, -0.0028371810913085938, -0.0022132396697998047, -0.0015892982482910156, -0.0009653568267822266, -0.0003414154052734375, 0.00028252601623535156, 0.0009064674377441406, 0.0015304088592529297, 0.0021543502807617188, 0.002778291702270508, 0.003402233123779297, 0.004026174545288086, 0.004650115966796875, 0.005274057388305664, 0.005897998809814453, 0.006521940231323242, 0.007145881652832031, 0.00776982307434082, 0.00839376449584961, 0.009017705917358398, 0.009641647338867188, 0.010265588760375977, 0.010889530181884766, 0.011513471603393555, 0.012137413024902344, 0.012761354446411133, 0.013385295867919922, 0.014009237289428711, 0.0146331787109375]}, "gradients/decoder.transformer.h.18.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 12.0, 13.0, 14.0, 27.0, 23.0, 53.0, 66.0, 92.0, 151.0, 272.0, 458.0, 1291.0, 4007.0, 17338.0, 103225.0, 1148074.0, 2655120.0, 223075.0, 31355.0, 6388.0, 1802.0, 656.0, 328.0, 166.0, 103.0, 70.0, 36.0, 25.0, 14.0, 11.0, 10.0, 2.0, 3.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0682373046875, -0.06640195846557617, -0.06456661224365234, -0.06273126602172852, -0.06089591979980469, -0.05906057357788086, -0.05722522735595703, -0.0553898811340332, -0.053554534912109375, -0.05171918869018555, -0.04988384246826172, -0.04804849624633789, -0.04621315002441406, -0.044377803802490234, -0.042542457580566406, -0.04070711135864258, -0.03887176513671875, -0.03703641891479492, -0.035201072692871094, -0.033365726470947266, -0.03153038024902344, -0.02969503402709961, -0.02785968780517578, -0.026024341583251953, -0.024188995361328125, -0.022353649139404297, -0.02051830291748047, -0.01868295669555664, -0.016847610473632812, -0.015012264251708984, -0.013176918029785156, -0.011341571807861328, -0.0095062255859375, -0.007670879364013672, -0.005835533142089844, -0.004000186920166016, -0.0021648406982421875, -0.0003294944763183594, 0.0015058517456054688, 0.003341197967529297, 0.005176544189453125, 0.007011890411376953, 0.008847236633300781, 0.01068258285522461, 0.012517929077148438, 0.014353275299072266, 0.016188621520996094, 0.018023967742919922, 0.01985931396484375, 0.021694660186767578, 0.023530006408691406, 0.025365352630615234, 0.027200698852539062, 0.02903604507446289, 0.03087139129638672, 0.03270673751831055, 0.034542083740234375, 0.0363774299621582, 0.03821277618408203, 0.04004812240600586, 0.04188346862792969, 0.043718814849853516, 0.045554161071777344, 0.04738950729370117, 0.049224853515625]}, "gradients/decoder.transformer.h.18.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 5.0, 5.0, 7.0, 3.0, 7.0, 13.0, 14.0, 20.0, 34.0, 37.0, 60.0, 88.0, 117.0, 165.0, 230.0, 309.0, 452.0, 520.0, 566.0, 434.0, 314.0, 195.0, 142.0, 95.0, 72.0, 52.0, 37.0, 19.0, 16.0, 12.0, 12.0, 13.0, 2.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.05316162109375, -0.0516819953918457, -0.050202369689941406, -0.04872274398803711, -0.04724311828613281, -0.045763492584228516, -0.04428386688232422, -0.04280424118041992, -0.041324615478515625, -0.03984498977661133, -0.03836536407470703, -0.036885738372802734, -0.03540611267089844, -0.03392648696899414, -0.032446861267089844, -0.030967235565185547, -0.02948760986328125, -0.028007984161376953, -0.026528358459472656, -0.02504873275756836, -0.023569107055664062, -0.022089481353759766, -0.02060985565185547, -0.019130229949951172, -0.017650604248046875, -0.016170978546142578, -0.014691352844238281, -0.013211727142333984, -0.011732101440429688, -0.01025247573852539, -0.008772850036621094, -0.007293224334716797, -0.0058135986328125, -0.004333972930908203, -0.0028543472290039062, -0.0013747215270996094, 0.0001049041748046875, 0.0015845298767089844, 0.0030641555786132812, 0.004543781280517578, 0.006023406982421875, 0.007503032684326172, 0.008982658386230469, 0.010462284088134766, 0.011941909790039062, 0.01342153549194336, 0.014901161193847656, 0.016380786895751953, 0.01786041259765625, 0.019340038299560547, 0.020819664001464844, 0.02229928970336914, 0.023778915405273438, 0.025258541107177734, 0.02673816680908203, 0.028217792510986328, 0.029697418212890625, 0.031177043914794922, 0.03265666961669922, 0.034136295318603516, 0.03561592102050781, 0.03709554672241211, 0.038575172424316406, 0.0400547981262207, 0.041534423828125]}, "gradients/decoder.transformer.h.18.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 5.0, 8.0, 3.0, 16.0, 24.0, 26.0, 58.0, 109.0, 180.0, 363.0, 755.0, 1787.0, 4991.0, 20287.0, 133592.0, 1409357.0, 2359809.0, 221938.0, 30243.0, 6810.0, 2102.0, 910.0, 427.0, 206.0, 108.0, 69.0, 25.0, 28.0, 17.0, 12.0, 7.0, 4.0, 0.0, 3.0, 0.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.08642578125, -0.0835561752319336, -0.08068656921386719, -0.07781696319580078, -0.07494735717773438, -0.07207775115966797, -0.06920814514160156, -0.06633853912353516, -0.06346893310546875, -0.060599327087402344, -0.05772972106933594, -0.05486011505126953, -0.051990509033203125, -0.04912090301513672, -0.04625129699707031, -0.043381690979003906, -0.0405120849609375, -0.037642478942871094, -0.03477287292480469, -0.03190326690673828, -0.029033660888671875, -0.02616405487060547, -0.023294448852539062, -0.020424842834472656, -0.01755523681640625, -0.014685630798339844, -0.011816024780273438, -0.008946418762207031, -0.006076812744140625, -0.0032072067260742188, -0.0003376007080078125, 0.0025320053100585938, 0.005401611328125, 0.008271217346191406, 0.011140823364257812, 0.014010429382324219, 0.016880035400390625, 0.01974964141845703, 0.022619247436523438, 0.025488853454589844, 0.02835845947265625, 0.031228065490722656, 0.03409767150878906, 0.03696727752685547, 0.039836883544921875, 0.04270648956298828, 0.04557609558105469, 0.048445701599121094, 0.0513153076171875, 0.054184913635253906, 0.05705451965332031, 0.05992412567138672, 0.06279373168945312, 0.06566333770751953, 0.06853294372558594, 0.07140254974365234, 0.07427215576171875, 0.07714176177978516, 0.08001136779785156, 0.08288097381591797, 0.08575057983398438, 0.08862018585205078, 0.09148979187011719, 0.0943593978881836, 0.09722900390625]}, "gradients/decoder.transformer.h.18.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 8.0, 16.0, 32.0, 83.0, 117.0, 171.0, 211.0, 179.0, 108.0, 49.0, 28.0, 11.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0], "bins": [-0.7725579738616943, -0.7572478652000427, -0.7419376969337463, -0.7266275882720947, -0.7113174796104431, -0.6960073709487915, -0.6806972026824951, -0.6653870940208435, -0.6500769853591919, -0.6347668766975403, -0.6194567084312439, -0.6041465997695923, -0.5888364911079407, -0.5735263824462891, -0.5582162141799927, -0.5429061055183411, -0.5275959372520447, -0.5122858285903931, -0.49697569012641907, -0.48166555166244507, -0.46635544300079346, -0.45104530453681946, -0.43573516607284546, -0.42042505741119385, -0.40511494874954224, -0.38980481028556824, -0.3744947016239166, -0.3591845631599426, -0.343874454498291, -0.328564316034317, -0.313254177570343, -0.2979440689086914, -0.2826339602470398, -0.2673238217830658, -0.2520137131214142, -0.23670357465744019, -0.22139345109462738, -0.20608332753181458, -0.19077320396900177, -0.17546308040618896, -0.16015294194221497, -0.14484281837940216, -0.12953269481658936, -0.11422256380319595, -0.09891243278980255, -0.08360230922698975, -0.06829218566417694, -0.05298205465078354, -0.03767192363739014, -0.022361796349287033, -0.007051670923829079, 0.008258454501628876, 0.02356858178973198, 0.03887870907783508, 0.05418883264064789, 0.06949896365404129, 0.0848090872168541, 0.1001192107796669, 0.1154293417930603, 0.1307394653558731, 0.1460495889186859, 0.1613597273826599, 0.17666983604431152, 0.19197997450828552, 0.20729009807109833]}, "gradients/decoder.transformer.h.18.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 4.0, 0.0, 6.0, 4.0, 6.0, 6.0, 9.0, 6.0, 22.0, 17.0, 14.0, 13.0, 20.0, 32.0, 23.0, 30.0, 29.0, 41.0, 30.0, 33.0, 42.0, 52.0, 36.0, 32.0, 42.0, 37.0, 39.0, 46.0, 41.0, 36.0, 39.0, 19.0, 32.0, 27.0, 21.0, 22.0, 23.0, 5.0, 13.0, 8.0, 10.0, 10.0, 9.0, 9.0, 6.0, 5.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.16351234912872314, -0.15865901112556458, -0.153805673122406, -0.14895235002040863, -0.14409901201725006, -0.1392456740140915, -0.13439235091209412, -0.12953901290893555, -0.12468567490577698, -0.11983233690261841, -0.11497900635004044, -0.11012567579746246, -0.1052723377943039, -0.10041899979114532, -0.09556566923856735, -0.09071233868598938, -0.08585900068283081, -0.08100566267967224, -0.07615233212709427, -0.0712990015745163, -0.06644566357135773, -0.061592329293489456, -0.056738995015621185, -0.051885660737752914, -0.047032326459884644, -0.04217899218201637, -0.0373256579041481, -0.03247232362627983, -0.02761898934841156, -0.02276565507054329, -0.01791232079267502, -0.013058986514806747, -0.008205652236938477, -0.0033523179590702057, 0.0015010163187980652, 0.006354350596666336, 0.011207684874534607, 0.016061019152402878, 0.02091435343027115, 0.02576768770813942, 0.03062102198600769, 0.03547435626387596, 0.04032769054174423, 0.0451810248196125, 0.050034359097480774, 0.054887693375349045, 0.059741027653217316, 0.06459435820579529, 0.06944769620895386, 0.07430103421211243, 0.0791543647646904, 0.08400769531726837, 0.08886103332042694, 0.09371437132358551, 0.09856770187616348, 0.10342103242874146, 0.10827437043190002, 0.1131277084350586, 0.11798103898763657, 0.12283436954021454, 0.1276877075433731, 0.13254104554653168, 0.13739436864852905, 0.14224770665168762, 0.1471010446548462]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 2.0, 3.0, 2.0, 8.0, 11.0, 13.0, 10.0, 28.0, 33.0, 34.0, 42.0, 40.0, 56.0, 53.0, 66.0, 57.0, 63.0, 76.0, 57.0, 54.0, 56.0, 65.0, 42.0, 38.0, 18.0, 18.0, 23.0, 14.0, 12.0, 8.0, 5.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0252227783203125, -0.024585485458374023, -0.023948192596435547, -0.02331089973449707, -0.022673606872558594, -0.022036314010620117, -0.02139902114868164, -0.020761728286743164, -0.020124435424804688, -0.01948714256286621, -0.018849849700927734, -0.018212556838989258, -0.01757526397705078, -0.016937971115112305, -0.016300678253173828, -0.01566338539123535, -0.015026092529296875, -0.014388799667358398, -0.013751506805419922, -0.013114213943481445, -0.012476921081542969, -0.011839628219604492, -0.011202335357666016, -0.010565042495727539, -0.009927749633789062, -0.009290456771850586, -0.00865316390991211, -0.008015871047973633, -0.007378578186035156, -0.00674128532409668, -0.006103992462158203, -0.0054666996002197266, -0.00482940673828125, -0.0041921138763427734, -0.003554821014404297, -0.0029175281524658203, -0.0022802352905273438, -0.0016429424285888672, -0.0010056495666503906, -0.00036835670471191406, 0.0002689361572265625, 0.0009062290191650391, 0.0015435218811035156, 0.002180814743041992, 0.0028181076049804688, 0.0034554004669189453, 0.004092693328857422, 0.0047299861907958984, 0.005367279052734375, 0.0060045719146728516, 0.006641864776611328, 0.007279157638549805, 0.007916450500488281, 0.008553743362426758, 0.009191036224365234, 0.009828329086303711, 0.010465621948242188, 0.011102914810180664, 0.01174020767211914, 0.012377500534057617, 0.013014793395996094, 0.01365208625793457, 0.014289379119873047, 0.014926671981811523, 0.01556396484375]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 0.0, 2.0, 5.0, 5.0, 9.0, 7.0, 16.0, 17.0, 26.0, 39.0, 69.0, 86.0, 158.0, 318.0, 592.0, 1030.0, 2108.0, 4522.0, 9802.0, 22659.0, 61929.0, 212351.0, 536100.0, 125299.0, 41444.0, 16061.0, 7150.0, 3203.0, 1673.0, 820.0, 435.0, 246.0, 137.0, 89.0, 46.0, 28.0, 28.0, 15.0, 7.0, 13.0, 3.0, 3.0, 6.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.00022470951080322266, -0.00021815858781337738, -0.0002116076648235321, -0.00020505674183368683, -0.00019850581884384155, -0.00019195489585399628, -0.000185403972864151, -0.00017885304987430573, -0.00017230212688446045, -0.00016575120389461517, -0.0001592002809047699, -0.00015264935791492462, -0.00014609843492507935, -0.00013954751193523407, -0.0001329965889453888, -0.00012644566595554352, -0.00011989474296569824, -0.00011334381997585297, -0.00010679289698600769, -0.00010024197399616241, -9.369105100631714e-05, -8.714012801647186e-05, -8.058920502662659e-05, -7.403828203678131e-05, -6.748735904693604e-05, -6.093643605709076e-05, -5.4385513067245483e-05, -4.783459007740021e-05, -4.128366708755493e-05, -3.4732744097709656e-05, -2.818182110786438e-05, -2.1630898118019104e-05, -1.5079975128173828e-05, -8.529052138328552e-06, -1.9781291484832764e-06, 4.5727938413619995e-06, 1.1123716831207275e-05, 1.767463982105255e-05, 2.4225562810897827e-05, 3.07764858007431e-05, 3.732740879058838e-05, 4.3878331780433655e-05, 5.042925477027893e-05, 5.6980177760124207e-05, 6.353110074996948e-05, 7.008202373981476e-05, 7.663294672966003e-05, 8.318386971950531e-05, 8.973479270935059e-05, 9.628571569919586e-05, 0.00010283663868904114, 0.00010938756167888641, 0.00011593848466873169, 0.00012248940765857697, 0.00012904033064842224, 0.00013559125363826752, 0.0001421421766281128, 0.00014869309961795807, 0.00015524402260780334, 0.00016179494559764862, 0.0001683458685874939, 0.00017489679157733917, 0.00018144771456718445, 0.00018799863755702972, 0.000194549560546875]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 2.0, 4.0, 3.0, 5.0, 3.0, 4.0, 5.0, 8.0, 10.0, 6.0, 8.0, 14.0, 13.0, 13.0, 20.0, 20.0, 20.0, 17.0, 19.0, 30.0, 24.0, 32.0, 37.0, 27.0, 23.0, 31.0, 45.0, 58.0, 1056.0, 37.0, 39.0, 30.0, 27.0, 29.0, 32.0, 28.0, 21.0, 21.0, 25.0, 23.0, 22.0, 20.0, 21.0, 16.0, 16.0, 11.0, 11.0, 10.0, 12.0, 7.0, 4.0, 5.0, 4.0, 1.0, 3.0, 2.0, 4.0, 2.0, 0.0, 2.0, 2.0], "bins": [-0.00936126708984375, -0.009067296981811523, -0.008773326873779297, -0.00847935676574707, -0.008185386657714844, -0.007891416549682617, -0.007597446441650391, -0.007303476333618164, -0.0070095062255859375, -0.006715536117553711, -0.006421566009521484, -0.006127595901489258, -0.005833625793457031, -0.005539655685424805, -0.005245685577392578, -0.0049517154693603516, -0.004657745361328125, -0.0043637752532958984, -0.004069805145263672, -0.0037758350372314453, -0.0034818649291992188, -0.003187894821166992, -0.0028939247131347656, -0.002599954605102539, -0.0023059844970703125, -0.002012014389038086, -0.0017180442810058594, -0.0014240741729736328, -0.0011301040649414062, -0.0008361339569091797, -0.0005421638488769531, -0.00024819374084472656, 4.57763671875e-05, 0.00033974647521972656, 0.0006337165832519531, 0.0009276866912841797, 0.0012216567993164062, 0.0015156269073486328, 0.0018095970153808594, 0.002103567123413086, 0.0023975372314453125, 0.002691507339477539, 0.0029854774475097656, 0.003279447555541992, 0.0035734176635742188, 0.0038673877716064453, 0.004161357879638672, 0.0044553279876708984, 0.004749298095703125, 0.0050432682037353516, 0.005337238311767578, 0.005631208419799805, 0.005925178527832031, 0.006219148635864258, 0.006513118743896484, 0.006807088851928711, 0.0071010589599609375, 0.007395029067993164, 0.007688999176025391, 0.007982969284057617, 0.008276939392089844, 0.00857090950012207, 0.008864879608154297, 0.009158849716186523, 0.00945281982421875]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 2.0, 0.0, 3.0, 8.0, 5.0, 6.0, 5.0, 10.0, 16.0, 13.0, 12.0, 17.0, 16.0, 24.0, 25.0, 24.0, 24.0, 27.0, 27.0, 39.0, 91.0, 208.0, 524.0, 1486.0, 3655.0, 72293.0, 2010445.0, 5510.0, 1492.0, 486.0, 214.0, 102.0, 53.0, 43.0, 23.0, 23.0, 20.0, 14.0, 17.0, 25.0, 9.0, 17.0, 14.0, 13.0, 7.0, 11.0, 8.0, 8.0, 4.0, 4.0, 3.0, 3.0, 3.0, 4.0, 2.0, 2.0, 1.0], "bins": [-9.715557098388672e-06, -9.42125916481018e-06, -9.12696123123169e-06, -8.832663297653198e-06, -8.538365364074707e-06, -8.244067430496216e-06, -7.949769496917725e-06, -7.655471563339233e-06, -7.361173629760742e-06, -7.066875696182251e-06, -6.77257776260376e-06, -6.4782798290252686e-06, -6.183981895446777e-06, -5.889683961868286e-06, -5.595386028289795e-06, -5.301088094711304e-06, -5.0067901611328125e-06, -4.712492227554321e-06, -4.41819429397583e-06, -4.123896360397339e-06, -3.829598426818848e-06, -3.5353004932403564e-06, -3.2410025596618652e-06, -2.946704626083374e-06, -2.652406692504883e-06, -2.3581087589263916e-06, -2.0638108253479004e-06, -1.7695128917694092e-06, -1.475214958190918e-06, -1.1809170246124268e-06, -8.866190910339355e-07, -5.923211574554443e-07, -2.980232238769531e-07, -3.725290298461914e-09, 2.905726432800293e-07, 5.848705768585205e-07, 8.791685104370117e-07, 1.173466444015503e-06, 1.4677643775939941e-06, 1.7620623111724854e-06, 2.0563602447509766e-06, 2.3506581783294678e-06, 2.644956111907959e-06, 2.93925404548645e-06, 3.2335519790649414e-06, 3.5278499126434326e-06, 3.822147846221924e-06, 4.116445779800415e-06, 4.410743713378906e-06, 4.7050416469573975e-06, 4.999339580535889e-06, 5.29363751411438e-06, 5.587935447692871e-06, 5.882233381271362e-06, 6.1765313148498535e-06, 6.470829248428345e-06, 6.765127182006836e-06, 7.059425115585327e-06, 7.353723049163818e-06, 7.64802098274231e-06, 7.9423189163208e-06, 8.236616849899292e-06, 8.530914783477783e-06, 8.825212717056274e-06, 9.119510650634766e-06]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 2.0, 3.0, 2.0, 8.0, 11.0, 13.0, 10.0, 28.0, 33.0, 34.0, 42.0, 40.0, 56.0, 53.0, 66.0, 57.0, 63.0, 76.0, 57.0, 54.0, 56.0, 65.0, 42.0, 38.0, 18.0, 18.0, 23.0, 14.0, 12.0, 8.0, 5.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0252227783203125, -0.024585485458374023, -0.023948192596435547, -0.02331089973449707, -0.022673606872558594, -0.022036314010620117, -0.02139902114868164, -0.020761728286743164, -0.020124435424804688, -0.01948714256286621, -0.018849849700927734, -0.018212556838989258, -0.01757526397705078, -0.016937971115112305, -0.016300678253173828, -0.01566338539123535, -0.015026092529296875, -0.014388799667358398, -0.013751506805419922, -0.013114213943481445, -0.012476921081542969, -0.011839628219604492, -0.011202335357666016, -0.010565042495727539, -0.009927749633789062, -0.009290456771850586, -0.00865316390991211, -0.008015871047973633, -0.007378578186035156, -0.00674128532409668, -0.006103992462158203, -0.0054666996002197266, -0.00482940673828125, -0.0041921138763427734, -0.003554821014404297, -0.0029175281524658203, -0.0022802352905273438, -0.0016429424285888672, -0.0010056495666503906, -0.00036835670471191406, 0.0002689361572265625, 0.0009062290191650391, 0.0015435218811035156, 0.002180814743041992, 0.0028181076049804688, 0.0034554004669189453, 0.004092693328857422, 0.0047299861907958984, 0.005367279052734375, 0.0060045719146728516, 0.006641864776611328, 0.007279157638549805, 0.007916450500488281, 0.008553743362426758, 0.009191036224365234, 0.009828329086303711, 0.010465621948242188, 0.011102914810180664, 0.01174020767211914, 0.012377500534057617, 0.013014793395996094, 0.01365208625793457, 0.014289379119873047, 0.014926671981811523, 0.01556396484375]}, "gradients/decoder.transformer.h.18.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 2.0, 6.0, 4.0, 2.0, 10.0, 13.0, 13.0, 30.0, 43.0, 85.0, 168.0, 377.0, 677.0, 1585.0, 3372.0, 7820.0, 19253.0, 54689.0, 299823.0, 540561.0, 77790.0, 24693.0, 9781.0, 4124.0, 1906.0, 874.0, 418.0, 207.0, 92.0, 61.0, 34.0, 21.0, 6.0, 6.0, 9.0, 7.0, 5.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0306243896484375, -0.029300451278686523, -0.027976512908935547, -0.02665257453918457, -0.025328636169433594, -0.024004697799682617, -0.02268075942993164, -0.021356821060180664, -0.020032882690429688, -0.01870894432067871, -0.017385005950927734, -0.016061067581176758, -0.014737129211425781, -0.013413190841674805, -0.012089252471923828, -0.010765314102172852, -0.009441375732421875, -0.008117437362670898, -0.006793498992919922, -0.005469560623168945, -0.004145622253417969, -0.002821683883666992, -0.0014977455139160156, -0.00017380714416503906, 0.0011501312255859375, 0.002474069595336914, 0.0037980079650878906, 0.005121946334838867, 0.006445884704589844, 0.00776982307434082, 0.009093761444091797, 0.010417699813842773, 0.01174163818359375, 0.013065576553344727, 0.014389514923095703, 0.01571345329284668, 0.017037391662597656, 0.018361330032348633, 0.01968526840209961, 0.021009206771850586, 0.022333145141601562, 0.02365708351135254, 0.024981021881103516, 0.026304960250854492, 0.02762889862060547, 0.028952836990356445, 0.030276775360107422, 0.0316007137298584, 0.032924652099609375, 0.03424859046936035, 0.03557252883911133, 0.036896467208862305, 0.03822040557861328, 0.03954434394836426, 0.040868282318115234, 0.04219222068786621, 0.04351615905761719, 0.044840097427368164, 0.04616403579711914, 0.04748797416687012, 0.048811912536621094, 0.05013585090637207, 0.05145978927612305, 0.05278372764587402, 0.054107666015625]}, "gradients/decoder.transformer.h.18.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 4.0, 3.0, 2.0, 6.0, 4.0, 7.0, 16.0, 14.0, 13.0, 17.0, 18.0, 19.0, 28.0, 26.0, 29.0, 27.0, 43.0, 40.0, 57.0, 56.0, 77.0, 134.0, 239.0, 1437.0, 196.0, 101.0, 70.0, 52.0, 54.0, 38.0, 38.0, 38.0, 27.0, 25.0, 27.0, 16.0, 17.0, 10.0, 7.0, 9.0, 4.0, 7.0, 3.0, 1.0, 1.0, 2.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.050323486328125, -0.04876852035522461, -0.04721355438232422, -0.04565858840942383, -0.04410362243652344, -0.04254865646362305, -0.040993690490722656, -0.039438724517822266, -0.037883758544921875, -0.036328792572021484, -0.034773826599121094, -0.0332188606262207, -0.03166389465332031, -0.030108928680419922, -0.02855396270751953, -0.02699899673461914, -0.02544403076171875, -0.02388906478881836, -0.02233409881591797, -0.020779132843017578, -0.019224166870117188, -0.017669200897216797, -0.016114234924316406, -0.014559268951416016, -0.013004302978515625, -0.011449337005615234, -0.009894371032714844, -0.008339405059814453, -0.0067844390869140625, -0.005229473114013672, -0.0036745071411132812, -0.0021195411682128906, -0.0005645751953125, 0.0009903907775878906, 0.0025453567504882812, 0.004100322723388672, 0.0056552886962890625, 0.007210254669189453, 0.008765220642089844, 0.010320186614990234, 0.011875152587890625, 0.013430118560791016, 0.014985084533691406, 0.016540050506591797, 0.018095016479492188, 0.019649982452392578, 0.02120494842529297, 0.02275991439819336, 0.02431488037109375, 0.02586984634399414, 0.02742481231689453, 0.028979778289794922, 0.030534744262695312, 0.0320897102355957, 0.033644676208496094, 0.035199642181396484, 0.036754608154296875, 0.038309574127197266, 0.039864540100097656, 0.04141950607299805, 0.04297447204589844, 0.04452943801879883, 0.04608440399169922, 0.04763936996459961, 0.0491943359375]}, "gradients/decoder.transformer.h.18.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 6.0, 0.0, 2.0, 3.0, 1.0, 4.0, 7.0, 4.0, 9.0, 7.0, 11.0, 17.0, 28.0, 29.0, 50.0, 33.0, 59.0, 72.0, 105.0, 176.0, 297.0, 710.0, 2152.0, 7524.0, 33377.0, 322193.0, 2616518.0, 134204.0, 20186.0, 4914.0, 1596.0, 553.0, 289.0, 153.0, 95.0, 76.0, 42.0, 43.0, 34.0, 24.0, 27.0, 16.0, 27.0, 6.0, 12.0, 9.0, 3.0, 3.0, 9.0, 2.0, 4.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0863037109375, -0.08371543884277344, -0.08112716674804688, -0.07853889465332031, -0.07595062255859375, -0.07336235046386719, -0.07077407836914062, -0.06818580627441406, -0.0655975341796875, -0.06300926208496094, -0.060420989990234375, -0.05783271789550781, -0.05524444580078125, -0.05265617370605469, -0.050067901611328125, -0.04747962951660156, -0.044891357421875, -0.04230308532714844, -0.039714813232421875, -0.03712654113769531, -0.03453826904296875, -0.03194999694824219, -0.029361724853515625, -0.026773452758789062, -0.0241851806640625, -0.021596908569335938, -0.019008636474609375, -0.016420364379882812, -0.01383209228515625, -0.011243820190429688, -0.008655548095703125, -0.0060672760009765625, -0.00347900390625, -0.0008907318115234375, 0.001697540283203125, 0.0042858123779296875, 0.00687408447265625, 0.009462356567382812, 0.012050628662109375, 0.014638900756835938, 0.0172271728515625, 0.019815444946289062, 0.022403717041015625, 0.024991989135742188, 0.02758026123046875, 0.030168533325195312, 0.032756805419921875, 0.03534507751464844, 0.037933349609375, 0.04052162170410156, 0.043109893798828125, 0.04569816589355469, 0.04828643798828125, 0.05087471008300781, 0.053462982177734375, 0.05605125427246094, 0.0586395263671875, 0.06122779846191406, 0.06381607055664062, 0.06640434265136719, 0.06899261474609375, 0.07158088684082031, 0.07416915893554688, 0.07675743103027344, 0.079345703125]}, "gradients/decoder.transformer.h.18.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 6.0, 17.0, 58.0, 152.0, 301.0, 298.0, 129.0, 46.0, 11.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.7979461550712585, -0.7831369042396545, -0.7683275938034058, -0.7535183429718018, -0.7387090921401978, -0.7238998413085938, -0.7090905904769897, -0.694281280040741, -0.679472029209137, -0.664662778377533, -0.6498534679412842, -0.6350442171096802, -0.6202349662780762, -0.6054257154464722, -0.5906164646148682, -0.5758071541786194, -0.5609979033470154, -0.5461886525154114, -0.5313793420791626, -0.5165700912475586, -0.5017608404159546, -0.4869515895843506, -0.4721423089504242, -0.4573330283164978, -0.4425237774848938, -0.4277145266532898, -0.4129052460193634, -0.398095965385437, -0.383286714553833, -0.368477463722229, -0.3536681830883026, -0.3388589024543762, -0.3240496516227722, -0.3092404007911682, -0.2944311201572418, -0.27962183952331543, -0.2648125886917114, -0.2500033378601074, -0.23519405722618103, -0.22038479149341583, -0.20557551085948944, -0.19076624512672424, -0.17595697939395905, -0.16114771366119385, -0.14633844792842865, -0.13152918219566345, -0.11671991646289825, -0.10191065073013306, -0.08710138499736786, -0.07229211926460266, -0.05748285353183746, -0.042673587799072266, -0.027864322066307068, -0.01305505633354187, 0.0017542093992233276, 0.016563475131988525, 0.03137274086475372, 0.04618200659751892, 0.06099127233028412, 0.07580053806304932, 0.09060980379581451, 0.10541906952857971, 0.12022833526134491, 0.1350376009941101, 0.1498468667268753]}, "gradients/decoder.transformer.h.18.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 0.0, 2.0, 3.0, 5.0, 8.0, 8.0, 12.0, 18.0, 14.0, 21.0, 26.0, 19.0, 24.0, 38.0, 28.0, 41.0, 42.0, 32.0, 43.0, 43.0, 53.0, 51.0, 44.0, 46.0, 40.0, 37.0, 39.0, 49.0, 38.0, 29.0, 20.0, 20.0, 16.0, 12.0, 21.0, 13.0, 17.0, 8.0, 10.0, 5.0, 5.0, 5.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.19690531492233276, -0.19144612550735474, -0.1859869360923767, -0.18052774667739868, -0.17506855726242065, -0.16960938274860382, -0.1641501933336258, -0.15869100391864777, -0.15323181450366974, -0.1477726250886917, -0.14231343567371368, -0.13685424625873566, -0.13139507174491882, -0.1259358823299408, -0.12047669291496277, -0.11501750349998474, -0.10955831408500671, -0.10409912467002869, -0.09863993525505066, -0.09318075329065323, -0.0877215638756752, -0.08226237446069717, -0.07680319249629974, -0.07134400308132172, -0.06588481366634369, -0.06042562425136566, -0.05496643856167793, -0.049507252871990204, -0.044048063457012177, -0.03858887404203415, -0.03312968835234642, -0.02767050266265869, -0.022211313247680664, -0.016752125695347786, -0.011292938143014908, -0.00583375059068203, -0.0003745630383491516, 0.0050846245139837265, 0.010543812066316605, 0.016002997756004333, 0.02146218717098236, 0.02692137472331524, 0.03238056227564812, 0.037839747965335846, 0.04329893738031387, 0.0487581267952919, 0.05421731248497963, 0.05967649817466736, 0.06513568758964539, 0.07059487700462341, 0.07605406641960144, 0.08151324838399887, 0.0869724377989769, 0.09243162721395493, 0.09789080917835236, 0.10334999859333038, 0.10880918800830841, 0.11426837742328644, 0.11972756683826447, 0.1251867562532425, 0.13064593076705933, 0.13610512018203735, 0.14156430959701538, 0.1470234990119934, 0.15248268842697144]}, "gradients/decoder.transformer.h.17.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 5.0, 4.0, 9.0, 13.0, 9.0, 23.0, 28.0, 31.0, 33.0, 56.0, 43.0, 61.0, 55.0, 58.0, 67.0, 60.0, 76.0, 58.0, 52.0, 67.0, 44.0, 32.0, 29.0, 23.0, 25.0, 16.0, 8.0, 10.0, 7.0, 4.0, 2.0, 5.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0265960693359375, -0.025931596755981445, -0.02526712417602539, -0.024602651596069336, -0.02393817901611328, -0.023273706436157227, -0.022609233856201172, -0.021944761276245117, -0.021280288696289062, -0.020615816116333008, -0.019951343536376953, -0.0192868709564209, -0.018622398376464844, -0.01795792579650879, -0.017293453216552734, -0.01662898063659668, -0.015964508056640625, -0.01530003547668457, -0.014635562896728516, -0.013971090316772461, -0.013306617736816406, -0.012642145156860352, -0.011977672576904297, -0.011313199996948242, -0.010648727416992188, -0.009984254837036133, -0.009319782257080078, -0.008655309677124023, -0.007990837097167969, -0.007326364517211914, -0.006661891937255859, -0.005997419357299805, -0.00533294677734375, -0.004668474197387695, -0.004004001617431641, -0.003339529037475586, -0.0026750564575195312, -0.0020105838775634766, -0.0013461112976074219, -0.0006816387176513672, -1.71661376953125e-05, 0.0006473064422607422, 0.0013117790222167969, 0.0019762516021728516, 0.0026407241821289062, 0.003305196762084961, 0.003969669342041016, 0.00463414192199707, 0.005298614501953125, 0.00596308708190918, 0.006627559661865234, 0.007292032241821289, 0.007956504821777344, 0.008620977401733398, 0.009285449981689453, 0.009949922561645508, 0.010614395141601562, 0.011278867721557617, 0.011943340301513672, 0.012607812881469727, 0.013272285461425781, 0.013936758041381836, 0.01460123062133789, 0.015265703201293945, 0.01593017578125]}, "gradients/decoder.transformer.h.17.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 4.0, 6.0, 5.0, 14.0, 15.0, 20.0, 34.0, 46.0, 66.0, 90.0, 144.0, 254.0, 644.0, 1857.0, 6751.0, 33501.0, 222157.0, 2337096.0, 1421706.0, 140321.0, 22413.0, 4833.0, 1350.0, 474.0, 218.0, 112.0, 56.0, 35.0, 29.0, 16.0, 10.0, 4.0, 4.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.06591796875, -0.0641779899597168, -0.062438011169433594, -0.06069803237915039, -0.05895805358886719, -0.057218074798583984, -0.05547809600830078, -0.05373811721801758, -0.051998138427734375, -0.05025815963745117, -0.04851818084716797, -0.046778202056884766, -0.04503822326660156, -0.04329824447631836, -0.041558265686035156, -0.03981828689575195, -0.03807830810546875, -0.03633832931518555, -0.034598350524902344, -0.03285837173461914, -0.031118392944335938, -0.029378414154052734, -0.02763843536376953, -0.025898456573486328, -0.024158477783203125, -0.022418498992919922, -0.02067852020263672, -0.018938541412353516, -0.017198562622070312, -0.01545858383178711, -0.013718605041503906, -0.011978626251220703, -0.0102386474609375, -0.008498668670654297, -0.006758689880371094, -0.005018711090087891, -0.0032787322998046875, -0.0015387535095214844, 0.00020122528076171875, 0.0019412040710449219, 0.003681182861328125, 0.005421161651611328, 0.007161140441894531, 0.008901119232177734, 0.010641098022460938, 0.01238107681274414, 0.014121055603027344, 0.015861034393310547, 0.01760101318359375, 0.019340991973876953, 0.021080970764160156, 0.02282094955444336, 0.024560928344726562, 0.026300907135009766, 0.02804088592529297, 0.029780864715576172, 0.031520843505859375, 0.03326082229614258, 0.03500080108642578, 0.036740779876708984, 0.03848075866699219, 0.04022073745727539, 0.041960716247558594, 0.0437006950378418, 0.045440673828125]}, "gradients/decoder.transformer.h.17.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 4.0, 9.0, 5.0, 4.0, 7.0, 8.0, 11.0, 15.0, 31.0, 25.0, 40.0, 67.0, 104.0, 127.0, 171.0, 250.0, 343.0, 429.0, 474.0, 499.0, 373.0, 272.0, 222.0, 159.0, 131.0, 84.0, 61.0, 49.0, 25.0, 25.0, 16.0, 15.0, 5.0, 9.0, 2.0, 6.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.049407958984375, -0.04802513122558594, -0.046642303466796875, -0.04525947570800781, -0.04387664794921875, -0.04249382019042969, -0.041110992431640625, -0.03972816467285156, -0.0383453369140625, -0.03696250915527344, -0.035579681396484375, -0.03419685363769531, -0.03281402587890625, -0.03143119812011719, -0.030048370361328125, -0.028665542602539062, -0.02728271484375, -0.025899887084960938, -0.024517059326171875, -0.023134231567382812, -0.02175140380859375, -0.020368576049804688, -0.018985748291015625, -0.017602920532226562, -0.0162200927734375, -0.014837265014648438, -0.013454437255859375, -0.012071609497070312, -0.01068878173828125, -0.009305953979492188, -0.007923126220703125, -0.0065402984619140625, -0.005157470703125, -0.0037746429443359375, -0.002391815185546875, -0.0010089874267578125, 0.00037384033203125, 0.0017566680908203125, 0.003139495849609375, 0.0045223236083984375, 0.0059051513671875, 0.0072879791259765625, 0.008670806884765625, 0.010053634643554688, 0.01143646240234375, 0.012819290161132812, 0.014202117919921875, 0.015584945678710938, 0.0169677734375, 0.018350601196289062, 0.019733428955078125, 0.021116256713867188, 0.02249908447265625, 0.023881912231445312, 0.025264739990234375, 0.026647567749023438, 0.0280303955078125, 0.029413223266601562, 0.030796051025390625, 0.03217887878417969, 0.03356170654296875, 0.03494453430175781, 0.036327362060546875, 0.03771018981933594, 0.039093017578125]}, "gradients/decoder.transformer.h.17.mlp.c_fc.weight": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 5.0, 9.0, 12.0, 11.0, 14.0, 28.0, 35.0, 43.0, 70.0, 103.0, 167.0, 258.0, 402.0, 612.0, 1124.0, 2297.0, 5230.0, 14823.0, 53549.0, 226987.0, 1149842.0, 2125754.0, 470280.0, 101770.0, 25988.0, 8223.0, 3155.0, 1419.0, 758.0, 449.0, 275.0, 186.0, 128.0, 77.0, 53.0, 35.0, 34.0, 30.0, 8.0, 9.0, 9.0, 12.0, 8.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0560302734375, -0.05411338806152344, -0.052196502685546875, -0.05027961730957031, -0.04836273193359375, -0.04644584655761719, -0.044528961181640625, -0.04261207580566406, -0.0406951904296875, -0.03877830505371094, -0.036861419677734375, -0.03494453430175781, -0.03302764892578125, -0.031110763549804688, -0.029193878173828125, -0.027276992797851562, -0.025360107421875, -0.023443222045898438, -0.021526336669921875, -0.019609451293945312, -0.01769256591796875, -0.015775680541992188, -0.013858795166015625, -0.011941909790039062, -0.0100250244140625, -0.008108139038085938, -0.006191253662109375, -0.0042743682861328125, -0.00235748291015625, -0.0004405975341796875, 0.001476287841796875, 0.0033931732177734375, 0.00531005859375, 0.0072269439697265625, 0.009143829345703125, 0.011060714721679688, 0.01297760009765625, 0.014894485473632812, 0.016811370849609375, 0.018728256225585938, 0.0206451416015625, 0.022562026977539062, 0.024478912353515625, 0.026395797729492188, 0.02831268310546875, 0.030229568481445312, 0.032146453857421875, 0.03406333923339844, 0.035980224609375, 0.03789710998535156, 0.039813995361328125, 0.04173088073730469, 0.04364776611328125, 0.04556465148925781, 0.047481536865234375, 0.04939842224121094, 0.0513153076171875, 0.05323219299316406, 0.055149078369140625, 0.05706596374511719, 0.05898284912109375, 0.06089973449707031, 0.06281661987304688, 0.06473350524902344, 0.066650390625]}, "gradients/decoder.transformer.h.17.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 9.0, 15.0, 21.0, 26.0, 50.0, 73.0, 81.0, 101.0, 99.0, 129.0, 112.0, 97.0, 71.0, 53.0, 19.0, 19.0, 13.0, 9.0, 3.0, 8.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.31388482451438904, -0.3046722412109375, -0.29545965790748596, -0.28624704480171204, -0.2770344614982605, -0.26782187819480896, -0.2586092948913574, -0.24939671158790588, -0.24018411338329315, -0.2309715300798416, -0.22175893187522888, -0.21254634857177734, -0.2033337652683258, -0.19412116706371307, -0.18490858376026154, -0.1756959855556488, -0.16648340225219727, -0.15727081894874573, -0.148058220744133, -0.13884563744068146, -0.12963303923606873, -0.12042045593261719, -0.11120787262916565, -0.10199528187513351, -0.09278269112110138, -0.08357010036706924, -0.07435750961303711, -0.06514492630958557, -0.055932335555553436, -0.0467197448015213, -0.037507157772779465, -0.028294570744037628, -0.01908200979232788, -0.009869420900940895, -0.0006568320095539093, 0.008555756881833076, 0.017768345773220062, 0.026980936527252197, 0.036193523555994034, 0.04540611058473587, 0.054618701338768005, 0.06383129209280014, 0.07304388284683228, 0.08225646615028381, 0.09146905690431595, 0.10068164765834808, 0.10989423096179962, 0.11910682171583176, 0.1283194124698639, 0.13753199577331543, 0.14674459397792816, 0.1559571772813797, 0.16516977548599243, 0.17438235878944397, 0.1835949420928955, 0.19280752539634705, 0.20202012360095978, 0.21123270690441132, 0.22044530510902405, 0.22965788841247559, 0.23887047171592712, 0.24808306992053986, 0.2572956681251526, 0.2665082514286041, 0.27572083473205566]}, "gradients/decoder.transformer.h.17.ln_2.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 1.0, 4.0, 4.0, 4.0, 13.0, 9.0, 10.0, 9.0, 11.0, 10.0, 15.0, 18.0, 27.0, 30.0, 31.0, 31.0, 32.0, 33.0, 37.0, 36.0, 38.0, 53.0, 36.0, 38.0, 51.0, 48.0, 46.0, 32.0, 26.0, 36.0, 32.0, 26.0, 17.0, 39.0, 23.0, 20.0, 9.0, 17.0, 12.0, 8.0, 10.0, 6.0, 5.0, 3.0, 4.0, 3.0, 2.0, 1.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1409231424331665, -0.13629010319709778, -0.13165707886219025, -0.12702403962612152, -0.12239101529121399, -0.11775797605514526, -0.11312494426965714, -0.108491912484169, -0.10385888069868088, -0.09922584891319275, -0.09459281712770462, -0.08995978534221649, -0.08532674610614777, -0.08069372177124023, -0.07606068253517151, -0.07142765074968338, -0.06679461896419525, -0.06216158717870712, -0.057528555393218994, -0.05289551988244057, -0.04826248809695244, -0.04362945631146431, -0.03899642080068588, -0.034363389015197754, -0.029730357229709625, -0.025097325444221497, -0.02046429179608822, -0.01583125814795494, -0.011198226362466812, -0.0065651945769786835, -0.0019321609288454056, 0.0027008727192878723, 0.007333904504776001, 0.011966937221586704, 0.016599969938397408, 0.021233003586530685, 0.025866035372018814, 0.030499067157506943, 0.03513210266828537, 0.0397651344537735, 0.04439816623926163, 0.049031198024749756, 0.053664229810237885, 0.05829726532101631, 0.06293030083179474, 0.06756332516670227, 0.072196364402771, 0.07682939618825912, 0.08146242797374725, 0.08609545975923538, 0.09072849154472351, 0.09536152333021164, 0.09999455511569977, 0.1046275943517685, 0.10926062613725662, 0.11389365792274475, 0.11852668970823288, 0.12315972149372101, 0.12779276072978973, 0.13242578506469727, 0.137058824300766, 0.14169184863567352, 0.14632488787174225, 0.15095791220664978, 0.1555909514427185]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 4.0, 2.0, 1.0, 7.0, 4.0, 8.0, 15.0, 17.0, 31.0, 33.0, 34.0, 35.0, 55.0, 54.0, 61.0, 56.0, 62.0, 64.0, 61.0, 82.0, 57.0, 51.0, 37.0, 37.0, 26.0, 30.0, 25.0, 21.0, 13.0, 12.0, 9.0, 2.0, 1.0, 6.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.027587890625, -0.02691960334777832, -0.02625131607055664, -0.02558302879333496, -0.02491474151611328, -0.0242464542388916, -0.023578166961669922, -0.022909879684448242, -0.022241592407226562, -0.021573305130004883, -0.020905017852783203, -0.020236730575561523, -0.019568443298339844, -0.018900156021118164, -0.018231868743896484, -0.017563581466674805, -0.016895294189453125, -0.016227006912231445, -0.015558719635009766, -0.014890432357788086, -0.014222145080566406, -0.013553857803344727, -0.012885570526123047, -0.012217283248901367, -0.011548995971679688, -0.010880708694458008, -0.010212421417236328, -0.009544134140014648, -0.008875846862792969, -0.008207559585571289, -0.007539272308349609, -0.00687098503112793, -0.00620269775390625, -0.00553441047668457, -0.004866123199462891, -0.004197835922241211, -0.0035295486450195312, -0.0028612613677978516, -0.002192974090576172, -0.0015246868133544922, -0.0008563995361328125, -0.0001881122589111328, 0.0004801750183105469, 0.0011484622955322266, 0.0018167495727539062, 0.002485036849975586, 0.0031533241271972656, 0.0038216114044189453, 0.004489898681640625, 0.005158185958862305, 0.005826473236083984, 0.006494760513305664, 0.007163047790527344, 0.007831335067749023, 0.008499622344970703, 0.009167909622192383, 0.009836196899414062, 0.010504484176635742, 0.011172771453857422, 0.011841058731079102, 0.012509346008300781, 0.013177633285522461, 0.01384592056274414, 0.01451420783996582, 0.0151824951171875]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 2.0, 4.0, 3.0, 1.0, 3.0, 8.0, 13.0, 8.0, 25.0, 29.0, 45.0, 67.0, 114.0, 200.0, 315.0, 608.0, 1115.0, 2290.0, 4596.0, 9784.0, 22767.0, 60993.0, 203307.0, 541191.0, 126646.0, 42732.0, 16922.0, 7376.0, 3486.0, 1749.0, 932.0, 518.0, 267.0, 176.0, 91.0, 56.0, 33.0, 27.0, 18.0, 10.0, 11.0, 6.0, 5.0, 2.0, 4.0, 1.0, 2.0, 2.0, 4.0, 0.0, 0.0, 1.0], "bins": [-0.00020420551300048828, -0.0001984238624572754, -0.0001926422119140625, -0.0001868605613708496, -0.00018107891082763672, -0.00017529726028442383, -0.00016951560974121094, -0.00016373395919799805, -0.00015795230865478516, -0.00015217065811157227, -0.00014638900756835938, -0.00014060735702514648, -0.0001348257064819336, -0.0001290440559387207, -0.0001232624053955078, -0.00011748075485229492, -0.00011169910430908203, -0.00010591745376586914, -0.00010013580322265625, -9.435415267944336e-05, -8.857250213623047e-05, -8.279085159301758e-05, -7.700920104980469e-05, -7.12275505065918e-05, -6.54458999633789e-05, -5.9664249420166016e-05, -5.3882598876953125e-05, -4.8100948333740234e-05, -4.2319297790527344e-05, -3.653764724731445e-05, -3.075599670410156e-05, -2.4974346160888672e-05, -1.919269561767578e-05, -1.341104507446289e-05, -7.62939453125e-06, -1.8477439880371094e-06, 3.933906555175781e-06, 9.715557098388672e-06, 1.5497207641601562e-05, 2.1278858184814453e-05, 2.7060508728027344e-05, 3.2842159271240234e-05, 3.8623809814453125e-05, 4.4405460357666016e-05, 5.0187110900878906e-05, 5.59687614440918e-05, 6.175041198730469e-05, 6.753206253051758e-05, 7.331371307373047e-05, 7.909536361694336e-05, 8.487701416015625e-05, 9.065866470336914e-05, 9.644031524658203e-05, 0.00010222196578979492, 0.00010800361633300781, 0.0001137852668762207, 0.0001195669174194336, 0.00012534856796264648, 0.00013113021850585938, 0.00013691186904907227, 0.00014269351959228516, 0.00014847517013549805, 0.00015425682067871094, 0.00016003847122192383, 0.00016582012176513672]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 4.0, 0.0, 3.0, 2.0, 3.0, 1.0, 2.0, 11.0, 2.0, 10.0, 11.0, 6.0, 18.0, 10.0, 14.0, 22.0, 24.0, 20.0, 29.0, 28.0, 34.0, 37.0, 39.0, 40.0, 40.0, 45.0, 38.0, 1055.0, 41.0, 45.0, 42.0, 37.0, 48.0, 37.0, 39.0, 23.0, 27.0, 20.0, 19.0, 21.0, 14.0, 16.0, 11.0, 13.0, 9.0, 9.0, 5.0, 5.0, 5.0, 2.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.011077880859375, -0.010689973831176758, -0.010302066802978516, -0.009914159774780273, -0.009526252746582031, -0.009138345718383789, -0.008750438690185547, -0.008362531661987305, -0.007974624633789062, -0.00758671760559082, -0.007198810577392578, -0.006810903549194336, -0.006422996520996094, -0.0060350894927978516, -0.005647182464599609, -0.005259275436401367, -0.004871368408203125, -0.004483461380004883, -0.004095554351806641, -0.0037076473236083984, -0.0033197402954101562, -0.002931833267211914, -0.002543926239013672, -0.0021560192108154297, -0.0017681121826171875, -0.0013802051544189453, -0.0009922981262207031, -0.0006043910980224609, -0.00021648406982421875, 0.00017142295837402344, 0.0005593299865722656, 0.0009472370147705078, 0.00133514404296875, 0.0017230510711669922, 0.0021109580993652344, 0.0024988651275634766, 0.0028867721557617188, 0.003274679183959961, 0.003662586212158203, 0.004050493240356445, 0.0044384002685546875, 0.00482630729675293, 0.005214214324951172, 0.005602121353149414, 0.005990028381347656, 0.0063779354095458984, 0.006765842437744141, 0.007153749465942383, 0.007541656494140625, 0.007929563522338867, 0.00831747055053711, 0.008705377578735352, 0.009093284606933594, 0.009481191635131836, 0.009869098663330078, 0.01025700569152832, 0.010644912719726562, 0.011032819747924805, 0.011420726776123047, 0.011808633804321289, 0.012196540832519531, 0.012584447860717773, 0.012972354888916016, 0.013360261917114258, 0.0137481689453125]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 3.0, 4.0, 4.0, 5.0, 5.0, 8.0, 12.0, 18.0, 14.0, 10.0, 16.0, 15.0, 24.0, 20.0, 28.0, 40.0, 36.0, 46.0, 113.0, 280.0, 888.0, 2976.0, 80705.0, 2004746.0, 4946.0, 1309.0, 370.0, 132.0, 75.0, 40.0, 37.0, 34.0, 25.0, 19.0, 31.0, 12.0, 11.0, 14.0, 14.0, 12.0, 12.0, 5.0, 8.0, 5.0, 2.0, 4.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0], "bins": [-1.329183578491211e-05, -1.2913718819618225e-05, -1.253560185432434e-05, -1.2157484889030457e-05, -1.1779367923736572e-05, -1.1401250958442688e-05, -1.1023133993148804e-05, -1.064501702785492e-05, -1.0266900062561035e-05, -9.888783097267151e-06, -9.510666131973267e-06, -9.132549166679382e-06, -8.754432201385498e-06, -8.376315236091614e-06, -7.99819827079773e-06, -7.620081305503845e-06, -7.241964340209961e-06, -6.863847374916077e-06, -6.485730409622192e-06, -6.107613444328308e-06, -5.729496479034424e-06, -5.3513795137405396e-06, -4.973262548446655e-06, -4.595145583152771e-06, -4.217028617858887e-06, -3.8389116525650024e-06, -3.460794687271118e-06, -3.082677721977234e-06, -2.7045607566833496e-06, -2.3264437913894653e-06, -1.948326826095581e-06, -1.5702098608016968e-06, -1.1920928955078125e-06, -8.139759302139282e-07, -4.3585896492004395e-07, -5.774199962615967e-08, 3.203749656677246e-07, 6.984919309616089e-07, 1.0766088962554932e-06, 1.4547258615493774e-06, 1.8328428268432617e-06, 2.210959792137146e-06, 2.5890767574310303e-06, 2.9671937227249146e-06, 3.345310688018799e-06, 3.723427653312683e-06, 4.101544618606567e-06, 4.479661583900452e-06, 4.857778549194336e-06, 5.23589551448822e-06, 5.6140124797821045e-06, 5.992129445075989e-06, 6.370246410369873e-06, 6.748363375663757e-06, 7.126480340957642e-06, 7.504597306251526e-06, 7.88271427154541e-06, 8.260831236839294e-06, 8.638948202133179e-06, 9.017065167427063e-06, 9.395182132720947e-06, 9.773299098014832e-06, 1.0151416063308716e-05, 1.05295330286026e-05, 1.0907649993896484e-05]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 4.0, 2.0, 1.0, 7.0, 4.0, 8.0, 15.0, 17.0, 31.0, 33.0, 34.0, 35.0, 55.0, 54.0, 61.0, 56.0, 62.0, 64.0, 61.0, 82.0, 57.0, 51.0, 37.0, 37.0, 26.0, 30.0, 25.0, 21.0, 13.0, 12.0, 9.0, 2.0, 1.0, 6.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.027587890625, -0.02691960334777832, -0.02625131607055664, -0.02558302879333496, -0.02491474151611328, -0.0242464542388916, -0.023578166961669922, -0.022909879684448242, -0.022241592407226562, -0.021573305130004883, -0.020905017852783203, -0.020236730575561523, -0.019568443298339844, -0.018900156021118164, -0.018231868743896484, -0.017563581466674805, -0.016895294189453125, -0.016227006912231445, -0.015558719635009766, -0.014890432357788086, -0.014222145080566406, -0.013553857803344727, -0.012885570526123047, -0.012217283248901367, -0.011548995971679688, -0.010880708694458008, -0.010212421417236328, -0.009544134140014648, -0.008875846862792969, -0.008207559585571289, -0.007539272308349609, -0.00687098503112793, -0.00620269775390625, -0.00553441047668457, -0.004866123199462891, -0.004197835922241211, -0.0035295486450195312, -0.0028612613677978516, -0.002192974090576172, -0.0015246868133544922, -0.0008563995361328125, -0.0001881122589111328, 0.0004801750183105469, 0.0011484622955322266, 0.0018167495727539062, 0.002485036849975586, 0.0031533241271972656, 0.0038216114044189453, 0.004489898681640625, 0.005158185958862305, 0.005826473236083984, 0.006494760513305664, 0.007163047790527344, 0.007831335067749023, 0.008499622344970703, 0.009167909622192383, 0.009836196899414062, 0.010504484176635742, 0.011172771453857422, 0.011841058731079102, 0.012509346008300781, 0.013177633285522461, 0.01384592056274414, 0.01451420783996582, 0.0151824951171875]}, "gradients/decoder.transformer.h.17.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 3.0, 1.0, 3.0, 4.0, 5.0, 4.0, 14.0, 19.0, 23.0, 33.0, 56.0, 72.0, 142.0, 200.0, 364.0, 665.0, 1147.0, 2081.0, 3936.0, 7682.0, 15009.0, 31876.0, 74558.0, 239016.0, 460627.0, 120667.0, 46648.0, 21456.0, 10533.0, 5401.0, 2830.0, 1536.0, 813.0, 429.0, 250.0, 150.0, 105.0, 67.0, 42.0, 28.0, 19.0, 11.0, 11.0, 7.0, 2.0, 4.0, 3.0, 1.0, 4.0, 3.0, 2.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 1.0, 2.0, 1.0], "bins": [-0.0265045166015625, -0.02556586265563965, -0.024627208709716797, -0.023688554763793945, -0.022749900817871094, -0.021811246871948242, -0.02087259292602539, -0.01993393898010254, -0.018995285034179688, -0.018056631088256836, -0.017117977142333984, -0.016179323196411133, -0.015240669250488281, -0.01430201530456543, -0.013363361358642578, -0.012424707412719727, -0.011486053466796875, -0.010547399520874023, -0.009608745574951172, -0.00867009162902832, -0.007731437683105469, -0.006792783737182617, -0.005854129791259766, -0.004915475845336914, -0.0039768218994140625, -0.003038167953491211, -0.0020995140075683594, -0.0011608600616455078, -0.00022220611572265625, 0.0007164478302001953, 0.0016551017761230469, 0.0025937557220458984, 0.00353240966796875, 0.0044710636138916016, 0.005409717559814453, 0.006348371505737305, 0.007287025451660156, 0.008225679397583008, 0.00916433334350586, 0.010102987289428711, 0.011041641235351562, 0.011980295181274414, 0.012918949127197266, 0.013857603073120117, 0.014796257019042969, 0.01573491096496582, 0.016673564910888672, 0.017612218856811523, 0.018550872802734375, 0.019489526748657227, 0.020428180694580078, 0.02136683464050293, 0.02230548858642578, 0.023244142532348633, 0.024182796478271484, 0.025121450424194336, 0.026060104370117188, 0.02699875831604004, 0.02793741226196289, 0.028876066207885742, 0.029814720153808594, 0.030753374099731445, 0.0316920280456543, 0.03263068199157715, 0.0335693359375]}, "gradients/decoder.transformer.h.17.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 4.0, 4.0, 1.0, 9.0, 8.0, 8.0, 9.0, 14.0, 7.0, 14.0, 17.0, 16.0, 31.0, 28.0, 26.0, 38.0, 41.0, 37.0, 70.0, 76.0, 74.0, 167.0, 1444.0, 316.0, 129.0, 86.0, 52.0, 48.0, 41.0, 28.0, 32.0, 30.0, 24.0, 23.0, 15.0, 13.0, 20.0, 11.0, 17.0, 9.0, 5.0, 2.0, 6.0, 3.0, 3.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0609130859375, -0.05930328369140625, -0.0576934814453125, -0.05608367919921875, -0.054473876953125, -0.05286407470703125, -0.0512542724609375, -0.04964447021484375, -0.04803466796875, -0.04642486572265625, -0.0448150634765625, -0.04320526123046875, -0.041595458984375, -0.03998565673828125, -0.0383758544921875, -0.03676605224609375, -0.03515625, -0.03354644775390625, -0.0319366455078125, -0.03032684326171875, -0.028717041015625, -0.02710723876953125, -0.0254974365234375, -0.02388763427734375, -0.02227783203125, -0.02066802978515625, -0.0190582275390625, -0.01744842529296875, -0.015838623046875, -0.01422882080078125, -0.0126190185546875, -0.01100921630859375, -0.0093994140625, -0.00778961181640625, -0.0061798095703125, -0.00457000732421875, -0.002960205078125, -0.00135040283203125, 0.0002593994140625, 0.00186920166015625, 0.00347900390625, 0.00508880615234375, 0.0066986083984375, 0.00830841064453125, 0.009918212890625, 0.01152801513671875, 0.0131378173828125, 0.01474761962890625, 0.016357421875, 0.01796722412109375, 0.0195770263671875, 0.02118682861328125, 0.022796630859375, 0.02440643310546875, 0.0260162353515625, 0.02762603759765625, 0.02923583984375, 0.03084564208984375, 0.0324554443359375, 0.03406524658203125, 0.035675048828125, 0.03728485107421875, 0.0388946533203125, 0.04050445556640625, 0.0421142578125]}, "gradients/decoder.transformer.h.17.attn.c_attn.weight": {"_type": "histogram", "values": [4.0, 3.0, 3.0, 5.0, 6.0, 10.0, 6.0, 14.0, 19.0, 16.0, 21.0, 28.0, 25.0, 32.0, 52.0, 79.0, 96.0, 175.0, 284.0, 607.0, 1759.0, 7439.0, 53874.0, 1799369.0, 1224899.0, 46543.0, 7096.0, 1763.0, 605.0, 273.0, 165.0, 114.0, 73.0, 41.0, 49.0, 33.0, 22.0, 26.0, 18.0, 15.0, 14.0, 7.0, 6.0, 6.0, 4.0, 6.0, 4.0, 2.0, 4.0, 3.0, 2.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.06365966796875, -0.061003684997558594, -0.05834770202636719, -0.05569171905517578, -0.053035736083984375, -0.05037975311279297, -0.04772377014160156, -0.045067787170410156, -0.04241180419921875, -0.039755821228027344, -0.03709983825683594, -0.03444385528564453, -0.031787872314453125, -0.02913188934326172, -0.026475906372070312, -0.023819923400878906, -0.0211639404296875, -0.018507957458496094, -0.015851974487304688, -0.013195991516113281, -0.010540008544921875, -0.007884025573730469, -0.0052280426025390625, -0.0025720596313476562, 8.392333984375e-05, 0.0027399063110351562, 0.0053958892822265625, 0.008051872253417969, 0.010707855224609375, 0.013363838195800781, 0.016019821166992188, 0.018675804138183594, 0.021331787109375, 0.023987770080566406, 0.026643753051757812, 0.02929973602294922, 0.031955718994140625, 0.03461170196533203, 0.03726768493652344, 0.039923667907714844, 0.04257965087890625, 0.045235633850097656, 0.04789161682128906, 0.05054759979248047, 0.053203582763671875, 0.05585956573486328, 0.05851554870605469, 0.061171531677246094, 0.0638275146484375, 0.0664834976196289, 0.06913948059082031, 0.07179546356201172, 0.07445144653320312, 0.07710742950439453, 0.07976341247558594, 0.08241939544677734, 0.08507537841796875, 0.08773136138916016, 0.09038734436035156, 0.09304332733154297, 0.09569931030273438, 0.09835529327392578, 0.10101127624511719, 0.1036672592163086, 0.1063232421875]}, "gradients/decoder.transformer.h.17.ln_1.weight": {"_type": "histogram", "values": [6.0, 110.0, 475.0, 374.0, 49.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06187142804265022, -0.03996463865041733, -0.018057849258184433, 0.0038489364087581635, 0.025755729526281357, 0.04766252264380455, 0.06956930458545685, 0.09147609770298004, 0.11338289082050323, 0.13528968393802643, 0.15719646215438843, 0.17910325527191162, 0.20101004838943481, 0.222916841506958, 0.24482361972332, 0.2667304277420044, 0.2886371910572052, 0.3105439841747284, 0.3324507772922516, 0.3543575406074524, 0.3762643337249756, 0.3981711268424988, 0.420077919960022, 0.44198471307754517, 0.46389150619506836, 0.48579829931259155, 0.5077050924301147, 0.5296118855476379, 0.5515186786651611, 0.5734254717826843, 0.5953322649002075, 0.6172389984130859, 0.6391458511352539, 0.6610526442527771, 0.6829594373703003, 0.7048662304878235, 0.7267730236053467, 0.7486798167228699, 0.7705866098403931, 0.7924933433532715, 0.8144001960754395, 0.8363069891929626, 0.8582137823104858, 0.880120575428009, 0.9020273685455322, 0.9239341616630554, 0.9458409547805786, 0.967747688293457, 0.9896544814109802, 1.0115612745285034, 1.0334680080413818, 1.0553748607635498, 1.0772815942764282, 1.0991884469985962, 1.1210951805114746, 1.1430020332336426, 1.164908766746521, 1.1868155002593994, 1.2087223529815674, 1.2306290864944458, 1.2525359392166138, 1.2744426727294922, 1.2963495254516602, 1.3182562589645386, 1.3401631116867065]}, "gradients/decoder.transformer.h.17.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 3.0, 3.0, 4.0, 1.0, 0.0, 4.0, 2.0, 2.0, 9.0, 5.0, 6.0, 4.0, 13.0, 12.0, 14.0, 22.0, 15.0, 20.0, 21.0, 27.0, 28.0, 21.0, 38.0, 30.0, 35.0, 36.0, 25.0, 32.0, 44.0, 44.0, 43.0, 39.0, 30.0, 34.0, 32.0, 34.0, 27.0, 35.0, 17.0, 33.0, 21.0, 19.0, 16.0, 17.0, 14.0, 17.0, 7.0, 16.0, 4.0, 6.0, 8.0, 7.0, 3.0, 5.0, 3.0, 4.0, 4.0, 2.0, 1.0, 0.0, 3.0], "bins": [-0.1284657120704651, -0.1245851144194603, -0.1207045167684555, -0.11682391911745071, -0.11294332146644592, -0.10906271636486053, -0.10518211871385574, -0.10130152106285095, -0.09742092341184616, -0.09354032576084137, -0.08965972810983658, -0.08577913045883179, -0.0818985253572464, -0.0780179351568222, -0.07413733005523682, -0.07025673240423203, -0.06637613475322723, -0.06249553710222244, -0.05861493945121765, -0.05473433807492256, -0.05085374042391777, -0.04697314277291298, -0.04309254139661789, -0.0392119437456131, -0.03533134609460831, -0.031450748443603516, -0.027570148929953575, -0.023689549416303635, -0.019808951765298843, -0.015928354114294052, -0.012047754600644112, -0.008167155086994171, -0.00428655743598938, -0.000405958853662014, 0.003474639728665352, 0.007355238310992718, 0.011235836893320084, 0.015116434544324875, 0.018997034057974815, 0.022877633571624756, 0.026758231222629547, 0.03063882887363434, 0.03451942652463913, 0.03840002790093422, 0.04228062555193901, 0.0461612232029438, 0.05004182457923889, 0.05392242223024368, 0.057803019881248474, 0.061683617532253265, 0.06556421518325806, 0.06944481283426285, 0.07332541048526764, 0.07720601558685303, 0.08108661323785782, 0.08496721088886261, 0.0888478085398674, 0.09272840619087219, 0.09660900384187698, 0.10048960149288177, 0.10437020659446716, 0.10825079679489136, 0.11213140189647675, 0.11601199954748154, 0.11989259719848633]}, "gradients/decoder.transformer.h.16.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 4.0, 3.0, 1.0, 5.0, 4.0, 8.0, 9.0, 19.0, 28.0, 32.0, 34.0, 44.0, 43.0, 54.0, 67.0, 62.0, 62.0, 62.0, 56.0, 77.0, 70.0, 46.0, 39.0, 37.0, 32.0, 32.0, 22.0, 22.0, 12.0, 10.0, 9.0, 4.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0287017822265625, -0.028008222579956055, -0.02731466293334961, -0.026621103286743164, -0.02592754364013672, -0.025233983993530273, -0.024540424346923828, -0.023846864700317383, -0.023153305053710938, -0.022459745407104492, -0.021766185760498047, -0.0210726261138916, -0.020379066467285156, -0.01968550682067871, -0.018991947174072266, -0.01829838752746582, -0.017604827880859375, -0.01691126823425293, -0.016217708587646484, -0.015524148941040039, -0.014830589294433594, -0.014137029647827148, -0.013443470001220703, -0.012749910354614258, -0.012056350708007812, -0.011362791061401367, -0.010669231414794922, -0.009975671768188477, -0.009282112121582031, -0.008588552474975586, -0.00789499282836914, -0.007201433181762695, -0.00650787353515625, -0.005814313888549805, -0.005120754241943359, -0.004427194595336914, -0.0037336349487304688, -0.0030400753021240234, -0.002346515655517578, -0.0016529560089111328, -0.0009593963623046875, -0.0002658367156982422, 0.0004277229309082031, 0.0011212825775146484, 0.0018148422241210938, 0.002508401870727539, 0.0032019615173339844, 0.0038955211639404297, 0.004589080810546875, 0.00528264045715332, 0.005976200103759766, 0.006669759750366211, 0.007363319396972656, 0.008056879043579102, 0.008750438690185547, 0.009443998336791992, 0.010137557983398438, 0.010831117630004883, 0.011524677276611328, 0.012218236923217773, 0.012911796569824219, 0.013605356216430664, 0.01429891586303711, 0.014992475509643555, 0.01568603515625]}, "gradients/decoder.transformer.h.16.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 6.0, 4.0, 9.0, 17.0, 13.0, 19.0, 22.0, 42.0, 56.0, 118.0, 181.0, 394.0, 1272.0, 4669.0, 27023.0, 267877.0, 3086009.0, 737035.0, 58264.0, 8326.0, 1841.0, 585.0, 199.0, 123.0, 64.0, 36.0, 29.0, 26.0, 12.0, 7.0, 3.0, 7.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.08758544921875, -0.08537817001342773, -0.08317089080810547, -0.0809636116027832, -0.07875633239746094, -0.07654905319213867, -0.0743417739868164, -0.07213449478149414, -0.06992721557617188, -0.06771993637084961, -0.06551265716552734, -0.06330537796020508, -0.06109809875488281, -0.05889081954956055, -0.05668354034423828, -0.054476261138916016, -0.05226898193359375, -0.050061702728271484, -0.04785442352294922, -0.04564714431762695, -0.04343986511230469, -0.04123258590698242, -0.039025306701660156, -0.03681802749633789, -0.034610748291015625, -0.03240346908569336, -0.030196189880371094, -0.027988910675048828, -0.025781631469726562, -0.023574352264404297, -0.02136707305908203, -0.019159793853759766, -0.0169525146484375, -0.014745235443115234, -0.012537956237792969, -0.010330677032470703, -0.008123397827148438, -0.005916118621826172, -0.0037088394165039062, -0.0015015602111816406, 0.000705718994140625, 0.0029129981994628906, 0.005120277404785156, 0.007327556610107422, 0.009534835815429688, 0.011742115020751953, 0.013949394226074219, 0.016156673431396484, 0.01836395263671875, 0.020571231842041016, 0.02277851104736328, 0.024985790252685547, 0.027193069458007812, 0.029400348663330078, 0.031607627868652344, 0.03381490707397461, 0.036022186279296875, 0.03822946548461914, 0.040436744689941406, 0.04264402389526367, 0.04485130310058594, 0.0470585823059082, 0.04926586151123047, 0.051473140716552734, 0.053680419921875]}, "gradients/decoder.transformer.h.16.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 7.0, 2.0, 11.0, 12.0, 14.0, 14.0, 31.0, 28.0, 47.0, 61.0, 117.0, 157.0, 215.0, 277.0, 360.0, 466.0, 509.0, 437.0, 331.0, 262.0, 188.0, 155.0, 88.0, 76.0, 56.0, 40.0, 26.0, 25.0, 18.0, 14.0, 6.0, 8.0, 7.0, 3.0, 3.0, 3.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0478515625, -0.046462059020996094, -0.04507255554199219, -0.04368305206298828, -0.042293548583984375, -0.04090404510498047, -0.03951454162597656, -0.038125038146972656, -0.03673553466796875, -0.035346031188964844, -0.03395652770996094, -0.03256702423095703, -0.031177520751953125, -0.02978801727294922, -0.028398513793945312, -0.027009010314941406, -0.0256195068359375, -0.024230003356933594, -0.022840499877929688, -0.02145099639892578, -0.020061492919921875, -0.01867198944091797, -0.017282485961914062, -0.015892982482910156, -0.01450347900390625, -0.013113975524902344, -0.011724472045898438, -0.010334968566894531, -0.008945465087890625, -0.007555961608886719, -0.0061664581298828125, -0.004776954650878906, -0.003387451171875, -0.0019979476928710938, -0.0006084442138671875, 0.0007810592651367188, 0.002170562744140625, 0.0035600662231445312, 0.0049495697021484375, 0.006339073181152344, 0.00772857666015625, 0.009118080139160156, 0.010507583618164062, 0.011897087097167969, 0.013286590576171875, 0.014676094055175781, 0.016065597534179688, 0.017455101013183594, 0.0188446044921875, 0.020234107971191406, 0.021623611450195312, 0.02301311492919922, 0.024402618408203125, 0.02579212188720703, 0.027181625366210938, 0.028571128845214844, 0.02996063232421875, 0.031350135803222656, 0.03273963928222656, 0.03412914276123047, 0.035518646240234375, 0.03690814971923828, 0.03829765319824219, 0.039687156677246094, 0.04107666015625]}, "gradients/decoder.transformer.h.16.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 3.0, 3.0, 9.0, 6.0, 9.0, 15.0, 21.0, 24.0, 38.0, 52.0, 88.0, 148.0, 228.0, 518.0, 1241.0, 4102.0, 25719.0, 331257.0, 3217544.0, 566575.0, 38606.0, 5358.0, 1459.0, 604.0, 272.0, 150.0, 85.0, 48.0, 38.0, 10.0, 19.0, 10.0, 9.0, 9.0, 3.0, 3.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10595703125, -0.10225105285644531, -0.09854507446289062, -0.09483909606933594, -0.09113311767578125, -0.08742713928222656, -0.08372116088867188, -0.08001518249511719, -0.0763092041015625, -0.07260322570800781, -0.06889724731445312, -0.06519126892089844, -0.06148529052734375, -0.05777931213378906, -0.054073333740234375, -0.05036735534667969, -0.046661376953125, -0.04295539855957031, -0.039249420166015625, -0.03554344177246094, -0.03183746337890625, -0.028131484985351562, -0.024425506591796875, -0.020719528198242188, -0.0170135498046875, -0.013307571411132812, -0.009601593017578125, -0.0058956146240234375, -0.00218963623046875, 0.0015163421630859375, 0.005222320556640625, 0.008928298950195312, 0.01263427734375, 0.016340255737304688, 0.020046234130859375, 0.023752212524414062, 0.02745819091796875, 0.031164169311523438, 0.034870147705078125, 0.03857612609863281, 0.0422821044921875, 0.04598808288574219, 0.049694061279296875, 0.05340003967285156, 0.05710601806640625, 0.06081199645996094, 0.06451797485351562, 0.06822395324707031, 0.071929931640625, 0.07563591003417969, 0.07934188842773438, 0.08304786682128906, 0.08675384521484375, 0.09045982360839844, 0.09416580200195312, 0.09787178039550781, 0.1015777587890625, 0.10528373718261719, 0.10898971557617188, 0.11269569396972656, 0.11640167236328125, 0.12010765075683594, 0.12381362915039062, 0.1275196075439453, 0.1312255859375]}, "gradients/decoder.transformer.h.16.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 5.0, 9.0, 18.0, 38.0, 55.0, 74.0, 110.0, 138.0, 118.0, 100.0, 105.0, 91.0, 66.0, 45.0, 16.0, 13.0, 7.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.4255572259426117, -0.414556622505188, -0.4035559892654419, -0.3925553858280182, -0.3815547823905945, -0.3705541789531708, -0.3595535457134247, -0.348552942276001, -0.33755233883857727, -0.32655173540115356, -0.31555110216140747, -0.30455049872398376, -0.29354989528656006, -0.28254929184913635, -0.27154865860939026, -0.26054805517196655, -0.24954743683338165, -0.23854681849479675, -0.22754621505737305, -0.21654559671878815, -0.20554499328136444, -0.19454437494277954, -0.18354377150535583, -0.17254315316677094, -0.16154253482818604, -0.15054191648960114, -0.13954131305217743, -0.12854069471359253, -0.11754009127616882, -0.10653947293758392, -0.09553886204957962, -0.08453825116157532, -0.07353764772415161, -0.06253703683614731, -0.051536425948143005, -0.040535811334848404, -0.0295352004468441, -0.018534589558839798, -0.0075339749455451965, 0.0034666359424591064, 0.01446724683046341, 0.025467857718467712, 0.036468468606472015, 0.04746908321976662, 0.05846969410777092, 0.06947030127048492, 0.08047091960906982, 0.09147153049707413, 0.10247214138507843, 0.11347275227308273, 0.12447336316108704, 0.13547398149967194, 0.14647458493709564, 0.15747520327568054, 0.16847580671310425, 0.17947642505168915, 0.19047704339027405, 0.20147766172885895, 0.21247826516628265, 0.22347888350486755, 0.23447948694229126, 0.24548010528087616, 0.25648072361946106, 0.26748132705688477, 0.27848193049430847]}, "gradients/decoder.transformer.h.16.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 4.0, 2.0, 4.0, 2.0, 4.0, 10.0, 11.0, 7.0, 15.0, 10.0, 14.0, 15.0, 19.0, 20.0, 25.0, 34.0, 35.0, 38.0, 32.0, 40.0, 44.0, 53.0, 35.0, 34.0, 44.0, 34.0, 30.0, 42.0, 42.0, 47.0, 32.0, 32.0, 28.0, 21.0, 27.0, 25.0, 17.0, 12.0, 11.0, 11.0, 9.0, 14.0, 6.0, 5.0, 3.0, 2.0, 3.0, 2.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.14906668663024902, -0.14428642392158508, -0.13950614631175995, -0.134725883603096, -0.12994560599327087, -0.12516534328460693, -0.120385080575943, -0.11560481041669846, -0.11082454025745392, -0.10604427009820938, -0.10126399993896484, -0.0964837372303009, -0.09170346707105637, -0.08692319691181183, -0.08214293420314789, -0.07736266404390335, -0.07258239388465881, -0.06780212372541428, -0.06302185356616974, -0.0582415908575058, -0.05346132069826126, -0.048681050539016724, -0.043900784105062485, -0.039120517671108246, -0.03434024751186371, -0.02955997921526432, -0.024779710918664932, -0.019999442622065544, -0.015219174325466156, -0.010438906028866768, -0.00565863773226738, -0.0008783712983131409, 0.0039018988609313965, 0.008682167157530785, 0.013462435454130173, 0.01824270375072956, 0.02302297204732895, 0.027803240343928337, 0.032583508640527725, 0.037363775074481964, 0.0421440452337265, 0.04692431539297104, 0.05170458182692528, 0.05648484826087952, 0.061265118420124054, 0.06604538857936859, 0.07082565128803253, 0.07560592144727707, 0.0803861916065216, 0.08516646176576614, 0.08994673192501068, 0.09472699463367462, 0.09950726479291916, 0.1042875349521637, 0.10906779766082764, 0.11384806782007217, 0.11862833797931671, 0.12340860813856125, 0.1281888782978058, 0.13296914100646973, 0.13774940371513367, 0.1425296813249588, 0.14730994403362274, 0.15209022164344788, 0.15687048435211182]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 5.0, 2.0, 4.0, 1.0, 4.0, 8.0, 9.0, 14.0, 12.0, 24.0, 37.0, 38.0, 44.0, 58.0, 45.0, 65.0, 66.0, 57.0, 71.0, 57.0, 56.0, 61.0, 46.0, 36.0, 40.0, 39.0, 27.0, 20.0, 22.0, 20.0, 9.0, 5.0, 6.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0284423828125, -0.02775263786315918, -0.02706289291381836, -0.02637314796447754, -0.02568340301513672, -0.0249936580657959, -0.024303913116455078, -0.023614168167114258, -0.022924423217773438, -0.022234678268432617, -0.021544933319091797, -0.020855188369750977, -0.020165443420410156, -0.019475698471069336, -0.018785953521728516, -0.018096208572387695, -0.017406463623046875, -0.016716718673706055, -0.016026973724365234, -0.015337228775024414, -0.014647483825683594, -0.013957738876342773, -0.013267993927001953, -0.012578248977661133, -0.011888504028320312, -0.011198759078979492, -0.010509014129638672, -0.009819269180297852, -0.009129524230957031, -0.008439779281616211, -0.007750034332275391, -0.00706028938293457, -0.00637054443359375, -0.00568079948425293, -0.004991054534912109, -0.004301309585571289, -0.0036115646362304688, -0.0029218196868896484, -0.002232074737548828, -0.0015423297882080078, -0.0008525848388671875, -0.0001628398895263672, 0.0005269050598144531, 0.0012166500091552734, 0.0019063949584960938, 0.002596139907836914, 0.0032858848571777344, 0.003975629806518555, 0.004665374755859375, 0.005355119705200195, 0.006044864654541016, 0.006734609603881836, 0.007424354553222656, 0.008114099502563477, 0.008803844451904297, 0.009493589401245117, 0.010183334350585938, 0.010873079299926758, 0.011562824249267578, 0.012252569198608398, 0.012942314147949219, 0.013632059097290039, 0.01432180404663086, 0.01501154899597168, 0.0157012939453125]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 11.0, 9.0, 20.0, 13.0, 25.0, 36.0, 48.0, 75.0, 140.0, 259.0, 480.0, 932.0, 1821.0, 3745.0, 8322.0, 19793.0, 48778.0, 130787.0, 489736.0, 218375.0, 73751.0, 28861.0, 12070.0, 5414.0, 2440.0, 1171.0, 635.0, 314.0, 177.0, 110.0, 64.0, 54.0, 24.0, 16.0, 11.0, 11.0, 12.0, 7.0, 2.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.000209808349609375, -0.00020319223403930664, -0.00019657611846923828, -0.00018996000289916992, -0.00018334388732910156, -0.0001767277717590332, -0.00017011165618896484, -0.00016349554061889648, -0.00015687942504882812, -0.00015026330947875977, -0.0001436471939086914, -0.00013703107833862305, -0.0001304149627685547, -0.00012379884719848633, -0.00011718273162841797, -0.00011056661605834961, -0.00010395050048828125, -9.733438491821289e-05, -9.071826934814453e-05, -8.410215377807617e-05, -7.748603820800781e-05, -7.086992263793945e-05, -6.42538070678711e-05, -5.7637691497802734e-05, -5.1021575927734375e-05, -4.4405460357666016e-05, -3.7789344787597656e-05, -3.11732292175293e-05, -2.4557113647460938e-05, -1.7940998077392578e-05, -1.1324882507324219e-05, -4.708766937255859e-06, 1.9073486328125e-06, 8.52346420288086e-06, 1.5139579772949219e-05, 2.1755695343017578e-05, 2.8371810913085938e-05, 3.49879264831543e-05, 4.1604042053222656e-05, 4.8220157623291016e-05, 5.4836273193359375e-05, 6.145238876342773e-05, 6.80685043334961e-05, 7.468461990356445e-05, 8.130073547363281e-05, 8.791685104370117e-05, 9.453296661376953e-05, 0.00010114908218383789, 0.00010776519775390625, 0.00011438131332397461, 0.00012099742889404297, 0.00012761354446411133, 0.0001342296600341797, 0.00014084577560424805, 0.0001474618911743164, 0.00015407800674438477, 0.00016069412231445312, 0.00016731023788452148, 0.00017392635345458984, 0.0001805424690246582, 0.00018715858459472656, 0.00019377470016479492, 0.00020039081573486328, 0.00020700693130493164, 0.000213623046875]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 7.0, 13.0, 14.0, 13.0, 17.0, 21.0, 17.0, 22.0, 12.0, 43.0, 25.0, 25.0, 45.0, 37.0, 29.0, 50.0, 31.0, 55.0, 1070.0, 46.0, 46.0, 45.0, 37.0, 36.0, 41.0, 27.0, 29.0, 36.0, 20.0, 18.0, 18.0, 16.0, 10.0, 15.0, 6.0, 10.0, 5.0, 8.0, 7.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.015777587890625, -0.015330076217651367, -0.014882564544677734, -0.014435052871704102, -0.013987541198730469, -0.013540029525756836, -0.013092517852783203, -0.01264500617980957, -0.012197494506835938, -0.011749982833862305, -0.011302471160888672, -0.010854959487915039, -0.010407447814941406, -0.009959936141967773, -0.00951242446899414, -0.009064912796020508, -0.008617401123046875, -0.008169889450073242, -0.007722377777099609, -0.0072748661041259766, -0.006827354431152344, -0.006379842758178711, -0.005932331085205078, -0.005484819412231445, -0.0050373077392578125, -0.00458979606628418, -0.004142284393310547, -0.003694772720336914, -0.0032472610473632812, -0.0027997493743896484, -0.0023522377014160156, -0.0019047260284423828, -0.00145721435546875, -0.0010097026824951172, -0.0005621910095214844, -0.00011467933654785156, 0.00033283233642578125, 0.0007803440093994141, 0.0012278556823730469, 0.0016753673553466797, 0.0021228790283203125, 0.0025703907012939453, 0.003017902374267578, 0.003465414047241211, 0.003912925720214844, 0.0043604373931884766, 0.004807949066162109, 0.005255460739135742, 0.005702972412109375, 0.006150484085083008, 0.006597995758056641, 0.0070455074310302734, 0.007493019104003906, 0.007940530776977539, 0.008388042449951172, 0.008835554122924805, 0.009283065795898438, 0.00973057746887207, 0.010178089141845703, 0.010625600814819336, 0.011073112487792969, 0.011520624160766602, 0.011968135833740234, 0.012415647506713867, 0.0128631591796875]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 8.0, 7.0, 9.0, 11.0, 6.0, 15.0, 8.0, 14.0, 21.0, 22.0, 23.0, 30.0, 26.0, 30.0, 45.0, 49.0, 174.0, 474.0, 1441.0, 7403.0, 2074288.0, 10140.0, 1824.0, 498.0, 210.0, 83.0, 27.0, 31.0, 31.0, 33.0, 26.0, 18.0, 15.0, 19.0, 20.0, 12.0, 14.0, 11.0, 9.0, 4.0, 3.0, 3.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2755393981933594e-05, -1.2324191629886627e-05, -1.189298927783966e-05, -1.1461786925792694e-05, -1.1030584573745728e-05, -1.0599382221698761e-05, -1.0168179869651794e-05, -9.736977517604828e-06, -9.305775165557861e-06, -8.874572813510895e-06, -8.443370461463928e-06, -8.012168109416962e-06, -7.580965757369995e-06, -7.1497634053230286e-06, -6.718561053276062e-06, -6.2873587012290955e-06, -5.856156349182129e-06, -5.424953997135162e-06, -4.993751645088196e-06, -4.562549293041229e-06, -4.131346940994263e-06, -3.700144588947296e-06, -3.2689422369003296e-06, -2.837739884853363e-06, -2.4065375328063965e-06, -1.97533518075943e-06, -1.5441328287124634e-06, -1.1129304766654968e-06, -6.817281246185303e-07, -2.505257725715637e-07, 1.8067657947540283e-07, 6.118789315223694e-07, 1.043081283569336e-06, 1.4742836356163025e-06, 1.905485987663269e-06, 2.3366883397102356e-06, 2.767890691757202e-06, 3.1990930438041687e-06, 3.6302953958511353e-06, 4.061497747898102e-06, 4.492700099945068e-06, 4.923902451992035e-06, 5.3551048040390015e-06, 5.786307156085968e-06, 6.2175095081329346e-06, 6.648711860179901e-06, 7.079914212226868e-06, 7.511116564273834e-06, 7.9423189163208e-06, 8.373521268367767e-06, 8.804723620414734e-06, 9.2359259724617e-06, 9.667128324508667e-06, 1.0098330676555634e-05, 1.05295330286026e-05, 1.0960735380649567e-05, 1.1391937732696533e-05, 1.18231400847435e-05, 1.2254342436790466e-05, 1.2685544788837433e-05, 1.31167471408844e-05, 1.3547949492931366e-05, 1.3979151844978333e-05, 1.4410354197025299e-05, 1.4841556549072266e-05]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 5.0, 2.0, 4.0, 1.0, 4.0, 8.0, 9.0, 14.0, 12.0, 24.0, 37.0, 38.0, 44.0, 58.0, 45.0, 65.0, 66.0, 57.0, 71.0, 57.0, 56.0, 61.0, 46.0, 36.0, 40.0, 39.0, 27.0, 20.0, 22.0, 20.0, 9.0, 5.0, 6.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0284423828125, -0.02775263786315918, -0.02706289291381836, -0.02637314796447754, -0.02568340301513672, -0.0249936580657959, -0.024303913116455078, -0.023614168167114258, -0.022924423217773438, -0.022234678268432617, -0.021544933319091797, -0.020855188369750977, -0.020165443420410156, -0.019475698471069336, -0.018785953521728516, -0.018096208572387695, -0.017406463623046875, -0.016716718673706055, -0.016026973724365234, -0.015337228775024414, -0.014647483825683594, -0.013957738876342773, -0.013267993927001953, -0.012578248977661133, -0.011888504028320312, -0.011198759078979492, -0.010509014129638672, -0.009819269180297852, -0.009129524230957031, -0.008439779281616211, -0.007750034332275391, -0.00706028938293457, -0.00637054443359375, -0.00568079948425293, -0.004991054534912109, -0.004301309585571289, -0.0036115646362304688, -0.0029218196868896484, -0.002232074737548828, -0.0015423297882080078, -0.0008525848388671875, -0.0001628398895263672, 0.0005269050598144531, 0.0012166500091552734, 0.0019063949584960938, 0.002596139907836914, 0.0032858848571777344, 0.003975629806518555, 0.004665374755859375, 0.005355119705200195, 0.006044864654541016, 0.006734609603881836, 0.007424354553222656, 0.008114099502563477, 0.008803844451904297, 0.009493589401245117, 0.010183334350585938, 0.010873079299926758, 0.011562824249267578, 0.012252569198608398, 0.012942314147949219, 0.013632059097290039, 0.01432180404663086, 0.01501154899597168, 0.0157012939453125]}, "gradients/decoder.transformer.h.16.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 5.0, 5.0, 2.0, 4.0, 8.0, 15.0, 22.0, 43.0, 67.0, 129.0, 214.0, 468.0, 836.0, 1693.0, 3316.0, 6707.0, 14029.0, 30298.0, 69766.0, 189509.0, 491622.0, 138386.0, 54680.0, 24212.0, 11366.0, 5426.0, 2819.0, 1372.0, 760.0, 343.0, 207.0, 99.0, 48.0, 33.0, 21.0, 19.0, 0.0, 2.0, 4.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.039520263671875, -0.03843331336975098, -0.03734636306762695, -0.03625941276550293, -0.035172462463378906, -0.03408551216125488, -0.03299856185913086, -0.031911611557006836, -0.030824661254882812, -0.02973771095275879, -0.028650760650634766, -0.027563810348510742, -0.02647686004638672, -0.025389909744262695, -0.024302959442138672, -0.02321600914001465, -0.022129058837890625, -0.0210421085357666, -0.019955158233642578, -0.018868207931518555, -0.01778125762939453, -0.016694307327270508, -0.015607357025146484, -0.014520406723022461, -0.013433456420898438, -0.012346506118774414, -0.01125955581665039, -0.010172605514526367, -0.009085655212402344, -0.00799870491027832, -0.006911754608154297, -0.0058248043060302734, -0.00473785400390625, -0.0036509037017822266, -0.002563953399658203, -0.0014770030975341797, -0.00039005279541015625, 0.0006968975067138672, 0.0017838478088378906, 0.002870798110961914, 0.0039577484130859375, 0.005044698715209961, 0.006131649017333984, 0.007218599319458008, 0.008305549621582031, 0.009392499923706055, 0.010479450225830078, 0.011566400527954102, 0.012653350830078125, 0.013740301132202148, 0.014827251434326172, 0.015914201736450195, 0.01700115203857422, 0.018088102340698242, 0.019175052642822266, 0.02026200294494629, 0.021348953247070312, 0.022435903549194336, 0.02352285385131836, 0.024609804153442383, 0.025696754455566406, 0.02678370475769043, 0.027870655059814453, 0.028957605361938477, 0.0300445556640625]}, "gradients/decoder.transformer.h.16.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 3.0, 7.0, 10.0, 15.0, 5.0, 12.0, 18.0, 14.0, 18.0, 20.0, 25.0, 32.0, 29.0, 46.0, 42.0, 41.0, 55.0, 77.0, 130.0, 216.0, 1460.0, 208.0, 118.0, 54.0, 64.0, 65.0, 36.0, 33.0, 35.0, 21.0, 18.0, 21.0, 18.0, 18.0, 15.0, 6.0, 11.0, 6.0, 9.0, 8.0, 5.0, 2.0, 2.0, 3.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.05377197265625, -0.05211591720581055, -0.050459861755371094, -0.04880380630493164, -0.04714775085449219, -0.045491695404052734, -0.04383563995361328, -0.04217958450317383, -0.040523529052734375, -0.03886747360229492, -0.03721141815185547, -0.035555362701416016, -0.03389930725097656, -0.03224325180053711, -0.030587196350097656, -0.028931140899658203, -0.02727508544921875, -0.025619029998779297, -0.023962974548339844, -0.02230691909790039, -0.020650863647460938, -0.018994808197021484, -0.01733875274658203, -0.015682697296142578, -0.014026641845703125, -0.012370586395263672, -0.010714530944824219, -0.009058475494384766, -0.0074024200439453125, -0.005746364593505859, -0.004090309143066406, -0.002434253692626953, -0.0007781982421875, 0.0008778572082519531, 0.0025339126586914062, 0.004189968109130859, 0.0058460235595703125, 0.007502079010009766, 0.009158134460449219, 0.010814189910888672, 0.012470245361328125, 0.014126300811767578, 0.01578235626220703, 0.017438411712646484, 0.019094467163085938, 0.02075052261352539, 0.022406578063964844, 0.024062633514404297, 0.02571868896484375, 0.027374744415283203, 0.029030799865722656, 0.03068685531616211, 0.03234291076660156, 0.033998966217041016, 0.03565502166748047, 0.03731107711791992, 0.038967132568359375, 0.04062318801879883, 0.04227924346923828, 0.043935298919677734, 0.04559135437011719, 0.04724740982055664, 0.048903465270996094, 0.05055952072143555, 0.052215576171875]}, "gradients/decoder.transformer.h.16.attn.c_attn.weight": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 3.0, 4.0, 7.0, 12.0, 11.0, 13.0, 20.0, 17.0, 35.0, 35.0, 44.0, 48.0, 63.0, 89.0, 146.0, 193.0, 304.0, 718.0, 3323.0, 20779.0, 238721.0, 2667881.0, 190624.0, 17886.0, 2955.0, 732.0, 319.0, 203.0, 107.0, 109.0, 65.0, 52.0, 35.0, 30.0, 26.0, 24.0, 16.0, 8.0, 16.0, 9.0, 6.0, 6.0, 4.0, 4.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.08465576171875, -0.08178234100341797, -0.07890892028808594, -0.0760354995727539, -0.07316207885742188, -0.07028865814208984, -0.06741523742675781, -0.06454181671142578, -0.06166839599609375, -0.05879497528076172, -0.05592155456542969, -0.053048133850097656, -0.050174713134765625, -0.047301292419433594, -0.04442787170410156, -0.04155445098876953, -0.0386810302734375, -0.03580760955810547, -0.03293418884277344, -0.030060768127441406, -0.027187347412109375, -0.024313926696777344, -0.021440505981445312, -0.01856708526611328, -0.01569366455078125, -0.012820243835449219, -0.009946823120117188, -0.007073402404785156, -0.004199981689453125, -0.0013265609741210938, 0.0015468597412109375, 0.004420280456542969, 0.007293701171875, 0.010167121887207031, 0.013040542602539062, 0.015913963317871094, 0.018787384033203125, 0.021660804748535156, 0.024534225463867188, 0.02740764617919922, 0.03028106689453125, 0.03315448760986328, 0.03602790832519531, 0.038901329040527344, 0.041774749755859375, 0.044648170471191406, 0.04752159118652344, 0.05039501190185547, 0.0532684326171875, 0.05614185333251953, 0.05901527404785156, 0.061888694763183594, 0.06476211547851562, 0.06763553619384766, 0.07050895690917969, 0.07338237762451172, 0.07625579833984375, 0.07912921905517578, 0.08200263977050781, 0.08487606048583984, 0.08774948120117188, 0.0906229019165039, 0.09349632263183594, 0.09636974334716797, 0.0992431640625]}, "gradients/decoder.transformer.h.16.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 47.0, 192.0, 353.0, 290.0, 98.0, 30.0, 3.0, 3.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.912066638469696, -0.8954319953918457, -0.8787974119186401, -0.8621627688407898, -0.8455281853675842, -0.8288935422897339, -0.8122589588165283, -0.795624315738678, -0.7789896726608276, -0.7623550295829773, -0.7457204461097717, -0.7290858030319214, -0.7124512195587158, -0.6958165764808655, -0.6791819930076599, -0.6625473499298096, -0.645912766456604, -0.6292781233787537, -0.6126435399055481, -0.5960088968276978, -0.5793743133544922, -0.5627396702766418, -0.5461050868034363, -0.5294704437255859, -0.5128358602523804, -0.4962012469768524, -0.47956663370132446, -0.4629320204257965, -0.44629740715026855, -0.4296627640724182, -0.41302815079689026, -0.3963935375213623, -0.37975889444351196, -0.363124281167984, -0.34648966789245605, -0.3298550546169281, -0.31322044134140015, -0.2965857982635498, -0.27995118498802185, -0.2633165717124939, -0.24668197333812714, -0.23004736006259918, -0.21341273188591003, -0.19677811861038208, -0.18014350533485413, -0.16350889205932617, -0.14687427878379822, -0.13023965060710907, -0.11360503733158112, -0.09697042405605316, -0.08033580332994461, -0.06370118260383606, -0.047066569328308105, -0.03043195605278015, -0.0137973353266716, 0.0028372853994369507, 0.019471898674964905, 0.03610651567578316, 0.05274113267660141, 0.06937575340270996, 0.08601036667823792, 0.10264497995376587, 0.11927960067987442, 0.13591422140598297, 0.15254883468151093]}, "gradients/decoder.transformer.h.16.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 6.0, 6.0, 9.0, 12.0, 11.0, 16.0, 15.0, 20.0, 15.0, 24.0, 28.0, 38.0, 24.0, 28.0, 29.0, 30.0, 39.0, 38.0, 48.0, 39.0, 42.0, 45.0, 32.0, 38.0, 45.0, 37.0, 28.0, 21.0, 36.0, 34.0, 30.0, 26.0, 20.0, 16.0, 18.0, 10.0, 8.0, 11.0, 5.0, 5.0, 2.0, 12.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.15420877933502197, -0.14897520840168, -0.1437416523694992, -0.13850808143615723, -0.13327452540397644, -0.12804095447063446, -0.12280738353729248, -0.1175738200545311, -0.11234025657176971, -0.10710669308900833, -0.10187312960624695, -0.09663955867290497, -0.09140599519014359, -0.0861724317073822, -0.08093886077404022, -0.07570529729127884, -0.07047173380851746, -0.06523817032575607, -0.06000460311770439, -0.05477103590965271, -0.04953747242689133, -0.044303908944129944, -0.03907034173607826, -0.03383677452802658, -0.028603211045265198, -0.023369645699858665, -0.018136080354452133, -0.012902515009045601, -0.007668949663639069, -0.0024353843182325363, 0.002798181027173996, 0.008031748235225677, 0.01326531171798706, 0.018498877063393593, 0.023732442408800125, 0.028966007754206657, 0.03419957309961319, 0.03943313658237457, 0.044666703790426254, 0.049900270998477936, 0.05513383448123932, 0.0603673979640007, 0.06560096144676208, 0.07083453238010406, 0.07606809586286545, 0.08130165934562683, 0.08653523027896881, 0.0917687937617302, 0.09700235724449158, 0.10223592072725296, 0.10746948421001434, 0.11270305514335632, 0.1179366186261177, 0.12317018210887909, 0.12840375304222107, 0.13363730907440186, 0.13887088000774384, 0.14410445094108582, 0.1493380069732666, 0.15457157790660858, 0.15980514883995056, 0.16503870487213135, 0.17027227580547333, 0.1755058467388153, 0.1807394027709961]}, "gradients/decoder.transformer.h.15.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 5.0, 3.0, 2.0, 1.0, 10.0, 7.0, 13.0, 13.0, 24.0, 25.0, 31.0, 44.0, 42.0, 65.0, 46.0, 62.0, 63.0, 65.0, 59.0, 59.0, 62.0, 56.0, 44.0, 37.0, 37.0, 29.0, 26.0, 21.0, 23.0, 18.0, 6.0, 4.0, 4.0, 5.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0291900634765625, -0.02849256992340088, -0.027795076370239258, -0.027097582817077637, -0.026400089263916016, -0.025702595710754395, -0.025005102157592773, -0.024307608604431152, -0.02361011505126953, -0.02291262149810791, -0.02221512794494629, -0.021517634391784668, -0.020820140838623047, -0.020122647285461426, -0.019425153732299805, -0.018727660179138184, -0.018030166625976562, -0.01733267307281494, -0.01663517951965332, -0.0159376859664917, -0.015240192413330078, -0.014542698860168457, -0.013845205307006836, -0.013147711753845215, -0.012450218200683594, -0.011752724647521973, -0.011055231094360352, -0.01035773754119873, -0.00966024398803711, -0.008962750434875488, -0.008265256881713867, -0.007567763328552246, -0.006870269775390625, -0.006172776222229004, -0.005475282669067383, -0.004777789115905762, -0.004080295562744141, -0.0033828020095825195, -0.0026853084564208984, -0.0019878149032592773, -0.0012903213500976562, -0.0005928277969360352, 0.00010466575622558594, 0.000802159309387207, 0.0014996528625488281, 0.0021971464157104492, 0.0028946399688720703, 0.0035921335220336914, 0.0042896270751953125, 0.004987120628356934, 0.005684614181518555, 0.006382107734680176, 0.007079601287841797, 0.007777094841003418, 0.008474588394165039, 0.00917208194732666, 0.009869575500488281, 0.010567069053649902, 0.011264562606811523, 0.011962056159973145, 0.012659549713134766, 0.013357043266296387, 0.014054536819458008, 0.014752030372619629, 0.01544952392578125]}, "gradients/decoder.transformer.h.15.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 3.0, 2.0, 2.0, 1.0, 2.0, 8.0, 6.0, 5.0, 17.0, 15.0, 15.0, 27.0, 37.0, 41.0, 69.0, 89.0, 154.0, 253.0, 561.0, 1235.0, 3043.0, 9001.0, 30641.0, 121404.0, 636823.0, 2464058.0, 739637.0, 137795.0, 33769.0, 9722.0, 3282.0, 1303.0, 530.0, 276.0, 164.0, 99.0, 68.0, 31.0, 32.0, 20.0, 10.0, 10.0, 7.0, 7.0, 10.0, 2.0, 3.0, 4.0, 3.0], "bins": [-0.053314208984375, -0.05199909210205078, -0.05068397521972656, -0.049368858337402344, -0.048053741455078125, -0.046738624572753906, -0.04542350769042969, -0.04410839080810547, -0.04279327392578125, -0.04147815704345703, -0.04016304016113281, -0.038847923278808594, -0.037532806396484375, -0.036217689514160156, -0.03490257263183594, -0.03358745574951172, -0.0322723388671875, -0.03095722198486328, -0.029642105102539062, -0.028326988220214844, -0.027011871337890625, -0.025696754455566406, -0.024381637573242188, -0.02306652069091797, -0.02175140380859375, -0.02043628692626953, -0.019121170043945312, -0.017806053161621094, -0.016490936279296875, -0.015175819396972656, -0.013860702514648438, -0.012545585632324219, -0.01123046875, -0.009915351867675781, -0.008600234985351562, -0.007285118103027344, -0.005970001220703125, -0.004654884338378906, -0.0033397674560546875, -0.0020246505737304688, -0.00070953369140625, 0.0006055831909179688, 0.0019207000732421875, 0.0032358169555664062, 0.004550933837890625, 0.005866050720214844, 0.0071811676025390625, 0.008496284484863281, 0.0098114013671875, 0.011126518249511719, 0.012441635131835938, 0.013756752014160156, 0.015071868896484375, 0.016386985778808594, 0.017702102661132812, 0.01901721954345703, 0.02033233642578125, 0.02164745330810547, 0.022962570190429688, 0.024277687072753906, 0.025592803955078125, 0.026907920837402344, 0.028223037719726562, 0.02953815460205078, 0.030853271484375]}, "gradients/decoder.transformer.h.15.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 5.0, 6.0, 4.0, 4.0, 4.0, 5.0, 6.0, 10.0, 20.0, 21.0, 22.0, 46.0, 39.0, 57.0, 78.0, 133.0, 148.0, 193.0, 268.0, 347.0, 402.0, 450.0, 387.0, 330.0, 277.0, 234.0, 154.0, 114.0, 92.0, 47.0, 35.0, 38.0, 30.0, 23.0, 17.0, 8.0, 5.0, 8.0, 7.0, 3.0, 3.0, 1.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.036956787109375, -0.03574323654174805, -0.034529685974121094, -0.03331613540649414, -0.03210258483886719, -0.030889034271240234, -0.02967548370361328, -0.028461933135986328, -0.027248382568359375, -0.026034832000732422, -0.02482128143310547, -0.023607730865478516, -0.022394180297851562, -0.02118062973022461, -0.019967079162597656, -0.018753528594970703, -0.01753997802734375, -0.016326427459716797, -0.015112876892089844, -0.01389932632446289, -0.012685775756835938, -0.011472225189208984, -0.010258674621582031, -0.009045124053955078, -0.007831573486328125, -0.006618022918701172, -0.005404472351074219, -0.004190921783447266, -0.0029773712158203125, -0.0017638206481933594, -0.0005502700805664062, 0.0006632804870605469, 0.0018768310546875, 0.003090381622314453, 0.004303932189941406, 0.005517482757568359, 0.0067310333251953125, 0.007944583892822266, 0.009158134460449219, 0.010371685028076172, 0.011585235595703125, 0.012798786163330078, 0.014012336730957031, 0.015225887298583984, 0.016439437866210938, 0.01765298843383789, 0.018866539001464844, 0.020080089569091797, 0.02129364013671875, 0.022507190704345703, 0.023720741271972656, 0.02493429183959961, 0.026147842407226562, 0.027361392974853516, 0.02857494354248047, 0.029788494110107422, 0.031002044677734375, 0.03221559524536133, 0.03342914581298828, 0.034642696380615234, 0.03585624694824219, 0.03706979751586914, 0.038283348083496094, 0.03949689865112305, 0.04071044921875]}, "gradients/decoder.transformer.h.15.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 3.0, 3.0, 8.0, 12.0, 14.0, 16.0, 17.0, 28.0, 40.0, 62.0, 107.0, 151.0, 223.0, 530.0, 1214.0, 3388.0, 11008.0, 49915.0, 316821.0, 2262771.0, 1331923.0, 174307.0, 30231.0, 7313.0, 2299.0, 932.0, 388.0, 182.0, 118.0, 76.0, 47.0, 47.0, 29.0, 12.0, 14.0, 11.0, 3.0, 9.0, 4.0, 4.0, 3.0, 3.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08331298828125, -0.08092212677001953, -0.07853126525878906, -0.0761404037475586, -0.07374954223632812, -0.07135868072509766, -0.06896781921386719, -0.06657695770263672, -0.06418609619140625, -0.06179523468017578, -0.05940437316894531, -0.057013511657714844, -0.054622650146484375, -0.052231788635253906, -0.04984092712402344, -0.04745006561279297, -0.0450592041015625, -0.04266834259033203, -0.04027748107910156, -0.037886619567871094, -0.035495758056640625, -0.033104896545410156, -0.030714035034179688, -0.02832317352294922, -0.02593231201171875, -0.02354145050048828, -0.021150588989257812, -0.018759727478027344, -0.016368865966796875, -0.013978004455566406, -0.011587142944335938, -0.009196281433105469, -0.006805419921875, -0.004414558410644531, -0.0020236968994140625, 0.00036716461181640625, 0.002758026123046875, 0.005148887634277344, 0.0075397491455078125, 0.009930610656738281, 0.01232147216796875, 0.014712333679199219, 0.017103195190429688, 0.019494056701660156, 0.021884918212890625, 0.024275779724121094, 0.026666641235351562, 0.02905750274658203, 0.0314483642578125, 0.03383922576904297, 0.03623008728027344, 0.038620948791503906, 0.041011810302734375, 0.043402671813964844, 0.04579353332519531, 0.04818439483642578, 0.05057525634765625, 0.05296611785888672, 0.05535697937011719, 0.057747840881347656, 0.060138702392578125, 0.0625295639038086, 0.06492042541503906, 0.06731128692626953, 0.0697021484375]}, "gradients/decoder.transformer.h.15.ln_2.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 6.0, 2.0, 6.0, 10.0, 8.0, 11.0, 17.0, 21.0, 29.0, 37.0, 48.0, 67.0, 60.0, 76.0, 81.0, 71.0, 62.0, 72.0, 67.0, 60.0, 49.0, 25.0, 33.0, 26.0, 21.0, 13.0, 13.0, 6.0, 3.0, 4.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.16309213638305664, -0.1571989357471466, -0.15130573511123657, -0.14541253447532654, -0.1395193338394165, -0.13362614810466766, -0.12773294746875763, -0.1218397468328476, -0.11594654619693756, -0.11005334556102753, -0.10416014492511749, -0.09826695173978806, -0.09237375110387802, -0.08648055046796799, -0.08058735728263855, -0.07469415664672852, -0.06880095601081848, -0.06290775537490845, -0.05701455846428871, -0.051121361553668976, -0.04522816091775894, -0.03933496028184891, -0.03344176337122917, -0.027548566460609436, -0.021655365824699402, -0.015762167051434517, -0.009868968278169632, -0.003975769504904747, 0.001917429268360138, 0.007810628041625023, 0.013703826814889908, 0.019597023725509644, 0.025490209460258484, 0.03138341009616852, 0.037276607006788254, 0.04316980391740799, 0.049063004553318024, 0.05495620518922806, 0.060849402099847794, 0.06674259901046753, 0.07263579964637756, 0.0785290002822876, 0.08442220091819763, 0.09031539410352707, 0.0962085947394371, 0.10210179537534714, 0.10799498856067657, 0.11388818919658661, 0.11978138983249664, 0.12567459046840668, 0.1315677911043167, 0.13746099174022675, 0.14335417747497559, 0.14924737811088562, 0.15514057874679565, 0.1610337793827057, 0.16692698001861572, 0.17282018065452576, 0.1787133812904358, 0.18460658192634583, 0.19049978256225586, 0.1963929682970047, 0.20228616893291473, 0.20817936956882477, 0.2140725702047348]}, "gradients/decoder.transformer.h.15.ln_2.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 0.0, 2.0, 3.0, 3.0, 0.0, 5.0, 8.0, 8.0, 7.0, 12.0, 7.0, 17.0, 15.0, 19.0, 23.0, 20.0, 32.0, 37.0, 21.0, 29.0, 46.0, 47.0, 51.0, 40.0, 48.0, 30.0, 48.0, 36.0, 40.0, 37.0, 30.0, 30.0, 28.0, 28.0, 29.0, 30.0, 29.0, 12.0, 22.0, 16.0, 9.0, 17.0, 6.0, 3.0, 8.0, 5.0, 3.0, 2.0, 4.0, 2.0, 2.0, 3.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12918472290039062, -0.12472403049468994, -0.12026333808898926, -0.11580264568328857, -0.11134195327758789, -0.10688126087188721, -0.10242056101560593, -0.09795986860990524, -0.09349917620420456, -0.08903848379850388, -0.08457779139280319, -0.08011709898710251, -0.07565639913082123, -0.07119570672512054, -0.06673501431941986, -0.06227432191371918, -0.057813629508018494, -0.05335293710231781, -0.048892244696617126, -0.044431548565626144, -0.03997085615992546, -0.03551016375422478, -0.031049469485878944, -0.02658877521753311, -0.022128082811832428, -0.017667390406131744, -0.013206696137785912, -0.008746002800762653, -0.004285309463739395, 0.00017538294196128845, 0.004636077210307121, 0.009096771478652954, 0.013557463884353638, 0.01801815629005432, 0.022478850558400154, 0.026939544826745987, 0.03140023723244667, 0.035860929638147354, 0.040321625769138336, 0.04478231817483902, 0.0492430105805397, 0.05370370298624039, 0.05816439539194107, 0.06262508779764175, 0.06708578765392303, 0.07154648005962372, 0.0760071724653244, 0.08046786487102509, 0.08492855727672577, 0.08938924968242645, 0.09384994208812714, 0.09831063449382782, 0.1027713268995285, 0.10723201930522919, 0.11169271916151047, 0.11615341156721115, 0.12061410397291183, 0.12507480382919312, 0.1295354962348938, 0.13399618864059448, 0.13845688104629517, 0.14291757345199585, 0.14737826585769653, 0.15183895826339722, 0.1562996506690979]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 2.0, 2.0, 3.0, 8.0, 8.0, 8.0, 12.0, 26.0, 27.0, 34.0, 35.0, 38.0, 47.0, 51.0, 61.0, 62.0, 60.0, 57.0, 60.0, 55.0, 54.0, 48.0, 47.0, 37.0, 33.0, 22.0, 33.0, 16.0, 18.0, 18.0, 11.0, 9.0, 6.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.02947998046875, -0.02878415584564209, -0.02808833122253418, -0.02739250659942627, -0.02669668197631836, -0.02600085735321045, -0.02530503273010254, -0.02460920810699463, -0.02391338348388672, -0.02321755886077881, -0.0225217342376709, -0.02182590961456299, -0.021130084991455078, -0.020434260368347168, -0.019738435745239258, -0.019042611122131348, -0.018346786499023438, -0.017650961875915527, -0.016955137252807617, -0.016259312629699707, -0.015563488006591797, -0.014867663383483887, -0.014171838760375977, -0.013476014137268066, -0.012780189514160156, -0.012084364891052246, -0.011388540267944336, -0.010692715644836426, -0.009996891021728516, -0.009301066398620605, -0.008605241775512695, -0.007909417152404785, -0.007213592529296875, -0.006517767906188965, -0.005821943283081055, -0.0051261186599731445, -0.004430294036865234, -0.0037344694137573242, -0.003038644790649414, -0.002342820167541504, -0.0016469955444335938, -0.0009511709213256836, -0.00025534629821777344, 0.0004404783248901367, 0.0011363029479980469, 0.001832127571105957, 0.002527952194213867, 0.0032237768173217773, 0.0039196014404296875, 0.004615426063537598, 0.005311250686645508, 0.006007075309753418, 0.006702899932861328, 0.007398724555969238, 0.008094549179077148, 0.008790373802185059, 0.009486198425292969, 0.010182023048400879, 0.010877847671508789, 0.0115736722946167, 0.01226949691772461, 0.01296532154083252, 0.01366114616394043, 0.01435697078704834, 0.01505279541015625]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 4.0, 3.0, 4.0, 4.0, 8.0, 13.0, 6.0, 6.0, 22.0, 31.0, 29.0, 52.0, 68.0, 123.0, 227.0, 381.0, 833.0, 1590.0, 3356.0, 7178.0, 14952.0, 31865.0, 68203.0, 161777.0, 422306.0, 188237.0, 78449.0, 35917.0, 17297.0, 7942.0, 3772.0, 1897.0, 908.0, 471.0, 237.0, 138.0, 80.0, 50.0, 25.0, 28.0, 22.0, 16.0, 8.0, 10.0, 9.0, 2.0, 5.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00028061866760253906, -0.000272262841463089, -0.0002639070153236389, -0.00025555118918418884, -0.00024719536304473877, -0.0002388395369052887, -0.00023048371076583862, -0.00022212788462638855, -0.00021377205848693848, -0.0002054162323474884, -0.00019706040620803833, -0.00018870458006858826, -0.00018034875392913818, -0.0001719929277896881, -0.00016363710165023804, -0.00015528127551078796, -0.0001469254493713379, -0.00013856962323188782, -0.00013021379709243774, -0.00012185797095298767, -0.0001135021448135376, -0.00010514631867408752, -9.679049253463745e-05, -8.843466639518738e-05, -8.00788402557373e-05, -7.172301411628723e-05, -6.336718797683716e-05, -5.5011361837387085e-05, -4.665553569793701e-05, -3.829970955848694e-05, -2.9943883419036865e-05, -2.1588057279586792e-05, -1.3232231140136719e-05, -4.8764050006866455e-06, 3.4794211387634277e-06, 1.1835247278213501e-05, 2.0191073417663574e-05, 2.8546899557113647e-05, 3.690272569656372e-05, 4.5258551836013794e-05, 5.361437797546387e-05, 6.197020411491394e-05, 7.032603025436401e-05, 7.868185639381409e-05, 8.703768253326416e-05, 9.539350867271423e-05, 0.0001037493348121643, 0.00011210516095161438, 0.00012046098709106445, 0.00012881681323051453, 0.0001371726393699646, 0.00014552846550941467, 0.00015388429164886475, 0.00016224011778831482, 0.0001705959439277649, 0.00017895177006721497, 0.00018730759620666504, 0.0001956634223461151, 0.00020401924848556519, 0.00021237507462501526, 0.00022073090076446533, 0.0002290867269039154, 0.00023744255304336548, 0.00024579837918281555, 0.0002541542053222656]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 4.0, 0.0, 3.0, 9.0, 5.0, 7.0, 9.0, 13.0, 14.0, 15.0, 16.0, 23.0, 23.0, 25.0, 35.0, 32.0, 54.0, 43.0, 26.0, 57.0, 41.0, 28.0, 1060.0, 42.0, 45.0, 45.0, 31.0, 30.0, 31.0, 36.0, 27.0, 26.0, 33.0, 25.0, 20.0, 18.0, 18.0, 11.0, 12.0, 10.0, 7.0, 7.0, 5.0, 3.0, 3.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.01126861572265625, -0.010863065719604492, -0.010457515716552734, -0.010051965713500977, -0.009646415710449219, -0.009240865707397461, -0.008835315704345703, -0.008429765701293945, -0.008024215698242188, -0.00761866569519043, -0.007213115692138672, -0.006807565689086914, -0.006402015686035156, -0.0059964656829833984, -0.005590915679931641, -0.005185365676879883, -0.004779815673828125, -0.004374265670776367, -0.003968715667724609, -0.0035631656646728516, -0.0031576156616210938, -0.002752065658569336, -0.002346515655517578, -0.0019409656524658203, -0.0015354156494140625, -0.0011298656463623047, -0.0007243156433105469, -0.00031876564025878906, 8.678436279296875e-05, 0.0004923343658447266, 0.0008978843688964844, 0.0013034343719482422, 0.001708984375, 0.002114534378051758, 0.0025200843811035156, 0.0029256343841552734, 0.0033311843872070312, 0.003736734390258789, 0.004142284393310547, 0.004547834396362305, 0.0049533843994140625, 0.00535893440246582, 0.005764484405517578, 0.006170034408569336, 0.006575584411621094, 0.0069811344146728516, 0.007386684417724609, 0.007792234420776367, 0.008197784423828125, 0.008603334426879883, 0.00900888442993164, 0.009414434432983398, 0.009819984436035156, 0.010225534439086914, 0.010631084442138672, 0.01103663444519043, 0.011442184448242188, 0.011847734451293945, 0.012253284454345703, 0.012658834457397461, 0.013064384460449219, 0.013469934463500977, 0.013875484466552734, 0.014281034469604492, 0.01468658447265625]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 2.0, 3.0, 7.0, 8.0, 6.0, 11.0, 14.0, 15.0, 12.0, 11.0, 30.0, 29.0, 27.0, 32.0, 35.0, 47.0, 68.0, 124.0, 471.0, 1253.0, 4155.0, 1997677.0, 87871.0, 3273.0, 1088.0, 368.0, 118.0, 104.0, 45.0, 34.0, 35.0, 25.0, 24.0, 18.0, 18.0, 12.0, 15.0, 10.0, 7.0, 9.0, 9.0, 5.0, 1.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0], "bins": [-1.424551010131836e-05, -1.3848766684532166e-05, -1.3452023267745972e-05, -1.3055279850959778e-05, -1.2658536434173584e-05, -1.226179301738739e-05, -1.1865049600601196e-05, -1.1468306183815002e-05, -1.1071562767028809e-05, -1.0674819350242615e-05, -1.0278075933456421e-05, -9.881332516670227e-06, -9.484589099884033e-06, -9.08784568309784e-06, -8.691102266311646e-06, -8.294358849525452e-06, -7.897615432739258e-06, -7.500872015953064e-06, -7.10412859916687e-06, -6.707385182380676e-06, -6.310641765594482e-06, -5.9138983488082886e-06, -5.517154932022095e-06, -5.120411515235901e-06, -4.723668098449707e-06, -4.326924681663513e-06, -3.930181264877319e-06, -3.5334378480911255e-06, -3.1366944313049316e-06, -2.739951014518738e-06, -2.343207597732544e-06, -1.94646418094635e-06, -1.5497207641601562e-06, -1.1529773473739624e-06, -7.562339305877686e-07, -3.594905138015747e-07, 3.725290298461914e-08, 4.33996319770813e-07, 8.307397365570068e-07, 1.2274831533432007e-06, 1.6242265701293945e-06, 2.0209699869155884e-06, 2.4177134037017822e-06, 2.814456820487976e-06, 3.21120023727417e-06, 3.6079436540603638e-06, 4.004687070846558e-06, 4.4014304876327515e-06, 4.798173904418945e-06, 5.194917321205139e-06, 5.591660737991333e-06, 5.988404154777527e-06, 6.385147571563721e-06, 6.7818909883499146e-06, 7.178634405136108e-06, 7.575377821922302e-06, 7.972121238708496e-06, 8.36886465549469e-06, 8.765608072280884e-06, 9.162351489067078e-06, 9.559094905853271e-06, 9.955838322639465e-06, 1.035258173942566e-05, 1.0749325156211853e-05, 1.1146068572998047e-05]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 2.0, 2.0, 3.0, 8.0, 8.0, 8.0, 12.0, 26.0, 27.0, 34.0, 35.0, 38.0, 47.0, 51.0, 61.0, 62.0, 60.0, 57.0, 60.0, 55.0, 54.0, 48.0, 47.0, 37.0, 33.0, 22.0, 33.0, 16.0, 18.0, 18.0, 11.0, 9.0, 6.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.02947998046875, -0.02878415584564209, -0.02808833122253418, -0.02739250659942627, -0.02669668197631836, -0.02600085735321045, -0.02530503273010254, -0.02460920810699463, -0.02391338348388672, -0.02321755886077881, -0.0225217342376709, -0.02182590961456299, -0.021130084991455078, -0.020434260368347168, -0.019738435745239258, -0.019042611122131348, -0.018346786499023438, -0.017650961875915527, -0.016955137252807617, -0.016259312629699707, -0.015563488006591797, -0.014867663383483887, -0.014171838760375977, -0.013476014137268066, -0.012780189514160156, -0.012084364891052246, -0.011388540267944336, -0.010692715644836426, -0.009996891021728516, -0.009301066398620605, -0.008605241775512695, -0.007909417152404785, -0.007213592529296875, -0.006517767906188965, -0.005821943283081055, -0.0051261186599731445, -0.004430294036865234, -0.0037344694137573242, -0.003038644790649414, -0.002342820167541504, -0.0016469955444335938, -0.0009511709213256836, -0.00025534629821777344, 0.0004404783248901367, 0.0011363029479980469, 0.001832127571105957, 0.002527952194213867, 0.0032237768173217773, 0.0039196014404296875, 0.004615426063537598, 0.005311250686645508, 0.006007075309753418, 0.006702899932861328, 0.007398724555969238, 0.008094549179077148, 0.008790373802185059, 0.009486198425292969, 0.010182023048400879, 0.010877847671508789, 0.0115736722946167, 0.01226949691772461, 0.01296532154083252, 0.01366114616394043, 0.01435697078704834, 0.01505279541015625]}, "gradients/decoder.transformer.h.15.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 1.0, 5.0, 3.0, 4.0, 9.0, 18.0, 20.0, 38.0, 52.0, 97.0, 189.0, 342.0, 753.0, 1498.0, 3073.0, 6693.0, 15179.0, 35579.0, 88427.0, 227472.0, 401040.0, 159150.0, 62239.0, 25726.0, 11058.0, 5159.0, 2435.0, 1127.0, 562.0, 262.0, 153.0, 84.0, 49.0, 29.0, 14.0, 10.0, 4.0, 5.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.037261962890625, -0.035945892333984375, -0.03462982177734375, -0.033313751220703125, -0.0319976806640625, -0.030681610107421875, -0.02936553955078125, -0.028049468994140625, -0.0267333984375, -0.025417327880859375, -0.02410125732421875, -0.022785186767578125, -0.0214691162109375, -0.020153045654296875, -0.01883697509765625, -0.017520904541015625, -0.016204833984375, -0.014888763427734375, -0.01357269287109375, -0.012256622314453125, -0.0109405517578125, -0.009624481201171875, -0.00830841064453125, -0.006992340087890625, -0.00567626953125, -0.004360198974609375, -0.00304412841796875, -0.001728057861328125, -0.0004119873046875, 0.000904083251953125, 0.00222015380859375, 0.003536224365234375, 0.004852294921875, 0.006168365478515625, 0.00748443603515625, 0.008800506591796875, 0.0101165771484375, 0.011432647705078125, 0.01274871826171875, 0.014064788818359375, 0.015380859375, 0.016696929931640625, 0.01801300048828125, 0.019329071044921875, 0.0206451416015625, 0.021961212158203125, 0.02327728271484375, 0.024593353271484375, 0.025909423828125, 0.027225494384765625, 0.02854156494140625, 0.029857635498046875, 0.0311737060546875, 0.032489776611328125, 0.03380584716796875, 0.035121917724609375, 0.03643798828125, 0.037754058837890625, 0.03907012939453125, 0.040386199951171875, 0.0417022705078125, 0.043018341064453125, 0.04433441162109375, 0.045650482177734375, 0.046966552734375]}, "gradients/decoder.transformer.h.15.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 5.0, 4.0, 6.0, 9.0, 9.0, 12.0, 11.0, 25.0, 9.0, 16.0, 22.0, 20.0, 33.0, 39.0, 38.0, 38.0, 53.0, 62.0, 126.0, 169.0, 229.0, 1375.0, 188.0, 109.0, 97.0, 55.0, 60.0, 30.0, 38.0, 29.0, 28.0, 23.0, 14.0, 15.0, 13.0, 9.0, 9.0, 5.0, 11.0, 7.0, 9.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0635986328125, -0.06162548065185547, -0.05965232849121094, -0.057679176330566406, -0.055706024169921875, -0.053732872009277344, -0.05175971984863281, -0.04978656768798828, -0.04781341552734375, -0.04584026336669922, -0.04386711120605469, -0.041893959045410156, -0.039920806884765625, -0.037947654724121094, -0.03597450256347656, -0.03400135040283203, -0.0320281982421875, -0.03005504608154297, -0.028081893920898438, -0.026108741760253906, -0.024135589599609375, -0.022162437438964844, -0.020189285278320312, -0.01821613311767578, -0.01624298095703125, -0.014269828796386719, -0.012296676635742188, -0.010323524475097656, -0.008350372314453125, -0.006377220153808594, -0.0044040679931640625, -0.0024309158325195312, -0.000457763671875, 0.0015153884887695312, 0.0034885406494140625, 0.005461692810058594, 0.007434844970703125, 0.009407997131347656, 0.011381149291992188, 0.013354301452636719, 0.01532745361328125, 0.01730060577392578, 0.019273757934570312, 0.021246910095214844, 0.023220062255859375, 0.025193214416503906, 0.027166366577148438, 0.02913951873779297, 0.0311126708984375, 0.03308582305908203, 0.03505897521972656, 0.037032127380371094, 0.039005279541015625, 0.040978431701660156, 0.04295158386230469, 0.04492473602294922, 0.04689788818359375, 0.04887104034423828, 0.05084419250488281, 0.052817344665527344, 0.054790496826171875, 0.056763648986816406, 0.05873680114746094, 0.06070995330810547, 0.06268310546875]}, "gradients/decoder.transformer.h.15.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 9.0, 2.0, 3.0, 12.0, 16.0, 14.0, 22.0, 23.0, 26.0, 46.0, 70.0, 71.0, 104.0, 132.0, 208.0, 374.0, 1047.0, 5310.0, 43447.0, 757586.0, 2212107.0, 110954.0, 10859.0, 1856.0, 517.0, 237.0, 175.0, 121.0, 100.0, 63.0, 36.0, 47.0, 30.0, 23.0, 19.0, 9.0, 9.0, 14.0, 9.0, 4.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.112060546875, -0.10868358612060547, -0.10530662536621094, -0.1019296646118164, -0.09855270385742188, -0.09517574310302734, -0.09179878234863281, -0.08842182159423828, -0.08504486083984375, -0.08166790008544922, -0.07829093933105469, -0.07491397857666016, -0.07153701782226562, -0.0681600570678711, -0.06478309631347656, -0.06140613555908203, -0.0580291748046875, -0.05465221405029297, -0.05127525329589844, -0.047898292541503906, -0.044521331787109375, -0.041144371032714844, -0.03776741027832031, -0.03439044952392578, -0.03101348876953125, -0.02763652801513672, -0.024259567260742188, -0.020882606506347656, -0.017505645751953125, -0.014128684997558594, -0.010751724243164062, -0.007374763488769531, -0.003997802734375, -0.0006208419799804688, 0.0027561187744140625, 0.006133079528808594, 0.009510040283203125, 0.012887001037597656, 0.016263961791992188, 0.01964092254638672, 0.02301788330078125, 0.02639484405517578, 0.029771804809570312, 0.033148765563964844, 0.036525726318359375, 0.039902687072753906, 0.04327964782714844, 0.04665660858154297, 0.0500335693359375, 0.05341053009033203, 0.05678749084472656, 0.060164451599121094, 0.06354141235351562, 0.06691837310791016, 0.07029533386230469, 0.07367229461669922, 0.07704925537109375, 0.08042621612548828, 0.08380317687988281, 0.08718013763427734, 0.09055709838867188, 0.0939340591430664, 0.09731101989746094, 0.10068798065185547, 0.10406494140625]}, "gradients/decoder.transformer.h.15.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 11.0, 329.0, 619.0, 60.0, 1.0, 2.0], "bins": [-2.9568400382995605, -2.9076969623565674, -2.858553886413574, -2.809410810470581, -2.760267734527588, -2.7111246585845947, -2.6619815826416016, -2.6128385066986084, -2.5636954307556152, -2.514552354812622, -2.465409278869629, -2.4162662029266357, -2.3671231269836426, -2.3179800510406494, -2.2688369750976562, -2.219693899154663, -2.17055082321167, -2.1214077472686768, -2.0722646713256836, -2.0231215953826904, -1.9739785194396973, -1.924835443496704, -1.875692367553711, -1.8265492916107178, -1.777406096458435, -1.728263020515442, -1.6791199445724487, -1.6299768686294556, -1.5808337926864624, -1.5316907167434692, -1.482547640800476, -1.433404564857483, -1.3842613697052002, -1.335118293762207, -1.2859752178192139, -1.2368321418762207, -1.1876890659332275, -1.1385459899902344, -1.0894029140472412, -1.040259838104248, -0.9911167621612549, -0.9419736862182617, -0.8928306102752686, -0.8436875343322754, -0.7945444583892822, -0.7454013824462891, -0.6962583065032959, -0.6471152305603027, -0.5979721546173096, -0.5488290786743164, -0.49968600273132324, -0.4505429267883301, -0.4013998508453369, -0.35225677490234375, -0.3031136691570282, -0.25397059321403503, -0.20482748746871948, -0.15568441152572632, -0.10654132813215256, -0.057398244738578796, -0.008255168795585632, 0.04088790714740753, 0.09003099799156189, 0.13917407393455505, 0.18831714987754822]}, "gradients/decoder.transformer.h.15.ln_1.bias": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 2.0, 3.0, 4.0, 6.0, 6.0, 5.0, 9.0, 6.0, 8.0, 10.0, 14.0, 14.0, 12.0, 15.0, 23.0, 26.0, 17.0, 30.0, 34.0, 41.0, 34.0, 36.0, 39.0, 31.0, 33.0, 39.0, 40.0, 24.0, 36.0, 48.0, 40.0, 36.0, 30.0, 25.0, 22.0, 25.0, 33.0, 15.0, 23.0, 10.0, 11.0, 18.0, 10.0, 12.0, 11.0, 6.0, 7.0, 7.0, 12.0, 4.0, 5.0, 3.0, 3.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.14397567510604858, -0.13902650773525238, -0.13407734036445618, -0.12912818789482117, -0.12417902052402496, -0.11922985315322876, -0.11428068578243256, -0.10933151841163635, -0.10438235849142075, -0.09943319112062454, -0.09448403120040894, -0.08953486382961273, -0.08458569645881653, -0.07963653653860092, -0.07468736916780472, -0.06973820924758911, -0.06478904187679291, -0.059839878231287, -0.0548907145857811, -0.049941547214984894, -0.04499238356947899, -0.040043219923973083, -0.03509405255317688, -0.030144888907670975, -0.02519572526216507, -0.020246561616659164, -0.01529739610850811, -0.01034823153167963, -0.0053990669548511505, -0.00044990330934524536, 0.004499262198805809, 0.009448427706956863, 0.014397591352462769, 0.019346754997968674, 0.024295920506119728, 0.029245086014270782, 0.03419424965977669, 0.03914341330528259, 0.044092580676078796, 0.0490417443215847, 0.05399090796709061, 0.05894007161259651, 0.06388923525810242, 0.06883840262889862, 0.07378756999969482, 0.07873672991991043, 0.08368589729070663, 0.08863505721092224, 0.09358422458171844, 0.09853339195251465, 0.10348255187273026, 0.10843171924352646, 0.11338087916374207, 0.11833004653453827, 0.12327921390533447, 0.12822838127613068, 0.13317754864692688, 0.13812671601772308, 0.1430758833885193, 0.1480250358581543, 0.1529742032289505, 0.1579233705997467, 0.1628725379705429, 0.1678217053413391, 0.17277085781097412]}, "gradients/decoder.transformer.h.14.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 4.0, 2.0, 5.0, 2.0, 5.0, 8.0, 14.0, 13.0, 20.0, 20.0, 23.0, 30.0, 37.0, 39.0, 47.0, 57.0, 52.0, 65.0, 59.0, 55.0, 60.0, 43.0, 48.0, 48.0, 47.0, 37.0, 30.0, 28.0, 25.0, 18.0, 13.0, 28.0, 8.0, 10.0, 5.0, 5.0, 4.0, 1.0, 3.0], "bins": [-0.0303497314453125, -0.029663681983947754, -0.028977632522583008, -0.02829158306121826, -0.027605533599853516, -0.02691948413848877, -0.026233434677124023, -0.025547385215759277, -0.02486133575439453, -0.024175286293029785, -0.02348923683166504, -0.022803187370300293, -0.022117137908935547, -0.0214310884475708, -0.020745038986206055, -0.02005898952484131, -0.019372940063476562, -0.018686890602111816, -0.01800084114074707, -0.017314791679382324, -0.016628742218017578, -0.015942692756652832, -0.015256643295288086, -0.01457059383392334, -0.013884544372558594, -0.013198494911193848, -0.012512445449829102, -0.011826395988464355, -0.01114034652709961, -0.010454297065734863, -0.009768247604370117, -0.009082198143005371, -0.008396148681640625, -0.007710099220275879, -0.007024049758911133, -0.006338000297546387, -0.005651950836181641, -0.0049659013748168945, -0.0042798519134521484, -0.0035938024520874023, -0.0029077529907226562, -0.00222170352935791, -0.001535654067993164, -0.000849604606628418, -0.00016355514526367188, 0.0005224943161010742, 0.0012085437774658203, 0.0018945932388305664, 0.0025806427001953125, 0.0032666921615600586, 0.003952741622924805, 0.004638791084289551, 0.005324840545654297, 0.006010890007019043, 0.006696939468383789, 0.007382988929748535, 0.008069038391113281, 0.008755087852478027, 0.009441137313842773, 0.01012718677520752, 0.010813236236572266, 0.011499285697937012, 0.012185335159301758, 0.012871384620666504, 0.01355743408203125]}, "gradients/decoder.transformer.h.14.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 1.0, 8.0, 7.0, 10.0, 14.0, 6.0, 16.0, 17.0, 19.0, 34.0, 32.0, 61.0, 99.0, 183.0, 405.0, 906.0, 2582.0, 8131.0, 31638.0, 156066.0, 1137865.0, 2407312.0, 363442.0, 64112.0, 14560.0, 4258.0, 1402.0, 506.0, 237.0, 109.0, 62.0, 56.0, 36.0, 23.0, 14.0, 17.0, 11.0, 13.0, 9.0, 6.0, 5.0, 3.0], "bins": [-0.0672607421875, -0.0657048225402832, -0.0641489028930664, -0.06259298324584961, -0.06103706359863281, -0.059481143951416016, -0.05792522430419922, -0.05636930465698242, -0.054813385009765625, -0.05325746536254883, -0.05170154571533203, -0.050145626068115234, -0.04858970642089844, -0.04703378677368164, -0.045477867126464844, -0.04392194747924805, -0.04236602783203125, -0.04081010818481445, -0.039254188537597656, -0.03769826889038086, -0.03614234924316406, -0.034586429595947266, -0.03303050994873047, -0.03147459030151367, -0.029918670654296875, -0.028362751007080078, -0.02680683135986328, -0.025250911712646484, -0.023694992065429688, -0.02213907241821289, -0.020583152770996094, -0.019027233123779297, -0.0174713134765625, -0.015915393829345703, -0.014359474182128906, -0.01280355453491211, -0.011247634887695312, -0.009691715240478516, -0.008135795593261719, -0.006579875946044922, -0.005023956298828125, -0.003468036651611328, -0.0019121170043945312, -0.0003561973571777344, 0.0011997222900390625, 0.0027556419372558594, 0.004311561584472656, 0.005867481231689453, 0.00742340087890625, 0.008979320526123047, 0.010535240173339844, 0.01209115982055664, 0.013647079467773438, 0.015202999114990234, 0.01675891876220703, 0.018314838409423828, 0.019870758056640625, 0.021426677703857422, 0.02298259735107422, 0.024538516998291016, 0.026094436645507812, 0.02765035629272461, 0.029206275939941406, 0.030762195587158203, 0.032318115234375]}, "gradients/decoder.transformer.h.14.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 6.0, 13.0, 22.0, 10.0, 25.0, 36.0, 33.0, 45.0, 67.0, 80.0, 110.0, 173.0, 181.0, 247.0, 303.0, 349.0, 413.0, 414.0, 350.0, 283.0, 218.0, 156.0, 146.0, 104.0, 72.0, 54.0, 33.0, 46.0, 21.0, 14.0, 10.0, 13.0, 5.0, 7.0, 4.0, 3.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.043853759765625, -0.0426945686340332, -0.041535377502441406, -0.04037618637084961, -0.03921699523925781, -0.038057804107666016, -0.03689861297607422, -0.03573942184448242, -0.034580230712890625, -0.03342103958129883, -0.03226184844970703, -0.031102657318115234, -0.029943466186523438, -0.02878427505493164, -0.027625083923339844, -0.026465892791748047, -0.02530670166015625, -0.024147510528564453, -0.022988319396972656, -0.02182912826538086, -0.020669937133789062, -0.019510746002197266, -0.01835155487060547, -0.017192363739013672, -0.016033172607421875, -0.014873981475830078, -0.013714790344238281, -0.012555599212646484, -0.011396408081054688, -0.01023721694946289, -0.009078025817871094, -0.007918834686279297, -0.0067596435546875, -0.005600452423095703, -0.004441261291503906, -0.0032820701599121094, -0.0021228790283203125, -0.0009636878967285156, 0.00019550323486328125, 0.0013546943664550781, 0.002513885498046875, 0.003673076629638672, 0.004832267761230469, 0.005991458892822266, 0.0071506500244140625, 0.00830984115600586, 0.009469032287597656, 0.010628223419189453, 0.01178741455078125, 0.012946605682373047, 0.014105796813964844, 0.01526498794555664, 0.016424179077148438, 0.017583370208740234, 0.01874256134033203, 0.019901752471923828, 0.021060943603515625, 0.022220134735107422, 0.02337932586669922, 0.024538516998291016, 0.025697708129882812, 0.02685689926147461, 0.028016090393066406, 0.029175281524658203, 0.03033447265625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 6.0, 2.0, 8.0, 11.0, 8.0, 19.0, 26.0, 21.0, 37.0, 47.0, 82.0, 115.0, 160.0, 248.0, 456.0, 1015.0, 2556.0, 9006.0, 43454.0, 277926.0, 2068578.0, 1546278.0, 200318.0, 32481.0, 7252.0, 2108.0, 896.0, 409.0, 244.0, 164.0, 95.0, 77.0, 42.0, 40.0, 30.0, 16.0, 13.0, 13.0, 8.0, 4.0, 5.0, 4.0, 4.0, 4.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06573486328125, -0.06338024139404297, -0.06102561950683594, -0.058670997619628906, -0.056316375732421875, -0.053961753845214844, -0.05160713195800781, -0.04925251007080078, -0.04689788818359375, -0.04454326629638672, -0.04218864440917969, -0.039834022521972656, -0.037479400634765625, -0.035124778747558594, -0.03277015686035156, -0.03041553497314453, -0.0280609130859375, -0.02570629119873047, -0.023351669311523438, -0.020997047424316406, -0.018642425537109375, -0.016287803649902344, -0.013933181762695312, -0.011578559875488281, -0.00922393798828125, -0.006869316101074219, -0.0045146942138671875, -0.0021600723266601562, 0.000194549560546875, 0.0025491714477539062, 0.0049037933349609375, 0.007258415222167969, 0.009613037109375, 0.011967658996582031, 0.014322280883789062, 0.016676902770996094, 0.019031524658203125, 0.021386146545410156, 0.023740768432617188, 0.02609539031982422, 0.02845001220703125, 0.03080463409423828, 0.03315925598144531, 0.035513877868652344, 0.037868499755859375, 0.040223121643066406, 0.04257774353027344, 0.04493236541748047, 0.0472869873046875, 0.04964160919189453, 0.05199623107910156, 0.054350852966308594, 0.056705474853515625, 0.059060096740722656, 0.06141471862792969, 0.06376934051513672, 0.06612396240234375, 0.06847858428955078, 0.07083320617675781, 0.07318782806396484, 0.07554244995117188, 0.0778970718383789, 0.08025169372558594, 0.08260631561279297, 0.0849609375]}, "gradients/decoder.transformer.h.14.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 11.0, 37.0, 58.0, 110.0, 146.0, 176.0, 180.0, 130.0, 93.0, 42.0, 18.0, 7.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19597314298152924, -0.18191714584827423, -0.16786114871501923, -0.15380515158176422, -0.13974915444850922, -0.1256931573152542, -0.1116371601819992, -0.0975811630487442, -0.0835251659154892, -0.06946916878223419, -0.05541317164897919, -0.04135717451572418, -0.027301177382469177, -0.013245180249214172, 0.0008108168840408325, 0.014866814017295837, 0.028922811150550842, 0.04297880828380585, 0.05703480541706085, 0.07109080255031586, 0.08514679968357086, 0.09920279681682587, 0.11325879395008087, 0.12731479108333588, 0.14137078821659088, 0.1554267853498459, 0.1694827824831009, 0.1835387796163559, 0.1975947767496109, 0.2116507738828659, 0.2257067710161209, 0.23976276814937592, 0.2538187503814697, 0.26787474751472473, 0.28193074464797974, 0.29598674178123474, 0.31004273891448975, 0.32409873604774475, 0.33815473318099976, 0.35221073031425476, 0.36626672744750977, 0.38032272458076477, 0.3943787217140198, 0.4084347188472748, 0.4224907159805298, 0.4365467131137848, 0.4506027102470398, 0.4646587073802948, 0.4787147045135498, 0.4927707016468048, 0.5068266987800598, 0.5208827257156372, 0.5349386930465698, 0.5489946603775024, 0.5630506873130798, 0.5771067142486572, 0.5911626815795898, 0.6052186489105225, 0.6192746758460999, 0.6333307027816772, 0.6473866701126099, 0.6614426374435425, 0.6754986643791199, 0.6895546913146973, 0.7036106586456299]}, "gradients/decoder.transformer.h.14.ln_2.bias": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 1.0, 3.0, 1.0, 4.0, 1.0, 4.0, 9.0, 9.0, 8.0, 12.0, 9.0, 8.0, 15.0, 11.0, 11.0, 23.0, 17.0, 29.0, 29.0, 22.0, 30.0, 25.0, 36.0, 23.0, 35.0, 35.0, 40.0, 38.0, 40.0, 33.0, 39.0, 44.0, 26.0, 30.0, 34.0, 33.0, 33.0, 30.0, 27.0, 29.0, 17.0, 12.0, 22.0, 8.0, 18.0, 8.0, 9.0, 11.0, 4.0, 6.0, 5.0, 3.0, 3.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.12365448474884033, -0.11966881901025772, -0.11568315327167511, -0.1116974949836731, -0.10771182924509048, -0.10372616350650787, -0.09974050521850586, -0.09575483947992325, -0.09176917374134064, -0.08778350800275803, -0.08379784226417542, -0.0798121839761734, -0.07582651823759079, -0.07184085249900818, -0.06785519421100616, -0.06386952847242355, -0.05988386273384094, -0.05589819699525833, -0.05191253498196602, -0.047926872968673706, -0.043941207230091095, -0.039955541491508484, -0.03596987947821617, -0.03198421746492386, -0.027998551726341248, -0.024012887850403786, -0.020027223974466324, -0.016041560098528862, -0.0120558962225914, -0.008070232346653938, -0.0040845684707164764, -9.890459477901459e-05, 0.0038867592811584473, 0.007872423157095909, 0.011858087033033371, 0.015843750908970833, 0.019829414784908295, 0.023815078660845757, 0.02780074253678322, 0.03178640455007553, 0.03577207028865814, 0.03975773602724075, 0.043743398040533066, 0.04772906005382538, 0.05171472579240799, 0.0557003915309906, 0.05968605354428291, 0.06367171555757523, 0.06765738129615784, 0.07164304703474045, 0.07562871277332306, 0.07961437106132507, 0.08360003679990768, 0.0875857025384903, 0.09157136082649231, 0.09555702656507492, 0.09954269230365753, 0.10352835804224014, 0.10751402378082275, 0.11149968206882477, 0.11548534780740738, 0.11947101354598999, 0.123456671833992, 0.1274423450231552, 0.13142800331115723]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 6.0, 4.0, 6.0, 9.0, 12.0, 12.0, 19.0, 25.0, 31.0, 24.0, 32.0, 48.0, 47.0, 57.0, 58.0, 60.0, 63.0, 63.0, 46.0, 60.0, 58.0, 42.0, 49.0, 39.0, 23.0, 14.0, 24.0, 22.0, 12.0, 19.0, 12.0, 7.0, 3.0, 4.0, 3.0, 0.0, 2.0], "bins": [-0.031890869140625, -0.031164050102233887, -0.030437231063842773, -0.02971041202545166, -0.028983592987060547, -0.028256773948669434, -0.02752995491027832, -0.026803135871887207, -0.026076316833496094, -0.02534949779510498, -0.024622678756713867, -0.023895859718322754, -0.02316904067993164, -0.022442221641540527, -0.021715402603149414, -0.0209885835647583, -0.020261764526367188, -0.019534945487976074, -0.01880812644958496, -0.018081307411193848, -0.017354488372802734, -0.01662766933441162, -0.015900850296020508, -0.015174031257629395, -0.014447212219238281, -0.013720393180847168, -0.012993574142456055, -0.012266755104064941, -0.011539936065673828, -0.010813117027282715, -0.010086297988891602, -0.009359478950500488, -0.008632659912109375, -0.007905840873718262, -0.0071790218353271484, -0.006452202796936035, -0.005725383758544922, -0.004998564720153809, -0.004271745681762695, -0.003544926643371582, -0.0028181076049804688, -0.0020912885665893555, -0.0013644695281982422, -0.0006376504898071289, 8.916854858398438e-05, 0.0008159875869750977, 0.001542806625366211, 0.0022696256637573242, 0.0029964447021484375, 0.0037232637405395508, 0.004450082778930664, 0.005176901817321777, 0.005903720855712891, 0.006630539894104004, 0.007357358932495117, 0.00808417797088623, 0.008810997009277344, 0.009537816047668457, 0.01026463508605957, 0.010991454124450684, 0.011718273162841797, 0.01244509220123291, 0.013171911239624023, 0.013898730278015137, 0.01462554931640625]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 3.0, 3.0, 4.0, 1.0, 8.0, 3.0, 12.0, 7.0, 17.0, 18.0, 11.0, 25.0, 31.0, 60.0, 98.0, 175.0, 314.0, 654.0, 1174.0, 2456.0, 4783.0, 9075.0, 17547.0, 35179.0, 77673.0, 188272.0, 438356.0, 148311.0, 63840.0, 29525.0, 14913.0, 7581.0, 4025.0, 2061.0, 1071.0, 580.0, 268.0, 158.0, 85.0, 47.0, 28.0, 27.0, 16.0, 8.0, 19.0, 9.0, 8.0, 7.0, 7.0, 3.0, 5.0, 1.0, 1.0, 0.0, 1.0, 4.0], "bins": [-0.00023448467254638672, -0.00022766366600990295, -0.0002208426594734192, -0.00021402165293693542, -0.00020720064640045166, -0.0002003796398639679, -0.00019355863332748413, -0.00018673762679100037, -0.0001799166202545166, -0.00017309561371803284, -0.00016627460718154907, -0.0001594536006450653, -0.00015263259410858154, -0.00014581158757209778, -0.00013899058103561401, -0.00013216957449913025, -0.00012534856796264648, -0.00011852756142616272, -0.00011170655488967896, -0.00010488554835319519, -9.806454181671143e-05, -9.124353528022766e-05, -8.44225287437439e-05, -7.760152220726013e-05, -7.078051567077637e-05, -6.39595091342926e-05, -5.713850259780884e-05, -5.031749606132507e-05, -4.349648952484131e-05, -3.6675482988357544e-05, -2.985447645187378e-05, -2.3033469915390015e-05, -1.621246337890625e-05, -9.391456842422485e-06, -2.5704503059387207e-06, 4.250556230545044e-06, 1.1071562767028809e-05, 1.7892569303512573e-05, 2.4713575839996338e-05, 3.15345823764801e-05, 3.835558891296387e-05, 4.517659544944763e-05, 5.1997601985931396e-05, 5.881860852241516e-05, 6.563961505889893e-05, 7.246062159538269e-05, 7.928162813186646e-05, 8.610263466835022e-05, 9.292364120483398e-05, 9.974464774131775e-05, 0.00010656565427780151, 0.00011338666081428528, 0.00012020766735076904, 0.0001270286738872528, 0.00013384968042373657, 0.00014067068696022034, 0.0001474916934967041, 0.00015431270003318787, 0.00016113370656967163, 0.0001679547131061554, 0.00017477571964263916, 0.00018159672617912292, 0.0001884177327156067, 0.00019523873925209045, 0.00020205974578857422]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0, 2.0, 3.0, 4.0, 3.0, 6.0, 10.0, 9.0, 8.0, 11.0, 17.0, 10.0, 25.0, 13.0, 21.0, 22.0, 32.0, 31.0, 37.0, 32.0, 32.0, 43.0, 27.0, 38.0, 36.0, 1079.0, 46.0, 40.0, 35.0, 38.0, 41.0, 39.0, 28.0, 36.0, 24.0, 21.0, 20.0, 24.0, 22.0, 11.0, 12.0, 12.0, 7.0, 9.0, 7.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01407623291015625, -0.013631463050842285, -0.01318669319152832, -0.012741923332214355, -0.01229715347290039, -0.011852383613586426, -0.011407613754272461, -0.010962843894958496, -0.010518074035644531, -0.010073304176330566, -0.009628534317016602, -0.009183764457702637, -0.008738994598388672, -0.008294224739074707, -0.007849454879760742, -0.007404685020446777, -0.0069599151611328125, -0.006515145301818848, -0.006070375442504883, -0.005625605583190918, -0.005180835723876953, -0.004736065864562988, -0.0042912960052490234, -0.0038465261459350586, -0.0034017562866210938, -0.002956986427307129, -0.002512216567993164, -0.0020674467086791992, -0.0016226768493652344, -0.0011779069900512695, -0.0007331371307373047, -0.00028836727142333984, 0.000156402587890625, 0.0006011724472045898, 0.0010459423065185547, 0.0014907121658325195, 0.0019354820251464844, 0.0023802518844604492, 0.002825021743774414, 0.003269791603088379, 0.0037145614624023438, 0.004159331321716309, 0.0046041011810302734, 0.005048871040344238, 0.005493640899658203, 0.005938410758972168, 0.006383180618286133, 0.006827950477600098, 0.0072727203369140625, 0.007717490196228027, 0.008162260055541992, 0.008607029914855957, 0.009051799774169922, 0.009496569633483887, 0.009941339492797852, 0.010386109352111816, 0.010830879211425781, 0.011275649070739746, 0.011720418930053711, 0.012165188789367676, 0.01260995864868164, 0.013054728507995605, 0.01349949836730957, 0.013944268226623535, 0.0143890380859375]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 4.0, 7.0, 4.0, 9.0, 11.0, 9.0, 10.0, 15.0, 26.0, 17.0, 24.0, 19.0, 28.0, 34.0, 36.0, 69.0, 144.0, 331.0, 817.0, 2739.0, 17475.0, 2066195.0, 6394.0, 1546.0, 545.0, 220.0, 92.0, 55.0, 36.0, 23.0, 21.0, 31.0, 26.0, 17.0, 14.0, 12.0, 12.0, 20.0, 12.0, 3.0, 10.0, 10.0, 5.0, 1.0, 5.0, 2.0, 0.0, 3.0, 3.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.3649463653564453e-05, -1.3226643204689026e-05, -1.2803822755813599e-05, -1.2381002306938171e-05, -1.1958181858062744e-05, -1.1535361409187317e-05, -1.111254096031189e-05, -1.0689720511436462e-05, -1.0266900062561035e-05, -9.844079613685608e-06, -9.42125916481018e-06, -8.998438715934753e-06, -8.575618267059326e-06, -8.152797818183899e-06, -7.729977369308472e-06, -7.3071569204330444e-06, -6.884336471557617e-06, -6.46151602268219e-06, -6.038695573806763e-06, -5.6158751249313354e-06, -5.193054676055908e-06, -4.770234227180481e-06, -4.347413778305054e-06, -3.9245933294296265e-06, -3.5017728805541992e-06, -3.078952431678772e-06, -2.6561319828033447e-06, -2.2333115339279175e-06, -1.8104910850524902e-06, -1.387670636177063e-06, -9.648501873016357e-07, -5.420297384262085e-07, -1.1920928955078125e-07, 3.03611159324646e-07, 7.264316082000732e-07, 1.1492520570755005e-06, 1.5720725059509277e-06, 1.994892954826355e-06, 2.4177134037017822e-06, 2.8405338525772095e-06, 3.2633543014526367e-06, 3.686174750328064e-06, 4.108995199203491e-06, 4.5318156480789185e-06, 4.954636096954346e-06, 5.377456545829773e-06, 5.8002769947052e-06, 6.2230974435806274e-06, 6.645917892456055e-06, 7.068738341331482e-06, 7.491558790206909e-06, 7.914379239082336e-06, 8.337199687957764e-06, 8.760020136833191e-06, 9.182840585708618e-06, 9.605661034584045e-06, 1.0028481483459473e-05, 1.04513019323349e-05, 1.0874122381210327e-05, 1.1296942830085754e-05, 1.1719763278961182e-05, 1.2142583727836609e-05, 1.2565404176712036e-05, 1.2988224625587463e-05, 1.341104507446289e-05]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 6.0, 4.0, 6.0, 9.0, 12.0, 12.0, 19.0, 25.0, 31.0, 24.0, 32.0, 48.0, 47.0, 57.0, 58.0, 60.0, 63.0, 63.0, 46.0, 60.0, 58.0, 42.0, 49.0, 39.0, 23.0, 14.0, 24.0, 22.0, 12.0, 19.0, 12.0, 7.0, 3.0, 4.0, 3.0, 0.0, 2.0], "bins": [-0.031890869140625, -0.031164050102233887, -0.030437231063842773, -0.02971041202545166, -0.028983592987060547, -0.028256773948669434, -0.02752995491027832, -0.026803135871887207, -0.026076316833496094, -0.02534949779510498, -0.024622678756713867, -0.023895859718322754, -0.02316904067993164, -0.022442221641540527, -0.021715402603149414, -0.0209885835647583, -0.020261764526367188, -0.019534945487976074, -0.01880812644958496, -0.018081307411193848, -0.017354488372802734, -0.01662766933441162, -0.015900850296020508, -0.015174031257629395, -0.014447212219238281, -0.013720393180847168, -0.012993574142456055, -0.012266755104064941, -0.011539936065673828, -0.010813117027282715, -0.010086297988891602, -0.009359478950500488, -0.008632659912109375, -0.007905840873718262, -0.0071790218353271484, -0.006452202796936035, -0.005725383758544922, -0.004998564720153809, -0.004271745681762695, -0.003544926643371582, -0.0028181076049804688, -0.0020912885665893555, -0.0013644695281982422, -0.0006376504898071289, 8.916854858398438e-05, 0.0008159875869750977, 0.001542806625366211, 0.0022696256637573242, 0.0029964447021484375, 0.0037232637405395508, 0.004450082778930664, 0.005176901817321777, 0.005903720855712891, 0.006630539894104004, 0.007357358932495117, 0.00808417797088623, 0.008810997009277344, 0.009537816047668457, 0.01026463508605957, 0.010991454124450684, 0.011718273162841797, 0.01244509220123291, 0.013171911239624023, 0.013898730278015137, 0.01462554931640625]}, "gradients/decoder.transformer.h.14.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 7.0, 8.0, 10.0, 15.0, 19.0, 19.0, 53.0, 70.0, 104.0, 188.0, 286.0, 492.0, 776.0, 1253.0, 2078.0, 3454.0, 5952.0, 10345.0, 18780.0, 36109.0, 71969.0, 162706.0, 372238.0, 191194.0, 81815.0, 40263.0, 20658.0, 11527.0, 6577.0, 3661.0, 2374.0, 1383.0, 790.0, 531.0, 306.0, 199.0, 125.0, 75.0, 53.0, 34.0, 22.0, 16.0, 9.0, 5.0, 5.0, 4.0, 0.0, 0.0, 0.0, 4.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.033203125, -0.03218412399291992, -0.031165122985839844, -0.030146121978759766, -0.029127120971679688, -0.02810811996459961, -0.02708911895751953, -0.026070117950439453, -0.025051116943359375, -0.024032115936279297, -0.02301311492919922, -0.02199411392211914, -0.020975112915039062, -0.019956111907958984, -0.018937110900878906, -0.017918109893798828, -0.01689910888671875, -0.015880107879638672, -0.014861106872558594, -0.013842105865478516, -0.012823104858398438, -0.01180410385131836, -0.010785102844238281, -0.009766101837158203, -0.008747100830078125, -0.007728099822998047, -0.006709098815917969, -0.005690097808837891, -0.0046710968017578125, -0.0036520957946777344, -0.0026330947875976562, -0.0016140937805175781, -0.0005950927734375, 0.0004239082336425781, 0.0014429092407226562, 0.0024619102478027344, 0.0034809112548828125, 0.004499912261962891, 0.005518913269042969, 0.006537914276123047, 0.007556915283203125, 0.008575916290283203, 0.009594917297363281, 0.01061391830444336, 0.011632919311523438, 0.012651920318603516, 0.013670921325683594, 0.014689922332763672, 0.01570892333984375, 0.016727924346923828, 0.017746925354003906, 0.018765926361083984, 0.019784927368164062, 0.02080392837524414, 0.02182292938232422, 0.022841930389404297, 0.023860931396484375, 0.024879932403564453, 0.02589893341064453, 0.02691793441772461, 0.027936935424804688, 0.028955936431884766, 0.029974937438964844, 0.030993938446044922, 0.032012939453125]}, "gradients/decoder.transformer.h.14.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 6.0, 3.0, 3.0, 7.0, 9.0, 9.0, 8.0, 16.0, 13.0, 18.0, 35.0, 31.0, 42.0, 43.0, 42.0, 59.0, 68.0, 78.0, 160.0, 255.0, 1400.0, 225.0, 102.0, 72.0, 60.0, 41.0, 32.0, 28.0, 29.0, 23.0, 34.0, 16.0, 23.0, 8.0, 10.0, 9.0, 6.0, 13.0, 4.0, 8.0, 3.0, 3.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.055145263671875, -0.0530552864074707, -0.050965309143066406, -0.04887533187866211, -0.04678535461425781, -0.044695377349853516, -0.04260540008544922, -0.04051542282104492, -0.038425445556640625, -0.03633546829223633, -0.03424549102783203, -0.032155513763427734, -0.030065536499023438, -0.02797555923461914, -0.025885581970214844, -0.023795604705810547, -0.02170562744140625, -0.019615650177001953, -0.017525672912597656, -0.01543569564819336, -0.013345718383789062, -0.011255741119384766, -0.009165763854980469, -0.007075786590576172, -0.004985809326171875, -0.002895832061767578, -0.0008058547973632812, 0.0012841224670410156, 0.0033740997314453125, 0.005464076995849609, 0.007554054260253906, 0.009644031524658203, 0.0117340087890625, 0.013823986053466797, 0.015913963317871094, 0.01800394058227539, 0.020093917846679688, 0.022183895111083984, 0.02427387237548828, 0.026363849639892578, 0.028453826904296875, 0.030543804168701172, 0.03263378143310547, 0.034723758697509766, 0.03681373596191406, 0.03890371322631836, 0.040993690490722656, 0.04308366775512695, 0.04517364501953125, 0.04726362228393555, 0.049353599548339844, 0.05144357681274414, 0.05353355407714844, 0.055623531341552734, 0.05771350860595703, 0.05980348587036133, 0.061893463134765625, 0.06398344039916992, 0.06607341766357422, 0.06816339492797852, 0.07025337219238281, 0.07234334945678711, 0.0744333267211914, 0.0765233039855957, 0.07861328125]}, "gradients/decoder.transformer.h.14.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 5.0, 7.0, 9.0, 7.0, 10.0, 12.0, 13.0, 16.0, 29.0, 42.0, 50.0, 56.0, 82.0, 98.0, 186.0, 282.0, 649.0, 2235.0, 14820.0, 224189.0, 2747226.0, 141448.0, 10875.0, 1865.0, 617.0, 284.0, 146.0, 114.0, 85.0, 63.0, 52.0, 37.0, 23.0, 17.0, 17.0, 11.0, 10.0, 5.0, 6.0, 5.0, 2.0, 5.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0], "bins": [-0.1578369140625, -0.1535043716430664, -0.1491718292236328, -0.14483928680419922, -0.14050674438476562, -0.13617420196533203, -0.13184165954589844, -0.12750911712646484, -0.12317657470703125, -0.11884403228759766, -0.11451148986816406, -0.11017894744873047, -0.10584640502929688, -0.10151386260986328, -0.09718132019042969, -0.0928487777709961, -0.0885162353515625, -0.0841836929321289, -0.07985115051269531, -0.07551860809326172, -0.07118606567382812, -0.06685352325439453, -0.06252098083496094, -0.058188438415527344, -0.05385589599609375, -0.049523353576660156, -0.04519081115722656, -0.04085826873779297, -0.036525726318359375, -0.03219318389892578, -0.027860641479492188, -0.023528099060058594, -0.019195556640625, -0.014863014221191406, -0.010530471801757812, -0.006197929382324219, -0.001865386962890625, 0.0024671554565429688, 0.0067996978759765625, 0.011132240295410156, 0.01546478271484375, 0.019797325134277344, 0.024129867553710938, 0.02846240997314453, 0.032794952392578125, 0.03712749481201172, 0.04146003723144531, 0.045792579650878906, 0.0501251220703125, 0.054457664489746094, 0.05879020690917969, 0.06312274932861328, 0.06745529174804688, 0.07178783416748047, 0.07612037658691406, 0.08045291900634766, 0.08478546142578125, 0.08911800384521484, 0.09345054626464844, 0.09778308868408203, 0.10211563110351562, 0.10644817352294922, 0.11078071594238281, 0.1151132583618164, 0.11944580078125]}, "gradients/decoder.transformer.h.14.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 5.0, 4.0, 12.0, 23.0, 27.0, 46.0, 76.0, 90.0, 105.0, 105.0, 118.0, 99.0, 92.0, 60.0, 54.0, 32.0, 25.0, 17.0, 6.0, 10.0, 6.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.2653483748435974, -0.2592114210128784, -0.25307443737983704, -0.24693746864795685, -0.24080049991607666, -0.23466354608535767, -0.22852657735347748, -0.2223896086215973, -0.2162526398897171, -0.21011567115783691, -0.20397870242595673, -0.19784173369407654, -0.19170477986335754, -0.18556781113147736, -0.17943084239959717, -0.17329387366771698, -0.1671569049358368, -0.1610199362039566, -0.15488296747207642, -0.14874599874019623, -0.14260903000831604, -0.13647207617759705, -0.13033510744571686, -0.12419813871383667, -0.11806116998195648, -0.1119242012500763, -0.1057872325181961, -0.09965027123689651, -0.09351330250501633, -0.08737633377313614, -0.08123937249183655, -0.07510240375995636, -0.06896543502807617, -0.06282846629619598, -0.056691501289606094, -0.050554536283016205, -0.04441756755113602, -0.03828059881925583, -0.03214363381266594, -0.02600666880607605, -0.019869700074195862, -0.013732733204960823, -0.007595766335725784, -0.0014587994664907455, 0.004678167402744293, 0.010815134271979332, 0.01695210114121437, 0.02308906614780426, 0.029226034879684448, 0.035363003611564636, 0.041499968618154526, 0.047636933624744415, 0.0537739023566246, 0.05991087108850479, 0.06604783236980438, 0.07218480110168457, 0.07832176983356476, 0.08445873856544495, 0.09059570729732513, 0.09673266857862473, 0.10286963731050491, 0.1090066060423851, 0.11514356732368469, 0.12128053605556488, 0.12741750478744507]}, "gradients/decoder.transformer.h.14.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 3.0, 6.0, 5.0, 5.0, 6.0, 10.0, 5.0, 8.0, 16.0, 17.0, 14.0, 13.0, 28.0, 21.0, 28.0, 39.0, 31.0, 30.0, 31.0, 31.0, 33.0, 32.0, 43.0, 45.0, 51.0, 34.0, 35.0, 41.0, 42.0, 41.0, 33.0, 25.0, 25.0, 27.0, 23.0, 25.0, 20.0, 19.0, 11.0, 15.0, 4.0, 9.0, 8.0, 8.0, 7.0, 3.0, 3.0, 0.0, 4.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.18045657873153687, -0.17457686364650726, -0.16869714856147766, -0.16281744837760925, -0.15693773329257965, -0.15105801820755005, -0.14517831802368164, -0.13929860293865204, -0.13341888785362244, -0.12753917276859283, -0.12165946513414383, -0.11577975749969482, -0.10990004241466522, -0.10402032732963562, -0.09814061969518661, -0.09226091206073761, -0.08638119697570801, -0.0805014818906784, -0.0746217742562294, -0.0687420666217804, -0.0628623515367508, -0.05698264017701149, -0.051102928817272186, -0.04522321745753288, -0.03934350609779358, -0.033463794738054276, -0.027584083378314972, -0.02170437201857567, -0.015824660658836365, -0.009944949299097061, -0.004065237939357758, 0.001814473420381546, 0.00769418478012085, 0.013573896139860153, 0.019453607499599457, 0.02533331885933876, 0.031213030219078064, 0.03709274157881737, 0.04297245293855667, 0.048852164298295975, 0.05473187565803528, 0.06061158701777458, 0.06649129837751389, 0.07237100601196289, 0.07825072109699249, 0.0841304361820221, 0.0900101438164711, 0.0958898514509201, 0.10176956653594971, 0.10764928162097931, 0.11352898925542831, 0.11940869688987732, 0.12528841197490692, 0.13116812705993652, 0.13704782724380493, 0.14292754232883453, 0.14880725741386414, 0.15468697249889374, 0.16056668758392334, 0.16644638776779175, 0.17232610285282135, 0.17820581793785095, 0.18408551812171936, 0.18996523320674896, 0.19584494829177856]}, "gradients/decoder.transformer.h.13.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 4.0, 5.0, 3.0, 9.0, 8.0, 9.0, 16.0, 15.0, 26.0, 30.0, 25.0, 36.0, 36.0, 57.0, 53.0, 62.0, 58.0, 61.0, 52.0, 61.0, 45.0, 56.0, 46.0, 46.0, 38.0, 29.0, 22.0, 20.0, 19.0, 14.0, 17.0, 16.0, 8.0, 4.0, 3.0, 5.0, 1.0, 0.0, 2.0], "bins": [-0.032379150390625, -0.031625986099243164, -0.030872821807861328, -0.030119657516479492, -0.029366493225097656, -0.02861332893371582, -0.027860164642333984, -0.02710700035095215, -0.026353836059570312, -0.025600671768188477, -0.02484750747680664, -0.024094343185424805, -0.02334117889404297, -0.022588014602661133, -0.021834850311279297, -0.02108168601989746, -0.020328521728515625, -0.01957535743713379, -0.018822193145751953, -0.018069028854370117, -0.01731586456298828, -0.016562700271606445, -0.01580953598022461, -0.015056371688842773, -0.014303207397460938, -0.013550043106079102, -0.012796878814697266, -0.01204371452331543, -0.011290550231933594, -0.010537385940551758, -0.009784221649169922, -0.009031057357788086, -0.00827789306640625, -0.007524728775024414, -0.006771564483642578, -0.006018400192260742, -0.005265235900878906, -0.00451207160949707, -0.0037589073181152344, -0.0030057430267333984, -0.0022525787353515625, -0.0014994144439697266, -0.0007462501525878906, 6.9141387939453125e-06, 0.0007600784301757812, 0.0015132427215576172, 0.002266407012939453, 0.003019571304321289, 0.003772735595703125, 0.004525899887084961, 0.005279064178466797, 0.006032228469848633, 0.006785392761230469, 0.007538557052612305, 0.00829172134399414, 0.009044885635375977, 0.009798049926757812, 0.010551214218139648, 0.011304378509521484, 0.01205754280090332, 0.012810707092285156, 0.013563871383666992, 0.014317035675048828, 0.015070199966430664, 0.0158233642578125]}, "gradients/decoder.transformer.h.13.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 3.0, 5.0, 6.0, 4.0, 15.0, 20.0, 17.0, 25.0, 24.0, 42.0, 69.0, 93.0, 146.0, 263.0, 539.0, 1195.0, 3204.0, 10269.0, 38353.0, 185307.0, 1361153.0, 2186449.0, 324301.0, 60434.0, 14822.0, 4438.0, 1621.0, 664.0, 277.0, 183.0, 107.0, 71.0, 50.0, 41.0, 27.0, 15.0, 14.0, 9.0, 8.0, 4.0, 2.0, 2.0, 2.0], "bins": [-0.0665283203125, -0.06494998931884766, -0.06337165832519531, -0.06179332733154297, -0.060214996337890625, -0.05863666534423828, -0.05705833435058594, -0.055480003356933594, -0.05390167236328125, -0.052323341369628906, -0.05074501037597656, -0.04916667938232422, -0.047588348388671875, -0.04601001739501953, -0.04443168640136719, -0.042853355407714844, -0.0412750244140625, -0.039696693420410156, -0.03811836242675781, -0.03654003143310547, -0.034961700439453125, -0.03338336944580078, -0.03180503845214844, -0.030226707458496094, -0.02864837646484375, -0.027070045471191406, -0.025491714477539062, -0.02391338348388672, -0.022335052490234375, -0.02075672149658203, -0.019178390502929688, -0.017600059509277344, -0.016021728515625, -0.014443397521972656, -0.012865066528320312, -0.011286735534667969, -0.009708404541015625, -0.008130073547363281, -0.0065517425537109375, -0.004973411560058594, -0.00339508056640625, -0.0018167495727539062, -0.0002384185791015625, 0.0013399124145507812, 0.002918243408203125, 0.004496574401855469, 0.0060749053955078125, 0.007653236389160156, 0.0092315673828125, 0.010809898376464844, 0.012388229370117188, 0.013966560363769531, 0.015544891357421875, 0.01712322235107422, 0.018701553344726562, 0.020279884338378906, 0.02185821533203125, 0.023436546325683594, 0.025014877319335938, 0.02659320831298828, 0.028171539306640625, 0.02974987030029297, 0.03132820129394531, 0.032906532287597656, 0.03448486328125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 5.0, 3.0, 5.0, 9.0, 13.0, 18.0, 15.0, 23.0, 40.0, 52.0, 77.0, 114.0, 144.0, 203.0, 309.0, 418.0, 515.0, 502.0, 443.0, 324.0, 206.0, 183.0, 130.0, 98.0, 72.0, 60.0, 31.0, 18.0, 17.0, 12.0, 8.0, 3.0, 4.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.058013916015625, -0.056534767150878906, -0.05505561828613281, -0.05357646942138672, -0.052097320556640625, -0.05061817169189453, -0.04913902282714844, -0.047659873962402344, -0.04618072509765625, -0.044701576232910156, -0.04322242736816406, -0.04174327850341797, -0.040264129638671875, -0.03878498077392578, -0.03730583190917969, -0.035826683044433594, -0.0343475341796875, -0.032868385314941406, -0.03138923645019531, -0.02991008758544922, -0.028430938720703125, -0.02695178985595703, -0.025472640991210938, -0.023993492126464844, -0.02251434326171875, -0.021035194396972656, -0.019556045532226562, -0.01807689666748047, -0.016597747802734375, -0.015118598937988281, -0.013639450073242188, -0.012160301208496094, -0.01068115234375, -0.009202003479003906, -0.0077228546142578125, -0.006243705749511719, -0.004764556884765625, -0.0032854080200195312, -0.0018062591552734375, -0.00032711029052734375, 0.00115203857421875, 0.0026311874389648438, 0.0041103363037109375, 0.005589485168457031, 0.007068634033203125, 0.008547782897949219, 0.010026931762695312, 0.011506080627441406, 0.0129852294921875, 0.014464378356933594, 0.015943527221679688, 0.01742267608642578, 0.018901824951171875, 0.02038097381591797, 0.021860122680664062, 0.023339271545410156, 0.02481842041015625, 0.026297569274902344, 0.027776718139648438, 0.02925586700439453, 0.030735015869140625, 0.03221416473388672, 0.03369331359863281, 0.035172462463378906, 0.036651611328125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 5.0, 1.0, 1.0, 2.0, 4.0, 9.0, 13.0, 12.0, 29.0, 32.0, 59.0, 84.0, 103.0, 173.0, 315.0, 698.0, 2812.0, 24422.0, 743945.0, 3288750.0, 122929.0, 7537.0, 1302.0, 447.0, 198.0, 130.0, 85.0, 61.0, 38.0, 32.0, 20.0, 10.0, 12.0, 7.0, 3.0, 7.0, 4.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1199951171875, -0.11542510986328125, -0.1108551025390625, -0.10628509521484375, -0.101715087890625, -0.09714508056640625, -0.0925750732421875, -0.08800506591796875, -0.08343505859375, -0.07886505126953125, -0.0742950439453125, -0.06972503662109375, -0.065155029296875, -0.06058502197265625, -0.0560150146484375, -0.05144500732421875, -0.046875, -0.04230499267578125, -0.0377349853515625, -0.03316497802734375, -0.028594970703125, -0.02402496337890625, -0.0194549560546875, -0.01488494873046875, -0.01031494140625, -0.00574493408203125, -0.0011749267578125, 0.00339508056640625, 0.007965087890625, 0.01253509521484375, 0.0171051025390625, 0.02167510986328125, 0.0262451171875, 0.03081512451171875, 0.0353851318359375, 0.03995513916015625, 0.044525146484375, 0.04909515380859375, 0.0536651611328125, 0.05823516845703125, 0.06280517578125, 0.06737518310546875, 0.0719451904296875, 0.07651519775390625, 0.081085205078125, 0.08565521240234375, 0.0902252197265625, 0.09479522705078125, 0.099365234375, 0.10393524169921875, 0.1085052490234375, 0.11307525634765625, 0.117645263671875, 0.12221527099609375, 0.1267852783203125, 0.13135528564453125, 0.13592529296875, 0.14049530029296875, 0.1450653076171875, 0.14963531494140625, 0.154205322265625, 0.15877532958984375, 0.1633453369140625, 0.16791534423828125, 0.1724853515625]}, "gradients/decoder.transformer.h.13.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 8.0, 10.0, 53.0, 133.0, 213.0, 248.0, 202.0, 97.0, 31.0, 15.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.38104331493377686, -0.3613688349723816, -0.34169435501098633, -0.32201987504959106, -0.3023453950881958, -0.28267091512680054, -0.2629964351654053, -0.2433219701051712, -0.22364749014377594, -0.20397301018238068, -0.1842985302209854, -0.16462406516075134, -0.14494958519935608, -0.12527510523796082, -0.10560062527656555, -0.08592614531517029, -0.06625166535377502, -0.04657718539237976, -0.026902709156274796, -0.00722823292016983, 0.012446247041225433, 0.0321207270026207, 0.051795199513435364, 0.07146967947483063, 0.09114415943622589, 0.11081863939762115, 0.13049311935901642, 0.1501675844192505, 0.16984206438064575, 0.18951654434204102, 0.20919102430343628, 0.22886550426483154, 0.2485399842262268, 0.26821446418762207, 0.28788894414901733, 0.3075634241104126, 0.32723790407180786, 0.3469123840332031, 0.3665868639945984, 0.38626134395599365, 0.4059358239173889, 0.4256103038787842, 0.44528478384017944, 0.4649592638015747, 0.48463374376296997, 0.5043082237243652, 0.5239827036857605, 0.5436571836471558, 0.5633316040039062, 0.5830060839653015, 0.6026805639266968, 0.622355043888092, 0.6420295238494873, 0.6617040038108826, 0.6813784837722778, 0.7010529637336731, 0.7207274436950684, 0.7404019236564636, 0.7600764036178589, 0.7797508835792542, 0.7994253635406494, 0.8190998435020447, 0.8387743234634399, 0.8584488034248352, 0.8781232833862305]}, "gradients/decoder.transformer.h.13.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 5.0, 2.0, 1.0, 1.0, 4.0, 6.0, 5.0, 14.0, 5.0, 11.0, 6.0, 14.0, 23.0, 16.0, 10.0, 21.0, 26.0, 25.0, 30.0, 28.0, 33.0, 42.0, 36.0, 38.0, 58.0, 41.0, 40.0, 42.0, 40.0, 48.0, 31.0, 37.0, 45.0, 39.0, 18.0, 32.0, 25.0, 17.0, 10.0, 19.0, 17.0, 12.0, 7.0, 8.0, 5.0, 4.0, 3.0, 4.0, 5.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.15875476598739624, -0.15386807918548584, -0.14898139238357544, -0.14409469068050385, -0.13920800387859344, -0.13432131707668304, -0.12943463027477264, -0.12454794347286224, -0.11966124922037125, -0.11477456241846085, -0.10988786816596985, -0.10500118136405945, -0.10011449456214905, -0.09522780030965805, -0.09034111350774765, -0.08545441925525665, -0.08056773245334625, -0.07568104565143585, -0.07079435139894485, -0.06590766459703445, -0.061020974069833755, -0.05613428354263306, -0.051247596740722656, -0.04636090621352196, -0.04147421568632126, -0.03658752515912056, -0.03170083463191986, -0.02681414783000946, -0.02192745730280876, -0.017040766775608063, -0.012154078111052513, -0.0072673894464969635, -0.0023806989192962646, 0.0025059906765818596, 0.007392680272459984, 0.012279369868338108, 0.017166059464216232, 0.02205274999141693, 0.02693943865597248, 0.03182612732052803, 0.03671281784772873, 0.04159950837492943, 0.04648619890213013, 0.05137288570404053, 0.056259576231241226, 0.061146266758441925, 0.06603295356035233, 0.07091964781284332, 0.07580633461475372, 0.08069302141666412, 0.08557971566915512, 0.09046640247106552, 0.09535309672355652, 0.10023978352546692, 0.10512647032737732, 0.11001315712928772, 0.11489985138177872, 0.11978653818368912, 0.12467323243618011, 0.12955991923809052, 0.13444660604000092, 0.1393333077430725, 0.1442199945449829, 0.1491066813468933, 0.1539933681488037]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 5.0, 3.0, 5.0, 8.0, 5.0, 14.0, 23.0, 23.0, 28.0, 33.0, 39.0, 42.0, 57.0, 49.0, 51.0, 60.0, 65.0, 60.0, 69.0, 49.0, 59.0, 53.0, 44.0, 29.0, 27.0, 24.0, 27.0, 12.0, 19.0, 8.0, 11.0, 6.0, 5.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.03466796875, -0.033858537673950195, -0.03304910659790039, -0.032239675521850586, -0.03143024444580078, -0.030620813369750977, -0.029811382293701172, -0.029001951217651367, -0.028192520141601562, -0.027383089065551758, -0.026573657989501953, -0.02576422691345215, -0.024954795837402344, -0.02414536476135254, -0.023335933685302734, -0.02252650260925293, -0.021717071533203125, -0.02090764045715332, -0.020098209381103516, -0.01928877830505371, -0.018479347229003906, -0.0176699161529541, -0.016860485076904297, -0.016051054000854492, -0.015241622924804688, -0.014432191848754883, -0.013622760772705078, -0.012813329696655273, -0.012003898620605469, -0.011194467544555664, -0.01038503646850586, -0.009575605392456055, -0.00876617431640625, -0.007956743240356445, -0.007147312164306641, -0.006337881088256836, -0.005528450012207031, -0.0047190189361572266, -0.003909587860107422, -0.003100156784057617, -0.0022907257080078125, -0.0014812946319580078, -0.0006718635559082031, 0.00013756752014160156, 0.0009469985961914062, 0.001756429672241211, 0.0025658607482910156, 0.0033752918243408203, 0.004184722900390625, 0.00499415397644043, 0.005803585052490234, 0.006613016128540039, 0.007422447204589844, 0.008231878280639648, 0.009041309356689453, 0.009850740432739258, 0.010660171508789062, 0.011469602584838867, 0.012279033660888672, 0.013088464736938477, 0.013897895812988281, 0.014707326889038086, 0.01551675796508789, 0.016326189041137695, 0.0171356201171875]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 1.0, 5.0, 9.0, 6.0, 12.0, 18.0, 24.0, 23.0, 36.0, 68.0, 85.0, 183.0, 343.0, 679.0, 1320.0, 2849.0, 6083.0, 13690.0, 30851.0, 70337.0, 182248.0, 475167.0, 153529.0, 61435.0, 26972.0, 12168.0, 5432.0, 2523.0, 1153.0, 562.0, 305.0, 157.0, 86.0, 65.0, 46.0, 15.0, 21.0, 12.0, 13.0, 5.0, 7.0, 4.0, 2.0, 2.0, 1.0, 6.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002582073211669922, -0.0002499893307685852, -0.00024177134037017822, -0.00023355334997177124, -0.00022533535957336426, -0.00021711736917495728, -0.0002088993787765503, -0.0002006813883781433, -0.00019246339797973633, -0.00018424540758132935, -0.00017602741718292236, -0.00016780942678451538, -0.0001595914363861084, -0.00015137344598770142, -0.00014315545558929443, -0.00013493746519088745, -0.00012671947479248047, -0.00011850148439407349, -0.0001102834939956665, -0.00010206550359725952, -9.384751319885254e-05, -8.562952280044556e-05, -7.741153240203857e-05, -6.919354200363159e-05, -6.097555160522461e-05, -5.275756120681763e-05, -4.4539570808410645e-05, -3.632158041000366e-05, -2.810359001159668e-05, -1.9885599613189697e-05, -1.1667609214782715e-05, -3.4496188163757324e-06, 4.76837158203125e-06, 1.2986361980438232e-05, 2.1204352378845215e-05, 2.9422342777252197e-05, 3.764033317565918e-05, 4.585832357406616e-05, 5.4076313972473145e-05, 6.229430437088013e-05, 7.051229476928711e-05, 7.873028516769409e-05, 8.694827556610107e-05, 9.516626596450806e-05, 0.00010338425636291504, 0.00011160224676132202, 0.000119820237159729, 0.00012803822755813599, 0.00013625621795654297, 0.00014447420835494995, 0.00015269219875335693, 0.00016091018915176392, 0.0001691281795501709, 0.00017734616994857788, 0.00018556416034698486, 0.00019378215074539185, 0.00020200014114379883, 0.0002102181315422058, 0.0002184361219406128, 0.00022665411233901978, 0.00023487210273742676, 0.00024309009313583374, 0.0002513080835342407, 0.0002595260739326477, 0.0002677440643310547]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 5.0, 1.0, 5.0, 0.0, 10.0, 4.0, 5.0, 11.0, 5.0, 12.0, 19.0, 20.0, 19.0, 19.0, 17.0, 15.0, 26.0, 26.0, 28.0, 38.0, 30.0, 32.0, 27.0, 33.0, 22.0, 43.0, 1062.0, 39.0, 38.0, 40.0, 44.0, 47.0, 32.0, 29.0, 33.0, 26.0, 27.0, 22.0, 24.0, 17.0, 15.0, 7.0, 16.0, 7.0, 10.0, 9.0, 7.0, 4.0, 4.0, 5.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.01739501953125, -0.016874313354492188, -0.016353607177734375, -0.015832901000976562, -0.01531219482421875, -0.014791488647460938, -0.014270782470703125, -0.013750076293945312, -0.0132293701171875, -0.012708663940429688, -0.012187957763671875, -0.011667251586914062, -0.01114654541015625, -0.010625839233398438, -0.010105133056640625, -0.009584426879882812, -0.009063720703125, -0.008543014526367188, -0.008022308349609375, -0.0075016021728515625, -0.00698089599609375, -0.0064601898193359375, -0.005939483642578125, -0.0054187774658203125, -0.0048980712890625, -0.0043773651123046875, -0.003856658935546875, -0.0033359527587890625, -0.00281524658203125, -0.0022945404052734375, -0.001773834228515625, -0.0012531280517578125, -0.000732421875, -0.0002117156982421875, 0.000308990478515625, 0.0008296966552734375, 0.00135040283203125, 0.0018711090087890625, 0.002391815185546875, 0.0029125213623046875, 0.0034332275390625, 0.0039539337158203125, 0.004474639892578125, 0.0049953460693359375, 0.00551605224609375, 0.0060367584228515625, 0.006557464599609375, 0.0070781707763671875, 0.007598876953125, 0.008119583129882812, 0.008640289306640625, 0.009160995483398438, 0.00968170166015625, 0.010202407836914062, 0.010723114013671875, 0.011243820190429688, 0.0117645263671875, 0.012285232543945312, 0.012805938720703125, 0.013326644897460938, 0.01384735107421875, 0.014368057250976562, 0.014888763427734375, 0.015409469604492188, 0.01593017578125]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 0.0, 1.0, 5.0, 5.0, 9.0, 5.0, 9.0, 13.0, 13.0, 11.0, 18.0, 16.0, 19.0, 23.0, 25.0, 26.0, 36.0, 36.0, 57.0, 110.0, 318.0, 754.0, 2864.0, 14573.0, 2066566.0, 8283.0, 2021.0, 693.0, 203.0, 109.0, 41.0, 34.0, 33.0, 26.0, 25.0, 12.0, 18.0, 23.0, 20.0, 21.0, 12.0, 5.0, 11.0, 7.0, 7.0, 7.0, 3.0, 5.0, 4.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.537799835205078e-05, -1.4872290194034576e-05, -1.4366582036018372e-05, -1.3860873878002167e-05, -1.3355165719985962e-05, -1.2849457561969757e-05, -1.2343749403953552e-05, -1.1838041245937347e-05, -1.1332333087921143e-05, -1.0826624929904938e-05, -1.0320916771888733e-05, -9.815208613872528e-06, -9.309500455856323e-06, -8.803792297840118e-06, -8.298084139823914e-06, -7.792375981807709e-06, -7.286667823791504e-06, -6.780959665775299e-06, -6.275251507759094e-06, -5.769543349742889e-06, -5.2638351917266846e-06, -4.75812703371048e-06, -4.252418875694275e-06, -3.74671071767807e-06, -3.2410025596618652e-06, -2.7352944016456604e-06, -2.2295862436294556e-06, -1.7238780856132507e-06, -1.218169927597046e-06, -7.124617695808411e-07, -2.0675361156463623e-07, 2.989545464515686e-07, 8.046627044677734e-07, 1.3103708624839783e-06, 1.816079020500183e-06, 2.321787178516388e-06, 2.8274953365325928e-06, 3.3332034945487976e-06, 3.8389116525650024e-06, 4.344619810581207e-06, 4.850327968597412e-06, 5.356036126613617e-06, 5.861744284629822e-06, 6.367452442646027e-06, 6.8731606006622314e-06, 7.378868758678436e-06, 7.884576916694641e-06, 8.390285074710846e-06, 8.89599323272705e-06, 9.401701390743256e-06, 9.90740954875946e-06, 1.0413117706775665e-05, 1.091882586479187e-05, 1.1424534022808075e-05, 1.193024218082428e-05, 1.2435950338840485e-05, 1.294165849685669e-05, 1.3447366654872894e-05, 1.3953074812889099e-05, 1.4458782970905304e-05, 1.4964491128921509e-05, 1.5470199286937714e-05, 1.597590744495392e-05, 1.6481615602970123e-05, 1.6987323760986328e-05]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 5.0, 3.0, 5.0, 8.0, 5.0, 14.0, 23.0, 23.0, 28.0, 33.0, 39.0, 42.0, 57.0, 49.0, 51.0, 60.0, 65.0, 60.0, 69.0, 49.0, 59.0, 53.0, 44.0, 29.0, 27.0, 24.0, 27.0, 12.0, 19.0, 8.0, 11.0, 6.0, 5.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.03466796875, -0.033858537673950195, -0.03304910659790039, -0.032239675521850586, -0.03143024444580078, -0.030620813369750977, -0.029811382293701172, -0.029001951217651367, -0.028192520141601562, -0.027383089065551758, -0.026573657989501953, -0.02576422691345215, -0.024954795837402344, -0.02414536476135254, -0.023335933685302734, -0.02252650260925293, -0.021717071533203125, -0.02090764045715332, -0.020098209381103516, -0.01928877830505371, -0.018479347229003906, -0.0176699161529541, -0.016860485076904297, -0.016051054000854492, -0.015241622924804688, -0.014432191848754883, -0.013622760772705078, -0.012813329696655273, -0.012003898620605469, -0.011194467544555664, -0.01038503646850586, -0.009575605392456055, -0.00876617431640625, -0.007956743240356445, -0.007147312164306641, -0.006337881088256836, -0.005528450012207031, -0.0047190189361572266, -0.003909587860107422, -0.003100156784057617, -0.0022907257080078125, -0.0014812946319580078, -0.0006718635559082031, 0.00013756752014160156, 0.0009469985961914062, 0.001756429672241211, 0.0025658607482910156, 0.0033752918243408203, 0.004184722900390625, 0.00499415397644043, 0.005803585052490234, 0.006613016128540039, 0.007422447204589844, 0.008231878280639648, 0.009041309356689453, 0.009850740432739258, 0.010660171508789062, 0.011469602584838867, 0.012279033660888672, 0.013088464736938477, 0.013897895812988281, 0.014707326889038086, 0.01551675796508789, 0.016326189041137695, 0.0171356201171875]}, "gradients/decoder.transformer.h.13.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 4.0, 2.0, 1.0, 8.0, 12.0, 11.0, 13.0, 31.0, 34.0, 73.0, 104.0, 130.0, 209.0, 285.0, 453.0, 733.0, 1142.0, 1942.0, 3347.0, 5817.0, 10067.0, 18644.0, 36073.0, 74144.0, 171221.0, 327415.0, 213122.0, 90420.0, 42921.0, 22020.0, 11938.0, 6580.0, 3770.0, 2212.0, 1290.0, 832.0, 535.0, 355.0, 229.0, 157.0, 100.0, 60.0, 37.0, 24.0, 22.0, 9.0, 10.0, 5.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.025054931640625, -0.024179697036743164, -0.023304462432861328, -0.022429227828979492, -0.021553993225097656, -0.02067875862121582, -0.019803524017333984, -0.01892828941345215, -0.018053054809570312, -0.017177820205688477, -0.01630258560180664, -0.015427350997924805, -0.014552116394042969, -0.013676881790161133, -0.012801647186279297, -0.011926412582397461, -0.011051177978515625, -0.010175943374633789, -0.009300708770751953, -0.008425474166870117, -0.007550239562988281, -0.006675004959106445, -0.005799770355224609, -0.0049245357513427734, -0.0040493011474609375, -0.0031740665435791016, -0.0022988319396972656, -0.0014235973358154297, -0.0005483627319335938, 0.0003268718719482422, 0.0012021064758300781, 0.002077341079711914, 0.00295257568359375, 0.003827810287475586, 0.004703044891357422, 0.005578279495239258, 0.006453514099121094, 0.00732874870300293, 0.008203983306884766, 0.009079217910766602, 0.009954452514648438, 0.010829687118530273, 0.01170492172241211, 0.012580156326293945, 0.013455390930175781, 0.014330625534057617, 0.015205860137939453, 0.01608109474182129, 0.016956329345703125, 0.01783156394958496, 0.018706798553466797, 0.019582033157348633, 0.02045726776123047, 0.021332502365112305, 0.02220773696899414, 0.023082971572875977, 0.023958206176757812, 0.02483344078063965, 0.025708675384521484, 0.02658390998840332, 0.027459144592285156, 0.028334379196166992, 0.029209613800048828, 0.030084848403930664, 0.0309600830078125]}, "gradients/decoder.transformer.h.13.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 9.0, 5.0, 3.0, 9.0, 16.0, 12.0, 26.0, 24.0, 24.0, 33.0, 35.0, 37.0, 37.0, 51.0, 81.0, 92.0, 172.0, 844.0, 885.0, 161.0, 104.0, 89.0, 70.0, 44.0, 37.0, 24.0, 29.0, 27.0, 14.0, 9.0, 19.0, 11.0, 7.0, 6.0, 2.0, 4.0, 1.0, 2.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0867919921875, -0.084381103515625, -0.08197021484375, -0.079559326171875, -0.0771484375, -0.074737548828125, -0.07232666015625, -0.069915771484375, -0.0675048828125, -0.065093994140625, -0.06268310546875, -0.060272216796875, -0.057861328125, -0.055450439453125, -0.05303955078125, -0.050628662109375, -0.0482177734375, -0.045806884765625, -0.04339599609375, -0.040985107421875, -0.03857421875, -0.036163330078125, -0.03375244140625, -0.031341552734375, -0.0289306640625, -0.026519775390625, -0.02410888671875, -0.021697998046875, -0.019287109375, -0.016876220703125, -0.01446533203125, -0.012054443359375, -0.0096435546875, -0.007232666015625, -0.00482177734375, -0.002410888671875, 0.0, 0.002410888671875, 0.00482177734375, 0.007232666015625, 0.0096435546875, 0.012054443359375, 0.01446533203125, 0.016876220703125, 0.019287109375, 0.021697998046875, 0.02410888671875, 0.026519775390625, 0.0289306640625, 0.031341552734375, 0.03375244140625, 0.036163330078125, 0.03857421875, 0.040985107421875, 0.04339599609375, 0.045806884765625, 0.0482177734375, 0.050628662109375, 0.05303955078125, 0.055450439453125, 0.057861328125, 0.060272216796875, 0.06268310546875, 0.065093994140625, 0.0675048828125]}, "gradients/decoder.transformer.h.13.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 6.0, 7.0, 8.0, 8.0, 6.0, 23.0, 27.0, 31.0, 45.0, 67.0, 64.0, 91.0, 112.0, 159.0, 211.0, 368.0, 860.0, 3396.0, 29058.0, 932089.0, 2120231.0, 51290.0, 5052.0, 1110.0, 407.0, 243.0, 195.0, 126.0, 104.0, 67.0, 62.0, 43.0, 39.0, 20.0, 24.0, 14.0, 8.0, 15.0, 5.0, 8.0, 6.0, 1.0, 4.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.10205078125, -0.098419189453125, -0.09478759765625, -0.091156005859375, -0.0875244140625, -0.083892822265625, -0.08026123046875, -0.076629638671875, -0.072998046875, -0.069366455078125, -0.06573486328125, -0.062103271484375, -0.0584716796875, -0.054840087890625, -0.05120849609375, -0.047576904296875, -0.0439453125, -0.040313720703125, -0.03668212890625, -0.033050537109375, -0.0294189453125, -0.025787353515625, -0.02215576171875, -0.018524169921875, -0.014892578125, -0.011260986328125, -0.00762939453125, -0.003997802734375, -0.0003662109375, 0.003265380859375, 0.00689697265625, 0.010528564453125, 0.01416015625, 0.017791748046875, 0.02142333984375, 0.025054931640625, 0.0286865234375, 0.032318115234375, 0.03594970703125, 0.039581298828125, 0.043212890625, 0.046844482421875, 0.05047607421875, 0.054107666015625, 0.0577392578125, 0.061370849609375, 0.06500244140625, 0.068634033203125, 0.072265625, 0.075897216796875, 0.07952880859375, 0.083160400390625, 0.0867919921875, 0.090423583984375, 0.09405517578125, 0.097686767578125, 0.101318359375, 0.104949951171875, 0.10858154296875, 0.112213134765625, 0.1158447265625, 0.119476318359375, 0.12310791015625, 0.126739501953125, 0.13037109375]}, "gradients/decoder.transformer.h.13.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 5.0, 14.0, 14.0, 21.0, 45.0, 50.0, 69.0, 97.0, 112.0, 126.0, 102.0, 108.0, 73.0, 60.0, 45.0, 29.0, 22.0, 11.0, 5.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15808404982089996, -0.15236850082874298, -0.1466529667377472, -0.1409374177455902, -0.13522186875343323, -0.12950633466243744, -0.12379078567028046, -0.11807524412870407, -0.11235970258712769, -0.1066441610455513, -0.10092861950397491, -0.09521307051181793, -0.08949752897024155, -0.08378198742866516, -0.07806643843650818, -0.0723508968949318, -0.06663535535335541, -0.06091981381177902, -0.05520426854491234, -0.049488723278045654, -0.04377318173646927, -0.03805764019489288, -0.0323420949280262, -0.026626549661159515, -0.02091100811958313, -0.015195464715361595, -0.00947992131114006, -0.0037643779069185257, 0.001951165497303009, 0.007666708901524544, 0.013382252305746078, 0.019097797572612762, 0.024813339114189148, 0.030528882518410683, 0.03624442592263222, 0.0419599711894989, 0.04767551273107529, 0.05339105427265167, 0.059106599539518356, 0.06482214480638504, 0.07053768634796143, 0.07625322788953781, 0.0819687694311142, 0.08768431842327118, 0.09339985996484756, 0.09911540150642395, 0.10483095049858093, 0.11054649204015732, 0.1162620335817337, 0.12197757512331009, 0.12769311666488647, 0.13340866565704346, 0.13912421464920044, 0.14483974874019623, 0.1505552977323532, 0.156270831823349, 0.16198638081550598, 0.16770192980766296, 0.17341746389865875, 0.17913301289081573, 0.18484854698181152, 0.1905640959739685, 0.1962796449661255, 0.20199519395828247, 0.20771072804927826]}, "gradients/decoder.transformer.h.13.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 4.0, 4.0, 5.0, 12.0, 9.0, 16.0, 7.0, 12.0, 15.0, 18.0, 16.0, 21.0, 20.0, 19.0, 24.0, 28.0, 28.0, 41.0, 35.0, 34.0, 38.0, 34.0, 34.0, 44.0, 50.0, 36.0, 42.0, 33.0, 30.0, 26.0, 26.0, 28.0, 22.0, 23.0, 30.0, 15.0, 18.0, 16.0, 12.0, 16.0, 10.0, 12.0, 11.0, 6.0, 9.0, 3.0, 2.0, 3.0, 3.0, 1.0, 3.0, 2.0, 1.0, 3.0], "bins": [-0.18040454387664795, -0.1749291867017746, -0.16945382952690125, -0.1639784723520279, -0.15850311517715454, -0.15302777290344238, -0.14755241572856903, -0.14207705855369568, -0.13660170137882233, -0.13112634420394897, -0.12565098702907562, -0.12017563730478287, -0.11470028012990952, -0.10922492295503616, -0.10374957323074341, -0.09827421605587006, -0.0927988588809967, -0.08732350170612335, -0.08184814453125, -0.07637279480695724, -0.07089743763208389, -0.06542208045721054, -0.05994672700762749, -0.054471373558044434, -0.04899601638317108, -0.04352065920829773, -0.038045305758714676, -0.03256995230913162, -0.02709459513425827, -0.021619239822030067, -0.016143884509801865, -0.010668531060218811, -0.005193173885345459, 0.00028218142688274384, 0.005757536739110947, 0.01123289205133915, 0.016708247363567352, 0.022183602675795555, 0.027658957988023758, 0.03313431143760681, 0.038609668612480164, 0.044085025787353516, 0.04956037923693657, 0.05503573268651962, 0.060511089861392975, 0.06598644703626633, 0.07146179676055908, 0.07693715393543243, 0.08241251111030579, 0.08788786828517914, 0.09336322546005249, 0.09883857518434525, 0.1043139323592186, 0.10978928953409195, 0.1152646392583847, 0.12073999643325806, 0.1262153536081314, 0.13169071078300476, 0.1371660679578781, 0.14264142513275146, 0.14811676740646362, 0.15359212458133698, 0.15906748175621033, 0.16454283893108368, 0.17001819610595703]}, "gradients/decoder.transformer.h.12.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 2.0, 4.0, 3.0, 4.0, 9.0, 10.0, 19.0, 14.0, 26.0, 34.0, 31.0, 32.0, 38.0, 61.0, 50.0, 55.0, 64.0, 58.0, 61.0, 70.0, 53.0, 54.0, 48.0, 47.0, 33.0, 28.0, 29.0, 16.0, 15.0, 14.0, 12.0, 8.0, 6.0, 3.0, 5.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.035186767578125, -0.0343630313873291, -0.0335392951965332, -0.032715559005737305, -0.031891822814941406, -0.031068086624145508, -0.03024435043334961, -0.02942061424255371, -0.028596878051757812, -0.027773141860961914, -0.026949405670166016, -0.026125669479370117, -0.02530193328857422, -0.02447819709777832, -0.023654460906982422, -0.022830724716186523, -0.022006988525390625, -0.021183252334594727, -0.020359516143798828, -0.01953577995300293, -0.01871204376220703, -0.017888307571411133, -0.017064571380615234, -0.016240835189819336, -0.015417098999023438, -0.014593362808227539, -0.01376962661743164, -0.012945890426635742, -0.012122154235839844, -0.011298418045043945, -0.010474681854248047, -0.009650945663452148, -0.00882720947265625, -0.008003473281860352, -0.007179737091064453, -0.006356000900268555, -0.005532264709472656, -0.004708528518676758, -0.0038847923278808594, -0.003061056137084961, -0.0022373199462890625, -0.001413583755493164, -0.0005898475646972656, 0.0002338886260986328, 0.0010576248168945312, 0.0018813610076904297, 0.002705097198486328, 0.0035288333892822266, 0.004352569580078125, 0.0051763057708740234, 0.006000041961669922, 0.00682377815246582, 0.007647514343261719, 0.008471250534057617, 0.009294986724853516, 0.010118722915649414, 0.010942459106445312, 0.011766195297241211, 0.01258993148803711, 0.013413667678833008, 0.014237403869628906, 0.015061140060424805, 0.015884876251220703, 0.0167086124420166, 0.0175323486328125]}, "gradients/decoder.transformer.h.12.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 8.0, 4.0, 6.0, 9.0, 12.0, 20.0, 24.0, 51.0, 95.0, 128.0, 238.0, 445.0, 808.0, 1747.0, 4119.0, 10910.0, 33095.0, 124072.0, 687496.0, 2474457.0, 680850.0, 124552.0, 32825.0, 10733.0, 4138.0, 1718.0, 756.0, 411.0, 236.0, 114.0, 79.0, 45.0, 26.0, 30.0, 16.0, 10.0, 4.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.05755615234375, -0.05609893798828125, -0.0546417236328125, -0.05318450927734375, -0.051727294921875, -0.05027008056640625, -0.0488128662109375, -0.04735565185546875, -0.0458984375, -0.04444122314453125, -0.0429840087890625, -0.04152679443359375, -0.040069580078125, -0.03861236572265625, -0.0371551513671875, -0.03569793701171875, -0.03424072265625, -0.03278350830078125, -0.0313262939453125, -0.02986907958984375, -0.028411865234375, -0.02695465087890625, -0.0254974365234375, -0.02404022216796875, -0.0225830078125, -0.02112579345703125, -0.0196685791015625, -0.01821136474609375, -0.016754150390625, -0.01529693603515625, -0.0138397216796875, -0.01238250732421875, -0.01092529296875, -0.00946807861328125, -0.0080108642578125, -0.00655364990234375, -0.005096435546875, -0.00363922119140625, -0.0021820068359375, -0.00072479248046875, 0.000732421875, 0.00218963623046875, 0.0036468505859375, 0.00510406494140625, 0.006561279296875, 0.00801849365234375, 0.0094757080078125, 0.01093292236328125, 0.01239013671875, 0.01384735107421875, 0.0153045654296875, 0.01676177978515625, 0.018218994140625, 0.01967620849609375, 0.0211334228515625, 0.02259063720703125, 0.0240478515625, 0.02550506591796875, 0.0269622802734375, 0.02841949462890625, 0.029876708984375, 0.03133392333984375, 0.0327911376953125, 0.03424835205078125, 0.03570556640625]}, "gradients/decoder.transformer.h.12.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 2.0, 0.0, 3.0, 7.0, 6.0, 8.0, 13.0, 12.0, 15.0, 28.0, 40.0, 62.0, 92.0, 124.0, 154.0, 240.0, 316.0, 460.0, 520.0, 492.0, 388.0, 307.0, 225.0, 156.0, 111.0, 92.0, 60.0, 46.0, 26.0, 24.0, 23.0, 8.0, 8.0, 4.0, 1.0, 3.0, 4.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.052093505859375, -0.050638675689697266, -0.04918384552001953, -0.0477290153503418, -0.04627418518066406, -0.04481935501098633, -0.043364524841308594, -0.04190969467163086, -0.040454864501953125, -0.03900003433227539, -0.037545204162597656, -0.03609037399291992, -0.03463554382324219, -0.03318071365356445, -0.03172588348388672, -0.030271053314208984, -0.02881622314453125, -0.027361392974853516, -0.02590656280517578, -0.024451732635498047, -0.022996902465820312, -0.021542072296142578, -0.020087242126464844, -0.01863241195678711, -0.017177581787109375, -0.01572275161743164, -0.014267921447753906, -0.012813091278076172, -0.011358261108398438, -0.009903430938720703, -0.008448600769042969, -0.006993770599365234, -0.0055389404296875, -0.004084110260009766, -0.0026292800903320312, -0.0011744499206542969, 0.0002803802490234375, 0.0017352104187011719, 0.0031900405883789062, 0.004644870758056641, 0.006099700927734375, 0.007554531097412109, 0.009009361267089844, 0.010464191436767578, 0.011919021606445312, 0.013373851776123047, 0.014828681945800781, 0.016283512115478516, 0.01773834228515625, 0.019193172454833984, 0.02064800262451172, 0.022102832794189453, 0.023557662963867188, 0.025012493133544922, 0.026467323303222656, 0.02792215347290039, 0.029376983642578125, 0.03083181381225586, 0.032286643981933594, 0.03374147415161133, 0.03519630432128906, 0.0366511344909668, 0.03810596466064453, 0.039560794830322266, 0.041015625]}, "gradients/decoder.transformer.h.12.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 3.0, 4.0, 0.0, 4.0, 2.0, 10.0, 10.0, 25.0, 28.0, 38.0, 62.0, 79.0, 132.0, 238.0, 376.0, 879.0, 4430.0, 59554.0, 2702038.0, 1388917.0, 32874.0, 3056.0, 728.0, 293.0, 192.0, 112.0, 81.0, 34.0, 25.0, 19.0, 14.0, 11.0, 9.0, 3.0, 7.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1456298828125, -0.1407604217529297, -0.13589096069335938, -0.13102149963378906, -0.12615203857421875, -0.12128257751464844, -0.11641311645507812, -0.11154365539550781, -0.1066741943359375, -0.10180473327636719, -0.09693527221679688, -0.09206581115722656, -0.08719635009765625, -0.08232688903808594, -0.07745742797851562, -0.07258796691894531, -0.067718505859375, -0.06284904479980469, -0.057979583740234375, -0.05311012268066406, -0.04824066162109375, -0.04337120056152344, -0.038501739501953125, -0.03363227844238281, -0.0287628173828125, -0.023893356323242188, -0.019023895263671875, -0.014154434204101562, -0.00928497314453125, -0.0044155120849609375, 0.000453948974609375, 0.0053234100341796875, 0.01019287109375, 0.015062332153320312, 0.019931793212890625, 0.024801254272460938, 0.02967071533203125, 0.03454017639160156, 0.039409637451171875, 0.04427909851074219, 0.0491485595703125, 0.05401802062988281, 0.058887481689453125, 0.06375694274902344, 0.06862640380859375, 0.07349586486816406, 0.07836532592773438, 0.08323478698730469, 0.088104248046875, 0.09297370910644531, 0.09784317016601562, 0.10271263122558594, 0.10758209228515625, 0.11245155334472656, 0.11732101440429688, 0.12219047546386719, 0.1270599365234375, 0.1319293975830078, 0.13679885864257812, 0.14166831970214844, 0.14653778076171875, 0.15140724182128906, 0.15627670288085938, 0.1611461639404297, 0.166015625]}, "gradients/decoder.transformer.h.12.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 2.0, 16.0, 11.0, 15.0, 32.0, 53.0, 79.0, 109.0, 124.0, 120.0, 144.0, 104.0, 72.0, 53.0, 35.0, 21.0, 13.0, 5.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.35386714339256287, -0.3440604507923126, -0.33425372838974, -0.32444703578948975, -0.3146403431892395, -0.30483365058898926, -0.295026957988739, -0.2852202355861664, -0.27541354298591614, -0.2656068503856659, -0.25580012798309326, -0.24599343538284302, -0.23618674278259277, -0.22638005018234253, -0.2165733426809311, -0.20676663517951965, -0.1969599425792694, -0.18715324997901917, -0.17734654247760773, -0.1675398349761963, -0.15773314237594604, -0.1479264497756958, -0.13811974227428436, -0.12831303477287292, -0.11850634217262268, -0.10869964212179184, -0.098892942070961, -0.08908624202013016, -0.07927954196929932, -0.06947284191846848, -0.059666141867637634, -0.04985944181680679, -0.04005277156829834, -0.0302460715174675, -0.020439371466636658, -0.010632671415805817, -0.0008259713649749756, 0.008980728685855865, 0.018787428736686707, 0.028594128787517548, 0.03840082883834839, 0.04820752888917923, 0.05801422894001007, 0.06782092899084091, 0.07762762904167175, 0.0874343290925026, 0.09724102914333344, 0.10704772919416428, 0.11685442924499512, 0.12666112184524536, 0.1364678293466568, 0.14627453684806824, 0.15608122944831848, 0.16588792204856873, 0.17569462954998016, 0.1855013370513916, 0.19530802965164185, 0.2051147222518921, 0.21492142975330353, 0.22472813725471497, 0.2345348298549652, 0.24434152245521545, 0.2541482448577881, 0.26395493745803833, 0.2737616300582886]}, "gradients/decoder.transformer.h.12.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 8.0, 9.0, 8.0, 14.0, 12.0, 7.0, 22.0, 13.0, 19.0, 30.0, 37.0, 40.0, 37.0, 42.0, 48.0, 45.0, 41.0, 40.0, 45.0, 50.0, 40.0, 35.0, 45.0, 40.0, 25.0, 31.0, 29.0, 31.0, 24.0, 20.0, 17.0, 18.0, 11.0, 11.0, 14.0, 14.0, 6.0, 3.0, 4.0, 4.0, 7.0, 2.0, 4.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.1601429581642151, -0.15528665482997894, -0.1504303514957428, -0.14557403326034546, -0.14071772992610931, -0.13586142659187317, -0.13100512325763702, -0.12614881992340088, -0.12129250913858414, -0.11643620580434799, -0.11157989501953125, -0.1067235916852951, -0.10186728835105896, -0.09701097756624222, -0.09215467423200607, -0.08729836344718933, -0.08244206011295319, -0.07758575677871704, -0.0727294459939003, -0.06787314265966415, -0.06301683187484741, -0.05816052854061127, -0.05330422520637512, -0.04844791814684868, -0.043591611087322235, -0.03873530402779579, -0.03387899696826935, -0.029022693634033203, -0.02416638657450676, -0.019310079514980316, -0.014453774318099022, -0.009597469121217728, -0.004741162061691284, 0.00011514406651258469, 0.0049714501947164536, 0.009827756322920322, 0.014684062451124191, 0.019540369510650635, 0.02439667470753193, 0.029252979904413223, 0.03410928696393967, 0.03896559402346611, 0.043821901082992554, 0.0486782044172287, 0.05353451147675514, 0.058390818536281586, 0.06324712187051773, 0.06810343265533447, 0.07295973598957062, 0.07781603932380676, 0.0826723501086235, 0.08752865344285965, 0.09238496422767639, 0.09724126756191254, 0.10209757089614868, 0.10695387423038483, 0.11181018501520157, 0.11666648834943771, 0.12152279913425446, 0.1263791024684906, 0.13123540580272675, 0.1360917091369629, 0.14094802737236023, 0.14580433070659637, 0.15066063404083252]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 3.0, 2.0, 12.0, 15.0, 10.0, 22.0, 26.0, 22.0, 21.0, 37.0, 37.0, 45.0, 39.0, 65.0, 55.0, 68.0, 63.0, 55.0, 70.0, 42.0, 55.0, 39.0, 39.0, 29.0, 28.0, 25.0, 17.0, 17.0, 18.0, 15.0, 9.0, 3.0, 4.0, 2.0, 0.0, 3.0, 0.0, 2.0], "bins": [-0.0340576171875, -0.03325390815734863, -0.032450199127197266, -0.0316464900970459, -0.03084278106689453, -0.030039072036743164, -0.029235363006591797, -0.02843165397644043, -0.027627944946289062, -0.026824235916137695, -0.026020526885986328, -0.02521681785583496, -0.024413108825683594, -0.023609399795532227, -0.02280569076538086, -0.022001981735229492, -0.021198272705078125, -0.020394563674926758, -0.01959085464477539, -0.018787145614624023, -0.017983436584472656, -0.01717972755432129, -0.016376018524169922, -0.015572309494018555, -0.014768600463867188, -0.01396489143371582, -0.013161182403564453, -0.012357473373413086, -0.011553764343261719, -0.010750055313110352, -0.009946346282958984, -0.009142637252807617, -0.00833892822265625, -0.007535219192504883, -0.006731510162353516, -0.0059278011322021484, -0.005124092102050781, -0.004320383071899414, -0.003516674041748047, -0.0027129650115966797, -0.0019092559814453125, -0.0011055469512939453, -0.0003018379211425781, 0.0005018711090087891, 0.0013055801391601562, 0.0021092891693115234, 0.0029129981994628906, 0.003716707229614258, 0.004520416259765625, 0.005324125289916992, 0.006127834320068359, 0.0069315433502197266, 0.007735252380371094, 0.008538961410522461, 0.009342670440673828, 0.010146379470825195, 0.010950088500976562, 0.01175379753112793, 0.012557506561279297, 0.013361215591430664, 0.014164924621582031, 0.014968633651733398, 0.015772342681884766, 0.016576051712036133, 0.0173797607421875]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 4.0, 2.0, 2.0, 13.0, 6.0, 9.0, 9.0, 20.0, 19.0, 19.0, 42.0, 85.0, 136.0, 267.0, 543.0, 1067.0, 2400.0, 4894.0, 10349.0, 21192.0, 44322.0, 107385.0, 431414.0, 268300.0, 84899.0, 36635.0, 17892.0, 8667.0, 4106.0, 1921.0, 904.0, 433.0, 225.0, 127.0, 95.0, 30.0, 42.0, 23.0, 18.0, 10.0, 9.0, 10.0, 6.0, 4.0, 10.0, 1.0, 2.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.00025081634521484375, -0.00024382583796977997, -0.0002368353307247162, -0.0002298448234796524, -0.00022285431623458862, -0.00021586380898952484, -0.00020887330174446106, -0.00020188279449939728, -0.0001948922872543335, -0.00018790178000926971, -0.00018091127276420593, -0.00017392076551914215, -0.00016693025827407837, -0.0001599397510290146, -0.0001529492437839508, -0.00014595873653888702, -0.00013896822929382324, -0.00013197772204875946, -0.00012498721480369568, -0.0001179967075586319, -0.00011100620031356812, -0.00010401569306850433, -9.702518582344055e-05, -9.003467857837677e-05, -8.304417133331299e-05, -7.60536640882492e-05, -6.906315684318542e-05, -6.207264959812164e-05, -5.508214235305786e-05, -4.809163510799408e-05, -4.11011278629303e-05, -3.4110620617866516e-05, -2.7120113372802734e-05, -2.0129606127738953e-05, -1.3139098882675171e-05, -6.148591637611389e-06, 8.419156074523926e-07, 7.832422852516174e-06, 1.4822930097579956e-05, 2.1813437342643738e-05, 2.880394458770752e-05, 3.57944518327713e-05, 4.278495907783508e-05, 4.9775466322898865e-05, 5.6765973567962646e-05, 6.375648081302643e-05, 7.074698805809021e-05, 7.773749530315399e-05, 8.472800254821777e-05, 9.171850979328156e-05, 9.870901703834534e-05, 0.00010569952428340912, 0.0001126900315284729, 0.00011968053877353668, 0.00012667104601860046, 0.00013366155326366425, 0.00014065206050872803, 0.0001476425677537918, 0.0001546330749988556, 0.00016162358224391937, 0.00016861408948898315, 0.00017560459673404694, 0.00018259510397911072, 0.0001895856112241745, 0.00019657611846923828]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 0.0, 1.0, 4.0, 7.0, 7.0, 4.0, 4.0, 9.0, 8.0, 13.0, 9.0, 15.0, 14.0, 21.0, 24.0, 30.0, 22.0, 20.0, 36.0, 36.0, 34.0, 41.0, 44.0, 42.0, 43.0, 1062.0, 38.0, 36.0, 44.0, 37.0, 46.0, 29.0, 34.0, 30.0, 20.0, 25.0, 20.0, 23.0, 22.0, 9.0, 16.0, 15.0, 8.0, 3.0, 10.0, 7.0, 2.0, 7.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.01971435546875, -0.01911020278930664, -0.01850605010986328, -0.017901897430419922, -0.017297744750976562, -0.016693592071533203, -0.016089439392089844, -0.015485286712646484, -0.014881134033203125, -0.014276981353759766, -0.013672828674316406, -0.013068675994873047, -0.012464523315429688, -0.011860370635986328, -0.011256217956542969, -0.01065206527709961, -0.01004791259765625, -0.00944375991821289, -0.008839607238769531, -0.008235454559326172, -0.0076313018798828125, -0.007027149200439453, -0.006422996520996094, -0.005818843841552734, -0.005214691162109375, -0.004610538482666016, -0.004006385803222656, -0.003402233123779297, -0.0027980804443359375, -0.002193927764892578, -0.0015897750854492188, -0.0009856224060058594, -0.0003814697265625, 0.00022268295288085938, 0.0008268356323242188, 0.0014309883117675781, 0.0020351409912109375, 0.002639293670654297, 0.0032434463500976562, 0.0038475990295410156, 0.004451751708984375, 0.005055904388427734, 0.005660057067871094, 0.006264209747314453, 0.0068683624267578125, 0.007472515106201172, 0.008076667785644531, 0.00868082046508789, 0.00928497314453125, 0.00988912582397461, 0.010493278503417969, 0.011097431182861328, 0.011701583862304688, 0.012305736541748047, 0.012909889221191406, 0.013514041900634766, 0.014118194580078125, 0.014722347259521484, 0.015326499938964844, 0.015930652618408203, 0.016534805297851562, 0.017138957977294922, 0.01774311065673828, 0.01834726333618164, 0.018951416015625]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 4.0, 2.0, 2.0, 5.0, 6.0, 9.0, 5.0, 12.0, 10.0, 14.0, 20.0, 18.0, 22.0, 26.0, 22.0, 24.0, 27.0, 48.0, 60.0, 147.0, 421.0, 1416.0, 6537.0, 2059011.0, 24942.0, 2913.0, 758.0, 270.0, 87.0, 43.0, 34.0, 31.0, 29.0, 24.0, 30.0, 13.0, 16.0, 13.0, 9.0, 17.0, 7.0, 12.0, 4.0, 3.0, 7.0, 7.0, 1.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.919269561767578e-05, -1.8588267266750336e-05, -1.798383891582489e-05, -1.7379410564899445e-05, -1.6774982213974e-05, -1.6170553863048553e-05, -1.5566125512123108e-05, -1.4961697161197662e-05, -1.4357268810272217e-05, -1.3752840459346771e-05, -1.3148412108421326e-05, -1.254398375749588e-05, -1.1939555406570435e-05, -1.1335127055644989e-05, -1.0730698704719543e-05, -1.0126270353794098e-05, -9.521842002868652e-06, -8.917413651943207e-06, -8.312985301017761e-06, -7.708556950092316e-06, -7.10412859916687e-06, -6.4997002482414246e-06, -5.895271897315979e-06, -5.2908435463905334e-06, -4.686415195465088e-06, -4.081986844539642e-06, -3.4775584936141968e-06, -2.8731301426887512e-06, -2.2687017917633057e-06, -1.6642734408378601e-06, -1.0598450899124146e-06, -4.55416738986969e-07, 1.4901161193847656e-07, 7.534399628639221e-07, 1.3578683137893677e-06, 1.9622966647148132e-06, 2.566725015640259e-06, 3.1711533665657043e-06, 3.77558171749115e-06, 4.3800100684165955e-06, 4.984438419342041e-06, 5.5888667702674866e-06, 6.193295121192932e-06, 6.797723472118378e-06, 7.402151823043823e-06, 8.006580173969269e-06, 8.611008524894714e-06, 9.21543687582016e-06, 9.819865226745605e-06, 1.0424293577671051e-05, 1.1028721928596497e-05, 1.1633150279521942e-05, 1.2237578630447388e-05, 1.2842006981372833e-05, 1.3446435332298279e-05, 1.4050863683223724e-05, 1.465529203414917e-05, 1.5259720385074615e-05, 1.586414873600006e-05, 1.6468577086925507e-05, 1.7073005437850952e-05, 1.7677433788776398e-05, 1.8281862139701843e-05, 1.888629049062729e-05, 1.9490718841552734e-05]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 3.0, 2.0, 12.0, 15.0, 10.0, 22.0, 26.0, 22.0, 21.0, 37.0, 37.0, 45.0, 39.0, 65.0, 55.0, 68.0, 63.0, 55.0, 70.0, 42.0, 55.0, 39.0, 39.0, 29.0, 28.0, 25.0, 17.0, 17.0, 18.0, 15.0, 9.0, 3.0, 4.0, 2.0, 0.0, 3.0, 0.0, 2.0], "bins": [-0.0340576171875, -0.03325390815734863, -0.032450199127197266, -0.0316464900970459, -0.03084278106689453, -0.030039072036743164, -0.029235363006591797, -0.02843165397644043, -0.027627944946289062, -0.026824235916137695, -0.026020526885986328, -0.02521681785583496, -0.024413108825683594, -0.023609399795532227, -0.02280569076538086, -0.022001981735229492, -0.021198272705078125, -0.020394563674926758, -0.01959085464477539, -0.018787145614624023, -0.017983436584472656, -0.01717972755432129, -0.016376018524169922, -0.015572309494018555, -0.014768600463867188, -0.01396489143371582, -0.013161182403564453, -0.012357473373413086, -0.011553764343261719, -0.010750055313110352, -0.009946346282958984, -0.009142637252807617, -0.00833892822265625, -0.007535219192504883, -0.006731510162353516, -0.0059278011322021484, -0.005124092102050781, -0.004320383071899414, -0.003516674041748047, -0.0027129650115966797, -0.0019092559814453125, -0.0011055469512939453, -0.0003018379211425781, 0.0005018711090087891, 0.0013055801391601562, 0.0021092891693115234, 0.0029129981994628906, 0.003716707229614258, 0.004520416259765625, 0.005324125289916992, 0.006127834320068359, 0.0069315433502197266, 0.007735252380371094, 0.008538961410522461, 0.009342670440673828, 0.010146379470825195, 0.010950088500976562, 0.01175379753112793, 0.012557506561279297, 0.013361215591430664, 0.014164924621582031, 0.014968633651733398, 0.015772342681884766, 0.016576051712036133, 0.0173797607421875]}, "gradients/decoder.transformer.h.12.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 5.0, 7.0, 15.0, 19.0, 46.0, 38.0, 80.0, 108.0, 196.0, 336.0, 565.0, 961.0, 1557.0, 2702.0, 4494.0, 7805.0, 14152.0, 27843.0, 59680.0, 134954.0, 329677.0, 255412.0, 107887.0, 48545.0, 22896.0, 12093.0, 6839.0, 3847.0, 2362.0, 1352.0, 856.0, 513.0, 301.0, 147.0, 103.0, 64.0, 34.0, 29.0, 17.0, 10.0, 7.0, 2.0, 2.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0308990478515625, -0.029929399490356445, -0.02895975112915039, -0.027990102767944336, -0.02702045440673828, -0.026050806045532227, -0.025081157684326172, -0.024111509323120117, -0.023141860961914062, -0.022172212600708008, -0.021202564239501953, -0.0202329158782959, -0.019263267517089844, -0.01829361915588379, -0.017323970794677734, -0.01635432243347168, -0.015384674072265625, -0.01441502571105957, -0.013445377349853516, -0.012475728988647461, -0.011506080627441406, -0.010536432266235352, -0.009566783905029297, -0.008597135543823242, -0.0076274871826171875, -0.006657838821411133, -0.005688190460205078, -0.0047185420989990234, -0.0037488937377929688, -0.002779245376586914, -0.0018095970153808594, -0.0008399486541748047, 0.00012969970703125, 0.0010993480682373047, 0.0020689964294433594, 0.003038644790649414, 0.004008293151855469, 0.0049779415130615234, 0.005947589874267578, 0.006917238235473633, 0.007886886596679688, 0.008856534957885742, 0.009826183319091797, 0.010795831680297852, 0.011765480041503906, 0.012735128402709961, 0.013704776763916016, 0.01467442512512207, 0.015644073486328125, 0.01661372184753418, 0.017583370208740234, 0.01855301856994629, 0.019522666931152344, 0.0204923152923584, 0.021461963653564453, 0.022431612014770508, 0.023401260375976562, 0.024370908737182617, 0.025340557098388672, 0.026310205459594727, 0.02727985382080078, 0.028249502182006836, 0.02921915054321289, 0.030188798904418945, 0.031158447265625]}, "gradients/decoder.transformer.h.12.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 5.0, 11.0, 4.0, 12.0, 18.0, 24.0, 20.0, 22.0, 32.0, 27.0, 32.0, 48.0, 35.0, 60.0, 84.0, 130.0, 233.0, 1441.0, 208.0, 146.0, 98.0, 64.0, 52.0, 45.0, 36.0, 24.0, 33.0, 24.0, 13.0, 14.0, 8.0, 12.0, 16.0, 7.0, 3.0, 1.0, 4.0, 3.0, 2.0, 4.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07891845703125, -0.07648563385009766, -0.07405281066894531, -0.07161998748779297, -0.06918716430664062, -0.06675434112548828, -0.06432151794433594, -0.061888694763183594, -0.05945587158203125, -0.057023048400878906, -0.05459022521972656, -0.05215740203857422, -0.049724578857421875, -0.04729175567626953, -0.04485893249511719, -0.042426109313964844, -0.0399932861328125, -0.037560462951660156, -0.03512763977050781, -0.03269481658935547, -0.030261993408203125, -0.02782917022705078, -0.025396347045898438, -0.022963523864746094, -0.02053070068359375, -0.018097877502441406, -0.015665054321289062, -0.013232231140136719, -0.010799407958984375, -0.008366584777832031, -0.0059337615966796875, -0.0035009384155273438, -0.001068115234375, 0.0013647079467773438, 0.0037975311279296875, 0.006230354309082031, 0.008663177490234375, 0.011096000671386719, 0.013528823852539062, 0.015961647033691406, 0.01839447021484375, 0.020827293395996094, 0.023260116577148438, 0.02569293975830078, 0.028125762939453125, 0.03055858612060547, 0.03299140930175781, 0.035424232482910156, 0.0378570556640625, 0.040289878845214844, 0.04272270202636719, 0.04515552520751953, 0.047588348388671875, 0.05002117156982422, 0.05245399475097656, 0.054886817932128906, 0.05731964111328125, 0.059752464294433594, 0.06218528747558594, 0.06461811065673828, 0.06705093383789062, 0.06948375701904297, 0.07191658020019531, 0.07434940338134766, 0.0767822265625]}, "gradients/decoder.transformer.h.12.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 5.0, 3.0, 4.0, 6.0, 16.0, 12.0, 15.0, 16.0, 38.0, 44.0, 70.0, 103.0, 168.0, 226.0, 414.0, 1139.0, 6914.0, 106824.0, 2827194.0, 190039.0, 9806.0, 1427.0, 466.0, 254.0, 158.0, 115.0, 62.0, 48.0, 38.0, 28.0, 12.0, 12.0, 10.0, 4.0, 8.0, 1.0, 7.0, 2.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.14208984375, -0.1372852325439453, -0.13248062133789062, -0.12767601013183594, -0.12287139892578125, -0.11806678771972656, -0.11326217651367188, -0.10845756530761719, -0.1036529541015625, -0.09884834289550781, -0.09404373168945312, -0.08923912048339844, -0.08443450927734375, -0.07962989807128906, -0.07482528686523438, -0.07002067565917969, -0.065216064453125, -0.06041145324707031, -0.055606842041015625, -0.05080223083496094, -0.04599761962890625, -0.04119300842285156, -0.036388397216796875, -0.03158378601074219, -0.0267791748046875, -0.021974563598632812, -0.017169952392578125, -0.012365341186523438, -0.00756072998046875, -0.0027561187744140625, 0.002048492431640625, 0.0068531036376953125, 0.01165771484375, 0.016462326049804688, 0.021266937255859375, 0.026071548461914062, 0.03087615966796875, 0.03568077087402344, 0.040485382080078125, 0.04528999328613281, 0.0500946044921875, 0.05489921569824219, 0.059703826904296875, 0.06450843811035156, 0.06931304931640625, 0.07411766052246094, 0.07892227172851562, 0.08372688293457031, 0.088531494140625, 0.09333610534667969, 0.09814071655273438, 0.10294532775878906, 0.10774993896484375, 0.11255455017089844, 0.11735916137695312, 0.12216377258300781, 0.1269683837890625, 0.1317729949951172, 0.13657760620117188, 0.14138221740722656, 0.14618682861328125, 0.15099143981933594, 0.15579605102539062, 0.1606006622314453, 0.1654052734375]}, "gradients/decoder.transformer.h.12.ln_1.weight": {"_type": "histogram", "values": [3.0, 55.0, 669.0, 288.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12999048829078674, -0.08326554298400879, -0.03654059022665024, 0.010184362530708313, 0.05690930783748627, 0.10363425314426422, 0.15035921335220337, 0.19708415865898132, 0.24380910396575928, 0.29053404927253723, 0.3372589945793152, 0.3839839696884155, 0.4307088851928711, 0.47743386030197144, 0.5241588354110718, 0.5708837509155273, 0.6176086664199829, 0.6643336415290833, 0.7110585570335388, 0.7577835321426392, 0.8045084476470947, 0.8512334227561951, 0.8979583978652954, 0.944683313369751, 0.9914082884788513, 1.0381332635879517, 1.0848581790924072, 1.1315830945968628, 1.178308129310608, 1.2250330448150635, 1.271757960319519, 1.3184828758239746, 1.3652077913284302, 1.4119327068328857, 1.4586577415466309, 1.5053826570510864, 1.552107572555542, 1.5988324880599976, 1.6455575227737427, 1.6922824382781982, 1.7390073537826538, 1.7857322692871094, 1.8324573040008545, 1.87918221950531, 1.9259071350097656, 1.9726320505142212, 2.0193569660186768, 2.066082000732422, 2.112807035446167, 2.159532070159912, 2.206256866455078, 2.2529819011688232, 2.2997069358825684, 2.3464317321777344, 2.3931567668914795, 2.4398818016052246, 2.4866065979003906, 2.5333316326141357, 2.5800564289093018, 2.626781463623047, 2.673506498336792, 2.720231294631958, 2.766956329345703, 2.813681125640869, 2.8604061603546143]}, "gradients/decoder.transformer.h.12.ln_1.bias": {"_type": "histogram", "values": [4.0, 1.0, 3.0, 2.0, 2.0, 4.0, 0.0, 4.0, 3.0, 3.0, 8.0, 13.0, 7.0, 16.0, 15.0, 21.0, 15.0, 18.0, 13.0, 25.0, 31.0, 30.0, 32.0, 39.0, 34.0, 32.0, 32.0, 39.0, 35.0, 42.0, 41.0, 44.0, 33.0, 49.0, 34.0, 29.0, 32.0, 29.0, 26.0, 23.0, 20.0, 14.0, 26.0, 17.0, 14.0, 14.0, 7.0, 10.0, 4.0, 4.0, 6.0, 4.0, 4.0, 4.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.17798763513565063, -0.17212708294391632, -0.1662665456533432, -0.1604059934616089, -0.15454545617103577, -0.14868490397930145, -0.14282435178756714, -0.13696381449699402, -0.1311032772064209, -0.12524272501468658, -0.11938218772411346, -0.11352163553237915, -0.10766109824180603, -0.10180054605007172, -0.095940001308918, -0.09007945656776428, -0.08421890437602997, -0.07835835963487625, -0.07249781489372253, -0.06663726270198822, -0.0607767216861248, -0.054916176944971085, -0.04905562847852707, -0.04319508373737335, -0.037334538996219635, -0.03147399425506592, -0.02561344765126705, -0.019752901047468185, -0.013892356306314468, -0.008031811565160751, -0.002171263098716736, 0.003689281642436981, 0.009549826383590698, 0.01541037205606699, 0.02127091772854328, 0.027131464332342148, 0.032992009073495865, 0.03885255381464958, 0.0447131022810936, 0.050573647022247314, 0.05643419176340103, 0.06229473650455475, 0.06815528124570847, 0.07401582598686218, 0.0798763781785965, 0.08573691546916962, 0.09159746766090393, 0.09745801240205765, 0.10331855714321136, 0.10917910188436508, 0.1150396466255188, 0.12090019881725311, 0.12676073610782623, 0.13262128829956055, 0.13848182559013367, 0.14434237778186798, 0.1502029299736023, 0.1560634821653366, 0.16192401945590973, 0.16778457164764404, 0.17364510893821716, 0.17950566112995148, 0.1853662133216858, 0.1912267506122589, 0.19708728790283203]}, "gradients/decoder.transformer.h.11.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 6.0, 8.0, 12.0, 17.0, 18.0, 15.0, 18.0, 25.0, 32.0, 36.0, 37.0, 35.0, 56.0, 51.0, 60.0, 51.0, 71.0, 67.0, 46.0, 47.0, 61.0, 37.0, 30.0, 38.0, 25.0, 20.0, 18.0, 17.0, 20.0, 12.0, 9.0, 7.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0], "bins": [-0.03375244140625, -0.032952308654785156, -0.03215217590332031, -0.03135204315185547, -0.030551910400390625, -0.02975177764892578, -0.028951644897460938, -0.028151512145996094, -0.02735137939453125, -0.026551246643066406, -0.025751113891601562, -0.02495098114013672, -0.024150848388671875, -0.02335071563720703, -0.022550582885742188, -0.021750450134277344, -0.0209503173828125, -0.020150184631347656, -0.019350051879882812, -0.01854991912841797, -0.017749786376953125, -0.01694965362548828, -0.016149520874023438, -0.015349388122558594, -0.01454925537109375, -0.013749122619628906, -0.012948989868164062, -0.012148857116699219, -0.011348724365234375, -0.010548591613769531, -0.009748458862304688, -0.008948326110839844, -0.008148193359375, -0.007348060607910156, -0.0065479278564453125, -0.005747795104980469, -0.004947662353515625, -0.004147529602050781, -0.0033473968505859375, -0.0025472640991210938, -0.00174713134765625, -0.0009469985961914062, -0.0001468658447265625, 0.0006532669067382812, 0.001453399658203125, 0.0022535324096679688, 0.0030536651611328125, 0.0038537979125976562, 0.0046539306640625, 0.005454063415527344, 0.0062541961669921875, 0.007054328918457031, 0.007854461669921875, 0.008654594421386719, 0.009454727172851562, 0.010254859924316406, 0.01105499267578125, 0.011855125427246094, 0.012655258178710938, 0.013455390930175781, 0.014255523681640625, 0.015055656433105469, 0.015855789184570312, 0.016655921936035156, 0.0174560546875]}, "gradients/decoder.transformer.h.11.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 4.0, 2.0, 2.0, 4.0, 5.0, 5.0, 6.0, 11.0, 15.0, 30.0, 31.0, 33.0, 88.0, 94.0, 185.0, 306.0, 513.0, 953.0, 2039.0, 4192.0, 9323.0, 22266.0, 58582.0, 183809.0, 732701.0, 2023362.0, 839801.0, 206932.0, 65399.0, 24410.0, 10103.0, 4488.0, 2115.0, 1092.0, 599.0, 292.0, 194.0, 100.0, 64.0, 49.0, 29.0, 19.0, 16.0, 8.0, 8.0, 7.0, 2.0, 3.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.03912353515625, -0.03799104690551758, -0.036858558654785156, -0.035726070404052734, -0.03459358215332031, -0.03346109390258789, -0.03232860565185547, -0.031196117401123047, -0.030063629150390625, -0.028931140899658203, -0.02779865264892578, -0.02666616439819336, -0.025533676147460938, -0.024401187896728516, -0.023268699645996094, -0.022136211395263672, -0.02100372314453125, -0.019871234893798828, -0.018738746643066406, -0.017606258392333984, -0.016473770141601562, -0.01534128189086914, -0.014208793640136719, -0.013076305389404297, -0.011943817138671875, -0.010811328887939453, -0.009678840637207031, -0.00854635238647461, -0.0074138641357421875, -0.006281375885009766, -0.005148887634277344, -0.004016399383544922, -0.0028839111328125, -0.0017514228820800781, -0.0006189346313476562, 0.0005135536193847656, 0.0016460418701171875, 0.0027785301208496094, 0.003911018371582031, 0.005043506622314453, 0.006175994873046875, 0.007308483123779297, 0.008440971374511719, 0.00957345962524414, 0.010705947875976562, 0.011838436126708984, 0.012970924377441406, 0.014103412628173828, 0.01523590087890625, 0.016368389129638672, 0.017500877380371094, 0.018633365631103516, 0.019765853881835938, 0.02089834213256836, 0.02203083038330078, 0.023163318634033203, 0.024295806884765625, 0.025428295135498047, 0.02656078338623047, 0.02769327163696289, 0.028825759887695312, 0.029958248138427734, 0.031090736389160156, 0.03222322463989258, 0.033355712890625]}, "gradients/decoder.transformer.h.11.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 5.0, 2.0, 5.0, 3.0, 8.0, 11.0, 18.0, 23.0, 19.0, 28.0, 32.0, 57.0, 77.0, 105.0, 126.0, 173.0, 248.0, 314.0, 426.0, 478.0, 442.0, 323.0, 277.0, 207.0, 147.0, 138.0, 96.0, 63.0, 59.0, 40.0, 40.0, 24.0, 19.0, 10.0, 8.0, 4.0, 7.0, 6.0, 4.0, 1.0, 0.0, 0.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.044586181640625, -0.04333686828613281, -0.042087554931640625, -0.04083824157714844, -0.03958892822265625, -0.03833961486816406, -0.037090301513671875, -0.03584098815917969, -0.0345916748046875, -0.03334236145019531, -0.032093048095703125, -0.030843734741210938, -0.02959442138671875, -0.028345108032226562, -0.027095794677734375, -0.025846481323242188, -0.02459716796875, -0.023347854614257812, -0.022098541259765625, -0.020849227905273438, -0.01959991455078125, -0.018350601196289062, -0.017101287841796875, -0.015851974487304688, -0.0146026611328125, -0.013353347778320312, -0.012104034423828125, -0.010854721069335938, -0.00960540771484375, -0.008356094360351562, -0.007106781005859375, -0.0058574676513671875, -0.004608154296875, -0.0033588409423828125, -0.002109527587890625, -0.0008602142333984375, 0.00038909912109375, 0.0016384124755859375, 0.002887725830078125, 0.0041370391845703125, 0.0053863525390625, 0.0066356658935546875, 0.007884979248046875, 0.009134292602539062, 0.01038360595703125, 0.011632919311523438, 0.012882232666015625, 0.014131546020507812, 0.015380859375, 0.016630172729492188, 0.017879486083984375, 0.019128799438476562, 0.02037811279296875, 0.021627426147460938, 0.022876739501953125, 0.024126052856445312, 0.0253753662109375, 0.026624679565429688, 0.027873992919921875, 0.029123306274414062, 0.03037261962890625, 0.03162193298339844, 0.032871246337890625, 0.03412055969238281, 0.035369873046875]}, "gradients/decoder.transformer.h.11.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 1.0, 8.0, 3.0, 6.0, 7.0, 15.0, 22.0, 30.0, 39.0, 52.0, 59.0, 87.0, 134.0, 211.0, 300.0, 674.0, 3345.0, 63889.0, 3385320.0, 723198.0, 14215.0, 1501.0, 415.0, 259.0, 152.0, 89.0, 72.0, 47.0, 28.0, 25.0, 22.0, 12.0, 13.0, 11.0, 7.0, 4.0, 5.0, 0.0, 1.0, 3.0, 0.0, 3.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1663818359375, -0.1607952117919922, -0.15520858764648438, -0.14962196350097656, -0.14403533935546875, -0.13844871520996094, -0.13286209106445312, -0.1272754669189453, -0.1216888427734375, -0.11610221862792969, -0.11051559448242188, -0.10492897033691406, -0.09934234619140625, -0.09375572204589844, -0.08816909790039062, -0.08258247375488281, -0.076995849609375, -0.07140922546386719, -0.06582260131835938, -0.06023597717285156, -0.05464935302734375, -0.04906272888183594, -0.043476104736328125, -0.03788948059082031, -0.0323028564453125, -0.026716232299804688, -0.021129608154296875, -0.015542984008789062, -0.00995635986328125, -0.0043697357177734375, 0.001216888427734375, 0.0068035125732421875, 0.01239013671875, 0.017976760864257812, 0.023563385009765625, 0.029150009155273438, 0.03473663330078125, 0.04032325744628906, 0.045909881591796875, 0.05149650573730469, 0.0570831298828125, 0.06266975402832031, 0.06825637817382812, 0.07384300231933594, 0.07942962646484375, 0.08501625061035156, 0.09060287475585938, 0.09618949890136719, 0.101776123046875, 0.10736274719238281, 0.11294937133789062, 0.11853599548339844, 0.12412261962890625, 0.12970924377441406, 0.13529586791992188, 0.1408824920654297, 0.1464691162109375, 0.1520557403564453, 0.15764236450195312, 0.16322898864746094, 0.16881561279296875, 0.17440223693847656, 0.17998886108398438, 0.1855754852294922, 0.191162109375]}, "gradients/decoder.transformer.h.11.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 10.0, 17.0, 23.0, 41.0, 55.0, 75.0, 98.0, 102.0, 108.0, 111.0, 104.0, 81.0, 71.0, 46.0, 25.0, 15.0, 17.0, 6.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.25585487484931946, -0.24724194407463074, -0.23862899839878082, -0.2300160527229309, -0.2214031219482422, -0.21279019117355347, -0.20417724549770355, -0.19556429982185364, -0.18695136904716492, -0.1783384382724762, -0.16972549259662628, -0.16111254692077637, -0.15249961614608765, -0.14388668537139893, -0.135273739695549, -0.1266607940196991, -0.11804786324501038, -0.10943492501974106, -0.10082198679447174, -0.09220904856920242, -0.0835961103439331, -0.07498317211866379, -0.06637023389339447, -0.05775729566812515, -0.049144357442855835, -0.04053141921758652, -0.0319184809923172, -0.023305542767047882, -0.014692604541778564, -0.006079666316509247, 0.002533271908760071, 0.011146210134029388, 0.019759178161621094, 0.02837211638689041, 0.03698505461215973, 0.04559799283742905, 0.054210931062698364, 0.06282386928796768, 0.071436807513237, 0.08004974573850632, 0.08866268396377563, 0.09727562218904495, 0.10588856041431427, 0.11450149863958359, 0.1231144368648529, 0.13172736763954163, 0.14034031331539154, 0.14895325899124146, 0.15756618976593018, 0.1661791205406189, 0.1747920662164688, 0.18340501189231873, 0.19201794266700745, 0.20063087344169617, 0.20924381911754608, 0.217856764793396, 0.22646969556808472, 0.23508262634277344, 0.24369557201862335, 0.25230851769447327, 0.260921448469162, 0.2695343792438507, 0.2781473398208618, 0.28676027059555054, 0.29537320137023926]}, "gradients/decoder.transformer.h.11.ln_2.bias": {"_type": "histogram", "values": [1.0, 3.0, 1.0, 4.0, 2.0, 2.0, 2.0, 4.0, 5.0, 2.0, 2.0, 6.0, 9.0, 9.0, 10.0, 16.0, 13.0, 17.0, 21.0, 18.0, 32.0, 22.0, 27.0, 25.0, 37.0, 28.0, 27.0, 36.0, 37.0, 39.0, 45.0, 47.0, 41.0, 39.0, 42.0, 40.0, 37.0, 35.0, 32.0, 28.0, 30.0, 18.0, 18.0, 16.0, 16.0, 14.0, 8.0, 5.0, 10.0, 7.0, 4.0, 4.0, 6.0, 5.0, 6.0, 4.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.13008034229278564, -0.1259250044822693, -0.12176968157291412, -0.11761435121297836, -0.1134590208530426, -0.10930368304252625, -0.10514835268259048, -0.10099302232265472, -0.09683769196271896, -0.0926823616027832, -0.08852703124284744, -0.08437170088291168, -0.08021636307239532, -0.07606104016304016, -0.0719057023525238, -0.06775037199258804, -0.06359504163265228, -0.05943971127271652, -0.05528438091278076, -0.0511290468275547, -0.04697371646761894, -0.04281838610768318, -0.03866305202245712, -0.03450772166252136, -0.030352391302585602, -0.02619706094264984, -0.02204172872006893, -0.017886396497488022, -0.013731066137552261, -0.0095757357776165, -0.005420403555035591, -0.0012650713324546814, 0.002890259027481079, 0.007045590318739414, 0.01120092160999775, 0.015356252901256084, 0.01951158419251442, 0.02366691455245018, 0.02782224677503109, 0.031977578997612, 0.03613290935754776, 0.04028823971748352, 0.04444357007741928, 0.04859890416264534, 0.0527542345225811, 0.05690956488251686, 0.06106489896774292, 0.06522022932767868, 0.06937555968761444, 0.0735308900475502, 0.07768622040748596, 0.08184155076742172, 0.08599688112735748, 0.09015221893787384, 0.0943075492978096, 0.09846287965774536, 0.10261821001768112, 0.10677354037761688, 0.11092887073755264, 0.1150842010974884, 0.11923953890800476, 0.12339486181735992, 0.12755019962787628, 0.13170552253723145, 0.1358608603477478]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 8.0, 5.0, 9.0, 12.0, 17.0, 9.0, 26.0, 27.0, 27.0, 31.0, 26.0, 34.0, 42.0, 56.0, 55.0, 60.0, 55.0, 71.0, 49.0, 45.0, 55.0, 37.0, 37.0, 42.0, 34.0, 21.0, 28.0, 20.0, 15.0, 20.0, 9.0, 7.0, 9.0, 3.0, 2.0, 0.0, 3.0, 0.0, 4.0], "bins": [-0.03265380859375, -0.03187394142150879, -0.031094074249267578, -0.030314207077026367, -0.029534339904785156, -0.028754472732543945, -0.027974605560302734, -0.027194738388061523, -0.026414871215820312, -0.0256350040435791, -0.02485513687133789, -0.02407526969909668, -0.02329540252685547, -0.022515535354614258, -0.021735668182373047, -0.020955801010131836, -0.020175933837890625, -0.019396066665649414, -0.018616199493408203, -0.017836332321166992, -0.01705646514892578, -0.01627659797668457, -0.01549673080444336, -0.014716863632202148, -0.013936996459960938, -0.013157129287719727, -0.012377262115478516, -0.011597394943237305, -0.010817527770996094, -0.010037660598754883, -0.009257793426513672, -0.008477926254272461, -0.00769805908203125, -0.006918191909790039, -0.006138324737548828, -0.005358457565307617, -0.004578590393066406, -0.0037987232208251953, -0.0030188560485839844, -0.0022389888763427734, -0.0014591217041015625, -0.0006792545318603516, 0.00010061264038085938, 0.0008804798126220703, 0.0016603469848632812, 0.002440214157104492, 0.003220081329345703, 0.003999948501586914, 0.004779815673828125, 0.005559682846069336, 0.006339550018310547, 0.007119417190551758, 0.007899284362792969, 0.00867915153503418, 0.00945901870727539, 0.010238885879516602, 0.011018753051757812, 0.011798620223999023, 0.012578487396240234, 0.013358354568481445, 0.014138221740722656, 0.014918088912963867, 0.015697956085205078, 0.01647782325744629, 0.0172576904296875]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 6.0, 5.0, 6.0, 12.0, 7.0, 12.0, 17.0, 13.0, 40.0, 43.0, 102.0, 139.0, 245.0, 432.0, 817.0, 1587.0, 2938.0, 5505.0, 10435.0, 20237.0, 39851.0, 87120.0, 244393.0, 416284.0, 114977.0, 50751.0, 25172.0, 12875.0, 6825.0, 3545.0, 1922.0, 1002.0, 527.0, 292.0, 168.0, 97.0, 55.0, 32.0, 28.0, 10.0, 10.0, 5.0, 5.0, 7.0, 5.0, 3.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001856088638305664, -0.0001796521246433258, -0.0001736953854560852, -0.0001677386462688446, -0.000161781907081604, -0.0001558251678943634, -0.0001498684287071228, -0.0001439116895198822, -0.0001379549503326416, -0.000131998211145401, -0.0001260414719581604, -0.0001200847327709198, -0.0001141279935836792, -0.0001081712543964386, -0.000102214515209198, -9.62577760219574e-05, -9.03010368347168e-05, -8.43442976474762e-05, -7.83875584602356e-05, -7.2430819272995e-05, -6.64740800857544e-05, -6.0517340898513794e-05, -5.456060171127319e-05, -4.860386252403259e-05, -4.264712333679199e-05, -3.669038414955139e-05, -3.073364496231079e-05, -2.477690577507019e-05, -1.882016658782959e-05, -1.286342740058899e-05, -6.906688213348389e-06, -9.499490261077881e-07, 5.0067901611328125e-06, 1.0963529348373413e-05, 1.6920268535614014e-05, 2.2877007722854614e-05, 2.8833746910095215e-05, 3.4790486097335815e-05, 4.0747225284576416e-05, 4.6703964471817017e-05, 5.266070365905762e-05, 5.861744284629822e-05, 6.457418203353882e-05, 7.053092122077942e-05, 7.648766040802002e-05, 8.244439959526062e-05, 8.840113878250122e-05, 9.435787796974182e-05, 0.00010031461715698242, 0.00010627135634422302, 0.00011222809553146362, 0.00011818483471870422, 0.00012414157390594482, 0.00013009831309318542, 0.00013605505228042603, 0.00014201179146766663, 0.00014796853065490723, 0.00015392526984214783, 0.00015988200902938843, 0.00016583874821662903, 0.00017179548740386963, 0.00017775222659111023, 0.00018370896577835083, 0.00018966570496559143, 0.00019562244415283203]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 0.0, 3.0, 2.0, 6.0, 3.0, 12.0, 5.0, 9.0, 16.0, 20.0, 22.0, 15.0, 22.0, 31.0, 31.0, 32.0, 42.0, 32.0, 40.0, 43.0, 40.0, 34.0, 30.0, 1072.0, 44.0, 45.0, 50.0, 34.0, 44.0, 29.0, 27.0, 22.0, 27.0, 26.0, 22.0, 14.0, 14.0, 12.0, 14.0, 5.0, 10.0, 6.0, 7.0, 3.0, 8.0, 3.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0208282470703125, -0.020177841186523438, -0.019527435302734375, -0.018877029418945312, -0.01822662353515625, -0.017576217651367188, -0.016925811767578125, -0.016275405883789062, -0.015625, -0.014974594116210938, -0.014324188232421875, -0.013673782348632812, -0.01302337646484375, -0.012372970581054688, -0.011722564697265625, -0.011072158813476562, -0.0104217529296875, -0.009771347045898438, -0.009120941162109375, -0.008470535278320312, -0.00782012939453125, -0.0071697235107421875, -0.006519317626953125, -0.0058689117431640625, -0.005218505859375, -0.0045680999755859375, -0.003917694091796875, -0.0032672882080078125, -0.00261688232421875, -0.0019664764404296875, -0.001316070556640625, -0.0006656646728515625, -1.52587890625e-05, 0.0006351470947265625, 0.001285552978515625, 0.0019359588623046875, 0.00258636474609375, 0.0032367706298828125, 0.003887176513671875, 0.0045375823974609375, 0.00518798828125, 0.0058383941650390625, 0.006488800048828125, 0.0071392059326171875, 0.00778961181640625, 0.008440017700195312, 0.009090423583984375, 0.009740829467773438, 0.0103912353515625, 0.011041641235351562, 0.011692047119140625, 0.012342453002929688, 0.01299285888671875, 0.013643264770507812, 0.014293670654296875, 0.014944076538085938, 0.015594482421875, 0.016244888305664062, 0.016895294189453125, 0.017545700073242188, 0.01819610595703125, 0.018846511840820312, 0.019496917724609375, 0.020147323608398438, 0.0207977294921875]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 2.0, 6.0, 9.0, 5.0, 6.0, 6.0, 11.0, 7.0, 16.0, 14.0, 16.0, 24.0, 27.0, 21.0, 27.0, 33.0, 35.0, 51.0, 108.0, 263.0, 1073.0, 3944.0, 1969978.0, 115765.0, 4125.0, 868.0, 253.0, 116.0, 55.0, 36.0, 38.0, 28.0, 26.0, 30.0, 15.0, 19.0, 15.0, 14.0, 16.0, 7.0, 11.0, 4.0, 5.0, 1.0, 3.0, 4.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9550323486328125e-05, -1.891888678073883e-05, -1.8287450075149536e-05, -1.7656013369560242e-05, -1.7024576663970947e-05, -1.6393139958381653e-05, -1.576170325279236e-05, -1.5130266547203064e-05, -1.449882984161377e-05, -1.3867393136024475e-05, -1.323595643043518e-05, -1.2604519724845886e-05, -1.1973083019256592e-05, -1.1341646313667297e-05, -1.0710209608078003e-05, -1.0078772902488708e-05, -9.447336196899414e-06, -8.81589949131012e-06, -8.184462785720825e-06, -7.553026080131531e-06, -6.921589374542236e-06, -6.290152668952942e-06, -5.6587159633636475e-06, -5.027279257774353e-06, -4.395842552185059e-06, -3.764405846595764e-06, -3.1329691410064697e-06, -2.5015324354171753e-06, -1.8700957298278809e-06, -1.2386590242385864e-06, -6.07222318649292e-07, 2.421438694000244e-08, 6.556510925292969e-07, 1.2870877981185913e-06, 1.9185245037078857e-06, 2.54996120929718e-06, 3.1813979148864746e-06, 3.812834620475769e-06, 4.4442713260650635e-06, 5.075708031654358e-06, 5.707144737243652e-06, 6.338581442832947e-06, 6.970018148422241e-06, 7.601454854011536e-06, 8.23289155960083e-06, 8.864328265190125e-06, 9.495764970779419e-06, 1.0127201676368713e-05, 1.0758638381958008e-05, 1.1390075087547302e-05, 1.2021511793136597e-05, 1.2652948498725891e-05, 1.3284385204315186e-05, 1.391582190990448e-05, 1.4547258615493774e-05, 1.5178695321083069e-05, 1.5810132026672363e-05, 1.6441568732261658e-05, 1.7073005437850952e-05, 1.7704442143440247e-05, 1.833587884902954e-05, 1.8967315554618835e-05, 1.959875226020813e-05, 2.0230188965797424e-05, 2.086162567138672e-05]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 8.0, 5.0, 9.0, 12.0, 17.0, 9.0, 26.0, 27.0, 27.0, 31.0, 26.0, 34.0, 42.0, 56.0, 55.0, 60.0, 55.0, 71.0, 49.0, 45.0, 55.0, 37.0, 37.0, 42.0, 34.0, 21.0, 28.0, 20.0, 15.0, 20.0, 9.0, 7.0, 9.0, 3.0, 2.0, 0.0, 3.0, 0.0, 4.0], "bins": [-0.03265380859375, -0.03187394142150879, -0.031094074249267578, -0.030314207077026367, -0.029534339904785156, -0.028754472732543945, -0.027974605560302734, -0.027194738388061523, -0.026414871215820312, -0.0256350040435791, -0.02485513687133789, -0.02407526969909668, -0.02329540252685547, -0.022515535354614258, -0.021735668182373047, -0.020955801010131836, -0.020175933837890625, -0.019396066665649414, -0.018616199493408203, -0.017836332321166992, -0.01705646514892578, -0.01627659797668457, -0.01549673080444336, -0.014716863632202148, -0.013936996459960938, -0.013157129287719727, -0.012377262115478516, -0.011597394943237305, -0.010817527770996094, -0.010037660598754883, -0.009257793426513672, -0.008477926254272461, -0.00769805908203125, -0.006918191909790039, -0.006138324737548828, -0.005358457565307617, -0.004578590393066406, -0.0037987232208251953, -0.0030188560485839844, -0.0022389888763427734, -0.0014591217041015625, -0.0006792545318603516, 0.00010061264038085938, 0.0008804798126220703, 0.0016603469848632812, 0.002440214157104492, 0.003220081329345703, 0.003999948501586914, 0.004779815673828125, 0.005559682846069336, 0.006339550018310547, 0.007119417190551758, 0.007899284362792969, 0.00867915153503418, 0.00945901870727539, 0.010238885879516602, 0.011018753051757812, 0.011798620223999023, 0.012578487396240234, 0.013358354568481445, 0.014138221740722656, 0.014918088912963867, 0.015697956085205078, 0.01647782325744629, 0.0172576904296875]}, "gradients/decoder.transformer.h.11.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 4.0, 4.0, 6.0, 7.0, 11.0, 12.0, 23.0, 34.0, 60.0, 97.0, 155.0, 192.0, 278.0, 451.0, 696.0, 1026.0, 1640.0, 2441.0, 3982.0, 6404.0, 10313.0, 16213.0, 26436.0, 43173.0, 73784.0, 140527.0, 373612.0, 151231.0, 76934.0, 45297.0, 27649.0, 17019.0, 10463.0, 6712.0, 4185.0, 2589.0, 1734.0, 1088.0, 728.0, 467.0, 305.0, 186.0, 128.0, 107.0, 55.0, 37.0, 23.0, 17.0, 16.0, 7.0, 4.0, 2.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0292816162109375, -0.028381824493408203, -0.027482032775878906, -0.02658224105834961, -0.025682449340820312, -0.024782657623291016, -0.02388286590576172, -0.022983074188232422, -0.022083282470703125, -0.021183490753173828, -0.02028369903564453, -0.019383907318115234, -0.018484115600585938, -0.01758432388305664, -0.016684532165527344, -0.015784740447998047, -0.01488494873046875, -0.013985157012939453, -0.013085365295410156, -0.01218557357788086, -0.011285781860351562, -0.010385990142822266, -0.009486198425292969, -0.008586406707763672, -0.007686614990234375, -0.006786823272705078, -0.005887031555175781, -0.004987239837646484, -0.0040874481201171875, -0.0031876564025878906, -0.0022878646850585938, -0.0013880729675292969, -0.00048828125, 0.0004115104675292969, 0.0013113021850585938, 0.0022110939025878906, 0.0031108856201171875, 0.004010677337646484, 0.004910469055175781, 0.005810260772705078, 0.006710052490234375, 0.007609844207763672, 0.008509635925292969, 0.009409427642822266, 0.010309219360351562, 0.01120901107788086, 0.012108802795410156, 0.013008594512939453, 0.01390838623046875, 0.014808177947998047, 0.015707969665527344, 0.01660776138305664, 0.017507553100585938, 0.018407344818115234, 0.01930713653564453, 0.020206928253173828, 0.021106719970703125, 0.022006511688232422, 0.02290630340576172, 0.023806095123291016, 0.024705886840820312, 0.02560567855834961, 0.026505470275878906, 0.027405261993408203, 0.0283050537109375]}, "gradients/decoder.transformer.h.11.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 4.0, 3.0, 2.0, 3.0, 5.0, 6.0, 5.0, 7.0, 12.0, 18.0, 12.0, 17.0, 19.0, 25.0, 33.0, 40.0, 36.0, 38.0, 59.0, 60.0, 93.0, 179.0, 1400.0, 282.0, 165.0, 112.0, 52.0, 54.0, 39.0, 31.0, 40.0, 32.0, 29.0, 23.0, 29.0, 15.0, 21.0, 11.0, 10.0, 13.0, 6.0, 5.0, 3.0, 2.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.07110595703125, -0.06894302368164062, -0.06678009033203125, -0.06461715698242188, -0.0624542236328125, -0.060291290283203125, -0.05812835693359375, -0.055965423583984375, -0.053802490234375, -0.051639556884765625, -0.04947662353515625, -0.047313690185546875, -0.0451507568359375, -0.042987823486328125, -0.04082489013671875, -0.038661956787109375, -0.0364990234375, -0.034336090087890625, -0.03217315673828125, -0.030010223388671875, -0.0278472900390625, -0.025684356689453125, -0.02352142333984375, -0.021358489990234375, -0.019195556640625, -0.017032623291015625, -0.01486968994140625, -0.012706756591796875, -0.0105438232421875, -0.008380889892578125, -0.00621795654296875, -0.004055023193359375, -0.00189208984375, 0.000270843505859375, 0.00243377685546875, 0.004596710205078125, 0.0067596435546875, 0.008922576904296875, 0.01108551025390625, 0.013248443603515625, 0.015411376953125, 0.017574310302734375, 0.01973724365234375, 0.021900177001953125, 0.0240631103515625, 0.026226043701171875, 0.02838897705078125, 0.030551910400390625, 0.03271484375, 0.034877777099609375, 0.03704071044921875, 0.039203643798828125, 0.0413665771484375, 0.043529510498046875, 0.04569244384765625, 0.047855377197265625, 0.050018310546875, 0.052181243896484375, 0.05434417724609375, 0.056507110595703125, 0.0586700439453125, 0.060832977294921875, 0.06299591064453125, 0.06515884399414062, 0.06732177734375]}, "gradients/decoder.transformer.h.11.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 3.0, 0.0, 3.0, 7.0, 11.0, 11.0, 16.0, 19.0, 27.0, 17.0, 44.0, 54.0, 51.0, 92.0, 118.0, 168.0, 209.0, 340.0, 1055.0, 5369.0, 51545.0, 1940615.0, 1100658.0, 38939.0, 4439.0, 857.0, 304.0, 205.0, 126.0, 106.0, 72.0, 54.0, 52.0, 30.0, 26.0, 14.0, 15.0, 13.0, 6.0, 6.0, 5.0, 0.0, 5.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.121826171875, -0.117889404296875, -0.11395263671875, -0.110015869140625, -0.1060791015625, -0.102142333984375, -0.09820556640625, -0.094268798828125, -0.09033203125, -0.086395263671875, -0.08245849609375, -0.078521728515625, -0.0745849609375, -0.070648193359375, -0.06671142578125, -0.062774658203125, -0.058837890625, -0.054901123046875, -0.05096435546875, -0.047027587890625, -0.0430908203125, -0.039154052734375, -0.03521728515625, -0.031280517578125, -0.02734375, -0.023406982421875, -0.01947021484375, -0.015533447265625, -0.0115966796875, -0.007659912109375, -0.00372314453125, 0.000213623046875, 0.004150390625, 0.008087158203125, 0.01202392578125, 0.015960693359375, 0.0198974609375, 0.023834228515625, 0.02777099609375, 0.031707763671875, 0.03564453125, 0.039581298828125, 0.04351806640625, 0.047454833984375, 0.0513916015625, 0.055328369140625, 0.05926513671875, 0.063201904296875, 0.067138671875, 0.071075439453125, 0.07501220703125, 0.078948974609375, 0.0828857421875, 0.086822509765625, 0.09075927734375, 0.094696044921875, 0.0986328125, 0.102569580078125, 0.10650634765625, 0.110443115234375, 0.1143798828125, 0.118316650390625, 0.12225341796875, 0.126190185546875, 0.130126953125]}, "gradients/decoder.transformer.h.11.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 6.0, 10.0, 20.0, 49.0, 84.0, 112.0, 190.0, 178.0, 152.0, 107.0, 49.0, 33.0, 20.0, 6.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.4173605144023895, -0.40938878059387207, -0.4014170467853546, -0.39344531297683716, -0.3854735791683197, -0.37750184535980225, -0.3695301115512848, -0.36155837774276733, -0.3535866439342499, -0.3456149101257324, -0.33764317631721497, -0.3296714425086975, -0.32169970870018005, -0.3137279748916626, -0.30575624108314514, -0.2977845072746277, -0.28981274366378784, -0.2818410098552704, -0.27386927604675293, -0.2658975422382355, -0.257925808429718, -0.24995407462120056, -0.2419823408126831, -0.23401060700416565, -0.2260388731956482, -0.21806713938713074, -0.21009540557861328, -0.20212367177009583, -0.19415193796157837, -0.1861802041530609, -0.17820847034454346, -0.170236736536026, -0.16226501762866974, -0.15429328382015228, -0.14632155001163483, -0.13834981620311737, -0.13037808239459991, -0.12240634858608246, -0.1144346073269844, -0.10646287351846695, -0.0984911397099495, -0.09051940590143204, -0.08254767209291458, -0.07457593083381653, -0.06660419702529907, -0.058632466942071915, -0.05066072940826416, -0.042688995599746704, -0.03471726179122925, -0.026745527982711792, -0.018773792311549187, -0.010802056640386581, -0.0028303228318691254, 0.005141410976648331, 0.013113148510456085, 0.02108488231897354, 0.029056616127490997, 0.03702834993600845, 0.04500008374452591, 0.052971821278333664, 0.06094355508685112, 0.06891529262065887, 0.07688702642917633, 0.08485876023769379, 0.09283049404621124]}, "gradients/decoder.transformer.h.11.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 5.0, 3.0, 4.0, 4.0, 8.0, 15.0, 8.0, 12.0, 11.0, 15.0, 17.0, 12.0, 16.0, 18.0, 30.0, 31.0, 26.0, 36.0, 27.0, 21.0, 29.0, 37.0, 38.0, 44.0, 42.0, 20.0, 49.0, 35.0, 34.0, 32.0, 23.0, 36.0, 22.0, 36.0, 27.0, 21.0, 25.0, 22.0, 19.0, 24.0, 18.0, 13.0, 5.0, 11.0, 8.0, 8.0, 4.0, 6.0, 1.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.17262351512908936, -0.16740934550762177, -0.16219517588615417, -0.1569809913635254, -0.1517668217420578, -0.1465526521205902, -0.14133846759796143, -0.13612429797649384, -0.13091012835502625, -0.12569595873355865, -0.12048178166151047, -0.11526760458946228, -0.11005343496799469, -0.1048392653465271, -0.09962508827447891, -0.09441091120243073, -0.08919674158096313, -0.08398257195949554, -0.07876839488744736, -0.07355421781539917, -0.06834004819393158, -0.06312587857246399, -0.0579117015004158, -0.05269752815365791, -0.047483354806900024, -0.042269181460142136, -0.03705500811338425, -0.03184083476662636, -0.02662666141986847, -0.02141248807311058, -0.01619831472635269, -0.010984141379594803, -0.005769968032836914, -0.0005557946860790253, 0.0046583786606788635, 0.009872552007436752, 0.015086725354194641, 0.02030089870095253, 0.02551507204771042, 0.030729245394468307, 0.035943418741226196, 0.041157592087984085, 0.046371765434741974, 0.05158593878149986, 0.05680011212825775, 0.06201428547501564, 0.06722845882177353, 0.07244263589382172, 0.0776568055152893, 0.0828709751367569, 0.08808515220880508, 0.09329932928085327, 0.09851349890232086, 0.10372766852378845, 0.10894184559583664, 0.11415602266788483, 0.11937019228935242, 0.12458436191082001, 0.1297985315322876, 0.13501271605491638, 0.14022688567638397, 0.14544105529785156, 0.15065523982048035, 0.15586940944194794, 0.16108357906341553]}, "gradients/decoder.transformer.h.10.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 8.0, 7.0, 11.0, 9.0, 7.0, 21.0, 13.0, 11.0, 32.0, 32.0, 28.0, 25.0, 27.0, 45.0, 52.0, 58.0, 60.0, 63.0, 49.0, 52.0, 50.0, 47.0, 47.0, 47.0, 31.0, 31.0, 30.0, 26.0, 20.0, 14.0, 14.0, 14.0, 11.0, 7.0, 4.0, 3.0, 3.0, 1.0, 1.0, 1.0, 3.0], "bins": [-0.03253173828125, -0.031737565994262695, -0.03094339370727539, -0.030149221420288086, -0.02935504913330078, -0.028560876846313477, -0.027766704559326172, -0.026972532272338867, -0.026178359985351562, -0.025384187698364258, -0.024590015411376953, -0.02379584312438965, -0.023001670837402344, -0.02220749855041504, -0.021413326263427734, -0.02061915397644043, -0.019824981689453125, -0.01903080940246582, -0.018236637115478516, -0.01744246482849121, -0.016648292541503906, -0.0158541202545166, -0.015059947967529297, -0.014265775680541992, -0.013471603393554688, -0.012677431106567383, -0.011883258819580078, -0.011089086532592773, -0.010294914245605469, -0.009500741958618164, -0.00870656967163086, -0.007912397384643555, -0.00711822509765625, -0.006324052810668945, -0.005529880523681641, -0.004735708236694336, -0.003941535949707031, -0.0031473636627197266, -0.002353191375732422, -0.0015590190887451172, -0.0007648468017578125, 2.9325485229492188e-05, 0.0008234977722167969, 0.0016176700592041016, 0.0024118423461914062, 0.003206014633178711, 0.004000186920166016, 0.00479435920715332, 0.005588531494140625, 0.00638270378112793, 0.007176876068115234, 0.007971048355102539, 0.008765220642089844, 0.009559392929077148, 0.010353565216064453, 0.011147737503051758, 0.011941909790039062, 0.012736082077026367, 0.013530254364013672, 0.014324426651000977, 0.015118598937988281, 0.015912771224975586, 0.01670694351196289, 0.017501115798950195, 0.0182952880859375]}, "gradients/decoder.transformer.h.10.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 7.0, 11.0, 15.0, 13.0, 21.0, 36.0, 52.0, 86.0, 138.0, 186.0, 291.0, 492.0, 866.0, 1946.0, 4594.0, 13119.0, 43665.0, 189218.0, 1258291.0, 2210699.0, 365652.0, 73120.0, 20009.0, 6456.0, 2599.0, 1186.0, 549.0, 325.0, 187.0, 166.0, 106.0, 76.0, 45.0, 25.0, 18.0, 13.0, 5.0, 3.0, 0.0, 5.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0479736328125, -0.046384334564208984, -0.04479503631591797, -0.04320573806762695, -0.04161643981933594, -0.04002714157104492, -0.038437843322753906, -0.03684854507446289, -0.035259246826171875, -0.03366994857788086, -0.032080650329589844, -0.030491352081298828, -0.028902053833007812, -0.027312755584716797, -0.02572345733642578, -0.024134159088134766, -0.02254486083984375, -0.020955562591552734, -0.01936626434326172, -0.017776966094970703, -0.016187667846679688, -0.014598369598388672, -0.013009071350097656, -0.01141977310180664, -0.009830474853515625, -0.00824117660522461, -0.006651878356933594, -0.005062580108642578, -0.0034732818603515625, -0.0018839836120605469, -0.00029468536376953125, 0.0012946128845214844, 0.0028839111328125, 0.004473209381103516, 0.006062507629394531, 0.007651805877685547, 0.009241104125976562, 0.010830402374267578, 0.012419700622558594, 0.01400899887084961, 0.015598297119140625, 0.01718759536743164, 0.018776893615722656, 0.020366191864013672, 0.021955490112304688, 0.023544788360595703, 0.02513408660888672, 0.026723384857177734, 0.02831268310546875, 0.029901981353759766, 0.03149127960205078, 0.0330805778503418, 0.03466987609863281, 0.03625917434692383, 0.037848472595214844, 0.03943777084350586, 0.041027069091796875, 0.04261636734008789, 0.044205665588378906, 0.04579496383666992, 0.04738426208496094, 0.04897356033325195, 0.05056285858154297, 0.052152156829833984, 0.053741455078125]}, "gradients/decoder.transformer.h.10.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 5.0, 3.0, 9.0, 8.0, 7.0, 14.0, 16.0, 26.0, 34.0, 43.0, 43.0, 71.0, 94.0, 112.0, 143.0, 201.0, 263.0, 312.0, 381.0, 435.0, 412.0, 322.0, 253.0, 192.0, 146.0, 120.0, 113.0, 68.0, 47.0, 40.0, 33.0, 27.0, 18.0, 15.0, 11.0, 9.0, 8.0, 5.0, 2.0, 4.0, 0.0, 5.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.03826904296875, -0.03712797164916992, -0.035986900329589844, -0.034845829010009766, -0.03370475769042969, -0.03256368637084961, -0.03142261505126953, -0.030281543731689453, -0.029140472412109375, -0.027999401092529297, -0.02685832977294922, -0.02571725845336914, -0.024576187133789062, -0.023435115814208984, -0.022294044494628906, -0.021152973175048828, -0.02001190185546875, -0.018870830535888672, -0.017729759216308594, -0.016588687896728516, -0.015447616577148438, -0.01430654525756836, -0.013165473937988281, -0.012024402618408203, -0.010883331298828125, -0.009742259979248047, -0.008601188659667969, -0.007460117340087891, -0.0063190460205078125, -0.005177974700927734, -0.004036903381347656, -0.002895832061767578, -0.0017547607421875, -0.0006136894226074219, 0.0005273818969726562, 0.0016684532165527344, 0.0028095245361328125, 0.003950595855712891, 0.005091667175292969, 0.006232738494873047, 0.007373809814453125, 0.008514881134033203, 0.009655952453613281, 0.01079702377319336, 0.011938095092773438, 0.013079166412353516, 0.014220237731933594, 0.015361309051513672, 0.01650238037109375, 0.017643451690673828, 0.018784523010253906, 0.019925594329833984, 0.021066665649414062, 0.02220773696899414, 0.02334880828857422, 0.024489879608154297, 0.025630950927734375, 0.026772022247314453, 0.02791309356689453, 0.02905416488647461, 0.030195236206054688, 0.031336307525634766, 0.032477378845214844, 0.03361845016479492, 0.034759521484375]}, "gradients/decoder.transformer.h.10.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 5.0, 2.0, 5.0, 6.0, 2.0, 4.0, 7.0, 7.0, 19.0, 14.0, 12.0, 24.0, 41.0, 45.0, 74.0, 102.0, 126.0, 190.0, 317.0, 675.0, 3118.0, 48401.0, 2517458.0, 1586783.0, 32873.0, 2484.0, 597.0, 258.0, 188.0, 110.0, 93.0, 74.0, 40.0, 44.0, 22.0, 19.0, 11.0, 11.0, 8.0, 3.0, 7.0, 4.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.1663818359375, -0.16117286682128906, -0.15596389770507812, -0.1507549285888672, -0.14554595947265625, -0.1403369903564453, -0.13512802124023438, -0.12991905212402344, -0.1247100830078125, -0.11950111389160156, -0.11429214477539062, -0.10908317565917969, -0.10387420654296875, -0.09866523742675781, -0.09345626831054688, -0.08824729919433594, -0.083038330078125, -0.07782936096191406, -0.07262039184570312, -0.06741142272949219, -0.06220245361328125, -0.05699348449707031, -0.051784515380859375, -0.04657554626464844, -0.0413665771484375, -0.03615760803222656, -0.030948638916015625, -0.025739669799804688, -0.02053070068359375, -0.015321731567382812, -0.010112762451171875, -0.0049037933349609375, 0.00030517578125, 0.0055141448974609375, 0.010723114013671875, 0.015932083129882812, 0.02114105224609375, 0.026350021362304688, 0.031558990478515625, 0.03676795959472656, 0.0419769287109375, 0.04718589782714844, 0.052394866943359375, 0.05760383605957031, 0.06281280517578125, 0.06802177429199219, 0.07323074340820312, 0.07843971252441406, 0.083648681640625, 0.08885765075683594, 0.09406661987304688, 0.09927558898925781, 0.10448455810546875, 0.10969352722167969, 0.11490249633789062, 0.12011146545410156, 0.1253204345703125, 0.13052940368652344, 0.13573837280273438, 0.1409473419189453, 0.14615631103515625, 0.1513652801513672, 0.15657424926757812, 0.16178321838378906, 0.1669921875]}, "gradients/decoder.transformer.h.10.ln_2.weight": {"_type": "histogram", "values": [3.0, 5.0, 14.0, 19.0, 34.0, 46.0, 62.0, 83.0, 101.0, 141.0, 127.0, 134.0, 104.0, 63.0, 38.0, 24.0, 11.0, 5.0, 1.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09386221319437027, -0.08427156507968903, -0.07468092441558838, -0.06509027630090714, -0.05549963191151619, -0.045908987522125244, -0.036318339407444, -0.026727698743343353, -0.01713705062866211, -0.007546405307948589, 0.0020442400127649307, 0.011634886264801025, 0.02122553065419197, 0.030816175043582916, 0.04040682315826416, 0.04999746382236481, 0.05958811193704605, 0.0691787600517273, 0.07876940071582794, 0.08836004883050919, 0.09795069694519043, 0.10754133760929108, 0.11713198572397232, 0.12672263383865356, 0.1363132745027542, 0.14590391516685486, 0.1554945707321167, 0.16508521139621735, 0.174675852060318, 0.18426650762557983, 0.19385714828968048, 0.20344778895378113, 0.21303841471672058, 0.22262905538082123, 0.23221971094608307, 0.24181035161018372, 0.25140100717544556, 0.260991632938385, 0.27058228850364685, 0.2801729440689087, 0.28976356983184814, 0.29935422539711, 0.30894485116004944, 0.3185355067253113, 0.3281261622905731, 0.3377167880535126, 0.3473074436187744, 0.35689806938171387, 0.3664887547492981, 0.37607941031455994, 0.3856700360774994, 0.39526069164276123, 0.40485134720802307, 0.4144419729709625, 0.42403262853622437, 0.4336232542991638, 0.44321390986442566, 0.4528045654296875, 0.46239519119262695, 0.4719858467578888, 0.48157650232315063, 0.4911671280860901, 0.5007578134536743, 0.5103484392166138, 0.5199390649795532]}, "gradients/decoder.transformer.h.10.ln_2.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 3.0, 3.0, 2.0, 2.0, 5.0, 9.0, 5.0, 12.0, 16.0, 18.0, 10.0, 21.0, 9.0, 17.0, 20.0, 27.0, 30.0, 33.0, 48.0, 45.0, 44.0, 39.0, 51.0, 51.0, 41.0, 35.0, 35.0, 39.0, 38.0, 40.0, 34.0, 38.0, 23.0, 33.0, 21.0, 20.0, 16.0, 18.0, 12.0, 3.0, 20.0, 5.0, 9.0, 4.0, 4.0, 1.0, 1.0, 3.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.13237619400024414, -0.12796643376350403, -0.12355668842792511, -0.1191469356417656, -0.11473718285560608, -0.11032742261886597, -0.10591766983270645, -0.10150791704654694, -0.09709816426038742, -0.0926884114742279, -0.08827865868806839, -0.08386890590190887, -0.07945914566516876, -0.07504940032958984, -0.07063964009284973, -0.06622988730669022, -0.0618201345205307, -0.057410381734371185, -0.05300062894821167, -0.048590872436761856, -0.04418111965060234, -0.039771366864442825, -0.03536161035299301, -0.030951857566833496, -0.02654210478067398, -0.022132351994514465, -0.0177225973457098, -0.01331284362822771, -0.00890308991074562, -0.004493337124586105, -8.358247578144073e-05, 0.004326172173023224, 0.00873592495918274, 0.01314567867666483, 0.01755543239414692, 0.021965187042951584, 0.0263749398291111, 0.030784692615270615, 0.03519444912672043, 0.039604201912879944, 0.04401395469903946, 0.048423707485198975, 0.05283346027135849, 0.057243216782808304, 0.06165296956896782, 0.06606271862983704, 0.07047247886657715, 0.07488223165273666, 0.07929198443889618, 0.0837017372250557, 0.08811149001121521, 0.09252124279737473, 0.09693099558353424, 0.10134075582027435, 0.10575050860643387, 0.11016026139259338, 0.1145700141787529, 0.11897976696491241, 0.12338951975107193, 0.12779927253723145, 0.13220903277397156, 0.13661877810955048, 0.1410285383462906, 0.1454382836818695, 0.14984804391860962]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 7.0, 3.0, 4.0, 7.0, 10.0, 5.0, 21.0, 10.0, 16.0, 22.0, 28.0, 29.0, 29.0, 27.0, 40.0, 40.0, 37.0, 69.0, 53.0, 62.0, 52.0, 54.0, 48.0, 50.0, 50.0, 34.0, 37.0, 32.0, 28.0, 21.0, 15.0, 23.0, 13.0, 5.0, 12.0, 8.0, 2.0, 6.0, 3.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.032623291015625, -0.03182101249694824, -0.031018733978271484, -0.030216455459594727, -0.02941417694091797, -0.02861189842224121, -0.027809619903564453, -0.027007341384887695, -0.026205062866210938, -0.02540278434753418, -0.024600505828857422, -0.023798227310180664, -0.022995948791503906, -0.02219367027282715, -0.02139139175415039, -0.020589113235473633, -0.019786834716796875, -0.018984556198120117, -0.01818227767944336, -0.0173799991607666, -0.016577720642089844, -0.015775442123413086, -0.014973163604736328, -0.01417088508605957, -0.013368606567382812, -0.012566328048706055, -0.011764049530029297, -0.010961771011352539, -0.010159492492675781, -0.009357213973999023, -0.008554935455322266, -0.007752656936645508, -0.00695037841796875, -0.006148099899291992, -0.005345821380615234, -0.0045435428619384766, -0.0037412643432617188, -0.002938985824584961, -0.002136707305908203, -0.0013344287872314453, -0.0005321502685546875, 0.0002701282501220703, 0.0010724067687988281, 0.001874685287475586, 0.0026769638061523438, 0.0034792423248291016, 0.004281520843505859, 0.005083799362182617, 0.005886077880859375, 0.006688356399536133, 0.007490634918212891, 0.008292913436889648, 0.009095191955566406, 0.009897470474243164, 0.010699748992919922, 0.01150202751159668, 0.012304306030273438, 0.013106584548950195, 0.013908863067626953, 0.014711141586303711, 0.015513420104980469, 0.016315698623657227, 0.017117977142333984, 0.017920255661010742, 0.0187225341796875]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 5.0, 5.0, 3.0, 7.0, 4.0, 6.0, 7.0, 13.0, 21.0, 37.0, 51.0, 74.0, 123.0, 190.0, 347.0, 635.0, 1002.0, 1664.0, 2825.0, 4591.0, 8094.0, 13204.0, 23449.0, 41531.0, 79868.0, 199418.0, 407662.0, 127897.0, 59739.0, 31906.0, 18232.0, 10375.0, 6298.0, 3742.0, 2190.0, 1344.0, 741.0, 504.0, 289.0, 173.0, 95.0, 68.0, 32.0, 23.0, 17.0, 24.0, 14.0, 7.0, 2.0, 5.0, 4.0, 2.0, 2.0, 4.0, 0.0, 3.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.00017631053924560547, -0.0001704879105091095, -0.00016466528177261353, -0.00015884265303611755, -0.00015302002429962158, -0.0001471973955631256, -0.00014137476682662964, -0.00013555213809013367, -0.0001297295093536377, -0.00012390688061714172, -0.00011808425188064575, -0.00011226162314414978, -0.00010643899440765381, -0.00010061636567115784, -9.479373693466187e-05, -8.89711081981659e-05, -8.314847946166992e-05, -7.732585072517395e-05, -7.150322198867798e-05, -6.568059325218201e-05, -5.9857964515686035e-05, -5.4035335779190063e-05, -4.821270704269409e-05, -4.239007830619812e-05, -3.656744956970215e-05, -3.074482083320618e-05, -2.4922192096710205e-05, -1.9099563360214233e-05, -1.3276934623718262e-05, -7.45430588722229e-06, -1.6316771507263184e-06, 4.190951585769653e-06, 1.0013580322265625e-05, 1.5836209058761597e-05, 2.165883779525757e-05, 2.748146653175354e-05, 3.330409526824951e-05, 3.9126724004745483e-05, 4.4949352741241455e-05, 5.077198147773743e-05, 5.65946102142334e-05, 6.241723895072937e-05, 6.823986768722534e-05, 7.406249642372131e-05, 7.988512516021729e-05, 8.570775389671326e-05, 9.153038263320923e-05, 9.73530113697052e-05, 0.00010317564010620117, 0.00010899826884269714, 0.00011482089757919312, 0.00012064352631568909, 0.00012646615505218506, 0.00013228878378868103, 0.000138111412525177, 0.00014393404126167297, 0.00014975666999816895, 0.00015557929873466492, 0.0001614019274711609, 0.00016722455620765686, 0.00017304718494415283, 0.0001788698136806488, 0.00018469244241714478, 0.00019051507115364075, 0.00019633769989013672]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 2.0, 7.0, 7.0, 6.0, 15.0, 9.0, 17.0, 19.0, 20.0, 30.0, 27.0, 26.0, 38.0, 32.0, 40.0, 39.0, 43.0, 49.0, 39.0, 1061.0, 50.0, 46.0, 34.0, 43.0, 34.0, 35.0, 31.0, 33.0, 23.0, 29.0, 31.0, 25.0, 19.0, 15.0, 15.0, 5.0, 8.0, 5.0, 4.0, 4.0, 3.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0240325927734375, -0.023295879364013672, -0.022559165954589844, -0.021822452545166016, -0.021085739135742188, -0.02034902572631836, -0.01961231231689453, -0.018875598907470703, -0.018138885498046875, -0.017402172088623047, -0.01666545867919922, -0.01592874526977539, -0.015192031860351562, -0.014455318450927734, -0.013718605041503906, -0.012981891632080078, -0.01224517822265625, -0.011508464813232422, -0.010771751403808594, -0.010035037994384766, -0.009298324584960938, -0.00856161117553711, -0.007824897766113281, -0.007088184356689453, -0.006351470947265625, -0.005614757537841797, -0.004878044128417969, -0.004141330718994141, -0.0034046173095703125, -0.0026679039001464844, -0.0019311904907226562, -0.0011944770812988281, -0.000457763671875, 0.0002789497375488281, 0.0010156631469726562, 0.0017523765563964844, 0.0024890899658203125, 0.0032258033752441406, 0.003962516784667969, 0.004699230194091797, 0.005435943603515625, 0.006172657012939453, 0.006909370422363281, 0.007646083831787109, 0.008382797241210938, 0.009119510650634766, 0.009856224060058594, 0.010592937469482422, 0.01132965087890625, 0.012066364288330078, 0.012803077697753906, 0.013539791107177734, 0.014276504516601562, 0.01501321792602539, 0.01574993133544922, 0.016486644744873047, 0.017223358154296875, 0.017960071563720703, 0.01869678497314453, 0.01943349838256836, 0.020170211791992188, 0.020906925201416016, 0.021643638610839844, 0.022380352020263672, 0.0231170654296875]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 0.0, 3.0, 2.0, 4.0, 5.0, 3.0, 4.0, 10.0, 10.0, 16.0, 17.0, 29.0, 27.0, 26.0, 35.0, 32.0, 29.0, 46.0, 69.0, 136.0, 443.0, 2147.0, 14409.0, 2069626.0, 7759.0, 1406.0, 402.0, 114.0, 52.0, 44.0, 32.0, 34.0, 25.0, 30.0, 17.0, 19.0, 17.0, 15.0, 10.0, 5.0, 11.0, 4.0, 2.0, 4.0, 3.0, 0.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.282857894897461e-05, -2.210121601819992e-05, -2.1373853087425232e-05, -2.0646490156650543e-05, -1.9919127225875854e-05, -1.9191764295101166e-05, -1.8464401364326477e-05, -1.773703843355179e-05, -1.70096755027771e-05, -1.628231257200241e-05, -1.5554949641227722e-05, -1.4827586710453033e-05, -1.4100223779678345e-05, -1.3372860848903656e-05, -1.2645497918128967e-05, -1.1918134987354279e-05, -1.119077205657959e-05, -1.0463409125804901e-05, -9.736046195030212e-06, -9.008683264255524e-06, -8.281320333480835e-06, -7.553957402706146e-06, -6.8265944719314575e-06, -6.099231541156769e-06, -5.37186861038208e-06, -4.644505679607391e-06, -3.917142748832703e-06, -3.189779818058014e-06, -2.462416887283325e-06, -1.7350539565086365e-06, -1.0076910257339478e-06, -2.8032809495925903e-07, 4.470348358154297e-07, 1.1743977665901184e-06, 1.9017606973648071e-06, 2.629123628139496e-06, 3.3564865589141846e-06, 4.083849489688873e-06, 4.811212420463562e-06, 5.538575351238251e-06, 6.2659382820129395e-06, 6.993301212787628e-06, 7.720664143562317e-06, 8.448027074337006e-06, 9.175390005111694e-06, 9.902752935886383e-06, 1.0630115866661072e-05, 1.135747879743576e-05, 1.208484172821045e-05, 1.2812204658985138e-05, 1.3539567589759827e-05, 1.4266930520534515e-05, 1.4994293451309204e-05, 1.5721656382083893e-05, 1.644901931285858e-05, 1.717638224363327e-05, 1.790374517440796e-05, 1.8631108105182648e-05, 1.9358471035957336e-05, 2.0085833966732025e-05, 2.0813196897506714e-05, 2.1540559828281403e-05, 2.226792275905609e-05, 2.299528568983078e-05, 2.372264862060547e-05]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 7.0, 3.0, 4.0, 7.0, 10.0, 5.0, 21.0, 10.0, 16.0, 22.0, 28.0, 29.0, 29.0, 27.0, 40.0, 40.0, 37.0, 69.0, 53.0, 62.0, 52.0, 54.0, 48.0, 50.0, 50.0, 34.0, 37.0, 32.0, 28.0, 21.0, 15.0, 23.0, 13.0, 5.0, 12.0, 8.0, 2.0, 6.0, 3.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.032623291015625, -0.03182101249694824, -0.031018733978271484, -0.030216455459594727, -0.02941417694091797, -0.02861189842224121, -0.027809619903564453, -0.027007341384887695, -0.026205062866210938, -0.02540278434753418, -0.024600505828857422, -0.023798227310180664, -0.022995948791503906, -0.02219367027282715, -0.02139139175415039, -0.020589113235473633, -0.019786834716796875, -0.018984556198120117, -0.01818227767944336, -0.0173799991607666, -0.016577720642089844, -0.015775442123413086, -0.014973163604736328, -0.01417088508605957, -0.013368606567382812, -0.012566328048706055, -0.011764049530029297, -0.010961771011352539, -0.010159492492675781, -0.009357213973999023, -0.008554935455322266, -0.007752656936645508, -0.00695037841796875, -0.006148099899291992, -0.005345821380615234, -0.0045435428619384766, -0.0037412643432617188, -0.002938985824584961, -0.002136707305908203, -0.0013344287872314453, -0.0005321502685546875, 0.0002701282501220703, 0.0010724067687988281, 0.001874685287475586, 0.0026769638061523438, 0.0034792423248291016, 0.004281520843505859, 0.005083799362182617, 0.005886077880859375, 0.006688356399536133, 0.007490634918212891, 0.008292913436889648, 0.009095191955566406, 0.009897470474243164, 0.010699748992919922, 0.01150202751159668, 0.012304306030273438, 0.013106584548950195, 0.013908863067626953, 0.014711141586303711, 0.015513420104980469, 0.016315698623657227, 0.017117977142333984, 0.017920255661010742, 0.0187225341796875]}, "gradients/decoder.transformer.h.10.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 7.0, 1.0, 6.0, 7.0, 13.0, 19.0, 38.0, 38.0, 67.0, 129.0, 195.0, 287.0, 407.0, 600.0, 919.0, 1417.0, 2176.0, 3153.0, 4904.0, 7538.0, 12216.0, 20362.0, 34967.0, 63936.0, 131654.0, 282296.0, 239962.0, 107892.0, 54334.0, 30622.0, 17762.0, 10857.0, 6854.0, 4421.0, 2830.0, 2006.0, 1277.0, 840.0, 518.0, 364.0, 242.0, 158.0, 102.0, 64.0, 45.0, 24.0, 22.0, 9.0, 4.0, 2.0, 3.0, 2.0, 2.0, 2.0], "bins": [-0.0260009765625, -0.02527618408203125, -0.0245513916015625, -0.02382659912109375, -0.023101806640625, -0.02237701416015625, -0.0216522216796875, -0.02092742919921875, -0.02020263671875, -0.01947784423828125, -0.0187530517578125, -0.01802825927734375, -0.017303466796875, -0.01657867431640625, -0.0158538818359375, -0.01512908935546875, -0.014404296875, -0.01367950439453125, -0.0129547119140625, -0.01222991943359375, -0.011505126953125, -0.01078033447265625, -0.0100555419921875, -0.00933074951171875, -0.00860595703125, -0.00788116455078125, -0.0071563720703125, -0.00643157958984375, -0.005706787109375, -0.00498199462890625, -0.0042572021484375, -0.00353240966796875, -0.0028076171875, -0.00208282470703125, -0.0013580322265625, -0.00063323974609375, 9.1552734375e-05, 0.00081634521484375, 0.0015411376953125, 0.00226593017578125, 0.00299072265625, 0.00371551513671875, 0.0044403076171875, 0.00516510009765625, 0.005889892578125, 0.00661468505859375, 0.0073394775390625, 0.00806427001953125, 0.0087890625, 0.00951385498046875, 0.0102386474609375, 0.01096343994140625, 0.011688232421875, 0.01241302490234375, 0.0131378173828125, 0.01386260986328125, 0.01458740234375, 0.01531219482421875, 0.0160369873046875, 0.01676177978515625, 0.017486572265625, 0.01821136474609375, 0.0189361572265625, 0.01966094970703125, 0.0203857421875]}, "gradients/decoder.transformer.h.10.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 0.0, 4.0, 4.0, 2.0, 7.0, 9.0, 8.0, 14.0, 18.0, 27.0, 19.0, 26.0, 27.0, 26.0, 44.0, 38.0, 30.0, 45.0, 52.0, 108.0, 188.0, 1422.0, 304.0, 157.0, 91.0, 60.0, 49.0, 37.0, 38.0, 37.0, 17.0, 26.0, 22.0, 18.0, 19.0, 12.0, 10.0, 9.0, 8.0, 7.0, 8.0, 4.0, 1.0, 2.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0775146484375, -0.07522296905517578, -0.07293128967285156, -0.07063961029052734, -0.06834793090820312, -0.0660562515258789, -0.06376457214355469, -0.06147289276123047, -0.05918121337890625, -0.05688953399658203, -0.05459785461425781, -0.052306175231933594, -0.050014495849609375, -0.047722816467285156, -0.04543113708496094, -0.04313945770263672, -0.0408477783203125, -0.03855609893798828, -0.03626441955566406, -0.033972740173339844, -0.031681060791015625, -0.029389381408691406, -0.027097702026367188, -0.02480602264404297, -0.02251434326171875, -0.02022266387939453, -0.017930984497070312, -0.015639305114746094, -0.013347625732421875, -0.011055946350097656, -0.008764266967773438, -0.006472587585449219, -0.004180908203125, -0.0018892288208007812, 0.0004024505615234375, 0.0026941299438476562, 0.004985809326171875, 0.007277488708496094, 0.009569168090820312, 0.011860847473144531, 0.01415252685546875, 0.01644420623779297, 0.018735885620117188, 0.021027565002441406, 0.023319244384765625, 0.025610923767089844, 0.027902603149414062, 0.03019428253173828, 0.0324859619140625, 0.03477764129638672, 0.03706932067871094, 0.039361000061035156, 0.041652679443359375, 0.043944358825683594, 0.04623603820800781, 0.04852771759033203, 0.05081939697265625, 0.05311107635498047, 0.05540275573730469, 0.057694435119628906, 0.059986114501953125, 0.062277793884277344, 0.06456947326660156, 0.06686115264892578, 0.06915283203125]}, "gradients/decoder.transformer.h.10.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 4.0, 3.0, 2.0, 3.0, 8.0, 9.0, 13.0, 15.0, 20.0, 20.0, 31.0, 47.0, 58.0, 83.0, 105.0, 132.0, 203.0, 309.0, 603.0, 1628.0, 8032.0, 67685.0, 2375354.0, 653906.0, 30362.0, 4548.0, 1099.0, 461.0, 291.0, 172.0, 129.0, 94.0, 60.0, 60.0, 39.0, 30.0, 24.0, 12.0, 16.0, 10.0, 8.0, 5.0, 6.0, 4.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 4.0], "bins": [-0.11968994140625, -0.11625385284423828, -0.11281776428222656, -0.10938167572021484, -0.10594558715820312, -0.1025094985961914, -0.09907341003417969, -0.09563732147216797, -0.09220123291015625, -0.08876514434814453, -0.08532905578613281, -0.0818929672241211, -0.07845687866210938, -0.07502079010009766, -0.07158470153808594, -0.06814861297607422, -0.0647125244140625, -0.06127643585205078, -0.05784034729003906, -0.054404258728027344, -0.050968170166015625, -0.047532081604003906, -0.04409599304199219, -0.04065990447998047, -0.03722381591796875, -0.03378772735595703, -0.030351638793945312, -0.026915550231933594, -0.023479461669921875, -0.020043373107910156, -0.016607284545898438, -0.013171195983886719, -0.009735107421875, -0.006299018859863281, -0.0028629302978515625, 0.0005731582641601562, 0.004009246826171875, 0.007445335388183594, 0.010881423950195312, 0.014317512512207031, 0.01775360107421875, 0.02118968963623047, 0.024625778198242188, 0.028061866760253906, 0.031497955322265625, 0.034934043884277344, 0.03837013244628906, 0.04180622100830078, 0.0452423095703125, 0.04867839813232422, 0.05211448669433594, 0.055550575256347656, 0.058986663818359375, 0.062422752380371094, 0.06585884094238281, 0.06929492950439453, 0.07273101806640625, 0.07616710662841797, 0.07960319519042969, 0.0830392837524414, 0.08647537231445312, 0.08991146087646484, 0.09334754943847656, 0.09678363800048828, 0.1002197265625]}, "gradients/decoder.transformer.h.10.ln_1.weight": {"_type": "histogram", "values": [5.0, 56.0, 524.0, 398.0, 37.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08975311368703842, -0.058691877871751785, -0.02763064205646515, 0.003430597484111786, 0.034491829574108124, 0.06555306166410446, 0.096614308655262, 0.12767553329467773, 0.15873676538467407, 0.1897979974746704, 0.22085922956466675, 0.2519204616546631, 0.2829816937446594, 0.31404292583465576, 0.3451041877269745, 0.3761654198169708, 0.40722665190696716, 0.4382878839969635, 0.46934911608695984, 0.5004103779792786, 0.5314716100692749, 0.5625328421592712, 0.5935940742492676, 0.6246553063392639, 0.6557165384292603, 0.6867777705192566, 0.7178390026092529, 0.7489002346992493, 0.7799614667892456, 0.8110226988792419, 0.8420839309692383, 0.8731452226638794, 0.904206395149231, 0.9352676272392273, 0.9663288593292236, 0.99739009141922, 1.0284513235092163, 1.0595126152038574, 1.090573787689209, 1.12163507938385, 1.1526962518692017, 1.1837575435638428, 1.2148187160491943, 1.2458800077438354, 1.276941180229187, 1.3080024719238281, 1.3390636444091797, 1.3701249361038208, 1.401186227798462, 1.432247519493103, 1.4633086919784546, 1.4943699836730957, 1.5254311561584473, 1.5564924478530884, 1.58755362033844, 1.618614912033081, 1.6496760845184326, 1.6807373762130737, 1.7117985486984253, 1.7428598403930664, 1.773921012878418, 1.804982304573059, 1.8360434770584106, 1.8671047687530518, 1.8981659412384033]}, "gradients/decoder.transformer.h.10.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 2.0, 2.0, 3.0, 6.0, 4.0, 7.0, 4.0, 8.0, 13.0, 17.0, 17.0, 17.0, 26.0, 35.0, 34.0, 33.0, 38.0, 35.0, 43.0, 35.0, 52.0, 56.0, 33.0, 37.0, 40.0, 55.0, 48.0, 46.0, 51.0, 17.0, 30.0, 28.0, 31.0, 19.0, 15.0, 13.0, 9.0, 11.0, 10.0, 12.0, 7.0, 7.0, 3.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2280474305152893, -0.22098898887634277, -0.21393053233623505, -0.20687207579612732, -0.1998136341571808, -0.19275519251823425, -0.18569673597812653, -0.1786382794380188, -0.17157983779907227, -0.16452139616012573, -0.157462939620018, -0.15040448307991028, -0.14334604144096375, -0.1362875998020172, -0.12922914326190948, -0.12217069417238235, -0.11511224508285522, -0.1080537959933281, -0.10099534690380096, -0.09393689781427383, -0.0868784487247467, -0.07981999963521957, -0.07276155054569244, -0.06570310145616531, -0.058644652366638184, -0.05158620327711105, -0.04452775418758392, -0.03746930509805679, -0.030410856008529663, -0.023352406919002533, -0.016293957829475403, -0.009235508739948273, -0.0021770596504211426, 0.0048813894391059875, 0.011939838528633118, 0.018998287618160248, 0.026056736707687378, 0.03311518579721451, 0.04017363488674164, 0.04723208397626877, 0.0542905330657959, 0.06134898215532303, 0.06840743124485016, 0.07546588033437729, 0.08252432942390442, 0.08958277851343155, 0.09664122760295868, 0.10369967669248581, 0.11075812578201294, 0.11781657487154007, 0.1248750239610672, 0.13193348050117493, 0.13899192214012146, 0.146050363779068, 0.15310882031917572, 0.16016727685928345, 0.16722571849822998, 0.1742841601371765, 0.18134261667728424, 0.18840107321739197, 0.1954595148563385, 0.20251795649528503, 0.20957641303539276, 0.2166348695755005, 0.22369331121444702]}, "gradients/decoder.transformer.h.9.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 6.0, 4.0, 5.0, 2.0, 10.0, 13.0, 11.0, 21.0, 19.0, 18.0, 20.0, 27.0, 30.0, 33.0, 44.0, 43.0, 45.0, 54.0, 55.0, 54.0, 60.0, 50.0, 47.0, 44.0, 48.0, 36.0, 35.0, 34.0, 31.0, 17.0, 25.0, 23.0, 8.0, 9.0, 13.0, 3.0, 3.0, 6.0, 4.0, 0.0, 4.0, 1.0, 0.0, 1.0], "bins": [-0.03289794921875, -0.032068729400634766, -0.03123950958251953, -0.030410289764404297, -0.029581069946289062, -0.028751850128173828, -0.027922630310058594, -0.02709341049194336, -0.026264190673828125, -0.02543497085571289, -0.024605751037597656, -0.023776531219482422, -0.022947311401367188, -0.022118091583251953, -0.02128887176513672, -0.020459651947021484, -0.01963043212890625, -0.018801212310791016, -0.01797199249267578, -0.017142772674560547, -0.016313552856445312, -0.015484333038330078, -0.014655113220214844, -0.01382589340209961, -0.012996673583984375, -0.01216745376586914, -0.011338233947753906, -0.010509014129638672, -0.009679794311523438, -0.008850574493408203, -0.008021354675292969, -0.007192134857177734, -0.0063629150390625, -0.005533695220947266, -0.004704475402832031, -0.003875255584716797, -0.0030460357666015625, -0.002216815948486328, -0.0013875961303710938, -0.0005583763122558594, 0.000270843505859375, 0.0011000633239746094, 0.0019292831420898438, 0.002758502960205078, 0.0035877227783203125, 0.004416942596435547, 0.005246162414550781, 0.006075382232666016, 0.00690460205078125, 0.007733821868896484, 0.008563041687011719, 0.009392261505126953, 0.010221481323242188, 0.011050701141357422, 0.011879920959472656, 0.01270914077758789, 0.013538360595703125, 0.01436758041381836, 0.015196800231933594, 0.016026020050048828, 0.016855239868164062, 0.017684459686279297, 0.01851367950439453, 0.019342899322509766, 0.020172119140625]}, "gradients/decoder.transformer.h.9.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 4.0, 1.0, 1.0, 2.0, 3.0, 6.0, 13.0, 10.0, 18.0, 22.0, 37.0, 43.0, 84.0, 149.0, 262.0, 476.0, 1023.0, 2383.0, 6312.0, 19033.0, 69891.0, 354029.0, 2279379.0, 1217260.0, 182081.0, 41504.0, 12478.0, 4348.0, 1797.0, 772.0, 321.0, 221.0, 110.0, 68.0, 50.0, 30.0, 27.0, 13.0, 14.0, 8.0, 6.0, 4.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.05804443359375, -0.05637693405151367, -0.054709434509277344, -0.053041934967041016, -0.05137443542480469, -0.04970693588256836, -0.04803943634033203, -0.0463719367980957, -0.044704437255859375, -0.04303693771362305, -0.04136943817138672, -0.03970193862915039, -0.03803443908691406, -0.036366939544677734, -0.034699440002441406, -0.03303194046020508, -0.03136444091796875, -0.029696941375732422, -0.028029441833496094, -0.026361942291259766, -0.024694442749023438, -0.02302694320678711, -0.02135944366455078, -0.019691944122314453, -0.018024444580078125, -0.016356945037841797, -0.014689445495605469, -0.01302194595336914, -0.011354446411132812, -0.009686946868896484, -0.008019447326660156, -0.006351947784423828, -0.0046844482421875, -0.003016948699951172, -0.0013494491577148438, 0.0003180503845214844, 0.0019855499267578125, 0.0036530494689941406, 0.005320549011230469, 0.006988048553466797, 0.008655548095703125, 0.010323047637939453, 0.011990547180175781, 0.01365804672241211, 0.015325546264648438, 0.016993045806884766, 0.018660545349121094, 0.020328044891357422, 0.02199554443359375, 0.023663043975830078, 0.025330543518066406, 0.026998043060302734, 0.028665542602539062, 0.03033304214477539, 0.03200054168701172, 0.03366804122924805, 0.035335540771484375, 0.0370030403137207, 0.03867053985595703, 0.04033803939819336, 0.04200553894042969, 0.043673038482666016, 0.045340538024902344, 0.04700803756713867, 0.048675537109375]}, "gradients/decoder.transformer.h.9.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 5.0, 5.0, 7.0, 8.0, 15.0, 26.0, 55.0, 63.0, 109.0, 160.0, 306.0, 418.0, 667.0, 737.0, 542.0, 344.0, 227.0, 133.0, 90.0, 67.0, 34.0, 24.0, 19.0, 10.0, 7.0, 5.0, 3.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.038238525390625, -0.03625154495239258, -0.034264564514160156, -0.032277584075927734, -0.030290603637695312, -0.02830362319946289, -0.02631664276123047, -0.024329662322998047, -0.022342681884765625, -0.020355701446533203, -0.01836872100830078, -0.01638174057006836, -0.014394760131835938, -0.012407779693603516, -0.010420799255371094, -0.008433818817138672, -0.00644683837890625, -0.004459857940673828, -0.0024728775024414062, -0.0004858970642089844, 0.0015010833740234375, 0.0034880638122558594, 0.005475044250488281, 0.007462024688720703, 0.009449005126953125, 0.011435985565185547, 0.013422966003417969, 0.01540994644165039, 0.017396926879882812, 0.019383907318115234, 0.021370887756347656, 0.023357868194580078, 0.0253448486328125, 0.027331829071044922, 0.029318809509277344, 0.031305789947509766, 0.03329277038574219, 0.03527975082397461, 0.03726673126220703, 0.03925371170043945, 0.041240692138671875, 0.0432276725769043, 0.04521465301513672, 0.04720163345336914, 0.04918861389160156, 0.051175594329833984, 0.053162574768066406, 0.05514955520629883, 0.05713653564453125, 0.05912351608276367, 0.061110496520996094, 0.06309747695922852, 0.06508445739746094, 0.06707143783569336, 0.06905841827392578, 0.0710453987121582, 0.07303237915039062, 0.07501935958862305, 0.07700634002685547, 0.07899332046508789, 0.08098030090332031, 0.08296728134155273, 0.08495426177978516, 0.08694124221801758, 0.08892822265625]}, "gradients/decoder.transformer.h.9.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 7.0, 8.0, 5.0, 20.0, 21.0, 31.0, 57.0, 80.0, 154.0, 285.0, 646.0, 7858.0, 3962594.0, 220139.0, 1491.0, 426.0, 202.0, 109.0, 75.0, 37.0, 18.0, 12.0, 9.0, 6.0, 5.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.5078125, -0.49646568298339844, -0.4851188659667969, -0.4737720489501953, -0.46242523193359375, -0.4510784149169922, -0.4397315979003906, -0.42838478088378906, -0.4170379638671875, -0.40569114685058594, -0.3943443298339844, -0.3829975128173828, -0.37165069580078125, -0.3603038787841797, -0.3489570617675781, -0.33761024475097656, -0.326263427734375, -0.31491661071777344, -0.3035697937011719, -0.2922229766845703, -0.28087615966796875, -0.2695293426513672, -0.2581825256347656, -0.24683570861816406, -0.2354888916015625, -0.22414207458496094, -0.21279525756835938, -0.2014484405517578, -0.19010162353515625, -0.1787548065185547, -0.16740798950195312, -0.15606117248535156, -0.14471435546875, -0.13336753845214844, -0.12202072143554688, -0.11067390441894531, -0.09932708740234375, -0.08798027038574219, -0.07663345336914062, -0.06528663635253906, -0.0539398193359375, -0.04259300231933594, -0.031246185302734375, -0.019899368286132812, -0.00855255126953125, 0.0027942657470703125, 0.014141082763671875, 0.025487899780273438, 0.036834716796875, 0.04818153381347656, 0.059528350830078125, 0.07087516784667969, 0.08222198486328125, 0.09356880187988281, 0.10491561889648438, 0.11626243591308594, 0.1276092529296875, 0.13895606994628906, 0.15030288696289062, 0.1616497039794922, 0.17299652099609375, 0.1843433380126953, 0.19569015502929688, 0.20703697204589844, 0.2183837890625]}, "gradients/decoder.transformer.h.9.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 10.0, 12.0, 14.0, 53.0, 79.0, 123.0, 135.0, 152.0, 147.0, 111.0, 90.0, 44.0, 20.0, 13.0, 10.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11544729024171829, -0.10433848947286606, -0.09322968125343323, -0.082120880484581, -0.07101207971572876, -0.05990327149629593, -0.048794470727443695, -0.037685662508010864, -0.02657686173915863, -0.015468058176338673, -0.004359254613518715, 0.006749548017978668, 0.0178583525121212, 0.028967157006263733, 0.04007595777511597, 0.0511847659945488, 0.06229356676340103, 0.07340236753225327, 0.0845111757516861, 0.09561997652053833, 0.10672877728939056, 0.1178375855088234, 0.12894639372825623, 0.14005519449710846, 0.1511639952659607, 0.16227279603481293, 0.17338159680366516, 0.1844904124736786, 0.19559921324253082, 0.20670801401138306, 0.2178168147802353, 0.22892561554908752, 0.24003443121910095, 0.2511432468891144, 0.2622520327568054, 0.27336084842681885, 0.2844696342945099, 0.2955784499645233, 0.30668723583221436, 0.3177960515022278, 0.3289048671722412, 0.34001368284225464, 0.3511224687099457, 0.3622312843799591, 0.37334007024765015, 0.3844488859176636, 0.395557701587677, 0.40666648745536804, 0.4177752733230591, 0.4288840889930725, 0.43999287486076355, 0.451101690530777, 0.462210476398468, 0.47331929206848145, 0.4844281077384949, 0.4955368936061859, 0.5066457390785217, 0.5177545547485352, 0.5288633704185486, 0.5399721264839172, 0.5510809421539307, 0.5621897578239441, 0.5732985734939575, 0.584407389163971, 0.5955161452293396]}, "gradients/decoder.transformer.h.9.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 3.0, 2.0, 3.0, 5.0, 1.0, 3.0, 10.0, 9.0, 12.0, 11.0, 19.0, 14.0, 21.0, 29.0, 29.0, 22.0, 23.0, 44.0, 38.0, 46.0, 38.0, 41.0, 41.0, 47.0, 43.0, 37.0, 43.0, 33.0, 43.0, 28.0, 39.0, 32.0, 33.0, 22.0, 16.0, 27.0, 18.0, 19.0, 13.0, 15.0, 12.0, 7.0, 3.0, 5.0, 4.0, 1.0, 3.0, 1.0, 4.0, 1.0, 1.0, 1.0, 2.0], "bins": [-0.1733599305152893, -0.16841231286525726, -0.16346469521522522, -0.15851707756519318, -0.15356945991516113, -0.1486218422651291, -0.14367422461509705, -0.138726606965065, -0.13377898931503296, -0.12883137166500092, -0.12388375401496887, -0.11893613636493683, -0.11398851871490479, -0.10904090106487274, -0.1040932834148407, -0.09914566576480865, -0.09419804811477661, -0.08925043046474457, -0.08430281281471252, -0.07935519516468048, -0.07440757751464844, -0.0694599598646164, -0.06451234221458435, -0.05956472456455231, -0.054617106914520264, -0.04966948926448822, -0.04472187161445618, -0.03977425396442413, -0.03482663631439209, -0.029879018664360046, -0.024931401014328003, -0.01998378336429596, -0.015036165714263916, -0.010088548064231873, -0.005140930414199829, -0.00019331276416778564, 0.004754304885864258, 0.009701922535896301, 0.014649540185928345, 0.019597157835960388, 0.02454477548599243, 0.029492393136024475, 0.03444001078605652, 0.03938762843608856, 0.044335246086120605, 0.04928286373615265, 0.05423048138618469, 0.059178099036216736, 0.06412571668624878, 0.06907333433628082, 0.07402095198631287, 0.07896856963634491, 0.08391618728637695, 0.088863804936409, 0.09381142258644104, 0.09875904023647308, 0.10370665788650513, 0.10865427553653717, 0.11360189318656921, 0.11854951083660126, 0.1234971284866333, 0.12844474613666534, 0.1333923637866974, 0.13833998143672943, 0.14328759908676147]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 8.0, 2.0, 10.0, 9.0, 9.0, 15.0, 22.0, 15.0, 16.0, 22.0, 33.0, 31.0, 42.0, 34.0, 49.0, 50.0, 46.0, 69.0, 40.0, 46.0, 49.0, 42.0, 54.0, 46.0, 37.0, 38.0, 35.0, 20.0, 26.0, 19.0, 22.0, 14.0, 7.0, 6.0, 6.0, 6.0, 4.0, 3.0, 4.0, 1.0, 0.0, 2.0], "bins": [-0.03314208984375, -0.032321929931640625, -0.03150177001953125, -0.030681610107421875, -0.0298614501953125, -0.029041290283203125, -0.02822113037109375, -0.027400970458984375, -0.026580810546875, -0.025760650634765625, -0.02494049072265625, -0.024120330810546875, -0.0233001708984375, -0.022480010986328125, -0.02165985107421875, -0.020839691162109375, -0.02001953125, -0.019199371337890625, -0.01837921142578125, -0.017559051513671875, -0.0167388916015625, -0.015918731689453125, -0.01509857177734375, -0.014278411865234375, -0.013458251953125, -0.012638092041015625, -0.01181793212890625, -0.010997772216796875, -0.0101776123046875, -0.009357452392578125, -0.00853729248046875, -0.007717132568359375, -0.00689697265625, -0.006076812744140625, -0.00525665283203125, -0.004436492919921875, -0.0036163330078125, -0.002796173095703125, -0.00197601318359375, -0.001155853271484375, -0.000335693359375, 0.000484466552734375, 0.00130462646484375, 0.002124786376953125, 0.0029449462890625, 0.003765106201171875, 0.00458526611328125, 0.005405426025390625, 0.0062255859375, 0.007045745849609375, 0.00786590576171875, 0.008686065673828125, 0.0095062255859375, 0.010326385498046875, 0.01114654541015625, 0.011966705322265625, 0.012786865234375, 0.013607025146484375, 0.01442718505859375, 0.015247344970703125, 0.0160675048828125, 0.016887664794921875, 0.01770782470703125, 0.018527984619140625, 0.01934814453125]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 7.0, 2.0, 7.0, 11.0, 12.0, 14.0, 30.0, 39.0, 65.0, 122.0, 219.0, 357.0, 632.0, 1164.0, 2171.0, 4123.0, 7658.0, 15203.0, 31305.0, 66957.0, 166253.0, 461434.0, 162747.0, 66190.0, 30541.0, 14985.0, 7551.0, 3961.0, 2091.0, 1158.0, 647.0, 390.0, 199.0, 126.0, 66.0, 43.0, 27.0, 13.0, 14.0, 12.0, 6.0, 5.0, 5.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.00018835067749023438, -0.00018304400146007538, -0.00017773732542991638, -0.00017243064939975739, -0.0001671239733695984, -0.0001618172973394394, -0.0001565106213092804, -0.0001512039452791214, -0.0001458972692489624, -0.0001405905932188034, -0.0001352839171886444, -0.0001299772411584854, -0.00012467056512832642, -0.00011936388909816742, -0.00011405721306800842, -0.00010875053703784943, -0.00010344386100769043, -9.813718497753143e-05, -9.283050894737244e-05, -8.752383291721344e-05, -8.221715688705444e-05, -7.691048085689545e-05, -7.160380482673645e-05, -6.629712879657745e-05, -6.099045276641846e-05, -5.568377673625946e-05, -5.0377100706100464e-05, -4.507042467594147e-05, -3.976374864578247e-05, -3.4457072615623474e-05, -2.9150396585464478e-05, -2.384372055530548e-05, -1.8537044525146484e-05, -1.3230368494987488e-05, -7.923692464828491e-06, -2.6170164346694946e-06, 2.689659595489502e-06, 7.996335625648499e-06, 1.3303011655807495e-05, 1.8609687685966492e-05, 2.3916363716125488e-05, 2.9223039746284485e-05, 3.452971577644348e-05, 3.983639180660248e-05, 4.5143067836761475e-05, 5.044974386692047e-05, 5.575641989707947e-05, 6.106309592723846e-05, 6.636977195739746e-05, 7.167644798755646e-05, 7.698312401771545e-05, 8.228980004787445e-05, 8.759647607803345e-05, 9.290315210819244e-05, 9.820982813835144e-05, 0.00010351650416851044, 0.00010882318019866943, 0.00011412985622882843, 0.00011943653225898743, 0.00012474320828914642, 0.00013004988431930542, 0.00013535656034946442, 0.0001406632363796234, 0.0001459699124097824, 0.0001512765884399414]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 4.0, 2.0, 2.0, 6.0, 8.0, 2.0, 6.0, 4.0, 8.0, 7.0, 10.0, 17.0, 17.0, 27.0, 17.0, 29.0, 27.0, 27.0, 31.0, 37.0, 26.0, 42.0, 31.0, 35.0, 45.0, 1070.0, 40.0, 41.0, 37.0, 27.0, 33.0, 43.0, 31.0, 39.0, 36.0, 24.0, 23.0, 16.0, 14.0, 22.0, 16.0, 11.0, 17.0, 9.0, 4.0, 7.0, 3.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.025634765625, -0.02486109733581543, -0.02408742904663086, -0.02331376075744629, -0.02254009246826172, -0.02176642417907715, -0.020992755889892578, -0.020219087600708008, -0.019445419311523438, -0.018671751022338867, -0.017898082733154297, -0.017124414443969727, -0.016350746154785156, -0.015577077865600586, -0.014803409576416016, -0.014029741287231445, -0.013256072998046875, -0.012482404708862305, -0.011708736419677734, -0.010935068130493164, -0.010161399841308594, -0.009387731552124023, -0.008614063262939453, -0.007840394973754883, -0.0070667266845703125, -0.006293058395385742, -0.005519390106201172, -0.0047457218170166016, -0.003972053527832031, -0.003198385238647461, -0.0024247169494628906, -0.0016510486602783203, -0.00087738037109375, -0.00010371208190917969, 0.0006699562072753906, 0.001443624496459961, 0.0022172927856445312, 0.0029909610748291016, 0.003764629364013672, 0.004538297653198242, 0.0053119659423828125, 0.006085634231567383, 0.006859302520751953, 0.0076329708099365234, 0.008406639099121094, 0.009180307388305664, 0.009953975677490234, 0.010727643966674805, 0.011501312255859375, 0.012274980545043945, 0.013048648834228516, 0.013822317123413086, 0.014595985412597656, 0.015369653701782227, 0.016143321990966797, 0.016916990280151367, 0.017690658569335938, 0.018464326858520508, 0.019237995147705078, 0.02001166343688965, 0.02078533172607422, 0.02155900001525879, 0.02233266830444336, 0.02310633659362793, 0.0238800048828125]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 4.0, 2.0, 0.0, 10.0, 4.0, 6.0, 13.0, 12.0, 18.0, 14.0, 19.0, 20.0, 22.0, 23.0, 29.0, 39.0, 35.0, 35.0, 44.0, 80.0, 201.0, 653.0, 2636.0, 21902.0, 2062725.0, 6477.0, 1322.0, 345.0, 114.0, 68.0, 37.0, 29.0, 22.0, 34.0, 23.0, 28.0, 19.0, 14.0, 11.0, 6.0, 12.0, 3.0, 7.0, 2.0, 8.0, 4.0, 2.0, 3.0, 5.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.378225326538086e-05, -2.3021362721920013e-05, -2.2260472178459167e-05, -2.149958163499832e-05, -2.0738691091537476e-05, -1.997780054807663e-05, -1.9216910004615784e-05, -1.8456019461154938e-05, -1.7695128917694092e-05, -1.6934238374233246e-05, -1.61733478307724e-05, -1.5412457287311554e-05, -1.4651566743850708e-05, -1.3890676200389862e-05, -1.3129785656929016e-05, -1.236889511346817e-05, -1.1608004570007324e-05, -1.0847114026546478e-05, -1.0086223483085632e-05, -9.325332939624786e-06, -8.56444239616394e-06, -7.803551852703094e-06, -7.0426613092422485e-06, -6.281770765781403e-06, -5.520880222320557e-06, -4.759989678859711e-06, -3.999099135398865e-06, -3.238208591938019e-06, -2.477318048477173e-06, -1.716427505016327e-06, -9.55536961555481e-07, -1.94646418094635e-07, 5.662441253662109e-07, 1.3271346688270569e-06, 2.088025212287903e-06, 2.8489157557487488e-06, 3.6098062992095947e-06, 4.370696842670441e-06, 5.131587386131287e-06, 5.8924779295921326e-06, 6.6533684730529785e-06, 7.4142590165138245e-06, 8.17514955997467e-06, 8.936040103435516e-06, 9.696930646896362e-06, 1.0457821190357208e-05, 1.1218711733818054e-05, 1.19796022772789e-05, 1.2740492820739746e-05, 1.3501383364200592e-05, 1.4262273907661438e-05, 1.5023164451122284e-05, 1.578405499458313e-05, 1.6544945538043976e-05, 1.7305836081504822e-05, 1.8066726624965668e-05, 1.8827617168426514e-05, 1.958850771188736e-05, 2.0349398255348206e-05, 2.111028879880905e-05, 2.1871179342269897e-05, 2.2632069885730743e-05, 2.339296042919159e-05, 2.4153850972652435e-05, 2.491474151611328e-05]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 8.0, 2.0, 10.0, 9.0, 9.0, 15.0, 22.0, 15.0, 16.0, 22.0, 33.0, 31.0, 42.0, 34.0, 49.0, 50.0, 46.0, 69.0, 40.0, 46.0, 49.0, 42.0, 54.0, 46.0, 37.0, 38.0, 35.0, 20.0, 26.0, 19.0, 22.0, 14.0, 7.0, 6.0, 6.0, 6.0, 4.0, 3.0, 4.0, 1.0, 0.0, 2.0], "bins": [-0.03314208984375, -0.032321929931640625, -0.03150177001953125, -0.030681610107421875, -0.0298614501953125, -0.029041290283203125, -0.02822113037109375, -0.027400970458984375, -0.026580810546875, -0.025760650634765625, -0.02494049072265625, -0.024120330810546875, -0.0233001708984375, -0.022480010986328125, -0.02165985107421875, -0.020839691162109375, -0.02001953125, -0.019199371337890625, -0.01837921142578125, -0.017559051513671875, -0.0167388916015625, -0.015918731689453125, -0.01509857177734375, -0.014278411865234375, -0.013458251953125, -0.012638092041015625, -0.01181793212890625, -0.010997772216796875, -0.0101776123046875, -0.009357452392578125, -0.00853729248046875, -0.007717132568359375, -0.00689697265625, -0.006076812744140625, -0.00525665283203125, -0.004436492919921875, -0.0036163330078125, -0.002796173095703125, -0.00197601318359375, -0.001155853271484375, -0.000335693359375, 0.000484466552734375, 0.00130462646484375, 0.002124786376953125, 0.0029449462890625, 0.003765106201171875, 0.00458526611328125, 0.005405426025390625, 0.0062255859375, 0.007045745849609375, 0.00786590576171875, 0.008686065673828125, 0.0095062255859375, 0.010326385498046875, 0.01114654541015625, 0.011966705322265625, 0.012786865234375, 0.013607025146484375, 0.01442718505859375, 0.015247344970703125, 0.0160675048828125, 0.016887664794921875, 0.01770782470703125, 0.018527984619140625, 0.01934814453125]}, "gradients/decoder.transformer.h.9.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 4.0, 1.0, 0.0, 1.0, 3.0, 9.0, 9.0, 16.0, 24.0, 39.0, 54.0, 78.0, 149.0, 240.0, 375.0, 571.0, 936.0, 1540.0, 2348.0, 3710.0, 5652.0, 8843.0, 13993.0, 22176.0, 36897.0, 74143.0, 225882.0, 408738.0, 117524.0, 49165.0, 27777.0, 17335.0, 11094.0, 6959.0, 4433.0, 2864.0, 1847.0, 1172.0, 752.0, 434.0, 290.0, 197.0, 116.0, 62.0, 46.0, 34.0, 12.0, 10.0, 10.0, 3.0, 2.0, 1.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0295562744140625, -0.02850937843322754, -0.027462482452392578, -0.026415586471557617, -0.025368690490722656, -0.024321794509887695, -0.023274898529052734, -0.022228002548217773, -0.021181106567382812, -0.02013421058654785, -0.01908731460571289, -0.01804041862487793, -0.01699352264404297, -0.015946626663208008, -0.014899730682373047, -0.013852834701538086, -0.012805938720703125, -0.011759042739868164, -0.010712146759033203, -0.009665250778198242, -0.008618354797363281, -0.00757145881652832, -0.006524562835693359, -0.0054776668548583984, -0.0044307708740234375, -0.0033838748931884766, -0.0023369789123535156, -0.0012900829315185547, -0.00024318695068359375, 0.0008037090301513672, 0.0018506050109863281, 0.002897500991821289, 0.00394439697265625, 0.004991292953491211, 0.006038188934326172, 0.007085084915161133, 0.008131980895996094, 0.009178876876831055, 0.010225772857666016, 0.011272668838500977, 0.012319564819335938, 0.013366460800170898, 0.01441335678100586, 0.01546025276184082, 0.01650714874267578, 0.017554044723510742, 0.018600940704345703, 0.019647836685180664, 0.020694732666015625, 0.021741628646850586, 0.022788524627685547, 0.023835420608520508, 0.02488231658935547, 0.02592921257019043, 0.02697610855102539, 0.02802300453186035, 0.029069900512695312, 0.030116796493530273, 0.031163692474365234, 0.032210588455200195, 0.033257484436035156, 0.03430438041687012, 0.03535127639770508, 0.03639817237854004, 0.037445068359375]}, "gradients/decoder.transformer.h.9.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 1.0, 7.0, 2.0, 3.0, 5.0, 10.0, 13.0, 12.0, 23.0, 17.0, 17.0, 14.0, 13.0, 26.0, 29.0, 28.0, 38.0, 34.0, 31.0, 58.0, 71.0, 112.0, 183.0, 1429.0, 238.0, 114.0, 94.0, 61.0, 54.0, 36.0, 37.0, 27.0, 30.0, 29.0, 17.0, 28.0, 19.0, 16.0, 18.0, 10.0, 14.0, 10.0, 2.0, 11.0, 3.0, 1.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0736083984375, -0.07148170471191406, -0.06935501098632812, -0.06722831726074219, -0.06510162353515625, -0.06297492980957031, -0.060848236083984375, -0.05872154235839844, -0.0565948486328125, -0.05446815490722656, -0.052341461181640625, -0.05021476745605469, -0.04808807373046875, -0.04596138000488281, -0.043834686279296875, -0.04170799255371094, -0.039581298828125, -0.03745460510253906, -0.035327911376953125, -0.03320121765136719, -0.03107452392578125, -0.028947830200195312, -0.026821136474609375, -0.024694442749023438, -0.0225677490234375, -0.020441055297851562, -0.018314361572265625, -0.016187667846679688, -0.01406097412109375, -0.011934280395507812, -0.009807586669921875, -0.0076808929443359375, -0.00555419921875, -0.0034275054931640625, -0.001300811767578125, 0.0008258819580078125, 0.00295257568359375, 0.0050792694091796875, 0.007205963134765625, 0.009332656860351562, 0.0114593505859375, 0.013586044311523438, 0.015712738037109375, 0.017839431762695312, 0.01996612548828125, 0.022092819213867188, 0.024219512939453125, 0.026346206665039062, 0.028472900390625, 0.030599594116210938, 0.032726287841796875, 0.03485298156738281, 0.03697967529296875, 0.03910636901855469, 0.041233062744140625, 0.04335975646972656, 0.0454864501953125, 0.04761314392089844, 0.049739837646484375, 0.05186653137207031, 0.05399322509765625, 0.05611991882324219, 0.058246612548828125, 0.06037330627441406, 0.0625]}, "gradients/decoder.transformer.h.9.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 3.0, 8.0, 2.0, 5.0, 6.0, 11.0, 15.0, 16.0, 18.0, 18.0, 29.0, 34.0, 58.0, 62.0, 81.0, 102.0, 138.0, 228.0, 471.0, 1454.0, 4687.0, 20884.0, 135550.0, 2259832.0, 644615.0, 61600.0, 10942.0, 2836.0, 939.0, 380.0, 180.0, 135.0, 81.0, 59.0, 40.0, 41.0, 28.0, 30.0, 24.0, 18.0, 8.0, 14.0, 9.0, 4.0, 8.0, 6.0, 4.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.10382080078125, -0.1005563735961914, -0.09729194641113281, -0.09402751922607422, -0.09076309204101562, -0.08749866485595703, -0.08423423767089844, -0.08096981048583984, -0.07770538330078125, -0.07444095611572266, -0.07117652893066406, -0.06791210174560547, -0.06464767456054688, -0.06138324737548828, -0.05811882019042969, -0.054854393005371094, -0.0515899658203125, -0.048325538635253906, -0.04506111145019531, -0.04179668426513672, -0.038532257080078125, -0.03526782989501953, -0.03200340270996094, -0.028738975524902344, -0.02547454833984375, -0.022210121154785156, -0.018945693969726562, -0.01568126678466797, -0.012416839599609375, -0.009152412414550781, -0.0058879852294921875, -0.0026235580444335938, 0.000640869140625, 0.0039052963256835938, 0.0071697235107421875, 0.010434150695800781, 0.013698577880859375, 0.01696300506591797, 0.020227432250976562, 0.023491859436035156, 0.02675628662109375, 0.030020713806152344, 0.03328514099121094, 0.03654956817626953, 0.039813995361328125, 0.04307842254638672, 0.04634284973144531, 0.049607276916503906, 0.0528717041015625, 0.056136131286621094, 0.05940055847167969, 0.06266498565673828, 0.06592941284179688, 0.06919384002685547, 0.07245826721191406, 0.07572269439697266, 0.07898712158203125, 0.08225154876708984, 0.08551597595214844, 0.08878040313720703, 0.09204483032226562, 0.09530925750732422, 0.09857368469238281, 0.1018381118774414, 0.1051025390625]}, "gradients/decoder.transformer.h.9.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 7.0, 32.0, 104.0, 252.0, 266.0, 211.0, 101.0, 37.0, 8.0], "bins": [-0.8301335573196411, -0.8161871433258057, -0.8022407293319702, -0.7882943749427795, -0.7743479609489441, -0.7604015469551086, -0.7464551329612732, -0.7325087785720825, -0.7185623645782471, -0.7046159505844116, -0.6906695365905762, -0.6767231822013855, -0.66277676820755, -0.6488303542137146, -0.6348839402198792, -0.6209375858306885, -0.606991171836853, -0.5930447578430176, -0.5790983438491821, -0.5651519894599915, -0.551205575466156, -0.5372591614723206, -0.5233127474784851, -0.5093663930892944, -0.4954199492931366, -0.48147353529930115, -0.4675271511077881, -0.45358073711395264, -0.4396343529224396, -0.4256879389286041, -0.41174155473709106, -0.3977951407432556, -0.38384878635406494, -0.3699023723602295, -0.35595598816871643, -0.342009574174881, -0.3280631899833679, -0.31411677598953247, -0.3001703917980194, -0.28622397780418396, -0.2722775936126709, -0.25833117961883545, -0.2443847954273224, -0.23043839633464813, -0.21649199724197388, -0.20254558324813843, -0.18859919905662537, -0.17465278506278992, -0.16070638597011566, -0.1467599868774414, -0.13281358778476715, -0.1188671886920929, -0.10492078959941864, -0.09097438305616379, -0.07702798396348953, -0.06308158487081528, -0.04913518205285072, -0.03518878296017647, -0.021242382004857063, -0.007295981049537659, 0.006650418043136597, 0.02059682086110115, 0.034543219953775406, 0.04848961904644966, 0.06243601813912392]}, "gradients/decoder.transformer.h.9.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 2.0, 6.0, 3.0, 10.0, 9.0, 5.0, 10.0, 18.0, 12.0, 21.0, 21.0, 24.0, 24.0, 29.0, 22.0, 33.0, 35.0, 32.0, 51.0, 44.0, 48.0, 40.0, 37.0, 40.0, 36.0, 51.0, 47.0, 29.0, 30.0, 32.0, 31.0, 32.0, 25.0, 24.0, 19.0, 17.0, 12.0, 9.0, 6.0, 7.0, 7.0, 8.0, 1.0, 6.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2283560037612915, -0.2214781492948532, -0.21460029482841492, -0.20772242546081543, -0.20084457099437714, -0.19396671652793884, -0.18708886206150055, -0.18021100759506226, -0.17333313822746277, -0.16645528376102448, -0.15957742929458618, -0.1526995599269867, -0.1458217054605484, -0.1389438509941101, -0.13206599652767181, -0.12518814206123352, -0.11831028759479523, -0.11143243312835693, -0.10455457121133804, -0.09767671674489975, -0.09079885482788086, -0.08392100036144257, -0.07704314589500427, -0.07016529142856598, -0.06328742951154709, -0.0564095713198185, -0.049531713128089905, -0.04265385866165161, -0.03577600046992302, -0.028898142278194427, -0.022020287811756134, -0.015142429620027542, -0.00826457142829895, -0.001386714167892933, 0.005491143092513084, 0.012368999421596527, 0.01924685761332512, 0.02612471580505371, 0.033002570271492004, 0.039880428463220596, 0.04675828665494919, 0.05363614484667778, 0.06051400303840637, 0.06739185750484467, 0.07426971197128296, 0.08114757388830185, 0.08802542835474014, 0.09490329027175903, 0.10178114473819733, 0.10865899920463562, 0.11553686112165451, 0.1224147155880928, 0.1292925775051117, 0.13617043197155, 0.14304828643798828, 0.14992614090442657, 0.15680399537086487, 0.16368184983730316, 0.17055970430374146, 0.17743757367134094, 0.18431542813777924, 0.19119328260421753, 0.19807113707065582, 0.20494899153709412, 0.2118268609046936]}, "gradients/decoder.transformer.h.8.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 3.0, 6.0, 4.0, 9.0, 5.0, 11.0, 14.0, 23.0, 14.0, 25.0, 23.0, 25.0, 27.0, 39.0, 47.0, 58.0, 51.0, 57.0, 58.0, 33.0, 46.0, 45.0, 56.0, 52.0, 47.0, 39.0, 32.0, 32.0, 31.0, 16.0, 17.0, 20.0, 6.0, 13.0, 9.0, 6.0, 2.0, 3.0, 2.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.03497314453125, -0.0341033935546875, -0.033233642578125, -0.0323638916015625, -0.031494140625, -0.0306243896484375, -0.029754638671875, -0.0288848876953125, -0.02801513671875, -0.0271453857421875, -0.026275634765625, -0.0254058837890625, -0.0245361328125, -0.0236663818359375, -0.022796630859375, -0.0219268798828125, -0.02105712890625, -0.0201873779296875, -0.019317626953125, -0.0184478759765625, -0.017578125, -0.0167083740234375, -0.015838623046875, -0.0149688720703125, -0.01409912109375, -0.0132293701171875, -0.012359619140625, -0.0114898681640625, -0.0106201171875, -0.0097503662109375, -0.008880615234375, -0.0080108642578125, -0.00714111328125, -0.0062713623046875, -0.005401611328125, -0.0045318603515625, -0.003662109375, -0.0027923583984375, -0.001922607421875, -0.0010528564453125, -0.00018310546875, 0.0006866455078125, 0.001556396484375, 0.0024261474609375, 0.0032958984375, 0.0041656494140625, 0.005035400390625, 0.0059051513671875, 0.00677490234375, 0.0076446533203125, 0.008514404296875, 0.0093841552734375, 0.01025390625, 0.0111236572265625, 0.011993408203125, 0.0128631591796875, 0.01373291015625, 0.0146026611328125, 0.015472412109375, 0.0163421630859375, 0.0172119140625, 0.0180816650390625, 0.018951416015625, 0.0198211669921875, 0.02069091796875]}, "gradients/decoder.transformer.h.8.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 1.0, 8.0, 11.0, 14.0, 11.0, 15.0, 32.0, 28.0, 57.0, 79.0, 95.0, 166.0, 231.0, 380.0, 512.0, 879.0, 1471.0, 2498.0, 4490.0, 8236.0, 16102.0, 33742.0, 78082.0, 201628.0, 599356.0, 1507943.0, 1108363.0, 384528.0, 136951.0, 55727.0, 24898.0, 12288.0, 6371.0, 3657.0, 2045.0, 1188.0, 753.0, 494.0, 296.0, 198.0, 126.0, 91.0, 65.0, 54.0, 31.0, 24.0, 18.0, 11.0, 14.0, 9.0, 5.0, 3.0, 4.0, 5.0, 3.0, 3.0], "bins": [-0.0313720703125, -0.030443906784057617, -0.029515743255615234, -0.02858757972717285, -0.02765941619873047, -0.026731252670288086, -0.025803089141845703, -0.02487492561340332, -0.023946762084960938, -0.023018598556518555, -0.022090435028076172, -0.02116227149963379, -0.020234107971191406, -0.019305944442749023, -0.01837778091430664, -0.017449617385864258, -0.016521453857421875, -0.015593290328979492, -0.01466512680053711, -0.013736963272094727, -0.012808799743652344, -0.011880636215209961, -0.010952472686767578, -0.010024309158325195, -0.009096145629882812, -0.00816798210144043, -0.007239818572998047, -0.006311655044555664, -0.005383491516113281, -0.0044553279876708984, -0.0035271644592285156, -0.002599000930786133, -0.00167083740234375, -0.0007426738739013672, 0.00018548965454101562, 0.0011136531829833984, 0.0020418167114257812, 0.002969980239868164, 0.003898143768310547, 0.00482630729675293, 0.0057544708251953125, 0.006682634353637695, 0.007610797882080078, 0.008538961410522461, 0.009467124938964844, 0.010395288467407227, 0.01132345199584961, 0.012251615524291992, 0.013179779052734375, 0.014107942581176758, 0.01503610610961914, 0.015964269638061523, 0.016892433166503906, 0.01782059669494629, 0.018748760223388672, 0.019676923751831055, 0.020605087280273438, 0.02153325080871582, 0.022461414337158203, 0.023389577865600586, 0.02431774139404297, 0.02524590492248535, 0.026174068450927734, 0.027102231979370117, 0.0280303955078125]}, "gradients/decoder.transformer.h.8.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 3.0, 3.0, 11.0, 17.0, 16.0, 30.0, 23.0, 45.0, 57.0, 96.0, 124.0, 212.0, 268.0, 388.0, 513.0, 570.0, 456.0, 348.0, 277.0, 200.0, 137.0, 80.0, 57.0, 44.0, 31.0, 26.0, 21.0, 8.0, 7.0, 8.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04656982421875, -0.04503917694091797, -0.04350852966308594, -0.041977882385253906, -0.040447235107421875, -0.038916587829589844, -0.03738594055175781, -0.03585529327392578, -0.03432464599609375, -0.03279399871826172, -0.03126335144042969, -0.029732704162597656, -0.028202056884765625, -0.026671409606933594, -0.025140762329101562, -0.02361011505126953, -0.0220794677734375, -0.02054882049560547, -0.019018173217773438, -0.017487525939941406, -0.015956878662109375, -0.014426231384277344, -0.012895584106445312, -0.011364936828613281, -0.00983428955078125, -0.008303642272949219, -0.0067729949951171875, -0.005242347717285156, -0.003711700439453125, -0.0021810531616210938, -0.0006504058837890625, 0.0008802413940429688, 0.002410888671875, 0.003941535949707031, 0.0054721832275390625, 0.007002830505371094, 0.008533477783203125, 0.010064125061035156, 0.011594772338867188, 0.013125419616699219, 0.01465606689453125, 0.01618671417236328, 0.017717361450195312, 0.019248008728027344, 0.020778656005859375, 0.022309303283691406, 0.023839950561523438, 0.02537059783935547, 0.0269012451171875, 0.02843189239501953, 0.029962539672851562, 0.031493186950683594, 0.033023834228515625, 0.034554481506347656, 0.03608512878417969, 0.03761577606201172, 0.03914642333984375, 0.04067707061767578, 0.04220771789550781, 0.043738365173339844, 0.045269012451171875, 0.046799659729003906, 0.04833030700683594, 0.04986095428466797, 0.0513916015625]}, "gradients/decoder.transformer.h.8.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 1.0, 7.0, 8.0, 8.0, 18.0, 14.0, 29.0, 37.0, 60.0, 57.0, 115.0, 207.0, 395.0, 779.0, 5593.0, 233892.0, 3820342.0, 127412.0, 3763.0, 695.0, 348.0, 189.0, 101.0, 68.0, 40.0, 34.0, 27.0, 19.0, 16.0, 7.0, 3.0, 3.0, 6.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.18798828125, -0.1821918487548828, -0.17639541625976562, -0.17059898376464844, -0.16480255126953125, -0.15900611877441406, -0.15320968627929688, -0.1474132537841797, -0.1416168212890625, -0.1358203887939453, -0.13002395629882812, -0.12422752380371094, -0.11843109130859375, -0.11263465881347656, -0.10683822631835938, -0.10104179382324219, -0.095245361328125, -0.08944892883300781, -0.08365249633789062, -0.07785606384277344, -0.07205963134765625, -0.06626319885253906, -0.060466766357421875, -0.05467033386230469, -0.0488739013671875, -0.04307746887207031, -0.037281036376953125, -0.03148460388183594, -0.02568817138671875, -0.019891738891601562, -0.014095306396484375, -0.008298873901367188, -0.00250244140625, 0.0032939910888671875, 0.009090423583984375, 0.014886856079101562, 0.02068328857421875, 0.026479721069335938, 0.032276153564453125, 0.03807258605957031, 0.0438690185546875, 0.04966545104980469, 0.055461883544921875, 0.06125831604003906, 0.06705474853515625, 0.07285118103027344, 0.07864761352539062, 0.08444404602050781, 0.090240478515625, 0.09603691101074219, 0.10183334350585938, 0.10762977600097656, 0.11342620849609375, 0.11922264099121094, 0.12501907348632812, 0.1308155059814453, 0.1366119384765625, 0.1424083709716797, 0.14820480346679688, 0.15400123596191406, 0.15979766845703125, 0.16559410095214844, 0.17139053344726562, 0.1771869659423828, 0.1829833984375]}, "gradients/decoder.transformer.h.8.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 7.0, 30.0, 62.0, 161.0, 195.0, 207.0, 181.0, 94.0, 56.0, 17.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.24149569869041443, -0.22667603194713593, -0.21185635030269623, -0.19703668355941772, -0.18221700191497803, -0.16739733517169952, -0.15257766842842102, -0.13775798678398132, -0.12293832004070282, -0.10811864584684372, -0.09329897165298462, -0.07847930490970612, -0.06365963071584702, -0.048839956521987915, -0.03402028977870941, -0.01920061558485031, -0.004380941390991211, 0.01043873094022274, 0.02525840327143669, 0.04007807374000549, 0.054897747933864594, 0.0697174221277237, 0.0845370888710022, 0.0993567630648613, 0.1141764372587204, 0.1289961040019989, 0.1438157856464386, 0.1586354523897171, 0.1734551191329956, 0.1882748007774353, 0.2030944675207138, 0.2179141342639923, 0.2327338457107544, 0.2475535124540329, 0.2623731791973114, 0.2771928608417511, 0.2920125424861908, 0.3068321943283081, 0.3216518759727478, 0.3364715576171875, 0.3512912392616272, 0.3661109209060669, 0.3809305727481842, 0.3957502543926239, 0.4105699360370636, 0.4253895878791809, 0.4402092695236206, 0.4550289511680603, 0.4698486030101776, 0.4846682846546173, 0.4994879364967346, 0.5143076181411743, 0.529127299785614, 0.5439469814300537, 0.5587666034698486, 0.5735862851142883, 0.588405966758728, 0.6032256484031677, 0.6180453300476074, 0.6328649520874023, 0.647684633731842, 0.6625043153762817, 0.6773239970207214, 0.6921436786651611, 0.7069633603096008]}, "gradients/decoder.transformer.h.8.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 4.0, 4.0, 4.0, 6.0, 1.0, 6.0, 8.0, 4.0, 12.0, 12.0, 15.0, 12.0, 21.0, 20.0, 18.0, 16.0, 26.0, 23.0, 40.0, 32.0, 31.0, 29.0, 34.0, 42.0, 37.0, 33.0, 38.0, 37.0, 30.0, 38.0, 40.0, 37.0, 32.0, 26.0, 21.0, 29.0, 27.0, 24.0, 26.0, 16.0, 14.0, 12.0, 13.0, 9.0, 12.0, 5.0, 8.0, 4.0, 10.0, 3.0, 6.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.13161510229110718, -0.12729117274284363, -0.12296722829341888, -0.11864329129457474, -0.11431935429573059, -0.10999541729688644, -0.1056714802980423, -0.10134754329919815, -0.097023606300354, -0.09269966930150986, -0.08837573230266571, -0.08405179530382156, -0.07972785830497742, -0.07540392130613327, -0.07107998430728912, -0.06675604730844498, -0.06243211030960083, -0.05810817331075668, -0.05378423631191254, -0.04946029931306839, -0.04513636231422424, -0.040812425315380096, -0.03648848831653595, -0.0321645513176918, -0.027840614318847656, -0.02351667732000351, -0.019192740321159363, -0.014868803322315216, -0.01054486632347107, -0.006220929324626923, -0.0018969923257827759, 0.002426944673061371, 0.006750881671905518, 0.011074818670749664, 0.015398755669593811, 0.019722692668437958, 0.024046629667282104, 0.02837056666612625, 0.0326945036649704, 0.037018440663814545, 0.04134237766265869, 0.04566631466150284, 0.049990251660346985, 0.05431418865919113, 0.05863812565803528, 0.06296206265687943, 0.06728599965572357, 0.07160993665456772, 0.07593387365341187, 0.08025781065225601, 0.08458174765110016, 0.0889056846499443, 0.09322962164878845, 0.0975535586476326, 0.10187749564647675, 0.10620143264532089, 0.11052536964416504, 0.11484930664300919, 0.11917324364185333, 0.12349718064069748, 0.12782111763954163, 0.13214504718780518, 0.13646899163722992, 0.14079293608665466, 0.1451168656349182]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 3.0, 4.0, 3.0, 5.0, 10.0, 8.0, 12.0, 16.0, 8.0, 15.0, 19.0, 21.0, 19.0, 30.0, 33.0, 29.0, 38.0, 50.0, 42.0, 43.0, 43.0, 57.0, 34.0, 44.0, 51.0, 42.0, 47.0, 48.0, 28.0, 40.0, 31.0, 23.0, 18.0, 22.0, 21.0, 10.0, 13.0, 7.0, 4.0, 7.0, 5.0, 5.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0296173095703125, -0.028812408447265625, -0.02800750732421875, -0.027202606201171875, -0.026397705078125, -0.025592803955078125, -0.02478790283203125, -0.023983001708984375, -0.0231781005859375, -0.022373199462890625, -0.02156829833984375, -0.020763397216796875, -0.01995849609375, -0.019153594970703125, -0.01834869384765625, -0.017543792724609375, -0.0167388916015625, -0.015933990478515625, -0.01512908935546875, -0.014324188232421875, -0.013519287109375, -0.012714385986328125, -0.01190948486328125, -0.011104583740234375, -0.0102996826171875, -0.009494781494140625, -0.00868988037109375, -0.007884979248046875, -0.007080078125, -0.006275177001953125, -0.00547027587890625, -0.004665374755859375, -0.0038604736328125, -0.003055572509765625, -0.00225067138671875, -0.001445770263671875, -0.000640869140625, 0.000164031982421875, 0.00096893310546875, 0.001773834228515625, 0.0025787353515625, 0.003383636474609375, 0.00418853759765625, 0.004993438720703125, 0.00579833984375, 0.006603240966796875, 0.00740814208984375, 0.008213043212890625, 0.0090179443359375, 0.009822845458984375, 0.01062774658203125, 0.011432647705078125, 0.012237548828125, 0.013042449951171875, 0.01384735107421875, 0.014652252197265625, 0.0154571533203125, 0.016262054443359375, 0.01706695556640625, 0.017871856689453125, 0.0186767578125, 0.019481658935546875, 0.02028656005859375, 0.021091461181640625, 0.0218963623046875]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 2.0, 4.0, 20.0, 20.0, 36.0, 30.0, 67.0, 98.0, 138.0, 219.0, 337.0, 579.0, 934.0, 1487.0, 2476.0, 4196.0, 6652.0, 11210.0, 18740.0, 33689.0, 62362.0, 130381.0, 382660.0, 202028.0, 85833.0, 44163.0, 24710.0, 14127.0, 8431.0, 4992.0, 3014.0, 1879.0, 1169.0, 687.0, 412.0, 294.0, 180.0, 91.0, 72.0, 41.0, 31.0, 20.0, 18.0, 13.0, 9.0, 4.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001455545425415039, -0.00014096684753894806, -0.0001363791525363922, -0.00013179145753383636, -0.00012720376253128052, -0.00012261606752872467, -0.00011802837252616882, -0.00011344067752361298, -0.00010885298252105713, -0.00010426528751850128, -9.967759251594543e-05, -9.508989751338959e-05, -9.050220251083374e-05, -8.591450750827789e-05, -8.132681250572205e-05, -7.67391175031662e-05, -7.215142250061035e-05, -6.75637274980545e-05, -6.297603249549866e-05, -5.838833749294281e-05, -5.380064249038696e-05, -4.9212947487831116e-05, -4.462525248527527e-05, -4.003755748271942e-05, -3.5449862480163574e-05, -3.086216747760773e-05, -2.627447247505188e-05, -2.1686777472496033e-05, -1.7099082469940186e-05, -1.2511387467384338e-05, -7.923692464828491e-06, -3.335997462272644e-06, 1.2516975402832031e-06, 5.83939254283905e-06, 1.0427087545394897e-05, 1.5014782547950745e-05, 1.9602477550506592e-05, 2.419017255306244e-05, 2.8777867555618286e-05, 3.336556255817413e-05, 3.795325756072998e-05, 4.254095256328583e-05, 4.7128647565841675e-05, 5.171634256839752e-05, 5.630403757095337e-05, 6.0891732573509216e-05, 6.547942757606506e-05, 7.006712257862091e-05, 7.465481758117676e-05, 7.92425125837326e-05, 8.383020758628845e-05, 8.84179025888443e-05, 9.300559759140015e-05, 9.7593292593956e-05, 0.00010218098759651184, 0.00010676868259906769, 0.00011135637760162354, 0.00011594407260417938, 0.00012053176760673523, 0.00012511946260929108, 0.00012970715761184692, 0.00013429485261440277, 0.00013888254761695862, 0.00014347024261951447, 0.0001480579376220703]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 2.0, 1.0, 2.0, 0.0, 4.0, 3.0, 3.0, 8.0, 7.0, 8.0, 12.0, 10.0, 11.0, 20.0, 12.0, 19.0, 20.0, 26.0, 36.0, 33.0, 30.0, 41.0, 31.0, 38.0, 40.0, 38.0, 34.0, 1057.0, 37.0, 34.0, 33.0, 31.0, 33.0, 32.0, 39.0, 34.0, 22.0, 21.0, 22.0, 19.0, 17.0, 15.0, 23.0, 14.0, 16.0, 10.0, 8.0, 8.0, 5.0, 3.0, 5.0, 2.0, 3.0, 4.0, 2.0, 1.0, 1.0], "bins": [-0.024139404296875, -0.02344346046447754, -0.022747516632080078, -0.022051572799682617, -0.021355628967285156, -0.020659685134887695, -0.019963741302490234, -0.019267797470092773, -0.018571853637695312, -0.01787590980529785, -0.01717996597290039, -0.01648402214050293, -0.01578807830810547, -0.015092134475708008, -0.014396190643310547, -0.013700246810913086, -0.013004302978515625, -0.012308359146118164, -0.011612415313720703, -0.010916471481323242, -0.010220527648925781, -0.00952458381652832, -0.00882863998413086, -0.008132696151733398, -0.0074367523193359375, -0.0067408084869384766, -0.006044864654541016, -0.005348920822143555, -0.004652976989746094, -0.003957033157348633, -0.003261089324951172, -0.002565145492553711, -0.00186920166015625, -0.001173257827758789, -0.0004773139953613281, 0.0002186298370361328, 0.0009145736694335938, 0.0016105175018310547, 0.0023064613342285156, 0.0030024051666259766, 0.0036983489990234375, 0.0043942928314208984, 0.005090236663818359, 0.00578618049621582, 0.006482124328613281, 0.007178068161010742, 0.007874011993408203, 0.008569955825805664, 0.009265899658203125, 0.009961843490600586, 0.010657787322998047, 0.011353731155395508, 0.012049674987792969, 0.01274561882019043, 0.01344156265258789, 0.014137506484985352, 0.014833450317382812, 0.015529394149780273, 0.016225337982177734, 0.016921281814575195, 0.017617225646972656, 0.018313169479370117, 0.019009113311767578, 0.01970505714416504, 0.0204010009765625]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 3.0, 2.0, 1.0, 4.0, 3.0, 2.0, 4.0, 9.0, 5.0, 11.0, 11.0, 9.0, 17.0, 18.0, 12.0, 18.0, 21.0, 19.0, 23.0, 24.0, 30.0, 39.0, 37.0, 89.0, 143.0, 418.0, 1380.0, 7140.0, 2052587.0, 30112.0, 3308.0, 903.0, 277.0, 107.0, 52.0, 45.0, 22.0, 37.0, 35.0, 27.0, 25.0, 14.0, 14.0, 15.0, 12.0, 14.0, 6.0, 8.0, 10.0, 5.0, 4.0, 3.0, 2.0, 2.0, 1.0, 2.0, 2.0, 0.0, 3.0, 3.0, 1.0, 0.0, 1.0], "bins": [-2.002716064453125e-05, -1.9354745745658875e-05, -1.86823308467865e-05, -1.8009915947914124e-05, -1.7337501049041748e-05, -1.6665086150169373e-05, -1.5992671251296997e-05, -1.532025635242462e-05, -1.4647841453552246e-05, -1.397542655467987e-05, -1.3303011655807495e-05, -1.263059675693512e-05, -1.1958181858062744e-05, -1.1285766959190369e-05, -1.0613352060317993e-05, -9.940937161445618e-06, -9.268522262573242e-06, -8.596107363700867e-06, -7.923692464828491e-06, -7.251277565956116e-06, -6.57886266708374e-06, -5.906447768211365e-06, -5.234032869338989e-06, -4.561617970466614e-06, -3.889203071594238e-06, -3.216788172721863e-06, -2.5443732738494873e-06, -1.8719583749771118e-06, -1.1995434761047363e-06, -5.271285772323608e-07, 1.4528632164001465e-07, 8.177012205123901e-07, 1.4901161193847656e-06, 2.162531018257141e-06, 2.8349459171295166e-06, 3.507360816001892e-06, 4.179775714874268e-06, 4.852190613746643e-06, 5.5246055126190186e-06, 6.197020411491394e-06, 6.8694353103637695e-06, 7.541850209236145e-06, 8.21426510810852e-06, 8.886680006980896e-06, 9.559094905853271e-06, 1.0231509804725647e-05, 1.0903924703598022e-05, 1.1576339602470398e-05, 1.2248754501342773e-05, 1.2921169400215149e-05, 1.3593584299087524e-05, 1.42659991979599e-05, 1.4938414096832275e-05, 1.561082899570465e-05, 1.6283243894577026e-05, 1.6955658793449402e-05, 1.7628073692321777e-05, 1.8300488591194153e-05, 1.897290349006653e-05, 1.9645318388938904e-05, 2.031773328781128e-05, 2.0990148186683655e-05, 2.166256308555603e-05, 2.2334977984428406e-05, 2.300739288330078e-05]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 3.0, 4.0, 3.0, 5.0, 10.0, 8.0, 12.0, 16.0, 8.0, 15.0, 19.0, 21.0, 19.0, 30.0, 33.0, 29.0, 38.0, 50.0, 42.0, 43.0, 43.0, 57.0, 34.0, 44.0, 51.0, 42.0, 47.0, 48.0, 28.0, 40.0, 31.0, 23.0, 18.0, 22.0, 21.0, 10.0, 13.0, 7.0, 4.0, 7.0, 5.0, 5.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0296173095703125, -0.028812408447265625, -0.02800750732421875, -0.027202606201171875, -0.026397705078125, -0.025592803955078125, -0.02478790283203125, -0.023983001708984375, -0.0231781005859375, -0.022373199462890625, -0.02156829833984375, -0.020763397216796875, -0.01995849609375, -0.019153594970703125, -0.01834869384765625, -0.017543792724609375, -0.0167388916015625, -0.015933990478515625, -0.01512908935546875, -0.014324188232421875, -0.013519287109375, -0.012714385986328125, -0.01190948486328125, -0.011104583740234375, -0.0102996826171875, -0.009494781494140625, -0.00868988037109375, -0.007884979248046875, -0.007080078125, -0.006275177001953125, -0.00547027587890625, -0.004665374755859375, -0.0038604736328125, -0.003055572509765625, -0.00225067138671875, -0.001445770263671875, -0.000640869140625, 0.000164031982421875, 0.00096893310546875, 0.001773834228515625, 0.0025787353515625, 0.003383636474609375, 0.00418853759765625, 0.004993438720703125, 0.00579833984375, 0.006603240966796875, 0.00740814208984375, 0.008213043212890625, 0.0090179443359375, 0.009822845458984375, 0.01062774658203125, 0.011432647705078125, 0.012237548828125, 0.013042449951171875, 0.01384735107421875, 0.014652252197265625, 0.0154571533203125, 0.016262054443359375, 0.01706695556640625, 0.017871856689453125, 0.0186767578125, 0.019481658935546875, 0.02028656005859375, 0.021091461181640625, 0.0218963623046875]}, "gradients/decoder.transformer.h.8.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 5.0, 1.0, 7.0, 10.0, 13.0, 25.0, 41.0, 45.0, 57.0, 91.0, 144.0, 198.0, 323.0, 460.0, 667.0, 1004.0, 1446.0, 2104.0, 3187.0, 4753.0, 6934.0, 11189.0, 17649.0, 29513.0, 52293.0, 100732.0, 201119.0, 264394.0, 160720.0, 79500.0, 42234.0, 24677.0, 14986.0, 9316.0, 6187.0, 3943.0, 2722.0, 1871.0, 1213.0, 909.0, 606.0, 413.0, 249.0, 210.0, 133.0, 94.0, 58.0, 30.0, 29.0, 19.0, 19.0, 10.0, 5.0, 6.0, 4.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0262451171875, -0.02540731430053711, -0.02456951141357422, -0.023731708526611328, -0.022893905639648438, -0.022056102752685547, -0.021218299865722656, -0.020380496978759766, -0.019542694091796875, -0.018704891204833984, -0.017867088317871094, -0.017029285430908203, -0.016191482543945312, -0.015353679656982422, -0.014515876770019531, -0.01367807388305664, -0.01284027099609375, -0.01200246810913086, -0.011164665222167969, -0.010326862335205078, -0.009489059448242188, -0.008651256561279297, -0.007813453674316406, -0.006975650787353516, -0.006137847900390625, -0.005300045013427734, -0.004462242126464844, -0.003624439239501953, -0.0027866363525390625, -0.0019488334655761719, -0.0011110305786132812, -0.0002732276916503906, 0.0005645751953125, 0.0014023780822753906, 0.0022401809692382812, 0.003077983856201172, 0.0039157867431640625, 0.004753589630126953, 0.005591392517089844, 0.006429195404052734, 0.007266998291015625, 0.008104801177978516, 0.008942604064941406, 0.009780406951904297, 0.010618209838867188, 0.011456012725830078, 0.012293815612792969, 0.01313161849975586, 0.01396942138671875, 0.01480722427368164, 0.01564502716064453, 0.016482830047607422, 0.017320632934570312, 0.018158435821533203, 0.018996238708496094, 0.019834041595458984, 0.020671844482421875, 0.021509647369384766, 0.022347450256347656, 0.023185253143310547, 0.024023056030273438, 0.024860858917236328, 0.02569866180419922, 0.02653646469116211, 0.027374267578125]}, "gradients/decoder.transformer.h.8.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 4.0, 3.0, 15.0, 19.0, 12.0, 21.0, 9.0, 15.0, 25.0, 19.0, 32.0, 38.0, 43.0, 57.0, 59.0, 63.0, 99.0, 171.0, 1386.0, 306.0, 166.0, 98.0, 51.0, 45.0, 45.0, 45.0, 36.0, 27.0, 26.0, 24.0, 18.0, 11.0, 16.0, 12.0, 14.0, 5.0, 2.0, 4.0, 5.0, 3.0, 3.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07427978515625, -0.07171154022216797, -0.06914329528808594, -0.0665750503540039, -0.06400680541992188, -0.061438560485839844, -0.05887031555175781, -0.05630207061767578, -0.05373382568359375, -0.05116558074951172, -0.04859733581542969, -0.046029090881347656, -0.043460845947265625, -0.040892601013183594, -0.03832435607910156, -0.03575611114501953, -0.0331878662109375, -0.03061962127685547, -0.028051376342773438, -0.025483131408691406, -0.022914886474609375, -0.020346641540527344, -0.017778396606445312, -0.015210151672363281, -0.01264190673828125, -0.010073661804199219, -0.0075054168701171875, -0.004937171936035156, -0.002368927001953125, 0.00019931793212890625, 0.0027675628662109375, 0.005335807800292969, 0.007904052734375, 0.010472297668457031, 0.013040542602539062, 0.015608787536621094, 0.018177032470703125, 0.020745277404785156, 0.023313522338867188, 0.02588176727294922, 0.02845001220703125, 0.03101825714111328, 0.03358650207519531, 0.036154747009277344, 0.038722991943359375, 0.041291236877441406, 0.04385948181152344, 0.04642772674560547, 0.0489959716796875, 0.05156421661376953, 0.05413246154785156, 0.056700706481933594, 0.059268951416015625, 0.061837196350097656, 0.06440544128417969, 0.06697368621826172, 0.06954193115234375, 0.07211017608642578, 0.07467842102050781, 0.07724666595458984, 0.07981491088867188, 0.0823831558227539, 0.08495140075683594, 0.08751964569091797, 0.090087890625]}, "gradients/decoder.transformer.h.8.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 5.0, 7.0, 7.0, 8.0, 20.0, 23.0, 29.0, 39.0, 34.0, 62.0, 101.0, 126.0, 199.0, 284.0, 632.0, 1588.0, 5202.0, 22478.0, 148451.0, 2013023.0, 860320.0, 73595.0, 13461.0, 3564.0, 1154.0, 474.0, 230.0, 163.0, 99.0, 103.0, 62.0, 42.0, 33.0, 23.0, 20.0, 11.0, 6.0, 10.0, 8.0, 4.0, 5.0, 1.0, 5.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.08856201171875, -0.08601951599121094, -0.08347702026367188, -0.08093452453613281, -0.07839202880859375, -0.07584953308105469, -0.07330703735351562, -0.07076454162597656, -0.0682220458984375, -0.06567955017089844, -0.06313705444335938, -0.06059455871582031, -0.05805206298828125, -0.05550956726074219, -0.052967071533203125, -0.05042457580566406, -0.047882080078125, -0.04533958435058594, -0.042797088623046875, -0.04025459289550781, -0.03771209716796875, -0.03516960144042969, -0.032627105712890625, -0.030084609985351562, -0.0275421142578125, -0.024999618530273438, -0.022457122802734375, -0.019914627075195312, -0.01737213134765625, -0.014829635620117188, -0.012287139892578125, -0.009744644165039062, -0.0072021484375, -0.0046596527099609375, -0.002117156982421875, 0.0004253387451171875, 0.00296783447265625, 0.0055103302001953125, 0.008052825927734375, 0.010595321655273438, 0.0131378173828125, 0.015680313110351562, 0.018222808837890625, 0.020765304565429688, 0.02330780029296875, 0.025850296020507812, 0.028392791748046875, 0.030935287475585938, 0.033477783203125, 0.03602027893066406, 0.038562774658203125, 0.04110527038574219, 0.04364776611328125, 0.04619026184082031, 0.048732757568359375, 0.05127525329589844, 0.0538177490234375, 0.05636024475097656, 0.058902740478515625, 0.06144523620605469, 0.06398773193359375, 0.06653022766113281, 0.06907272338867188, 0.07161521911621094, 0.07415771484375]}, "gradients/decoder.transformer.h.8.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 6.0, 12.0, 31.0, 57.0, 82.0, 150.0, 167.0, 157.0, 144.0, 110.0, 54.0, 24.0, 12.0, 4.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1945732980966568, -0.1867615133523941, -0.1789497435092926, -0.1711379587650299, -0.1633261740207672, -0.15551438927650452, -0.14770260453224182, -0.13989083468914032, -0.13207904994487762, -0.12426726520061493, -0.11645548790693283, -0.10864371061325073, -0.10083192586898804, -0.09302014112472534, -0.08520836383104324, -0.07739658653736115, -0.06958480179309845, -0.06177302077412605, -0.053961239755153656, -0.04614945873618126, -0.03833767771720886, -0.030525896698236465, -0.02271411567926407, -0.014902334660291672, -0.007090553641319275, 0.000721227377653122, 0.008533008396625519, 0.016344789415597916, 0.024156570434570312, 0.03196835145354271, 0.039780132472515106, 0.0475919134914875, 0.055403679609298706, 0.0632154643535614, 0.0710272416472435, 0.0788390189409256, 0.0866508036851883, 0.09446258842945099, 0.10227436572313309, 0.11008614301681519, 0.11789792776107788, 0.12570971250534058, 0.13352149724960327, 0.14133326709270477, 0.14914505183696747, 0.15695683658123016, 0.16476860642433167, 0.17258039116859436, 0.18039217591285706, 0.18820396065711975, 0.19601574540138245, 0.20382751524448395, 0.21163929998874664, 0.21945108473300934, 0.22726285457611084, 0.23507463932037354, 0.24288642406463623, 0.2506982088088989, 0.2585099935531616, 0.2663217782974243, 0.274133563041687, 0.2819453179836273, 0.28975710272789, 0.2975688874721527, 0.3053806722164154]}, "gradients/decoder.transformer.h.8.ln_1.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 4.0, 2.0, 3.0, 3.0, 4.0, 2.0, 9.0, 7.0, 13.0, 16.0, 12.0, 22.0, 14.0, 19.0, 19.0, 30.0, 26.0, 39.0, 38.0, 40.0, 44.0, 47.0, 46.0, 37.0, 45.0, 47.0, 55.0, 34.0, 41.0, 44.0, 20.0, 37.0, 34.0, 24.0, 17.0, 13.0, 28.0, 14.0, 10.0, 10.0, 17.0, 9.0, 4.0, 6.0, 3.0, 4.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22059309482574463, -0.2128404825925827, -0.20508787035942078, -0.19733525812625885, -0.18958264589309692, -0.181830033659935, -0.17407742142677307, -0.16632479429244995, -0.15857219696044922, -0.1508195847272873, -0.14306697249412537, -0.13531436026096344, -0.1275617480278015, -0.11980913579463959, -0.11205651611089706, -0.10430390387773514, -0.09655128419399261, -0.08879867196083069, -0.08104605972766876, -0.07329344749450684, -0.06554083526134491, -0.057788219302892685, -0.05003560334444046, -0.042282991111278534, -0.03453037887811661, -0.02677776664495468, -0.019025152549147606, -0.01127253845334053, -0.003519926220178604, 0.004232686012983322, 0.011985301971435547, 0.019737914204597473, 0.0274905264377594, 0.035243138670921326, 0.04299575090408325, 0.05074836686253548, 0.0585009790956974, 0.06625358760356903, 0.07400620728731155, 0.08175881952047348, 0.0895114317536354, 0.09726404398679733, 0.10501665621995926, 0.11276927590370178, 0.12052188813686371, 0.12827450037002563, 0.13602711260318756, 0.1437797248363495, 0.1515323370695114, 0.15928494930267334, 0.16703756153583527, 0.1747901737689972, 0.18254278600215912, 0.19029539823532104, 0.19804802536964417, 0.2058006227016449, 0.21355324983596802, 0.22130586206912994, 0.22905847430229187, 0.2368110865354538, 0.24456369876861572, 0.25231632590293884, 0.2600689232349396, 0.2678215503692627, 0.2755741477012634]}, "gradients/decoder.transformer.h.7.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 5.0, 4.0, 3.0, 9.0, 12.0, 9.0, 12.0, 18.0, 12.0, 10.0, 15.0, 18.0, 21.0, 24.0, 33.0, 32.0, 40.0, 36.0, 44.0, 55.0, 34.0, 44.0, 49.0, 38.0, 44.0, 46.0, 45.0, 40.0, 35.0, 38.0, 25.0, 23.0, 26.0, 27.0, 15.0, 16.0, 13.0, 14.0, 5.0, 10.0, 4.0, 2.0, 0.0, 4.0, 0.0, 3.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0276031494140625, -0.026815414428710938, -0.026027679443359375, -0.025239944458007812, -0.02445220947265625, -0.023664474487304688, -0.022876739501953125, -0.022089004516601562, -0.02130126953125, -0.020513534545898438, -0.019725799560546875, -0.018938064575195312, -0.01815032958984375, -0.017362594604492188, -0.016574859619140625, -0.015787124633789062, -0.0149993896484375, -0.014211654663085938, -0.013423919677734375, -0.012636184692382812, -0.01184844970703125, -0.011060714721679688, -0.010272979736328125, -0.009485244750976562, -0.008697509765625, -0.007909774780273438, -0.007122039794921875, -0.0063343048095703125, -0.00554656982421875, -0.0047588348388671875, -0.003971099853515625, -0.0031833648681640625, -0.0023956298828125, -0.0016078948974609375, -0.000820159912109375, -3.24249267578125e-05, 0.00075531005859375, 0.0015430450439453125, 0.002330780029296875, 0.0031185150146484375, 0.00390625, 0.0046939849853515625, 0.005481719970703125, 0.0062694549560546875, 0.00705718994140625, 0.007844924926757812, 0.008632659912109375, 0.009420394897460938, 0.0102081298828125, 0.010995864868164062, 0.011783599853515625, 0.012571334838867188, 0.01335906982421875, 0.014146804809570312, 0.014934539794921875, 0.015722274780273438, 0.016510009765625, 0.017297744750976562, 0.018085479736328125, 0.018873214721679688, 0.01966094970703125, 0.020448684692382812, 0.021236419677734375, 0.022024154663085938, 0.0228118896484375]}, "gradients/decoder.transformer.h.7.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 3.0, 1.0, 2.0, 3.0, 4.0, 8.0, 6.0, 13.0, 14.0, 22.0, 25.0, 38.0, 68.0, 90.0, 120.0, 211.0, 303.0, 540.0, 910.0, 1532.0, 2907.0, 6123.0, 12966.0, 30289.0, 78723.0, 248564.0, 995288.0, 1969530.0, 587931.0, 161547.0, 54657.0, 21916.0, 9555.0, 4775.0, 2379.0, 1246.0, 746.0, 434.0, 283.0, 168.0, 103.0, 77.0, 53.0, 34.0, 24.0, 22.0, 14.0, 10.0, 6.0, 5.0, 2.0, 3.0, 1.0, 1.0, 1.0, 3.0], "bins": [-0.04351806640625, -0.042285919189453125, -0.04105377197265625, -0.039821624755859375, -0.0385894775390625, -0.037357330322265625, -0.03612518310546875, -0.034893035888671875, -0.033660888671875, -0.032428741455078125, -0.03119659423828125, -0.029964447021484375, -0.0287322998046875, -0.027500152587890625, -0.02626800537109375, -0.025035858154296875, -0.0238037109375, -0.022571563720703125, -0.02133941650390625, -0.020107269287109375, -0.0188751220703125, -0.017642974853515625, -0.01641082763671875, -0.015178680419921875, -0.013946533203125, -0.012714385986328125, -0.01148223876953125, -0.010250091552734375, -0.0090179443359375, -0.007785797119140625, -0.00655364990234375, -0.005321502685546875, -0.00408935546875, -0.002857208251953125, -0.00162506103515625, -0.000392913818359375, 0.0008392333984375, 0.002071380615234375, 0.00330352783203125, 0.004535675048828125, 0.005767822265625, 0.006999969482421875, 0.00823211669921875, 0.009464263916015625, 0.0106964111328125, 0.011928558349609375, 0.01316070556640625, 0.014392852783203125, 0.015625, 0.016857147216796875, 0.01808929443359375, 0.019321441650390625, 0.0205535888671875, 0.021785736083984375, 0.02301788330078125, 0.024250030517578125, 0.025482177734375, 0.026714324951171875, 0.02794647216796875, 0.029178619384765625, 0.0304107666015625, 0.031642913818359375, 0.03287506103515625, 0.034107208251953125, 0.03533935546875]}, "gradients/decoder.transformer.h.7.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 4.0, 1.0, 3.0, 2.0, 4.0, 3.0, 4.0, 16.0, 9.0, 19.0, 23.0, 26.0, 44.0, 46.0, 70.0, 100.0, 105.0, 139.0, 228.0, 268.0, 357.0, 430.0, 486.0, 412.0, 338.0, 238.0, 158.0, 128.0, 108.0, 76.0, 61.0, 49.0, 35.0, 24.0, 18.0, 14.0, 12.0, 10.0, 6.0, 5.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0469970703125, -0.04566526412963867, -0.044333457946777344, -0.043001651763916016, -0.04166984558105469, -0.04033803939819336, -0.03900623321533203, -0.0376744270324707, -0.036342620849609375, -0.03501081466674805, -0.03367900848388672, -0.03234720230102539, -0.031015396118164062, -0.029683589935302734, -0.028351783752441406, -0.027019977569580078, -0.02568817138671875, -0.024356365203857422, -0.023024559020996094, -0.021692752838134766, -0.020360946655273438, -0.01902914047241211, -0.01769733428955078, -0.016365528106689453, -0.015033721923828125, -0.013701915740966797, -0.012370109558105469, -0.01103830337524414, -0.009706497192382812, -0.008374691009521484, -0.007042884826660156, -0.005711078643798828, -0.0043792724609375, -0.003047466278076172, -0.0017156600952148438, -0.0003838539123535156, 0.0009479522705078125, 0.0022797584533691406, 0.0036115646362304688, 0.004943370819091797, 0.006275177001953125, 0.007606983184814453, 0.008938789367675781, 0.01027059555053711, 0.011602401733398438, 0.012934207916259766, 0.014266014099121094, 0.015597820281982422, 0.01692962646484375, 0.018261432647705078, 0.019593238830566406, 0.020925045013427734, 0.022256851196289062, 0.02358865737915039, 0.02492046356201172, 0.026252269744873047, 0.027584075927734375, 0.028915882110595703, 0.03024768829345703, 0.03157949447631836, 0.03291130065917969, 0.034243106842041016, 0.035574913024902344, 0.03690671920776367, 0.038238525390625]}, "gradients/decoder.transformer.h.7.mlp.c_fc.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 4.0, 5.0, 11.0, 14.0, 11.0, 20.0, 30.0, 38.0, 56.0, 76.0, 73.0, 121.0, 196.0, 327.0, 683.0, 2425.0, 13262.0, 140663.0, 2623124.0, 1324271.0, 77082.0, 8524.0, 1738.0, 591.0, 279.0, 167.0, 129.0, 95.0, 86.0, 44.0, 28.0, 31.0, 17.0, 17.0, 14.0, 9.0, 10.0, 2.0, 3.0, 1.0, 5.0, 0.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1025390625, -0.09857749938964844, -0.09461593627929688, -0.09065437316894531, -0.08669281005859375, -0.08273124694824219, -0.07876968383789062, -0.07480812072753906, -0.0708465576171875, -0.06688499450683594, -0.06292343139648438, -0.05896186828613281, -0.05500030517578125, -0.05103874206542969, -0.047077178955078125, -0.04311561584472656, -0.039154052734375, -0.03519248962402344, -0.031230926513671875, -0.027269363403320312, -0.02330780029296875, -0.019346237182617188, -0.015384674072265625, -0.011423110961914062, -0.0074615478515625, -0.0034999847412109375, 0.000461578369140625, 0.0044231414794921875, 0.00838470458984375, 0.012346267700195312, 0.016307830810546875, 0.020269393920898438, 0.02423095703125, 0.028192520141601562, 0.032154083251953125, 0.03611564636230469, 0.04007720947265625, 0.04403877258300781, 0.048000335693359375, 0.05196189880371094, 0.0559234619140625, 0.05988502502441406, 0.06384658813476562, 0.06780815124511719, 0.07176971435546875, 0.07573127746582031, 0.07969284057617188, 0.08365440368652344, 0.087615966796875, 0.09157752990722656, 0.09553909301757812, 0.09950065612792969, 0.10346221923828125, 0.10742378234863281, 0.11138534545898438, 0.11534690856933594, 0.1193084716796875, 0.12327003479003906, 0.12723159790039062, 0.1311931610107422, 0.13515472412109375, 0.1391162872314453, 0.14307785034179688, 0.14703941345214844, 0.1510009765625]}, "gradients/decoder.transformer.h.7.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 3.0, 2.0, 23.0, 23.0, 42.0, 58.0, 58.0, 77.0, 93.0, 110.0, 106.0, 115.0, 94.0, 68.0, 51.0, 35.0, 27.0, 12.0, 2.0, 9.0, 6.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09561461210250854, -0.08837215602397919, -0.08112969994544983, -0.07388724386692047, -0.06664478778839111, -0.059402331709861755, -0.0521598756313324, -0.04491741955280304, -0.03767496347427368, -0.030432507395744324, -0.023190051317214966, -0.015947595238685608, -0.00870513916015625, -0.001462683081626892, 0.005779772996902466, 0.013022229075431824, 0.02026468515396118, 0.02750714123249054, 0.0347495973110199, 0.041992053389549255, 0.04923450946807861, 0.05647696554660797, 0.06371942162513733, 0.07096187770366669, 0.07820433378219604, 0.0854467898607254, 0.09268924593925476, 0.09993170201778412, 0.10717415809631348, 0.11441661417484283, 0.12165907025337219, 0.12890152633190155, 0.1361439824104309, 0.14338643848896027, 0.15062889456748962, 0.15787135064601898, 0.16511380672454834, 0.1723562628030777, 0.17959871888160706, 0.1868411749601364, 0.19408363103866577, 0.20132608711719513, 0.2085685431957245, 0.21581099927425385, 0.2230534553527832, 0.23029591143131256, 0.23753836750984192, 0.24478082358837128, 0.25202327966690063, 0.2592657208442688, 0.26650819182395935, 0.2737506628036499, 0.28099310398101807, 0.28823554515838623, 0.2954780161380768, 0.30272048711776733, 0.3099629282951355, 0.31720536947250366, 0.3244478404521942, 0.33169031143188477, 0.33893275260925293, 0.3461751937866211, 0.35341766476631165, 0.3606601357460022, 0.36790257692337036]}, "gradients/decoder.transformer.h.7.ln_2.bias": {"_type": "histogram", "values": [5.0, 4.0, 1.0, 4.0, 9.0, 4.0, 7.0, 6.0, 4.0, 16.0, 2.0, 11.0, 15.0, 13.0, 12.0, 13.0, 36.0, 24.0, 29.0, 37.0, 39.0, 39.0, 39.0, 39.0, 28.0, 40.0, 25.0, 26.0, 37.0, 44.0, 38.0, 34.0, 33.0, 26.0, 36.0, 36.0, 32.0, 20.0, 20.0, 20.0, 22.0, 26.0, 14.0, 14.0, 6.0, 8.0, 5.0, 7.0, 2.0, 3.0, 4.0, 2.0, 5.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12050735950469971, -0.11607244610786438, -0.11163752526044846, -0.10720260441303253, -0.1027676910161972, -0.09833277761936188, -0.09389785677194595, -0.08946293592453003, -0.0850280225276947, -0.08059310913085938, -0.07615818828344345, -0.07172326743602753, -0.0672883540391922, -0.06285344064235687, -0.05841851979494095, -0.05398360267281532, -0.0495486855506897, -0.04511376842856407, -0.040678851306438446, -0.03624393418431282, -0.031809017062187195, -0.02737409994006157, -0.022939182817935944, -0.018504265695810318, -0.014069348573684692, -0.009634431451559067, -0.005199514329433441, -0.0007645972073078156, 0.00367031991481781, 0.008105237036943436, 0.012540154159069061, 0.016975071281194687, 0.021409988403320312, 0.025844905525445938, 0.030279822647571564, 0.03471473976969719, 0.039149656891822815, 0.04358457401394844, 0.048019491136074066, 0.05245440825819969, 0.05688932538032532, 0.06132424250245094, 0.06575915962457657, 0.07019408047199249, 0.07462899386882782, 0.07906390726566315, 0.08349882811307907, 0.087933748960495, 0.09236866235733032, 0.09680357575416565, 0.10123849660158157, 0.1056734174489975, 0.11010833084583282, 0.11454324424266815, 0.11897816509008408, 0.1234130859375, 0.12784799933433533, 0.13228291273117065, 0.13671782612800598, 0.1411527544260025, 0.14558766782283783, 0.15002258121967316, 0.15445750951766968, 0.158892422914505, 0.16332733631134033]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 9.0, 10.0, 10.0, 13.0, 4.0, 10.0, 6.0, 9.0, 20.0, 14.0, 15.0, 23.0, 27.0, 27.0, 26.0, 27.0, 35.0, 31.0, 46.0, 44.0, 42.0, 43.0, 43.0, 37.0, 29.0, 41.0, 25.0, 40.0, 37.0, 41.0, 37.0, 24.0, 18.0, 28.0, 15.0, 19.0, 15.0, 7.0, 14.0, 11.0, 7.0, 6.0, 10.0, 6.0, 4.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0248260498046875, -0.024100065231323242, -0.023374080657958984, -0.022648096084594727, -0.02192211151123047, -0.02119612693786621, -0.020470142364501953, -0.019744157791137695, -0.019018173217773438, -0.01829218864440918, -0.017566204071044922, -0.016840219497680664, -0.016114234924316406, -0.015388250350952148, -0.01466226577758789, -0.013936281204223633, -0.013210296630859375, -0.012484312057495117, -0.01175832748413086, -0.011032342910766602, -0.010306358337402344, -0.009580373764038086, -0.008854389190673828, -0.00812840461730957, -0.0074024200439453125, -0.006676435470581055, -0.005950450897216797, -0.005224466323852539, -0.004498481750488281, -0.0037724971771240234, -0.0030465126037597656, -0.002320528030395508, -0.00159454345703125, -0.0008685588836669922, -0.00014257431030273438, 0.0005834102630615234, 0.0013093948364257812, 0.002035379409790039, 0.002761363983154297, 0.0034873485565185547, 0.0042133331298828125, 0.00493931770324707, 0.005665302276611328, 0.006391286849975586, 0.007117271423339844, 0.007843255996704102, 0.00856924057006836, 0.009295225143432617, 0.010021209716796875, 0.010747194290161133, 0.01147317886352539, 0.012199163436889648, 0.012925148010253906, 0.013651132583618164, 0.014377117156982422, 0.01510310173034668, 0.015829086303710938, 0.016555070877075195, 0.017281055450439453, 0.01800704002380371, 0.01873302459716797, 0.019459009170532227, 0.020184993743896484, 0.020910978317260742, 0.021636962890625]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 9.0, 10.0, 6.0, 15.0, 17.0, 30.0, 66.0, 85.0, 122.0, 178.0, 244.0, 352.0, 517.0, 854.0, 1285.0, 1721.0, 2651.0, 3952.0, 5802.0, 8603.0, 12978.0, 19922.0, 31916.0, 51388.0, 89693.0, 175268.0, 318484.0, 132240.0, 70650.0, 42591.0, 26062.0, 16787.0, 11259.0, 7397.0, 4954.0, 3409.0, 2224.0, 1521.0, 1121.0, 711.0, 447.0, 302.0, 219.0, 175.0, 112.0, 82.0, 49.0, 25.0, 19.0, 12.0, 9.0, 10.0, 4.0, 3.0, 2.0, 2.0, 0.0, 1.0], "bins": [-0.0001074075698852539, -0.00010408274829387665, -0.00010075792670249939, -9.743310511112213e-05, -9.410828351974487e-05, -9.078346192836761e-05, -8.745864033699036e-05, -8.41338187456131e-05, -8.080899715423584e-05, -7.748417556285858e-05, -7.415935397148132e-05, -7.083453238010406e-05, -6.75097107887268e-05, -6.418488919734955e-05, -6.086006760597229e-05, -5.753524601459503e-05, -5.4210424423217773e-05, -5.0885602831840515e-05, -4.756078124046326e-05, -4.4235959649086e-05, -4.091113805770874e-05, -3.758631646633148e-05, -3.4261494874954224e-05, -3.0936673283576965e-05, -2.7611851692199707e-05, -2.428703010082245e-05, -2.096220850944519e-05, -1.7637386918067932e-05, -1.4312565326690674e-05, -1.0987743735313416e-05, -7.662922143936157e-06, -4.338100552558899e-06, -1.0132789611816406e-06, 2.3115426301956177e-06, 5.636364221572876e-06, 8.961185812950134e-06, 1.2286007404327393e-05, 1.561082899570465e-05, 1.893565058708191e-05, 2.2260472178459167e-05, 2.5585293769836426e-05, 2.8910115361213684e-05, 3.223493695259094e-05, 3.55597585439682e-05, 3.888458013534546e-05, 4.220940172672272e-05, 4.5534223318099976e-05, 4.8859044909477234e-05, 5.218386650085449e-05, 5.550868809223175e-05, 5.883350968360901e-05, 6.215833127498627e-05, 6.548315286636353e-05, 6.880797445774078e-05, 7.213279604911804e-05, 7.54576176404953e-05, 7.878243923187256e-05, 8.210726082324982e-05, 8.543208241462708e-05, 8.875690400600433e-05, 9.208172559738159e-05, 9.540654718875885e-05, 9.873136878013611e-05, 0.00010205619037151337, 0.00010538101196289062]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 4.0, 1.0, 4.0, 0.0, 5.0, 7.0, 5.0, 13.0, 16.0, 13.0, 23.0, 23.0, 19.0, 30.0, 32.0, 34.0, 31.0, 37.0, 41.0, 41.0, 38.0, 47.0, 40.0, 1067.0, 42.0, 38.0, 43.0, 34.0, 39.0, 40.0, 34.0, 25.0, 25.0, 20.0, 18.0, 23.0, 7.0, 12.0, 17.0, 14.0, 7.0, 11.0, 2.0, 3.0, 4.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.02789306640625, -0.02705836296081543, -0.02622365951538086, -0.02538895606994629, -0.02455425262451172, -0.02371954917907715, -0.022884845733642578, -0.022050142288208008, -0.021215438842773438, -0.020380735397338867, -0.019546031951904297, -0.018711328506469727, -0.017876625061035156, -0.017041921615600586, -0.016207218170166016, -0.015372514724731445, -0.014537811279296875, -0.013703107833862305, -0.012868404388427734, -0.012033700942993164, -0.011198997497558594, -0.010364294052124023, -0.009529590606689453, -0.008694887161254883, -0.007860183715820312, -0.007025480270385742, -0.006190776824951172, -0.0053560733795166016, -0.004521369934082031, -0.003686666488647461, -0.0028519630432128906, -0.0020172595977783203, -0.00118255615234375, -0.0003478527069091797, 0.0004868507385253906, 0.001321554183959961, 0.0021562576293945312, 0.0029909610748291016, 0.003825664520263672, 0.004660367965698242, 0.0054950714111328125, 0.006329774856567383, 0.007164478302001953, 0.007999181747436523, 0.008833885192871094, 0.009668588638305664, 0.010503292083740234, 0.011337995529174805, 0.012172698974609375, 0.013007402420043945, 0.013842105865478516, 0.014676809310913086, 0.015511512756347656, 0.016346216201782227, 0.017180919647216797, 0.018015623092651367, 0.018850326538085938, 0.019685029983520508, 0.020519733428955078, 0.02135443687438965, 0.02218914031982422, 0.02302384376525879, 0.02385854721069336, 0.02469325065612793, 0.0255279541015625]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 3.0, 0.0, 1.0, 2.0, 3.0, 2.0, 8.0, 6.0, 10.0, 8.0, 13.0, 12.0, 16.0, 17.0, 17.0, 24.0, 21.0, 19.0, 23.0, 44.0, 59.0, 89.0, 201.0, 664.0, 2898.0, 23023.0, 2061783.0, 6016.0, 1255.0, 423.0, 109.0, 84.0, 27.0, 33.0, 32.0, 23.0, 28.0, 27.0, 21.0, 23.0, 15.0, 14.0, 11.0, 11.0, 5.0, 7.0, 0.0, 3.0, 0.0, 4.0, 5.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4139881134033203e-05, -2.3341737687587738e-05, -2.2543594241142273e-05, -2.1745450794696808e-05, -2.0947307348251343e-05, -2.0149163901805878e-05, -1.9351020455360413e-05, -1.8552877008914948e-05, -1.7754733562469482e-05, -1.6956590116024017e-05, -1.6158446669578552e-05, -1.5360303223133087e-05, -1.4562159776687622e-05, -1.3764016330242157e-05, -1.2965872883796692e-05, -1.2167729437351227e-05, -1.1369585990905762e-05, -1.0571442544460297e-05, -9.773299098014832e-06, -8.975155651569366e-06, -8.177012205123901e-06, -7.378868758678436e-06, -6.580725312232971e-06, -5.782581865787506e-06, -4.984438419342041e-06, -4.186294972896576e-06, -3.388151526451111e-06, -2.5900080800056458e-06, -1.7918646335601807e-06, -9.937211871147156e-07, -1.955777406692505e-07, 6.025657057762146e-07, 1.4007091522216797e-06, 2.1988525986671448e-06, 2.99699604511261e-06, 3.795139491558075e-06, 4.59328293800354e-06, 5.391426384449005e-06, 6.18956983089447e-06, 6.987713277339935e-06, 7.7858567237854e-06, 8.584000170230865e-06, 9.38214361667633e-06, 1.0180287063121796e-05, 1.097843050956726e-05, 1.1776573956012726e-05, 1.2574717402458191e-05, 1.3372860848903656e-05, 1.4171004295349121e-05, 1.4969147741794586e-05, 1.576729118824005e-05, 1.6565434634685516e-05, 1.736357808113098e-05, 1.8161721527576447e-05, 1.895986497402191e-05, 1.9758008420467377e-05, 2.0556151866912842e-05, 2.1354295313358307e-05, 2.2152438759803772e-05, 2.2950582206249237e-05, 2.3748725652694702e-05, 2.4546869099140167e-05, 2.5345012545585632e-05, 2.6143155992031097e-05, 2.6941299438476562e-05]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 9.0, 10.0, 10.0, 13.0, 4.0, 10.0, 6.0, 9.0, 20.0, 14.0, 15.0, 23.0, 27.0, 27.0, 26.0, 27.0, 35.0, 31.0, 46.0, 44.0, 42.0, 43.0, 43.0, 37.0, 29.0, 41.0, 25.0, 40.0, 37.0, 41.0, 37.0, 24.0, 18.0, 28.0, 15.0, 19.0, 15.0, 7.0, 14.0, 11.0, 7.0, 6.0, 10.0, 6.0, 4.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0248260498046875, -0.024100065231323242, -0.023374080657958984, -0.022648096084594727, -0.02192211151123047, -0.02119612693786621, -0.020470142364501953, -0.019744157791137695, -0.019018173217773438, -0.01829218864440918, -0.017566204071044922, -0.016840219497680664, -0.016114234924316406, -0.015388250350952148, -0.01466226577758789, -0.013936281204223633, -0.013210296630859375, -0.012484312057495117, -0.01175832748413086, -0.011032342910766602, -0.010306358337402344, -0.009580373764038086, -0.008854389190673828, -0.00812840461730957, -0.0074024200439453125, -0.006676435470581055, -0.005950450897216797, -0.005224466323852539, -0.004498481750488281, -0.0037724971771240234, -0.0030465126037597656, -0.002320528030395508, -0.00159454345703125, -0.0008685588836669922, -0.00014257431030273438, 0.0005834102630615234, 0.0013093948364257812, 0.002035379409790039, 0.002761363983154297, 0.0034873485565185547, 0.0042133331298828125, 0.00493931770324707, 0.005665302276611328, 0.006391286849975586, 0.007117271423339844, 0.007843255996704102, 0.00856924057006836, 0.009295225143432617, 0.010021209716796875, 0.010747194290161133, 0.01147317886352539, 0.012199163436889648, 0.012925148010253906, 0.013651132583618164, 0.014377117156982422, 0.01510310173034668, 0.015829086303710938, 0.016555070877075195, 0.017281055450439453, 0.01800704002380371, 0.01873302459716797, 0.019459009170532227, 0.020184993743896484, 0.020910978317260742, 0.021636962890625]}, "gradients/decoder.transformer.h.7.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 4.0, 2.0, 2.0, 0.0, 6.0, 3.0, 10.0, 15.0, 19.0, 25.0, 29.0, 43.0, 95.0, 152.0, 242.0, 375.0, 594.0, 965.0, 1540.0, 2376.0, 3707.0, 5781.0, 9232.0, 14636.0, 23234.0, 38431.0, 72384.0, 176087.0, 380434.0, 155870.0, 66553.0, 36489.0, 21850.0, 13590.0, 8580.0, 5516.0, 3487.0, 2251.0, 1492.0, 904.0, 570.0, 327.0, 245.0, 144.0, 90.0, 76.0, 35.0, 26.0, 20.0, 17.0, 5.0, 3.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.031005859375, -0.030078649520874023, -0.029151439666748047, -0.02822422981262207, -0.027297019958496094, -0.026369810104370117, -0.02544260025024414, -0.024515390396118164, -0.023588180541992188, -0.02266097068786621, -0.021733760833740234, -0.020806550979614258, -0.01987934112548828, -0.018952131271362305, -0.018024921417236328, -0.01709771156311035, -0.016170501708984375, -0.015243291854858398, -0.014316082000732422, -0.013388872146606445, -0.012461662292480469, -0.011534452438354492, -0.010607242584228516, -0.009680032730102539, -0.008752822875976562, -0.007825613021850586, -0.006898403167724609, -0.005971193313598633, -0.005043983459472656, -0.00411677360534668, -0.003189563751220703, -0.0022623538970947266, -0.00133514404296875, -0.00040793418884277344, 0.0005192756652832031, 0.0014464855194091797, 0.0023736953735351562, 0.003300905227661133, 0.004228115081787109, 0.005155324935913086, 0.0060825347900390625, 0.007009744644165039, 0.007936954498291016, 0.008864164352416992, 0.009791374206542969, 0.010718584060668945, 0.011645793914794922, 0.012573003768920898, 0.013500213623046875, 0.014427423477172852, 0.015354633331298828, 0.016281843185424805, 0.01720905303955078, 0.018136262893676758, 0.019063472747802734, 0.01999068260192871, 0.020917892456054688, 0.021845102310180664, 0.02277231216430664, 0.023699522018432617, 0.024626731872558594, 0.02555394172668457, 0.026481151580810547, 0.027408361434936523, 0.0283355712890625]}, "gradients/decoder.transformer.h.7.attn.c_attn.bias": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 3.0, 0.0, 2.0, 3.0, 3.0, 8.0, 4.0, 3.0, 7.0, 12.0, 7.0, 8.0, 13.0, 14.0, 16.0, 22.0, 29.0, 24.0, 27.0, 34.0, 29.0, 38.0, 47.0, 48.0, 66.0, 74.0, 133.0, 321.0, 1376.0, 133.0, 88.0, 64.0, 43.0, 54.0, 28.0, 37.0, 24.0, 24.0, 21.0, 22.0, 26.0, 21.0, 14.0, 21.0, 13.0, 8.0, 9.0, 6.0, 10.0, 6.0, 4.0, 5.0, 3.0, 2.0, 1.0, 2.0, 0.0, 3.0], "bins": [-0.07611083984375, -0.07387542724609375, -0.0716400146484375, -0.06940460205078125, -0.067169189453125, -0.06493377685546875, -0.0626983642578125, -0.06046295166015625, -0.0582275390625, -0.05599212646484375, -0.0537567138671875, -0.05152130126953125, -0.049285888671875, -0.04705047607421875, -0.0448150634765625, -0.04257965087890625, -0.04034423828125, -0.03810882568359375, -0.0358734130859375, -0.03363800048828125, -0.031402587890625, -0.02916717529296875, -0.0269317626953125, -0.02469635009765625, -0.0224609375, -0.02022552490234375, -0.0179901123046875, -0.01575469970703125, -0.013519287109375, -0.01128387451171875, -0.0090484619140625, -0.00681304931640625, -0.00457763671875, -0.00234222412109375, -0.0001068115234375, 0.00212860107421875, 0.004364013671875, 0.00659942626953125, 0.0088348388671875, 0.01107025146484375, 0.0133056640625, 0.01554107666015625, 0.0177764892578125, 0.02001190185546875, 0.022247314453125, 0.02448272705078125, 0.0267181396484375, 0.02895355224609375, 0.03118896484375, 0.03342437744140625, 0.0356597900390625, 0.03789520263671875, 0.040130615234375, 0.04236602783203125, 0.0446014404296875, 0.04683685302734375, 0.049072265625, 0.05130767822265625, 0.0535430908203125, 0.05577850341796875, 0.058013916015625, 0.06024932861328125, 0.0624847412109375, 0.06472015380859375, 0.06695556640625]}, "gradients/decoder.transformer.h.7.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 5.0, 2.0, 3.0, 4.0, 11.0, 12.0, 26.0, 38.0, 59.0, 97.0, 154.0, 256.0, 419.0, 1050.0, 3398.0, 18100.0, 159346.0, 2706884.0, 226548.0, 22762.0, 4154.0, 1186.0, 513.0, 270.0, 140.0, 93.0, 62.0, 42.0, 18.0, 15.0, 17.0, 7.0, 3.0, 7.0, 2.0, 2.0, 2.0, 2.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.130859375, -0.12684059143066406, -0.12282180786132812, -0.11880302429199219, -0.11478424072265625, -0.11076545715332031, -0.10674667358398438, -0.10272789001464844, -0.0987091064453125, -0.09469032287597656, -0.09067153930664062, -0.08665275573730469, -0.08263397216796875, -0.07861518859863281, -0.07459640502929688, -0.07057762145996094, -0.066558837890625, -0.06254005432128906, -0.058521270751953125, -0.05450248718261719, -0.05048370361328125, -0.04646492004394531, -0.042446136474609375, -0.03842735290527344, -0.0344085693359375, -0.030389785766601562, -0.026371002197265625, -0.022352218627929688, -0.01833343505859375, -0.014314651489257812, -0.010295867919921875, -0.0062770843505859375, -0.00225830078125, 0.0017604827880859375, 0.005779266357421875, 0.009798049926757812, 0.01381683349609375, 0.017835617065429688, 0.021854400634765625, 0.025873184204101562, 0.0298919677734375, 0.03391075134277344, 0.037929534912109375, 0.04194831848144531, 0.04596710205078125, 0.04998588562011719, 0.054004669189453125, 0.05802345275878906, 0.062042236328125, 0.06606101989746094, 0.07007980346679688, 0.07409858703613281, 0.07811737060546875, 0.08213615417480469, 0.08615493774414062, 0.09017372131347656, 0.0941925048828125, 0.09821128845214844, 0.10223007202148438, 0.10624885559082031, 0.11026763916015625, 0.11428642272949219, 0.11830520629882812, 0.12232398986816406, 0.1263427734375]}, "gradients/decoder.transformer.h.7.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 3.0, 4.0, 12.0, 40.0, 117.0, 219.0, 263.0, 187.0, 103.0, 48.0, 15.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.654629111289978, -0.6416229605674744, -0.6286167502403259, -0.6156105995178223, -0.6026044487953186, -0.5895982980728149, -0.5765920877456665, -0.5635859370231628, -0.5505797863006592, -0.5375736355781555, -0.5245674252510071, -0.5115612745285034, -0.49855512380599976, -0.4855489432811737, -0.47254279255867004, -0.459536612033844, -0.44653046131134033, -0.4335242807865143, -0.4205181300640106, -0.40751194953918457, -0.3945057988166809, -0.38149961829185486, -0.3684934675693512, -0.35548728704452515, -0.3424811065196991, -0.32947492599487305, -0.3164687752723694, -0.30346259474754333, -0.2904564440250397, -0.2774502635002136, -0.26444411277770996, -0.2514379322528839, -0.23843179643154144, -0.2254256308078766, -0.21241946518421173, -0.19941329956054688, -0.18640713393688202, -0.17340096831321716, -0.1603947877883911, -0.14738863706588745, -0.1343824565410614, -0.12137629091739655, -0.10837012529373169, -0.09536395967006683, -0.08235779404640198, -0.06935162097215652, -0.05634545534849167, -0.04333928972482681, -0.030333131551742554, -0.017326965928077698, -0.0043207984417676926, 0.008685369044542313, 0.02169153466820717, 0.03469770401716232, 0.04770386964082718, 0.060710035264492035, 0.07371620088815689, 0.08672236651182175, 0.0997285321354866, 0.11273470520973206, 0.1257408708333969, 0.13874703645706177, 0.15175320208072662, 0.16475936770439148, 0.17776553332805634]}, "gradients/decoder.transformer.h.7.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 3.0, 7.0, 2.0, 5.0, 9.0, 9.0, 8.0, 18.0, 13.0, 16.0, 16.0, 28.0, 27.0, 36.0, 31.0, 46.0, 35.0, 37.0, 34.0, 55.0, 44.0, 44.0, 30.0, 49.0, 52.0, 38.0, 35.0, 40.0, 37.0, 14.0, 27.0, 21.0, 29.0, 16.0, 20.0, 15.0, 19.0, 5.0, 9.0, 11.0, 8.0, 6.0, 1.0, 3.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.27802157402038574, -0.26991039514541626, -0.26179924607276917, -0.2536880671977997, -0.2455769032239914, -0.2374657392501831, -0.22935456037521362, -0.22124339640140533, -0.21313223242759705, -0.20502106845378876, -0.19690988957881927, -0.188798725605011, -0.1806875616312027, -0.1725763976573944, -0.16446521878242493, -0.15635405480861664, -0.14824287593364716, -0.14013171195983887, -0.13202053308486938, -0.1239093691110611, -0.11579820513725281, -0.10768703371286392, -0.09957586228847504, -0.09146469831466675, -0.08335352689027786, -0.07524235546588898, -0.06713119149208069, -0.0590200200676918, -0.050908852368593216, -0.04279768466949463, -0.03468651324510574, -0.026575345546007156, -0.01846417784690857, -0.010353009216487408, -0.002241840586066246, 0.00586932897567749, 0.013980496674776077, 0.022091664373874664, 0.03020283579826355, 0.03831400349736214, 0.046425171196460724, 0.05453633889555931, 0.0626475065946579, 0.07075867801904678, 0.07886984944343567, 0.08698101341724396, 0.09509218484163284, 0.10320335626602173, 0.11131452023983002, 0.1194256916642189, 0.1275368630886078, 0.13564802706241608, 0.14375919103622437, 0.15187036991119385, 0.15998153388500214, 0.16809269785881042, 0.1762038767337799, 0.1843150407075882, 0.19242621958255768, 0.20053738355636597, 0.20864854753017426, 0.21675971150398254, 0.22487089037895203, 0.23298205435276031, 0.2410932183265686]}, "gradients/decoder.transformer.h.6.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 6.0, 5.0, 8.0, 6.0, 6.0, 11.0, 11.0, 10.0, 15.0, 10.0, 10.0, 12.0, 20.0, 22.0, 28.0, 26.0, 40.0, 27.0, 35.0, 37.0, 35.0, 34.0, 49.0, 40.0, 41.0, 35.0, 34.0, 38.0, 43.0, 28.0, 33.0, 24.0, 24.0, 35.0, 22.0, 21.0, 23.0, 19.0, 22.0, 18.0, 8.0, 9.0, 5.0, 8.0, 3.0, 7.0, 7.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0245208740234375, -0.023779869079589844, -0.023038864135742188, -0.02229785919189453, -0.021556854248046875, -0.02081584930419922, -0.020074844360351562, -0.019333839416503906, -0.01859283447265625, -0.017851829528808594, -0.017110824584960938, -0.01636981964111328, -0.015628814697265625, -0.014887809753417969, -0.014146804809570312, -0.013405799865722656, -0.012664794921875, -0.011923789978027344, -0.011182785034179688, -0.010441780090332031, -0.009700775146484375, -0.008959770202636719, -0.008218765258789062, -0.007477760314941406, -0.00673675537109375, -0.005995750427246094, -0.0052547454833984375, -0.004513740539550781, -0.003772735595703125, -0.0030317306518554688, -0.0022907257080078125, -0.0015497207641601562, -0.0008087158203125, -6.771087646484375e-05, 0.0006732940673828125, 0.0014142990112304688, 0.002155303955078125, 0.0028963088989257812, 0.0036373138427734375, 0.004378318786621094, 0.00511932373046875, 0.005860328674316406, 0.0066013336181640625, 0.007342338562011719, 0.008083343505859375, 0.008824348449707031, 0.009565353393554688, 0.010306358337402344, 0.01104736328125, 0.011788368225097656, 0.012529373168945312, 0.013270378112792969, 0.014011383056640625, 0.014752388000488281, 0.015493392944335938, 0.016234397888183594, 0.01697540283203125, 0.017716407775878906, 0.018457412719726562, 0.01919841766357422, 0.019939422607421875, 0.02068042755126953, 0.021421432495117188, 0.022162437438964844, 0.0229034423828125]}, "gradients/decoder.transformer.h.6.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 5.0, 9.0, 6.0, 10.0, 14.0, 33.0, 48.0, 66.0, 108.0, 173.0, 266.0, 504.0, 864.0, 1485.0, 2717.0, 5129.0, 10128.0, 21009.0, 46462.0, 111406.0, 323124.0, 1155027.0, 1693564.0, 532458.0, 167950.0, 65076.0, 29024.0, 13397.0, 6396.0, 3343.0, 1892.0, 1026.0, 621.0, 386.0, 226.0, 128.0, 74.0, 55.0, 29.0, 23.0, 13.0, 6.0, 4.0, 4.0, 3.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.039581298828125, -0.038487911224365234, -0.03739452362060547, -0.0363011360168457, -0.03520774841308594, -0.03411436080932617, -0.033020973205566406, -0.03192758560180664, -0.030834197998046875, -0.02974081039428711, -0.028647422790527344, -0.027554035186767578, -0.026460647583007812, -0.025367259979248047, -0.02427387237548828, -0.023180484771728516, -0.02208709716796875, -0.020993709564208984, -0.01990032196044922, -0.018806934356689453, -0.017713546752929688, -0.016620159149169922, -0.015526771545410156, -0.01443338394165039, -0.013339996337890625, -0.01224660873413086, -0.011153221130371094, -0.010059833526611328, -0.008966445922851562, -0.007873058319091797, -0.006779670715332031, -0.005686283111572266, -0.0045928955078125, -0.0034995079040527344, -0.0024061203002929688, -0.0013127326965332031, -0.0002193450927734375, 0.0008740425109863281, 0.0019674301147460938, 0.0030608177185058594, 0.004154205322265625, 0.005247592926025391, 0.006340980529785156, 0.007434368133544922, 0.008527755737304688, 0.009621143341064453, 0.010714530944824219, 0.011807918548583984, 0.01290130615234375, 0.013994693756103516, 0.015088081359863281, 0.016181468963623047, 0.017274856567382812, 0.018368244171142578, 0.019461631774902344, 0.02055501937866211, 0.021648406982421875, 0.02274179458618164, 0.023835182189941406, 0.024928569793701172, 0.026021957397460938, 0.027115345001220703, 0.02820873260498047, 0.029302120208740234, 0.0303955078125]}, "gradients/decoder.transformer.h.6.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 5.0, 2.0, 9.0, 7.0, 14.0, 14.0, 23.0, 21.0, 41.0, 45.0, 69.0, 84.0, 137.0, 189.0, 238.0, 303.0, 467.0, 539.0, 489.0, 390.0, 293.0, 210.0, 150.0, 97.0, 69.0, 48.0, 37.0, 31.0, 11.0, 17.0, 7.0, 6.0, 6.0, 5.0, 1.0, 2.0, 0.0, 1.0, 5.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.038360595703125, -0.036923885345458984, -0.03548717498779297, -0.03405046463012695, -0.03261375427246094, -0.031177043914794922, -0.029740333557128906, -0.02830362319946289, -0.026866912841796875, -0.02543020248413086, -0.023993492126464844, -0.022556781768798828, -0.021120071411132812, -0.019683361053466797, -0.01824665069580078, -0.016809940338134766, -0.01537322998046875, -0.013936519622802734, -0.012499809265136719, -0.011063098907470703, -0.009626388549804688, -0.008189678192138672, -0.006752967834472656, -0.005316257476806641, -0.003879547119140625, -0.0024428367614746094, -0.0010061264038085938, 0.0004305839538574219, 0.0018672943115234375, 0.003304004669189453, 0.004740715026855469, 0.006177425384521484, 0.0076141357421875, 0.009050846099853516, 0.010487556457519531, 0.011924266815185547, 0.013360977172851562, 0.014797687530517578, 0.016234397888183594, 0.01767110824584961, 0.019107818603515625, 0.02054452896118164, 0.021981239318847656, 0.023417949676513672, 0.024854660034179688, 0.026291370391845703, 0.02772808074951172, 0.029164791107177734, 0.03060150146484375, 0.032038211822509766, 0.03347492218017578, 0.0349116325378418, 0.03634834289550781, 0.03778505325317383, 0.039221763610839844, 0.04065847396850586, 0.042095184326171875, 0.04353189468383789, 0.044968605041503906, 0.04640531539916992, 0.04784202575683594, 0.04927873611450195, 0.05071544647216797, 0.052152156829833984, 0.0535888671875]}, "gradients/decoder.transformer.h.6.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 4.0, 4.0, 1.0, 2.0, 1.0, 3.0, 5.0, 6.0, 1.0, 16.0, 16.0, 11.0, 24.0, 51.0, 70.0, 97.0, 164.0, 295.0, 536.0, 1383.0, 4960.0, 32149.0, 347195.0, 3229953.0, 523899.0, 43873.0, 6415.0, 1619.0, 624.0, 319.0, 203.0, 116.0, 84.0, 57.0, 33.0, 30.0, 18.0, 18.0, 9.0, 8.0, 9.0, 5.0, 3.0, 2.0, 0.0, 3.0, 1.0, 0.0, 3.0, 1.0], "bins": [-0.1300048828125, -0.12654495239257812, -0.12308502197265625, -0.11962509155273438, -0.1161651611328125, -0.11270523071289062, -0.10924530029296875, -0.10578536987304688, -0.102325439453125, -0.09886550903320312, -0.09540557861328125, -0.09194564819335938, -0.0884857177734375, -0.08502578735351562, -0.08156585693359375, -0.07810592651367188, -0.07464599609375, -0.07118606567382812, -0.06772613525390625, -0.06426620483398438, -0.0608062744140625, -0.057346343994140625, -0.05388641357421875, -0.050426483154296875, -0.046966552734375, -0.043506622314453125, -0.04004669189453125, -0.036586761474609375, -0.0331268310546875, -0.029666900634765625, -0.02620697021484375, -0.022747039794921875, -0.019287109375, -0.015827178955078125, -0.01236724853515625, -0.008907318115234375, -0.0054473876953125, -0.001987457275390625, 0.00147247314453125, 0.004932403564453125, 0.008392333984375, 0.011852264404296875, 0.01531219482421875, 0.018772125244140625, 0.0222320556640625, 0.025691986083984375, 0.02915191650390625, 0.032611846923828125, 0.03607177734375, 0.039531707763671875, 0.04299163818359375, 0.046451568603515625, 0.0499114990234375, 0.053371429443359375, 0.05683135986328125, 0.060291290283203125, 0.063751220703125, 0.06721115112304688, 0.07067108154296875, 0.07413101196289062, 0.0775909423828125, 0.08105087280273438, 0.08451080322265625, 0.08797073364257812, 0.0914306640625]}, "gradients/decoder.transformer.h.6.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 37.0, 187.0, 463.0, 277.0, 49.0, 6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2594791650772095, -0.22932729125022888, -0.1991754174232483, -0.1690235435962677, -0.1388716697692871, -0.10871978104114532, -0.07856790721416473, -0.04841603338718414, -0.018264159560203552, 0.011887716129422188, 0.04203959181904793, 0.07219146937131882, 0.10234334319829941, 0.1324952244758606, 0.1626470983028412, 0.19279897212982178, 0.22295084595680237, 0.25310271978378296, 0.28325459361076355, 0.31340646743774414, 0.34355834126472473, 0.3737102150917053, 0.4038621187210083, 0.4340139627456665, 0.4641658663749695, 0.4943177402019501, 0.5244696140289307, 0.5546215176582336, 0.5847733616828918, 0.6149252653121948, 0.645077109336853, 0.675229012966156, 0.7053808569908142, 0.7355327606201172, 0.7656846046447754, 0.7958365082740784, 0.8259883522987366, 0.8561402559280396, 0.8862920999526978, 0.9164440035820007, 0.9465958476066589, 0.9767477512359619, 1.0068995952606201, 1.0370514392852783, 1.067203402519226, 1.0973552465438843, 1.1275070905685425, 1.1576589345932007, 1.1878108978271484, 1.2179627418518066, 1.2481147050857544, 1.2782665491104126, 1.3084183931350708, 1.338570237159729, 1.3687222003936768, 1.398874044418335, 1.4290258884429932, 1.4591777324676514, 1.4893296957015991, 1.5194815397262573, 1.5496333837509155, 1.5797852277755737, 1.6099371910095215, 1.6400890350341797, 1.670240879058838]}, "gradients/decoder.transformer.h.6.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 8.0, 0.0, 4.0, 4.0, 7.0, 8.0, 9.0, 15.0, 11.0, 27.0, 22.0, 25.0, 31.0, 30.0, 33.0, 27.0, 32.0, 34.0, 38.0, 37.0, 42.0, 44.0, 39.0, 44.0, 45.0, 45.0, 47.0, 42.0, 35.0, 30.0, 31.0, 23.0, 26.0, 16.0, 17.0, 15.0, 8.0, 12.0, 12.0, 10.0, 6.0, 5.0, 6.0, 2.0, 1.0, 4.0, 1.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.14892488718032837, -0.1439836323261261, -0.13904239237308502, -0.13410113751888275, -0.12915989756584167, -0.1242186427116394, -0.11927739530801773, -0.11433614790439606, -0.10939490050077438, -0.10445365309715271, -0.09951240569353104, -0.09457115828990936, -0.08962990343570709, -0.08468866348266602, -0.07974740862846375, -0.07480616122484207, -0.0698649138212204, -0.06492366641759872, -0.05998241901397705, -0.05504116788506508, -0.050099920481443405, -0.04515867307782173, -0.04021742194890976, -0.035276174545288086, -0.030334927141666412, -0.02539367973804474, -0.020452430471777916, -0.015511182136833668, -0.01056993380188942, -0.005628686398267746, -0.0006874371320009232, 0.0042538121342659, 0.009195059537887573, 0.014136307872831821, 0.01907755620777607, 0.024018805474042892, 0.028960052877664566, 0.03390130028128624, 0.03884255141019821, 0.043783798813819885, 0.04872504621744156, 0.05366629362106323, 0.058607541024684906, 0.06354878842830658, 0.06849004328250885, 0.07343128323554993, 0.0783725380897522, 0.08331378549337387, 0.08825503289699554, 0.09319628030061722, 0.09813752770423889, 0.10307877510786057, 0.10802002251148224, 0.11296127736568451, 0.11790252476930618, 0.12284377217292786, 0.12778502702713013, 0.1327262818813324, 0.13766752183437347, 0.14260877668857574, 0.14755001664161682, 0.1524912714958191, 0.15743251144886017, 0.16237376630306244, 0.16731500625610352]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 5.0, 1.0, 4.0, 1.0, 1.0, 5.0, 10.0, 4.0, 9.0, 8.0, 13.0, 16.0, 17.0, 13.0, 19.0, 14.0, 22.0, 29.0, 31.0, 25.0, 31.0, 36.0, 40.0, 32.0, 33.0, 41.0, 43.0, 46.0, 38.0, 31.0, 41.0, 38.0, 28.0, 25.0, 30.0, 34.0, 24.0, 15.0, 25.0, 17.0, 19.0, 19.0, 10.0, 17.0, 10.0, 8.0, 8.0, 7.0, 7.0, 3.0, 4.0, 2.0, 0.0, 5.0, 2.0], "bins": [-0.0259552001953125, -0.025233745574951172, -0.024512290954589844, -0.023790836334228516, -0.023069381713867188, -0.02234792709350586, -0.02162647247314453, -0.020905017852783203, -0.020183563232421875, -0.019462108612060547, -0.01874065399169922, -0.01801919937133789, -0.017297744750976562, -0.016576290130615234, -0.015854835510253906, -0.015133380889892578, -0.01441192626953125, -0.013690471649169922, -0.012969017028808594, -0.012247562408447266, -0.011526107788085938, -0.01080465316772461, -0.010083198547363281, -0.009361743927001953, -0.008640289306640625, -0.007918834686279297, -0.007197380065917969, -0.006475925445556641, -0.0057544708251953125, -0.005033016204833984, -0.004311561584472656, -0.003590106964111328, -0.00286865234375, -0.002147197723388672, -0.0014257431030273438, -0.0007042884826660156, 1.71661376953125e-05, 0.0007386207580566406, 0.0014600753784179688, 0.002181529998779297, 0.002902984619140625, 0.003624439239501953, 0.004345893859863281, 0.005067348480224609, 0.0057888031005859375, 0.006510257720947266, 0.007231712341308594, 0.007953166961669922, 0.00867462158203125, 0.009396076202392578, 0.010117530822753906, 0.010838985443115234, 0.011560440063476562, 0.01228189468383789, 0.013003349304199219, 0.013724803924560547, 0.014446258544921875, 0.015167713165283203, 0.01588916778564453, 0.01661062240600586, 0.017332077026367188, 0.018053531646728516, 0.018774986267089844, 0.019496440887451172, 0.0202178955078125]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 3.0, 3.0, 10.0, 6.0, 10.0, 10.0, 27.0, 27.0, 45.0, 50.0, 83.0, 137.0, 213.0, 335.0, 511.0, 714.0, 1056.0, 1591.0, 2356.0, 3476.0, 5187.0, 7645.0, 11002.0, 16512.0, 24755.0, 37976.0, 60566.0, 102573.0, 260144.0, 238448.0, 101746.0, 58742.0, 37700.0, 24457.0, 16462.0, 10894.0, 7435.0, 5101.0, 3417.0, 2328.0, 1594.0, 1018.0, 721.0, 494.0, 323.0, 230.0, 154.0, 93.0, 61.0, 44.0, 33.0, 22.0, 14.0, 6.0, 0.0, 5.0, 4.0], "bins": [-0.00015985965728759766, -0.00015541724860668182, -0.000150974839925766, -0.00014653243124485016, -0.00014209002256393433, -0.0001376476138830185, -0.00013320520520210266, -0.00012876279652118683, -0.000124320387840271, -0.00011987797915935516, -0.00011543557047843933, -0.0001109931617975235, -0.00010655075311660767, -0.00010210834443569183, -9.7665935754776e-05, -9.322352707386017e-05, -8.878111839294434e-05, -8.43387097120285e-05, -7.989630103111267e-05, -7.545389235019684e-05, -7.1011483669281e-05, -6.656907498836517e-05, -6.212666630744934e-05, -5.768425762653351e-05, -5.3241848945617676e-05, -4.879944026470184e-05, -4.435703158378601e-05, -3.991462290287018e-05, -3.5472214221954346e-05, -3.102980554103851e-05, -2.658739686012268e-05, -2.2144988179206848e-05, -1.7702579498291016e-05, -1.3260170817375183e-05, -8.81776213645935e-06, -4.375353455543518e-06, 6.705522537231445e-08, 4.509463906288147e-06, 8.95187258720398e-06, 1.3394281268119812e-05, 1.7836689949035645e-05, 2.2279098629951477e-05, 2.672150731086731e-05, 3.116391599178314e-05, 3.5606324672698975e-05, 4.004873335361481e-05, 4.449114203453064e-05, 4.893355071544647e-05, 5.3375959396362305e-05, 5.781836807727814e-05, 6.226077675819397e-05, 6.67031854391098e-05, 7.114559412002563e-05, 7.558800280094147e-05, 8.00304114818573e-05, 8.447282016277313e-05, 8.891522884368896e-05, 9.33576375246048e-05, 9.780004620552063e-05, 0.00010224245488643646, 0.0001066848635673523, 0.00011112727224826813, 0.00011556968092918396, 0.00012001208961009979, 0.00012445449829101562]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 4.0, 3.0, 7.0, 9.0, 3.0, 10.0, 16.0, 17.0, 14.0, 17.0, 14.0, 31.0, 22.0, 27.0, 24.0, 19.0, 32.0, 34.0, 34.0, 45.0, 36.0, 34.0, 35.0, 1059.0, 35.0, 43.0, 38.0, 39.0, 40.0, 32.0, 30.0, 24.0, 22.0, 23.0, 19.0, 20.0, 14.0, 14.0, 12.0, 12.0, 13.0, 15.0, 5.0, 7.0, 6.0, 8.0, 7.0, 2.0, 3.0, 0.0, 2.0, 0.0, 3.0, 1.0, 2.0], "bins": [-0.0194244384765625, -0.018825054168701172, -0.018225669860839844, -0.017626285552978516, -0.017026901245117188, -0.01642751693725586, -0.01582813262939453, -0.015228748321533203, -0.014629364013671875, -0.014029979705810547, -0.013430595397949219, -0.01283121109008789, -0.012231826782226562, -0.011632442474365234, -0.011033058166503906, -0.010433673858642578, -0.00983428955078125, -0.009234905242919922, -0.008635520935058594, -0.008036136627197266, -0.0074367523193359375, -0.006837368011474609, -0.006237983703613281, -0.005638599395751953, -0.005039215087890625, -0.004439830780029297, -0.0038404464721679688, -0.0032410621643066406, -0.0026416778564453125, -0.0020422935485839844, -0.0014429092407226562, -0.0008435249328613281, -0.000244140625, 0.0003552436828613281, 0.0009546279907226562, 0.0015540122985839844, 0.0021533966064453125, 0.0027527809143066406, 0.0033521652221679688, 0.003951549530029297, 0.004550933837890625, 0.005150318145751953, 0.005749702453613281, 0.006349086761474609, 0.0069484710693359375, 0.007547855377197266, 0.008147239685058594, 0.008746623992919922, 0.00934600830078125, 0.009945392608642578, 0.010544776916503906, 0.011144161224365234, 0.011743545532226562, 0.01234292984008789, 0.012942314147949219, 0.013541698455810547, 0.014141082763671875, 0.014740467071533203, 0.015339851379394531, 0.01593923568725586, 0.016538619995117188, 0.017138004302978516, 0.017737388610839844, 0.018336772918701172, 0.0189361572265625]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 3.0, 6.0, 11.0, 6.0, 6.0, 19.0, 8.0, 12.0, 14.0, 18.0, 18.0, 21.0, 16.0, 26.0, 25.0, 26.0, 52.0, 73.0, 173.0, 455.0, 1356.0, 4440.0, 128352.0, 1955103.0, 4623.0, 1247.0, 469.0, 181.0, 77.0, 36.0, 31.0, 29.0, 24.0, 21.0, 29.0, 25.0, 23.0, 10.0, 15.0, 6.0, 15.0, 8.0, 7.0, 7.0, 6.0, 2.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.9609928131103516e-05, -1.899711787700653e-05, -1.8384307622909546e-05, -1.777149736881256e-05, -1.7158687114715576e-05, -1.654587686061859e-05, -1.5933066606521606e-05, -1.532025635242462e-05, -1.4707446098327637e-05, -1.4094635844230652e-05, -1.3481825590133667e-05, -1.2869015336036682e-05, -1.2256205081939697e-05, -1.1643394827842712e-05, -1.1030584573745728e-05, -1.0417774319648743e-05, -9.804964065551758e-06, -9.192153811454773e-06, -8.579343557357788e-06, -7.966533303260803e-06, -7.353723049163818e-06, -6.7409127950668335e-06, -6.128102540969849e-06, -5.515292286872864e-06, -4.902482032775879e-06, -4.289671778678894e-06, -3.676861524581909e-06, -3.0640512704849243e-06, -2.4512410163879395e-06, -1.8384307622909546e-06, -1.2256205081939697e-06, -6.128102540969849e-07, 0.0, 6.128102540969849e-07, 1.2256205081939697e-06, 1.8384307622909546e-06, 2.4512410163879395e-06, 3.0640512704849243e-06, 3.676861524581909e-06, 4.289671778678894e-06, 4.902482032775879e-06, 5.515292286872864e-06, 6.128102540969849e-06, 6.7409127950668335e-06, 7.353723049163818e-06, 7.966533303260803e-06, 8.579343557357788e-06, 9.192153811454773e-06, 9.804964065551758e-06, 1.0417774319648743e-05, 1.1030584573745728e-05, 1.1643394827842712e-05, 1.2256205081939697e-05, 1.2869015336036682e-05, 1.3481825590133667e-05, 1.4094635844230652e-05, 1.4707446098327637e-05, 1.532025635242462e-05, 1.5933066606521606e-05, 1.654587686061859e-05, 1.7158687114715576e-05, 1.777149736881256e-05, 1.8384307622909546e-05, 1.899711787700653e-05, 1.9609928131103516e-05]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 5.0, 1.0, 4.0, 1.0, 1.0, 5.0, 10.0, 4.0, 9.0, 8.0, 13.0, 16.0, 17.0, 13.0, 19.0, 14.0, 22.0, 29.0, 31.0, 25.0, 31.0, 36.0, 40.0, 32.0, 33.0, 41.0, 43.0, 46.0, 38.0, 31.0, 41.0, 38.0, 28.0, 25.0, 30.0, 34.0, 24.0, 15.0, 25.0, 17.0, 19.0, 19.0, 10.0, 17.0, 10.0, 8.0, 8.0, 7.0, 7.0, 3.0, 4.0, 2.0, 0.0, 5.0, 2.0], "bins": [-0.0259552001953125, -0.025233745574951172, -0.024512290954589844, -0.023790836334228516, -0.023069381713867188, -0.02234792709350586, -0.02162647247314453, -0.020905017852783203, -0.020183563232421875, -0.019462108612060547, -0.01874065399169922, -0.01801919937133789, -0.017297744750976562, -0.016576290130615234, -0.015854835510253906, -0.015133380889892578, -0.01441192626953125, -0.013690471649169922, -0.012969017028808594, -0.012247562408447266, -0.011526107788085938, -0.01080465316772461, -0.010083198547363281, -0.009361743927001953, -0.008640289306640625, -0.007918834686279297, -0.007197380065917969, -0.006475925445556641, -0.0057544708251953125, -0.005033016204833984, -0.004311561584472656, -0.003590106964111328, -0.00286865234375, -0.002147197723388672, -0.0014257431030273438, -0.0007042884826660156, 1.71661376953125e-05, 0.0007386207580566406, 0.0014600753784179688, 0.002181529998779297, 0.002902984619140625, 0.003624439239501953, 0.004345893859863281, 0.005067348480224609, 0.0057888031005859375, 0.006510257720947266, 0.007231712341308594, 0.007953166961669922, 0.00867462158203125, 0.009396076202392578, 0.010117530822753906, 0.010838985443115234, 0.011560440063476562, 0.01228189468383789, 0.013003349304199219, 0.013724803924560547, 0.014446258544921875, 0.015167713165283203, 0.01588916778564453, 0.01661062240600586, 0.017332077026367188, 0.018053531646728516, 0.018774986267089844, 0.019496440887451172, 0.0202178955078125]}, "gradients/decoder.transformer.h.6.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 7.0, 5.0, 10.0, 11.0, 16.0, 14.0, 24.0, 37.0, 77.0, 94.0, 135.0, 238.0, 397.0, 574.0, 902.0, 1385.0, 2077.0, 3273.0, 5033.0, 7361.0, 11135.0, 16504.0, 26101.0, 45053.0, 105543.0, 465006.0, 200977.0, 63462.0, 32845.0, 20398.0, 13294.0, 8904.0, 6063.0, 4108.0, 2713.0, 1696.0, 1095.0, 742.0, 428.0, 288.0, 186.0, 125.0, 77.0, 49.0, 29.0, 21.0, 19.0, 11.0, 6.0, 9.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.037384033203125, -0.03627586364746094, -0.035167694091796875, -0.03405952453613281, -0.03295135498046875, -0.03184318542480469, -0.030735015869140625, -0.029626846313476562, -0.0285186767578125, -0.027410507202148438, -0.026302337646484375, -0.025194168090820312, -0.02408599853515625, -0.022977828979492188, -0.021869659423828125, -0.020761489868164062, -0.0196533203125, -0.018545150756835938, -0.017436981201171875, -0.016328811645507812, -0.01522064208984375, -0.014112472534179688, -0.013004302978515625, -0.011896133422851562, -0.0107879638671875, -0.009679794311523438, -0.008571624755859375, -0.0074634552001953125, -0.00635528564453125, -0.0052471160888671875, -0.004138946533203125, -0.0030307769775390625, -0.001922607421875, -0.0008144378662109375, 0.000293731689453125, 0.0014019012451171875, 0.00251007080078125, 0.0036182403564453125, 0.004726409912109375, 0.0058345794677734375, 0.0069427490234375, 0.008050918579101562, 0.009159088134765625, 0.010267257690429688, 0.01137542724609375, 0.012483596801757812, 0.013591766357421875, 0.014699935913085938, 0.01580810546875, 0.016916275024414062, 0.018024444580078125, 0.019132614135742188, 0.02024078369140625, 0.021348953247070312, 0.022457122802734375, 0.023565292358398438, 0.0246734619140625, 0.025781631469726562, 0.026889801025390625, 0.027997970581054688, 0.02910614013671875, 0.030214309692382812, 0.031322479248046875, 0.03243064880371094, 0.033538818359375]}, "gradients/decoder.transformer.h.6.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 4.0, 4.0, 5.0, 10.0, 10.0, 12.0, 10.0, 11.0, 14.0, 12.0, 27.0, 17.0, 29.0, 34.0, 37.0, 32.0, 42.0, 37.0, 54.0, 74.0, 140.0, 303.0, 1492.0, 164.0, 86.0, 55.0, 43.0, 35.0, 29.0, 30.0, 33.0, 20.0, 23.0, 22.0, 19.0, 13.0, 15.0, 8.0, 10.0, 6.0, 11.0, 6.0, 4.0, 2.0, 3.0, 3.0, 5.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0780029296875, -0.07549476623535156, -0.07298660278320312, -0.07047843933105469, -0.06797027587890625, -0.06546211242675781, -0.06295394897460938, -0.06044578552246094, -0.0579376220703125, -0.05542945861816406, -0.052921295166015625, -0.05041313171386719, -0.04790496826171875, -0.04539680480957031, -0.042888641357421875, -0.04038047790527344, -0.037872314453125, -0.03536415100097656, -0.032855987548828125, -0.030347824096679688, -0.02783966064453125, -0.025331497192382812, -0.022823333740234375, -0.020315170288085938, -0.0178070068359375, -0.015298843383789062, -0.012790679931640625, -0.010282516479492188, -0.00777435302734375, -0.0052661895751953125, -0.002758026123046875, -0.0002498626708984375, 0.00225830078125, 0.0047664642333984375, 0.007274627685546875, 0.009782791137695312, 0.01229095458984375, 0.014799118041992188, 0.017307281494140625, 0.019815444946289062, 0.0223236083984375, 0.024831771850585938, 0.027339935302734375, 0.029848098754882812, 0.03235626220703125, 0.03486442565917969, 0.037372589111328125, 0.03988075256347656, 0.042388916015625, 0.04489707946777344, 0.047405242919921875, 0.04991340637207031, 0.05242156982421875, 0.05492973327636719, 0.057437896728515625, 0.05994606018066406, 0.0624542236328125, 0.06496238708496094, 0.06747055053710938, 0.06997871398925781, 0.07248687744140625, 0.07499504089355469, 0.07750320434570312, 0.08001136779785156, 0.08251953125]}, "gradients/decoder.transformer.h.6.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 1.0, 4.0, 3.0, 7.0, 3.0, 4.0, 11.0, 8.0, 8.0, 10.0, 17.0, 27.0, 29.0, 25.0, 30.0, 52.0, 55.0, 94.0, 92.0, 170.0, 253.0, 451.0, 959.0, 2713.0, 8058.0, 24711.0, 90891.0, 1567684.0, 1323261.0, 89120.0, 24274.0, 7794.0, 2573.0, 1017.0, 428.0, 265.0, 127.0, 105.0, 91.0, 64.0, 51.0, 32.0, 34.0, 25.0, 24.0, 20.0, 8.0, 7.0, 8.0, 7.0, 1.0, 4.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0750732421875, -0.07265090942382812, -0.07022857666015625, -0.06780624389648438, -0.0653839111328125, -0.06296157836914062, -0.06053924560546875, -0.058116912841796875, -0.055694580078125, -0.053272247314453125, -0.05084991455078125, -0.048427581787109375, -0.0460052490234375, -0.043582916259765625, -0.04116058349609375, -0.038738250732421875, -0.03631591796875, -0.033893585205078125, -0.03147125244140625, -0.029048919677734375, -0.0266265869140625, -0.024204254150390625, -0.02178192138671875, -0.019359588623046875, -0.016937255859375, -0.014514923095703125, -0.01209259033203125, -0.009670257568359375, -0.0072479248046875, -0.004825592041015625, -0.00240325927734375, 1.9073486328125e-05, 0.00244140625, 0.004863739013671875, 0.00728607177734375, 0.009708404541015625, 0.0121307373046875, 0.014553070068359375, 0.01697540283203125, 0.019397735595703125, 0.021820068359375, 0.024242401123046875, 0.02666473388671875, 0.029087066650390625, 0.0315093994140625, 0.033931732177734375, 0.03635406494140625, 0.038776397705078125, 0.04119873046875, 0.043621063232421875, 0.04604339599609375, 0.048465728759765625, 0.0508880615234375, 0.053310394287109375, 0.05573272705078125, 0.058155059814453125, 0.060577392578125, 0.06299972534179688, 0.06542205810546875, 0.06784439086914062, 0.0702667236328125, 0.07268905639648438, 0.07511138916015625, 0.07753372192382812, 0.0799560546875]}, "gradients/decoder.transformer.h.6.ln_1.weight": {"_type": "histogram", "values": [6.0, 13.0, 45.0, 101.0, 202.0, 265.0, 205.0, 115.0, 47.0, 16.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.05514739453792572, -0.04534387215971947, -0.035540349781513214, -0.02573682740330696, -0.015933305025100708, -0.006129782646894455, 0.003673739731311798, 0.01347726583480835, 0.023280784487724304, 0.03308430686593056, 0.04288782924413681, 0.05269135162234306, 0.062494874000549316, 0.07229839265346527, 0.08210191875696182, 0.09190544486045837, 0.10170896351337433, 0.11151248216629028, 0.12131600826978683, 0.1311195343732834, 0.14092305302619934, 0.1507265716791153, 0.16053009033203125, 0.1703336238861084, 0.18013714253902435, 0.1899406611919403, 0.19974419474601746, 0.2095477133989334, 0.21935123205184937, 0.22915475070476532, 0.23895826935768127, 0.24876180291175842, 0.2585653066635132, 0.26836884021759033, 0.2781723439693451, 0.28797587752342224, 0.297779381275177, 0.30758291482925415, 0.3173864483833313, 0.32718998193740845, 0.3369934856891632, 0.34679701924324036, 0.3566005229949951, 0.36640405654907227, 0.3762075901031494, 0.3860110938549042, 0.3958146274089813, 0.4056181311607361, 0.41542166471481323, 0.4252251982688904, 0.43502870202064514, 0.4448322355747223, 0.45463573932647705, 0.4644392728805542, 0.47424280643463135, 0.4840463399887085, 0.49384984374046326, 0.503653347492218, 0.5134568810462952, 0.5232604146003723, 0.5330639481544495, 0.5428674817085266, 0.552670955657959, 0.5624744892120361, 0.5722780227661133]}, "gradients/decoder.transformer.h.6.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 8.0, 3.0, 4.0, 9.0, 7.0, 4.0, 6.0, 9.0, 7.0, 11.0, 10.0, 10.0, 20.0, 30.0, 32.0, 28.0, 31.0, 38.0, 24.0, 31.0, 31.0, 41.0, 38.0, 31.0, 36.0, 44.0, 48.0, 38.0, 41.0, 44.0, 31.0, 35.0, 36.0, 35.0, 28.0, 22.0, 20.0, 15.0, 17.0, 10.0, 5.0, 10.0, 10.0, 3.0, 8.0, 4.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0], "bins": [-0.24575406312942505, -0.23817811906337738, -0.2306021749973297, -0.22302624583244324, -0.21545030176639557, -0.2078743577003479, -0.20029842853546143, -0.19272248446941376, -0.1851465404033661, -0.17757059633731842, -0.16999465227127075, -0.16241872310638428, -0.1548427790403366, -0.14726683497428894, -0.13969090580940247, -0.1321149617433548, -0.12453901767730713, -0.11696307361125946, -0.10938713699579239, -0.10181120038032532, -0.09423525631427765, -0.08665931224822998, -0.07908337563276291, -0.07150743901729584, -0.06393149495124817, -0.0563555546104908, -0.04877961426973343, -0.04120367392897606, -0.03362773358821869, -0.02605179324746132, -0.01847585290670395, -0.010899912565946579, -0.003323972225189209, 0.004251968115568161, 0.011827908456325531, 0.0194038487970829, 0.02697978913784027, 0.03455572947859764, 0.04213166981935501, 0.04970761016011238, 0.05728355050086975, 0.06485949456691742, 0.07243543118238449, 0.08001136779785156, 0.08758731186389923, 0.0951632559299469, 0.10273919254541397, 0.11031512916088104, 0.11789107322692871, 0.12546701729297638, 0.13304296135902405, 0.14061889052391052, 0.1481948345899582, 0.15577077865600586, 0.16334670782089233, 0.17092265188694, 0.17849859595298767, 0.18607454001903534, 0.193650484085083, 0.20122641324996948, 0.20880235731601715, 0.21637830138206482, 0.2239542305469513, 0.23153017461299896, 0.23910611867904663]}, "gradients/decoder.transformer.h.5.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 4.0, 1.0, 2.0, 3.0, 2.0, 5.0, 8.0, 6.0, 7.0, 7.0, 13.0, 13.0, 15.0, 14.0, 13.0, 22.0, 23.0, 23.0, 26.0, 42.0, 27.0, 31.0, 26.0, 39.0, 43.0, 42.0, 34.0, 46.0, 49.0, 36.0, 39.0, 29.0, 33.0, 31.0, 36.0, 34.0, 21.0, 29.0, 19.0, 19.0, 11.0, 19.0, 14.0, 14.0, 11.0, 8.0, 4.0, 8.0, 5.0, 4.0, 3.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-0.026885986328125, -0.02612161636352539, -0.02535724639892578, -0.024592876434326172, -0.023828506469726562, -0.023064136505126953, -0.022299766540527344, -0.021535396575927734, -0.020771026611328125, -0.020006656646728516, -0.019242286682128906, -0.018477916717529297, -0.017713546752929688, -0.016949176788330078, -0.01618480682373047, -0.01542043685913086, -0.01465606689453125, -0.01389169692993164, -0.013127326965332031, -0.012362957000732422, -0.011598587036132812, -0.010834217071533203, -0.010069847106933594, -0.009305477142333984, -0.008541107177734375, -0.007776737213134766, -0.007012367248535156, -0.006247997283935547, -0.0054836273193359375, -0.004719257354736328, -0.003954887390136719, -0.0031905174255371094, -0.0024261474609375, -0.0016617774963378906, -0.0008974075317382812, -0.00013303756713867188, 0.0006313323974609375, 0.0013957023620605469, 0.0021600723266601562, 0.0029244422912597656, 0.003688812255859375, 0.004453182220458984, 0.005217552185058594, 0.005981922149658203, 0.0067462921142578125, 0.007510662078857422, 0.008275032043457031, 0.00903940200805664, 0.00980377197265625, 0.01056814193725586, 0.011332511901855469, 0.012096881866455078, 0.012861251831054688, 0.013625621795654297, 0.014389991760253906, 0.015154361724853516, 0.015918731689453125, 0.016683101654052734, 0.017447471618652344, 0.018211841583251953, 0.018976211547851562, 0.019740581512451172, 0.02050495147705078, 0.02126932144165039, 0.02203369140625]}, "gradients/decoder.transformer.h.5.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0, 9.0, 8.0, 15.0, 17.0, 31.0, 59.0, 110.0, 156.0, 291.0, 522.0, 967.0, 1781.0, 3689.0, 7861.0, 18517.0, 45617.0, 129097.0, 454807.0, 1847959.0, 1241308.0, 291650.0, 90179.0, 33654.0, 13678.0, 6163.0, 2935.0, 1427.0, 761.0, 401.0, 261.0, 146.0, 79.0, 59.0, 35.0, 20.0, 7.0, 8.0, 3.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.040313720703125, -0.03891563415527344, -0.037517547607421875, -0.03611946105957031, -0.03472137451171875, -0.03332328796386719, -0.031925201416015625, -0.030527114868164062, -0.0291290283203125, -0.027730941772460938, -0.026332855224609375, -0.024934768676757812, -0.02353668212890625, -0.022138595581054688, -0.020740509033203125, -0.019342422485351562, -0.0179443359375, -0.016546249389648438, -0.015148162841796875, -0.013750076293945312, -0.01235198974609375, -0.010953903198242188, -0.009555816650390625, -0.008157730102539062, -0.0067596435546875, -0.0053615570068359375, -0.003963470458984375, -0.0025653839111328125, -0.00116729736328125, 0.0002307891845703125, 0.001628875732421875, 0.0030269622802734375, 0.004425048828125, 0.0058231353759765625, 0.007221221923828125, 0.008619308471679688, 0.01001739501953125, 0.011415481567382812, 0.012813568115234375, 0.014211654663085938, 0.0156097412109375, 0.017007827758789062, 0.018405914306640625, 0.019804000854492188, 0.02120208740234375, 0.022600173950195312, 0.023998260498046875, 0.025396347045898438, 0.02679443359375, 0.028192520141601562, 0.029590606689453125, 0.030988693237304688, 0.03238677978515625, 0.03378486633300781, 0.035182952880859375, 0.03658103942871094, 0.0379791259765625, 0.03937721252441406, 0.040775299072265625, 0.04217338562011719, 0.04357147216796875, 0.04496955871582031, 0.046367645263671875, 0.04776573181152344, 0.049163818359375]}, "gradients/decoder.transformer.h.5.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 5.0, 6.0, 6.0, 7.0, 15.0, 17.0, 22.0, 35.0, 39.0, 50.0, 91.0, 123.0, 146.0, 191.0, 275.0, 383.0, 464.0, 544.0, 402.0, 339.0, 234.0, 186.0, 143.0, 94.0, 79.0, 47.0, 28.0, 22.0, 21.0, 17.0, 15.0, 9.0, 8.0, 6.0, 5.0, 5.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.042449951171875, -0.0410008430480957, -0.039551734924316406, -0.03810262680053711, -0.03665351867675781, -0.035204410552978516, -0.03375530242919922, -0.03230619430541992, -0.030857086181640625, -0.029407978057861328, -0.02795886993408203, -0.026509761810302734, -0.025060653686523438, -0.02361154556274414, -0.022162437438964844, -0.020713329315185547, -0.01926422119140625, -0.017815113067626953, -0.016366004943847656, -0.01491689682006836, -0.013467788696289062, -0.012018680572509766, -0.010569572448730469, -0.009120464324951172, -0.007671356201171875, -0.006222248077392578, -0.004773139953613281, -0.0033240318298339844, -0.0018749237060546875, -0.0004258155822753906, 0.0010232925415039062, 0.002472400665283203, 0.0039215087890625, 0.005370616912841797, 0.006819725036621094, 0.00826883316040039, 0.009717941284179688, 0.011167049407958984, 0.012616157531738281, 0.014065265655517578, 0.015514373779296875, 0.016963481903076172, 0.01841259002685547, 0.019861698150634766, 0.021310806274414062, 0.02275991439819336, 0.024209022521972656, 0.025658130645751953, 0.02710723876953125, 0.028556346893310547, 0.030005455017089844, 0.03145456314086914, 0.03290367126464844, 0.034352779388427734, 0.03580188751220703, 0.03725099563598633, 0.038700103759765625, 0.04014921188354492, 0.04159832000732422, 0.043047428131103516, 0.04449653625488281, 0.04594564437866211, 0.047394752502441406, 0.0488438606262207, 0.05029296875]}, "gradients/decoder.transformer.h.5.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 4.0, 3.0, 4.0, 7.0, 3.0, 9.0, 6.0, 13.0, 19.0, 40.0, 25.0, 52.0, 73.0, 111.0, 184.0, 294.0, 623.0, 1417.0, 4554.0, 19722.0, 126856.0, 1397892.0, 2401027.0, 203245.0, 28815.0, 5953.0, 1669.0, 711.0, 342.0, 203.0, 134.0, 75.0, 63.0, 35.0, 35.0, 19.0, 14.0, 10.0, 4.0, 5.0, 7.0, 5.0, 2.0, 4.0, 1.0, 3.0, 0.0, 3.0, 0.0, 0.0, 2.0, 1.0], "bins": [-0.10809326171875, -0.10492420196533203, -0.10175514221191406, -0.0985860824584961, -0.09541702270507812, -0.09224796295166016, -0.08907890319824219, -0.08590984344482422, -0.08274078369140625, -0.07957172393798828, -0.07640266418457031, -0.07323360443115234, -0.07006454467773438, -0.0668954849243164, -0.06372642517089844, -0.06055736541748047, -0.0573883056640625, -0.05421924591064453, -0.05105018615722656, -0.047881126403808594, -0.044712066650390625, -0.041543006896972656, -0.03837394714355469, -0.03520488739013672, -0.03203582763671875, -0.02886676788330078, -0.025697708129882812, -0.022528648376464844, -0.019359588623046875, -0.016190528869628906, -0.013021469116210938, -0.009852409362792969, -0.006683349609375, -0.0035142898559570312, -0.0003452301025390625, 0.0028238296508789062, 0.005992889404296875, 0.009161949157714844, 0.012331008911132812, 0.015500068664550781, 0.01866912841796875, 0.02183818817138672, 0.025007247924804688, 0.028176307678222656, 0.031345367431640625, 0.034514427185058594, 0.03768348693847656, 0.04085254669189453, 0.0440216064453125, 0.04719066619873047, 0.05035972595214844, 0.053528785705566406, 0.056697845458984375, 0.059866905212402344, 0.06303596496582031, 0.06620502471923828, 0.06937408447265625, 0.07254314422607422, 0.07571220397949219, 0.07888126373291016, 0.08205032348632812, 0.0852193832397461, 0.08838844299316406, 0.09155750274658203, 0.0947265625]}, "gradients/decoder.transformer.h.5.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 1.0, 6.0, 60.0, 245.0, 405.0, 221.0, 64.0, 11.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22657698392868042, -0.19978097081184387, -0.17298495769500732, -0.14618895947933197, -0.11939294636249542, -0.09259693324565887, -0.06580093502998352, -0.03900492191314697, -0.012208908796310425, 0.014587100595235825, 0.041383109986782074, 0.06817911565303802, 0.09497512876987457, 0.12177114188671112, 0.14856714010238647, 0.17536315321922302, 0.20215916633605957, 0.22895517945289612, 0.25575119256973267, 0.2825471758842468, 0.30934321880340576, 0.3361392021179199, 0.36293521523475647, 0.389731228351593, 0.41652724146842957, 0.4433232545852661, 0.47011926770210266, 0.4969152808189392, 0.5237112641334534, 0.5505073070526123, 0.5773032903671265, 0.6040992736816406, 0.6308952569961548, 0.657691240310669, 0.6844872832298279, 0.711283266544342, 0.738079309463501, 0.7648752927780151, 0.7916712760925293, 0.8184673190116882, 0.8452633619308472, 0.8720593452453613, 0.8988553881645203, 0.9256513714790344, 0.9524474143981934, 0.9792433977127075, 1.0060393810272217, 1.0328354835510254, 1.05963134765625, 1.0864273309707642, 1.1132233142852783, 1.140019416809082, 1.1668154001235962, 1.1936113834381104, 1.2204073667526245, 1.2472033500671387, 1.2739994525909424, 1.3007954359054565, 1.3275914192199707, 1.3543875217437744, 1.3811835050582886, 1.4079794883728027, 1.434775471687317, 1.461571455001831, 1.4883675575256348]}, "gradients/decoder.transformer.h.5.ln_2.bias": {"_type": "histogram", "values": [4.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 1.0, 3.0, 9.0, 5.0, 14.0, 4.0, 12.0, 10.0, 15.0, 6.0, 18.0, 20.0, 18.0, 22.0, 33.0, 27.0, 31.0, 22.0, 35.0, 38.0, 32.0, 24.0, 46.0, 32.0, 39.0, 33.0, 38.0, 46.0, 42.0, 42.0, 26.0, 24.0, 20.0, 19.0, 17.0, 27.0, 21.0, 22.0, 14.0, 16.0, 17.0, 10.0, 18.0, 9.0, 3.0, 5.0, 6.0, 4.0, 2.0, 3.0, 5.0, 4.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.13790136575698853, -0.13348595798015594, -0.12907053530216217, -0.12465512752532959, -0.12023971974849701, -0.11582430452108383, -0.11140888929367065, -0.10699348151683807, -0.1025780662894249, -0.09816265106201172, -0.09374724328517914, -0.08933182805776596, -0.08491641283035278, -0.0805010050535202, -0.07608558982610703, -0.07167017459869385, -0.06725476682186127, -0.06283935159444809, -0.05842394381761551, -0.05400852859020233, -0.04959311708807945, -0.045177705585956573, -0.040762290358543396, -0.03634687885642052, -0.03193146735429764, -0.02751605585217476, -0.02310064248740673, -0.018685229122638702, -0.014269817620515823, -0.009854406118392944, -0.005438992753624916, -0.0010235793888568878, 0.003391832113265991, 0.007807244546711445, 0.012222656980156898, 0.016638070344924927, 0.021053481847047806, 0.025468893349170685, 0.029884306713938713, 0.03429972007870674, 0.03871513158082962, 0.0431305430829525, 0.04754595458507538, 0.051961369812488556, 0.056376781314611435, 0.060792192816734314, 0.06520760804414749, 0.06962302327156067, 0.07403843104839325, 0.07845384627580643, 0.08286925405263901, 0.08728466928005219, 0.09170007705688477, 0.09611549228429794, 0.10053090751171112, 0.1049463152885437, 0.10936173051595688, 0.11377714574337006, 0.11819255352020264, 0.12260796874761581, 0.127023383975029, 0.13143879175186157, 0.13585419952869415, 0.14026962220668793, 0.1446850299835205]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 6.0, 10.0, 3.0, 2.0, 7.0, 10.0, 9.0, 13.0, 20.0, 11.0, 16.0, 27.0, 33.0, 23.0, 27.0, 29.0, 26.0, 40.0, 37.0, 40.0, 37.0, 35.0, 46.0, 37.0, 35.0, 46.0, 29.0, 34.0, 38.0, 28.0, 22.0, 34.0, 24.0, 24.0, 23.0, 17.0, 17.0, 18.0, 11.0, 11.0, 16.0, 8.0, 7.0, 5.0, 5.0, 2.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0265045166015625, -0.025723934173583984, -0.02494335174560547, -0.024162769317626953, -0.023382186889648438, -0.022601604461669922, -0.021821022033691406, -0.02104043960571289, -0.020259857177734375, -0.01947927474975586, -0.018698692321777344, -0.017918109893798828, -0.017137527465820312, -0.016356945037841797, -0.015576362609863281, -0.014795780181884766, -0.01401519775390625, -0.013234615325927734, -0.012454032897949219, -0.011673450469970703, -0.010892868041992188, -0.010112285614013672, -0.009331703186035156, -0.00855112075805664, -0.007770538330078125, -0.006989955902099609, -0.006209373474121094, -0.005428791046142578, -0.0046482086181640625, -0.003867626190185547, -0.0030870437622070312, -0.0023064613342285156, -0.00152587890625, -0.0007452964782714844, 3.528594970703125e-05, 0.0008158683776855469, 0.0015964508056640625, 0.002377033233642578, 0.0031576156616210938, 0.003938198089599609, 0.004718780517578125, 0.005499362945556641, 0.006279945373535156, 0.007060527801513672, 0.007841110229492188, 0.008621692657470703, 0.009402275085449219, 0.010182857513427734, 0.01096343994140625, 0.011744022369384766, 0.012524604797363281, 0.013305187225341797, 0.014085769653320312, 0.014866352081298828, 0.015646934509277344, 0.01642751693725586, 0.017208099365234375, 0.01798868179321289, 0.018769264221191406, 0.019549846649169922, 0.020330429077148438, 0.021111011505126953, 0.02189159393310547, 0.022672176361083984, 0.0234527587890625]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 3.0, 8.0, 19.0, 17.0, 32.0, 51.0, 53.0, 84.0, 125.0, 201.0, 268.0, 417.0, 559.0, 823.0, 1102.0, 1701.0, 2348.0, 3513.0, 4941.0, 7418.0, 10956.0, 16042.0, 25143.0, 38528.0, 62032.0, 106800.0, 264531.0, 229524.0, 100553.0, 60482.0, 36969.0, 24032.0, 15573.0, 10557.0, 7204.0, 4853.0, 3441.0, 2310.0, 1685.0, 1135.0, 819.0, 540.0, 378.0, 258.0, 184.0, 133.0, 79.0, 51.0, 34.0, 19.0, 14.0, 12.0, 6.0, 3.0, 2.0, 1.0, 2.0], "bins": [-0.00014460086822509766, -0.0001403428614139557, -0.00013608485460281372, -0.00013182684779167175, -0.00012756884098052979, -0.00012331083416938782, -0.00011905282735824585, -0.00011479482054710388, -0.00011053681373596191, -0.00010627880692481995, -0.00010202080011367798, -9.776279330253601e-05, -9.350478649139404e-05, -8.924677968025208e-05, -8.498877286911011e-05, -8.073076605796814e-05, -7.647275924682617e-05, -7.22147524356842e-05, -6.795674562454224e-05, -6.369873881340027e-05, -5.94407320022583e-05, -5.518272519111633e-05, -5.0924718379974365e-05, -4.66667115688324e-05, -4.240870475769043e-05, -3.815069794654846e-05, -3.3892691135406494e-05, -2.9634684324264526e-05, -2.537667751312256e-05, -2.111867070198059e-05, -1.6860663890838623e-05, -1.2602657079696655e-05, -8.344650268554688e-06, -4.08664345741272e-06, 1.7136335372924805e-07, 4.429370164871216e-06, 8.687376976013184e-06, 1.2945383787155151e-05, 1.720339059829712e-05, 2.1461397409439087e-05, 2.5719404220581055e-05, 2.9977411031723022e-05, 3.423541784286499e-05, 3.849342465400696e-05, 4.2751431465148926e-05, 4.7009438276290894e-05, 5.126744508743286e-05, 5.552545189857483e-05, 5.97834587097168e-05, 6.404146552085876e-05, 6.829947233200073e-05, 7.25574791431427e-05, 7.681548595428467e-05, 8.107349276542664e-05, 8.53314995765686e-05, 8.958950638771057e-05, 9.384751319885254e-05, 9.810552000999451e-05, 0.00010236352682113647, 0.00010662153363227844, 0.00011087954044342041, 0.00011513754725456238, 0.00011939555406570435, 0.0001236535608768463, 0.00012791156768798828]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 1.0, 4.0, 5.0, 11.0, 11.0, 7.0, 11.0, 10.0, 18.0, 17.0, 22.0, 27.0, 28.0, 29.0, 26.0, 42.0, 45.0, 33.0, 45.0, 44.0, 42.0, 36.0, 1071.0, 46.0, 43.0, 51.0, 28.0, 36.0, 24.0, 24.0, 24.0, 29.0, 26.0, 21.0, 16.0, 17.0, 10.0, 7.0, 11.0, 6.0, 6.0, 7.0, 3.0, 3.0, 6.0, 3.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.027862548828125, -0.02709174156188965, -0.026320934295654297, -0.025550127029418945, -0.024779319763183594, -0.024008512496948242, -0.02323770523071289, -0.02246689796447754, -0.021696090698242188, -0.020925283432006836, -0.020154476165771484, -0.019383668899536133, -0.01861286163330078, -0.01784205436706543, -0.017071247100830078, -0.016300439834594727, -0.015529632568359375, -0.014758825302124023, -0.013988018035888672, -0.01321721076965332, -0.012446403503417969, -0.011675596237182617, -0.010904788970947266, -0.010133981704711914, -0.009363174438476562, -0.008592367172241211, -0.00782155990600586, -0.007050752639770508, -0.006279945373535156, -0.005509138107299805, -0.004738330841064453, -0.0039675235748291016, -0.00319671630859375, -0.0024259090423583984, -0.0016551017761230469, -0.0008842945098876953, -0.00011348724365234375, 0.0006573200225830078, 0.0014281272888183594, 0.002198934555053711, 0.0029697418212890625, 0.003740549087524414, 0.004511356353759766, 0.005282163619995117, 0.006052970886230469, 0.00682377815246582, 0.007594585418701172, 0.008365392684936523, 0.009136199951171875, 0.009907007217407227, 0.010677814483642578, 0.01144862174987793, 0.012219429016113281, 0.012990236282348633, 0.013761043548583984, 0.014531850814819336, 0.015302658081054688, 0.01607346534729004, 0.01684427261352539, 0.017615079879760742, 0.018385887145996094, 0.019156694412231445, 0.019927501678466797, 0.02069830894470215, 0.0214691162109375]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.weight": {"_type": "histogram", "values": [3.0, 2.0, 2.0, 3.0, 2.0, 5.0, 2.0, 6.0, 11.0, 8.0, 6.0, 9.0, 13.0, 15.0, 20.0, 19.0, 26.0, 31.0, 24.0, 35.0, 41.0, 83.0, 240.0, 658.0, 2856.0, 22402.0, 2061622.0, 6601.0, 1436.0, 437.0, 167.0, 59.0, 52.0, 39.0, 30.0, 26.0, 26.0, 25.0, 13.0, 23.0, 13.0, 8.0, 11.0, 12.0, 6.0, 8.0, 3.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0563602447509766e-05, -1.9781291484832764e-05, -1.8998980522155762e-05, -1.821666955947876e-05, -1.7434358596801758e-05, -1.6652047634124756e-05, -1.5869736671447754e-05, -1.5087425708770752e-05, -1.430511474609375e-05, -1.3522803783416748e-05, -1.2740492820739746e-05, -1.1958181858062744e-05, -1.1175870895385742e-05, -1.039355993270874e-05, -9.611248970031738e-06, -8.828938007354736e-06, -8.046627044677734e-06, -7.264316082000732e-06, -6.4820051193237305e-06, -5.6996941566467285e-06, -4.9173831939697266e-06, -4.135072231292725e-06, -3.3527612686157227e-06, -2.5704503059387207e-06, -1.7881393432617188e-06, -1.0058283805847168e-06, -2.2351741790771484e-07, 5.587935447692871e-07, 1.341104507446289e-06, 2.123415470123291e-06, 2.905726432800293e-06, 3.688037395477295e-06, 4.470348358154297e-06, 5.252659320831299e-06, 6.034970283508301e-06, 6.817281246185303e-06, 7.599592208862305e-06, 8.381903171539307e-06, 9.164214134216309e-06, 9.94652509689331e-06, 1.0728836059570312e-05, 1.1511147022247314e-05, 1.2293457984924316e-05, 1.3075768947601318e-05, 1.385807991027832e-05, 1.4640390872955322e-05, 1.5422701835632324e-05, 1.6205012798309326e-05, 1.6987323760986328e-05, 1.776963472366333e-05, 1.8551945686340332e-05, 1.9334256649017334e-05, 2.0116567611694336e-05, 2.0898878574371338e-05, 2.168118953704834e-05, 2.2463500499725342e-05, 2.3245811462402344e-05, 2.4028122425079346e-05, 2.4810433387756348e-05, 2.559274435043335e-05, 2.637505531311035e-05, 2.7157366275787354e-05, 2.7939677238464355e-05, 2.8721988201141357e-05, 2.950429916381836e-05]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 6.0, 10.0, 3.0, 2.0, 7.0, 10.0, 9.0, 13.0, 20.0, 11.0, 16.0, 27.0, 33.0, 23.0, 27.0, 29.0, 26.0, 40.0, 37.0, 40.0, 37.0, 35.0, 46.0, 37.0, 35.0, 46.0, 29.0, 34.0, 38.0, 28.0, 22.0, 34.0, 24.0, 24.0, 23.0, 17.0, 17.0, 18.0, 11.0, 11.0, 16.0, 8.0, 7.0, 5.0, 5.0, 2.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0265045166015625, -0.025723934173583984, -0.02494335174560547, -0.024162769317626953, -0.023382186889648438, -0.022601604461669922, -0.021821022033691406, -0.02104043960571289, -0.020259857177734375, -0.01947927474975586, -0.018698692321777344, -0.017918109893798828, -0.017137527465820312, -0.016356945037841797, -0.015576362609863281, -0.014795780181884766, -0.01401519775390625, -0.013234615325927734, -0.012454032897949219, -0.011673450469970703, -0.010892868041992188, -0.010112285614013672, -0.009331703186035156, -0.00855112075805664, -0.007770538330078125, -0.006989955902099609, -0.006209373474121094, -0.005428791046142578, -0.0046482086181640625, -0.003867626190185547, -0.0030870437622070312, -0.0023064613342285156, -0.00152587890625, -0.0007452964782714844, 3.528594970703125e-05, 0.0008158683776855469, 0.0015964508056640625, 0.002377033233642578, 0.0031576156616210938, 0.003938198089599609, 0.004718780517578125, 0.005499362945556641, 0.006279945373535156, 0.007060527801513672, 0.007841110229492188, 0.008621692657470703, 0.009402275085449219, 0.010182857513427734, 0.01096343994140625, 0.011744022369384766, 0.012524604797363281, 0.013305187225341797, 0.014085769653320312, 0.014866352081298828, 0.015646934509277344, 0.01642751693725586, 0.017208099365234375, 0.01798868179321289, 0.018769264221191406, 0.019549846649169922, 0.020330429077148438, 0.021111011505126953, 0.02189159393310547, 0.022672176361083984, 0.0234527587890625]}, "gradients/decoder.transformer.h.5.attn.c_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 1.0, 2.0, 2.0, 6.0, 11.0, 13.0, 18.0, 30.0, 34.0, 72.0, 97.0, 123.0, 214.0, 299.0, 466.0, 620.0, 1031.0, 1571.0, 2240.0, 3440.0, 5134.0, 7475.0, 11314.0, 16394.0, 23829.0, 35039.0, 53012.0, 84731.0, 140301.0, 201594.0, 166968.0, 102501.0, 62873.0, 40675.0, 27676.0, 18894.0, 12881.0, 8838.0, 6037.0, 4027.0, 2647.0, 1842.0, 1164.0, 809.0, 504.0, 365.0, 272.0, 160.0, 109.0, 79.0, 46.0, 25.0, 23.0, 11.0, 12.0, 7.0, 5.0, 6.0, 0.0, 1.0, 1.0], "bins": [-0.0303192138671875, -0.029391765594482422, -0.028464317321777344, -0.027536869049072266, -0.026609420776367188, -0.02568197250366211, -0.02475452423095703, -0.023827075958251953, -0.022899627685546875, -0.021972179412841797, -0.02104473114013672, -0.02011728286743164, -0.019189834594726562, -0.018262386322021484, -0.017334938049316406, -0.016407489776611328, -0.01548004150390625, -0.014552593231201172, -0.013625144958496094, -0.012697696685791016, -0.011770248413085938, -0.01084280014038086, -0.009915351867675781, -0.008987903594970703, -0.008060455322265625, -0.007133007049560547, -0.006205558776855469, -0.005278110504150391, -0.0043506622314453125, -0.0034232139587402344, -0.0024957656860351562, -0.0015683174133300781, -0.000640869140625, 0.0002865791320800781, 0.0012140274047851562, 0.0021414756774902344, 0.0030689239501953125, 0.003996372222900391, 0.004923820495605469, 0.005851268768310547, 0.006778717041015625, 0.007706165313720703, 0.008633613586425781, 0.00956106185913086, 0.010488510131835938, 0.011415958404541016, 0.012343406677246094, 0.013270854949951172, 0.01419830322265625, 0.015125751495361328, 0.016053199768066406, 0.016980648040771484, 0.017908096313476562, 0.01883554458618164, 0.01976299285888672, 0.020690441131591797, 0.021617889404296875, 0.022545337677001953, 0.02347278594970703, 0.02440023422241211, 0.025327682495117188, 0.026255130767822266, 0.027182579040527344, 0.028110027313232422, 0.0290374755859375]}, "gradients/decoder.transformer.h.5.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 4.0, 3.0, 7.0, 6.0, 4.0, 5.0, 2.0, 6.0, 18.0, 14.0, 21.0, 20.0, 26.0, 26.0, 27.0, 43.0, 33.0, 43.0, 61.0, 83.0, 136.0, 210.0, 1368.0, 252.0, 140.0, 88.0, 68.0, 52.0, 48.0, 29.0, 29.0, 35.0, 29.0, 18.0, 22.0, 14.0, 15.0, 6.0, 11.0, 8.0, 9.0, 6.0, 5.0, 4.0, 5.0, 3.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.1016845703125, -0.09891510009765625, -0.0961456298828125, -0.09337615966796875, -0.090606689453125, -0.08783721923828125, -0.0850677490234375, -0.08229827880859375, -0.07952880859375, -0.07675933837890625, -0.0739898681640625, -0.07122039794921875, -0.068450927734375, -0.06568145751953125, -0.0629119873046875, -0.06014251708984375, -0.057373046875, -0.05460357666015625, -0.0518341064453125, -0.04906463623046875, -0.046295166015625, -0.04352569580078125, -0.0407562255859375, -0.03798675537109375, -0.03521728515625, -0.03244781494140625, -0.0296783447265625, -0.02690887451171875, -0.024139404296875, -0.02136993408203125, -0.0186004638671875, -0.01583099365234375, -0.0130615234375, -0.01029205322265625, -0.0075225830078125, -0.00475311279296875, -0.001983642578125, 0.00078582763671875, 0.0035552978515625, 0.00632476806640625, 0.00909423828125, 0.01186370849609375, 0.0146331787109375, 0.01740264892578125, 0.020172119140625, 0.02294158935546875, 0.0257110595703125, 0.02848052978515625, 0.03125, 0.03401947021484375, 0.0367889404296875, 0.03955841064453125, 0.042327880859375, 0.04509735107421875, 0.0478668212890625, 0.05063629150390625, 0.05340576171875, 0.05617523193359375, 0.0589447021484375, 0.06171417236328125, 0.064483642578125, 0.06725311279296875, 0.0700225830078125, 0.07279205322265625, 0.0755615234375]}, "gradients/decoder.transformer.h.5.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 3.0, 1.0, 9.0, 3.0, 6.0, 8.0, 11.0, 12.0, 14.0, 11.0, 8.0, 33.0, 29.0, 52.0, 57.0, 65.0, 98.0, 124.0, 212.0, 388.0, 873.0, 2234.0, 5599.0, 15279.0, 41457.0, 132485.0, 660485.0, 1819691.0, 336801.0, 83427.0, 28587.0, 10457.0, 3995.0, 1566.0, 670.0, 308.0, 183.0, 98.0, 80.0, 75.0, 37.0, 42.0, 29.0, 25.0, 16.0, 14.0, 15.0, 16.0, 10.0, 7.0, 3.0, 8.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.06280517578125, -0.060799598693847656, -0.05879402160644531, -0.05678844451904297, -0.054782867431640625, -0.05277729034423828, -0.05077171325683594, -0.048766136169433594, -0.04676055908203125, -0.044754981994628906, -0.04274940490722656, -0.04074382781982422, -0.038738250732421875, -0.03673267364501953, -0.03472709655761719, -0.032721519470214844, -0.0307159423828125, -0.028710365295410156, -0.026704788208007812, -0.02469921112060547, -0.022693634033203125, -0.02068805694580078, -0.018682479858398438, -0.016676902770996094, -0.01467132568359375, -0.012665748596191406, -0.010660171508789062, -0.008654594421386719, -0.006649017333984375, -0.004643440246582031, -0.0026378631591796875, -0.0006322860717773438, 0.001373291015625, 0.0033788681030273438, 0.0053844451904296875, 0.007390022277832031, 0.009395599365234375, 0.011401176452636719, 0.013406753540039062, 0.015412330627441406, 0.01741790771484375, 0.019423484802246094, 0.021429061889648438, 0.02343463897705078, 0.025440216064453125, 0.02744579315185547, 0.029451370239257812, 0.031456947326660156, 0.0334625244140625, 0.035468101501464844, 0.03747367858886719, 0.03947925567626953, 0.041484832763671875, 0.04349040985107422, 0.04549598693847656, 0.047501564025878906, 0.04950714111328125, 0.051512718200683594, 0.05351829528808594, 0.05552387237548828, 0.057529449462890625, 0.05953502655029297, 0.06154060363769531, 0.06354618072509766, 0.0655517578125]}, "gradients/decoder.transformer.h.5.ln_1.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 2.0, 4.0, 6.0, 13.0, 18.0, 18.0, 35.0, 43.0, 56.0, 54.0, 75.0, 93.0, 75.0, 81.0, 82.0, 61.0, 79.0, 49.0, 41.0, 40.0, 29.0, 21.0, 13.0, 6.0, 6.0, 5.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0825200155377388, -0.07754945009946823, -0.07257888466119766, -0.0676083192229271, -0.06263776123523712, -0.057667192071676254, -0.052696630358695984, -0.047726064920425415, -0.042755499482154846, -0.03778493404388428, -0.03281436860561371, -0.027843806892633438, -0.02287324145436287, -0.0179026760160923, -0.01293211244046688, -0.007961548864841461, -0.0029909834265708923, 0.001979581080377102, 0.006950145587325096, 0.01192071009427309, 0.016891274601221085, 0.021861840039491653, 0.026832403615117073, 0.03180296719074249, 0.03677353262901306, 0.04174409806728363, 0.0467146635055542, 0.05168522521853447, 0.05665579065680504, 0.06162635609507561, 0.06659691780805588, 0.07156748324632645, 0.07653805613517761, 0.08150862157344818, 0.08647918701171875, 0.09144975244998932, 0.09642031788825989, 0.10139088332653046, 0.10636144131422043, 0.111332006752491, 0.11630257219076157, 0.12127313762903214, 0.1262436956167221, 0.13121426105499268, 0.13618482649326324, 0.1411553919315338, 0.14612595736980438, 0.15109652280807495, 0.15606708824634552, 0.1610376536846161, 0.16600821912288666, 0.17097878456115723, 0.1759493499994278, 0.18091991543769836, 0.18589048087596893, 0.1908610463142395, 0.19583159685134888, 0.20080216228961945, 0.20577272772789001, 0.21074329316616058, 0.21571385860443115, 0.22068442404270172, 0.2256549894809723, 0.23062554001808167, 0.23559612035751343]}, "gradients/decoder.transformer.h.5.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 4.0, 3.0, 1.0, 6.0, 0.0, 8.0, 6.0, 8.0, 14.0, 16.0, 15.0, 18.0, 26.0, 19.0, 23.0, 21.0, 31.0, 26.0, 30.0, 30.0, 40.0, 42.0, 48.0, 44.0, 55.0, 47.0, 37.0, 42.0, 44.0, 32.0, 35.0, 29.0, 25.0, 37.0, 22.0, 33.0, 20.0, 13.0, 21.0, 12.0, 8.0, 6.0, 1.0, 4.0, 2.0, 3.0, 1.0, 3.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2677449584007263, -0.2597086727619171, -0.2516723871231079, -0.2436361163854599, -0.2355998307466507, -0.22756356000900269, -0.21952727437019348, -0.21149098873138428, -0.20345470309257507, -0.19541841745376587, -0.18738214671611786, -0.17934586107730865, -0.17130957543849945, -0.16327330470085144, -0.15523701906204224, -0.14720073342323303, -0.13916446268558502, -0.13112817704677582, -0.12309189885854721, -0.1150556206703186, -0.1070193350315094, -0.09898305684328079, -0.09094677865505219, -0.08291049301624298, -0.07487421482801437, -0.06683793663978577, -0.05880165100097656, -0.050765372812747955, -0.04272909089922905, -0.034692808985710144, -0.026656530797481537, -0.01862024888396263, -0.010583966970443726, -0.0025476859882473946, 0.0054885949939489365, 0.013524875044822693, 0.0215611569583416, 0.029597438871860504, 0.03763371706008911, 0.04566999897360802, 0.05370628088712692, 0.06174256280064583, 0.06977884471416473, 0.07781512290239334, 0.08585140109062195, 0.09388768672943115, 0.10192396491765976, 0.10996024310588837, 0.11799652874469757, 0.12603281438350677, 0.13406908512115479, 0.142105370759964, 0.1501416563987732, 0.1581779420375824, 0.1662142127752304, 0.1742504984140396, 0.18228676915168762, 0.19032305479049683, 0.19835932552814484, 0.20639561116695404, 0.21443189680576324, 0.22246816754341125, 0.23050445318222046, 0.23854073882102966, 0.24657702445983887]}, "gradients/decoder.transformer.h.4.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 5.0, 2.0, 1.0, 1.0, 6.0, 5.0, 5.0, 6.0, 9.0, 8.0, 9.0, 11.0, 14.0, 21.0, 8.0, 17.0, 21.0, 29.0, 25.0, 31.0, 25.0, 35.0, 36.0, 31.0, 36.0, 36.0, 41.0, 35.0, 38.0, 50.0, 41.0, 34.0, 37.0, 39.0, 32.0, 35.0, 18.0, 23.0, 16.0, 24.0, 19.0, 18.0, 8.0, 20.0, 14.0, 7.0, 6.0, 6.0, 5.0, 4.0, 5.0, 4.0, 2.0, 3.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0269317626953125, -0.026131153106689453, -0.025330543518066406, -0.02452993392944336, -0.023729324340820312, -0.022928714752197266, -0.02212810516357422, -0.021327495574951172, -0.020526885986328125, -0.019726276397705078, -0.01892566680908203, -0.018125057220458984, -0.017324447631835938, -0.01652383804321289, -0.015723228454589844, -0.014922618865966797, -0.01412200927734375, -0.013321399688720703, -0.012520790100097656, -0.01172018051147461, -0.010919570922851562, -0.010118961334228516, -0.009318351745605469, -0.008517742156982422, -0.007717132568359375, -0.006916522979736328, -0.006115913391113281, -0.005315303802490234, -0.0045146942138671875, -0.0037140846252441406, -0.0029134750366210938, -0.002112865447998047, -0.001312255859375, -0.0005116462707519531, 0.00028896331787109375, 0.0010895729064941406, 0.0018901824951171875, 0.0026907920837402344, 0.0034914016723632812, 0.004292011260986328, 0.005092620849609375, 0.005893230438232422, 0.006693840026855469, 0.007494449615478516, 0.008295059204101562, 0.00909566879272461, 0.009896278381347656, 0.010696887969970703, 0.01149749755859375, 0.012298107147216797, 0.013098716735839844, 0.01389932632446289, 0.014699935913085938, 0.015500545501708984, 0.01630115509033203, 0.017101764678955078, 0.017902374267578125, 0.018702983856201172, 0.01950359344482422, 0.020304203033447266, 0.021104812622070312, 0.02190542221069336, 0.022706031799316406, 0.023506641387939453, 0.0243072509765625]}, "gradients/decoder.transformer.h.4.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 8.0, 7.0, 10.0, 17.0, 30.0, 49.0, 77.0, 146.0, 380.0, 1507.0, 7366.0, 62427.0, 1915765.0, 2129795.0, 66744.0, 7762.0, 1390.0, 410.0, 174.0, 86.0, 55.0, 30.0, 11.0, 11.0, 8.0, 6.0, 1.0, 1.0, 5.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11126708984375, -0.1071481704711914, -0.10302925109863281, -0.09891033172607422, -0.09479141235351562, -0.09067249298095703, -0.08655357360839844, -0.08243465423583984, -0.07831573486328125, -0.07419681549072266, -0.07007789611816406, -0.06595897674560547, -0.061840057373046875, -0.05772113800048828, -0.05360221862792969, -0.049483299255371094, -0.0453643798828125, -0.041245460510253906, -0.03712654113769531, -0.03300762176513672, -0.028888702392578125, -0.02476978302001953, -0.020650863647460938, -0.016531944274902344, -0.01241302490234375, -0.008294105529785156, -0.0041751861572265625, -5.626678466796875e-05, 0.004062652587890625, 0.008181571960449219, 0.012300491333007812, 0.016419410705566406, 0.020538330078125, 0.024657249450683594, 0.028776168823242188, 0.03289508819580078, 0.037014007568359375, 0.04113292694091797, 0.04525184631347656, 0.049370765686035156, 0.05348968505859375, 0.057608604431152344, 0.06172752380371094, 0.06584644317626953, 0.06996536254882812, 0.07408428192138672, 0.07820320129394531, 0.0823221206665039, 0.0864410400390625, 0.0905599594116211, 0.09467887878417969, 0.09879779815673828, 0.10291671752929688, 0.10703563690185547, 0.11115455627441406, 0.11527347564697266, 0.11939239501953125, 0.12351131439208984, 0.12763023376464844, 0.13174915313720703, 0.13586807250976562, 0.13998699188232422, 0.1441059112548828, 0.1482248306274414, 0.15234375]}, "gradients/decoder.transformer.h.4.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 3.0, 2.0, 3.0, 3.0, 4.0, 4.0, 5.0, 8.0, 5.0, 15.0, 13.0, 27.0, 23.0, 33.0, 37.0, 64.0, 90.0, 105.0, 137.0, 179.0, 248.0, 320.0, 397.0, 479.0, 415.0, 344.0, 253.0, 205.0, 152.0, 120.0, 95.0, 74.0, 46.0, 52.0, 28.0, 22.0, 19.0, 16.0, 8.0, 10.0, 8.0, 4.0, 2.0, 1.0, 4.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.033782958984375, -0.0325164794921875, -0.03125, -0.0299835205078125, -0.028717041015625, -0.0274505615234375, -0.02618408203125, -0.0249176025390625, -0.023651123046875, -0.0223846435546875, -0.0211181640625, -0.0198516845703125, -0.018585205078125, -0.0173187255859375, -0.01605224609375, -0.0147857666015625, -0.013519287109375, -0.0122528076171875, -0.010986328125, -0.0097198486328125, -0.008453369140625, -0.0071868896484375, -0.00592041015625, -0.0046539306640625, -0.003387451171875, -0.0021209716796875, -0.0008544921875, 0.0004119873046875, 0.001678466796875, 0.0029449462890625, 0.00421142578125, 0.0054779052734375, 0.006744384765625, 0.0080108642578125, 0.00927734375, 0.0105438232421875, 0.011810302734375, 0.0130767822265625, 0.01434326171875, 0.0156097412109375, 0.016876220703125, 0.0181427001953125, 0.0194091796875, 0.0206756591796875, 0.021942138671875, 0.0232086181640625, 0.02447509765625, 0.0257415771484375, 0.027008056640625, 0.0282745361328125, 0.029541015625, 0.0308074951171875, 0.032073974609375, 0.0333404541015625, 0.03460693359375, 0.0358734130859375, 0.037139892578125, 0.0384063720703125, 0.0396728515625, 0.0409393310546875, 0.042205810546875, 0.0434722900390625, 0.04473876953125, 0.0460052490234375, 0.047271728515625]}, "gradients/decoder.transformer.h.4.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 6.0, 2.0, 5.0, 5.0, 7.0, 9.0, 9.0, 6.0, 11.0, 24.0, 27.0, 34.0, 43.0, 62.0, 98.0, 157.0, 301.0, 511.0, 1047.0, 2267.0, 5552.0, 16199.0, 53191.0, 201043.0, 1012774.0, 2323051.0, 430080.0, 102194.0, 29196.0, 9480.0, 3634.0, 1460.0, 722.0, 397.0, 217.0, 151.0, 96.0, 59.0, 47.0, 29.0, 20.0, 13.0, 15.0, 10.0, 9.0, 3.0, 9.0, 5.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0626220703125, -0.06061840057373047, -0.05861473083496094, -0.056611061096191406, -0.054607391357421875, -0.052603721618652344, -0.05060005187988281, -0.04859638214111328, -0.04659271240234375, -0.04458904266357422, -0.04258537292480469, -0.040581703186035156, -0.038578033447265625, -0.036574363708496094, -0.03457069396972656, -0.03256702423095703, -0.0305633544921875, -0.02855968475341797, -0.026556015014648438, -0.024552345275878906, -0.022548675537109375, -0.020545005798339844, -0.018541336059570312, -0.01653766632080078, -0.01453399658203125, -0.012530326843261719, -0.010526657104492188, -0.008522987365722656, -0.006519317626953125, -0.004515647888183594, -0.0025119781494140625, -0.0005083084106445312, 0.001495361328125, 0.0034990310668945312, 0.0055027008056640625, 0.007506370544433594, 0.009510040283203125, 0.011513710021972656, 0.013517379760742188, 0.015521049499511719, 0.01752471923828125, 0.01952838897705078, 0.021532058715820312, 0.023535728454589844, 0.025539398193359375, 0.027543067932128906, 0.029546737670898438, 0.03155040740966797, 0.0335540771484375, 0.03555774688720703, 0.03756141662597656, 0.039565086364746094, 0.041568756103515625, 0.043572425842285156, 0.04557609558105469, 0.04757976531982422, 0.04958343505859375, 0.05158710479736328, 0.05359077453613281, 0.055594444274902344, 0.057598114013671875, 0.059601783752441406, 0.06160545349121094, 0.06360912322998047, 0.06561279296875]}, "gradients/decoder.transformer.h.4.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 5.0, 13.0, 28.0, 103.0, 215.0, 224.0, 239.0, 126.0, 48.0, 14.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.20174819231033325, -0.1857447773218155, -0.16974137723445892, -0.15373796224594116, -0.1377345621585846, -0.12173114717006683, -0.10572773218154907, -0.08972432464361191, -0.07372091710567474, -0.05771750956773758, -0.04171409830451012, -0.025710687041282654, -0.00970727950334549, 0.006296128034591675, 0.022299543023109436, 0.0383029505610466, 0.054306358098983765, 0.07030976563692093, 0.0863131731748581, 0.10231658816337585, 0.11831999570131302, 0.13432340323925018, 0.15032681822776794, 0.1663302183151245, 0.18233363330364227, 0.19833704829216003, 0.2143404483795166, 0.23034386336803436, 0.24634727835655212, 0.2623506784439087, 0.27835410833358765, 0.2943575084209442, 0.3103609085083008, 0.32636430859565735, 0.3423677384853363, 0.35837113857269287, 0.37437453866004944, 0.390377938747406, 0.40638136863708496, 0.42238476872444153, 0.4383881688117981, 0.45439156889915466, 0.4703949987888336, 0.4863983988761902, 0.5024018287658691, 0.5184051990509033, 0.5344086289405823, 0.5504120588302612, 0.5664154291152954, 0.5824188590049744, 0.5984222292900085, 0.6144256591796875, 0.6304290890693665, 0.6464324593544006, 0.6624358892440796, 0.6784393191337585, 0.6944427490234375, 0.7104461789131165, 0.7264495491981506, 0.7424529790878296, 0.7584564089775085, 0.7744597792625427, 0.7904632091522217, 0.8064666390419006, 0.8224700093269348]}, "gradients/decoder.transformer.h.4.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 3.0, 1.0, 3.0, 6.0, 5.0, 4.0, 5.0, 12.0, 8.0, 11.0, 9.0, 18.0, 19.0, 18.0, 21.0, 30.0, 26.0, 31.0, 37.0, 30.0, 32.0, 50.0, 48.0, 58.0, 43.0, 48.0, 45.0, 42.0, 46.0, 36.0, 30.0, 32.0, 38.0, 33.0, 24.0, 14.0, 13.0, 13.0, 18.0, 12.0, 14.0, 8.0, 4.0, 8.0, 2.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1571466326713562, -0.15195392072200775, -0.1467612087726593, -0.14156848192214966, -0.1363757699728012, -0.13118305802345276, -0.1259903460741043, -0.12079763412475586, -0.11560491472482681, -0.11041220277547836, -0.10521948337554932, -0.10002677142620087, -0.09483405947685242, -0.08964134007692337, -0.08444862812757492, -0.07925590872764587, -0.07406319677829742, -0.06887048482894897, -0.06367776542901993, -0.05848505347967148, -0.05329233780503273, -0.04809962213039398, -0.04290691018104553, -0.037714194506406784, -0.032521478831768036, -0.027328763157129288, -0.02213604934513569, -0.01694333553314209, -0.011750619858503342, -0.0065579041838645935, -0.0013651903718709946, 0.0038275234401226044, 0.009020239114761353, 0.014212953858077526, 0.0194056686013937, 0.0245983824133873, 0.029791098088026047, 0.034983813762664795, 0.040176525712013245, 0.04536924138665199, 0.05056195706129074, 0.05575467273592949, 0.06094738841056824, 0.06614010035991669, 0.07133281230926514, 0.07652553170919418, 0.08171824365854263, 0.08691096305847168, 0.09210367500782013, 0.09729638695716858, 0.10248910635709763, 0.10768181830644608, 0.11287453770637512, 0.11806724965572357, 0.12325996160507202, 0.12845267355442047, 0.13364538550376892, 0.13883809745311737, 0.14403080940246582, 0.14922353625297546, 0.1544162482023239, 0.15960896015167236, 0.1648016721010208, 0.16999438405036926, 0.1751871109008789]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 2.0, 1.0, 4.0, 3.0, 4.0, 12.0, 5.0, 9.0, 11.0, 8.0, 14.0, 15.0, 17.0, 22.0, 15.0, 26.0, 28.0, 38.0, 39.0, 30.0, 37.0, 37.0, 40.0, 52.0, 42.0, 40.0, 39.0, 45.0, 42.0, 34.0, 31.0, 34.0, 26.0, 40.0, 23.0, 25.0, 23.0, 11.0, 9.0, 20.0, 13.0, 8.0, 7.0, 6.0, 6.0, 5.0, 5.0, 1.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0303955078125, -0.02952289581298828, -0.028650283813476562, -0.027777671813964844, -0.026905059814453125, -0.026032447814941406, -0.025159835815429688, -0.02428722381591797, -0.02341461181640625, -0.02254199981689453, -0.021669387817382812, -0.020796775817871094, -0.019924163818359375, -0.019051551818847656, -0.018178939819335938, -0.01730632781982422, -0.0164337158203125, -0.015561103820800781, -0.014688491821289062, -0.013815879821777344, -0.012943267822265625, -0.012070655822753906, -0.011198043823242188, -0.010325431823730469, -0.00945281982421875, -0.008580207824707031, -0.0077075958251953125, -0.006834983825683594, -0.005962371826171875, -0.005089759826660156, -0.0042171478271484375, -0.0033445358276367188, -0.002471923828125, -0.0015993118286132812, -0.0007266998291015625, 0.00014591217041015625, 0.001018524169921875, 0.0018911361694335938, 0.0027637481689453125, 0.0036363601684570312, 0.00450897216796875, 0.005381584167480469, 0.0062541961669921875, 0.007126808166503906, 0.007999420166015625, 0.008872032165527344, 0.009744644165039062, 0.010617256164550781, 0.0114898681640625, 0.012362480163574219, 0.013235092163085938, 0.014107704162597656, 0.014980316162109375, 0.015852928161621094, 0.016725540161132812, 0.01759815216064453, 0.01847076416015625, 0.01934337615966797, 0.020215988159179688, 0.021088600158691406, 0.021961212158203125, 0.022833824157714844, 0.023706436157226562, 0.02457904815673828, 0.02545166015625]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 6.0, 6.0, 5.0, 9.0, 15.0, 19.0, 38.0, 52.0, 63.0, 113.0, 172.0, 272.0, 429.0, 651.0, 936.0, 1457.0, 2383.0, 3706.0, 5893.0, 9708.0, 15456.0, 25259.0, 43192.0, 76414.0, 153787.0, 365510.0, 156193.0, 76208.0, 43623.0, 25623.0, 15488.0, 9568.0, 5980.0, 3723.0, 2392.0, 1416.0, 1042.0, 585.0, 345.0, 272.0, 177.0, 108.0, 100.0, 53.0, 38.0, 26.0, 24.0, 7.0, 8.0, 8.0, 3.0, 3.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.00019252300262451172, -0.00018677674233913422, -0.00018103048205375671, -0.0001752842217683792, -0.0001695379614830017, -0.0001637917011976242, -0.0001580454409122467, -0.0001522991806268692, -0.0001465529203414917, -0.0001408066600561142, -0.0001350603997707367, -0.0001293141394853592, -0.0001235678791999817, -0.00011782161891460419, -0.00011207535862922668, -0.00010632909834384918, -0.00010058283805847168, -9.483657777309418e-05, -8.909031748771667e-05, -8.334405720233917e-05, -7.759779691696167e-05, -7.185153663158417e-05, -6.610527634620667e-05, -6.035901606082916e-05, -5.461275577545166e-05, -4.886649549007416e-05, -4.3120235204696655e-05, -3.737397491931915e-05, -3.162771463394165e-05, -2.5881454348564148e-05, -2.0135194063186646e-05, -1.4388933777809143e-05, -8.64267349243164e-06, -2.896413207054138e-06, 2.8498470783233643e-06, 8.596107363700867e-06, 1.4342367649078369e-05, 2.008862793445587e-05, 2.5834888219833374e-05, 3.1581148505210876e-05, 3.732740879058838e-05, 4.307366907596588e-05, 4.8819929361343384e-05, 5.4566189646720886e-05, 6.031244993209839e-05, 6.605871021747589e-05, 7.18049705028534e-05, 7.75512307882309e-05, 8.32974910736084e-05, 8.90437513589859e-05, 9.47900116443634e-05, 0.0001005362719297409, 0.00010628253221511841, 0.00011202879250049591, 0.00011777505278587341, 0.00012352131307125092, 0.00012926757335662842, 0.00013501383364200592, 0.00014076009392738342, 0.00014650635421276093, 0.00015225261449813843, 0.00015799887478351593, 0.00016374513506889343, 0.00016949139535427094, 0.00017523765563964844]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 6.0, 6.0, 3.0, 4.0, 5.0, 16.0, 8.0, 14.0, 14.0, 10.0, 18.0, 24.0, 27.0, 24.0, 27.0, 30.0, 32.0, 24.0, 45.0, 34.0, 37.0, 46.0, 36.0, 1063.0, 37.0, 38.0, 43.0, 43.0, 37.0, 24.0, 27.0, 34.0, 30.0, 21.0, 24.0, 22.0, 17.0, 13.0, 10.0, 15.0, 7.0, 5.0, 6.0, 5.0, 7.0, 4.0, 4.0, 2.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-0.023681640625, -0.02299332618713379, -0.022305011749267578, -0.021616697311401367, -0.020928382873535156, -0.020240068435668945, -0.019551753997802734, -0.018863439559936523, -0.018175125122070312, -0.0174868106842041, -0.01679849624633789, -0.01611018180847168, -0.015421867370605469, -0.014733552932739258, -0.014045238494873047, -0.013356924057006836, -0.012668609619140625, -0.011980295181274414, -0.011291980743408203, -0.010603666305541992, -0.009915351867675781, -0.00922703742980957, -0.00853872299194336, -0.007850408554077148, -0.0071620941162109375, -0.0064737796783447266, -0.005785465240478516, -0.005097150802612305, -0.004408836364746094, -0.003720521926879883, -0.003032207489013672, -0.002343893051147461, -0.00165557861328125, -0.0009672641754150391, -0.0002789497375488281, 0.0004093647003173828, 0.0010976791381835938, 0.0017859935760498047, 0.0024743080139160156, 0.0031626224517822266, 0.0038509368896484375, 0.0045392513275146484, 0.005227565765380859, 0.00591588020324707, 0.006604194641113281, 0.007292509078979492, 0.007980823516845703, 0.008669137954711914, 0.009357452392578125, 0.010045766830444336, 0.010734081268310547, 0.011422395706176758, 0.012110710144042969, 0.01279902458190918, 0.01348733901977539, 0.014175653457641602, 0.014863967895507812, 0.015552282333374023, 0.016240596771240234, 0.016928911209106445, 0.017617225646972656, 0.018305540084838867, 0.018993854522705078, 0.01968216896057129, 0.0203704833984375]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 5.0, 4.0, 4.0, 3.0, 5.0, 9.0, 4.0, 9.0, 10.0, 18.0, 12.0, 16.0, 16.0, 15.0, 22.0, 26.0, 30.0, 30.0, 47.0, 93.0, 139.0, 392.0, 983.0, 4002.0, 54172.0, 2029608.0, 4995.0, 1380.0, 505.0, 203.0, 73.0, 43.0, 31.0, 37.0, 21.0, 23.0, 27.0, 21.0, 20.0, 13.0, 15.0, 12.0, 11.0, 6.0, 8.0, 4.0, 4.0, 7.0, 2.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0], "bins": [-2.0623207092285156e-05, -1.993868499994278e-05, -1.9254162907600403e-05, -1.8569640815258026e-05, -1.788511872291565e-05, -1.7200596630573273e-05, -1.6516074538230896e-05, -1.583155244588852e-05, -1.5147030353546143e-05, -1.4462508261203766e-05, -1.377798616886139e-05, -1.3093464076519012e-05, -1.2408941984176636e-05, -1.1724419891834259e-05, -1.1039897799491882e-05, -1.0355375707149506e-05, -9.670853614807129e-06, -8.986331522464752e-06, -8.301809430122375e-06, -7.617287337779999e-06, -6.932765245437622e-06, -6.248243153095245e-06, -5.563721060752869e-06, -4.879198968410492e-06, -4.194676876068115e-06, -3.5101547837257385e-06, -2.825632691383362e-06, -2.141110599040985e-06, -1.4565885066986084e-06, -7.720664143562317e-07, -8.754432201385498e-08, 5.969777703285217e-07, 1.2814998626708984e-06, 1.966021955013275e-06, 2.650544047355652e-06, 3.3350661396980286e-06, 4.019588232040405e-06, 4.704110324382782e-06, 5.388632416725159e-06, 6.073154509067535e-06, 6.757676601409912e-06, 7.442198693752289e-06, 8.126720786094666e-06, 8.811242878437042e-06, 9.495764970779419e-06, 1.0180287063121796e-05, 1.0864809155464172e-05, 1.1549331247806549e-05, 1.2233853340148926e-05, 1.2918375432491302e-05, 1.360289752483368e-05, 1.4287419617176056e-05, 1.4971941709518433e-05, 1.565646380186081e-05, 1.6340985894203186e-05, 1.7025507986545563e-05, 1.771003007888794e-05, 1.8394552171230316e-05, 1.9079074263572693e-05, 1.976359635591507e-05, 2.0448118448257446e-05, 2.1132640540599823e-05, 2.18171626329422e-05, 2.2501684725284576e-05, 2.3186206817626953e-05]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 2.0, 1.0, 4.0, 3.0, 4.0, 12.0, 5.0, 9.0, 11.0, 8.0, 14.0, 15.0, 17.0, 22.0, 15.0, 26.0, 28.0, 38.0, 39.0, 30.0, 37.0, 37.0, 40.0, 52.0, 42.0, 40.0, 39.0, 45.0, 42.0, 34.0, 31.0, 34.0, 26.0, 40.0, 23.0, 25.0, 23.0, 11.0, 9.0, 20.0, 13.0, 8.0, 7.0, 6.0, 6.0, 5.0, 5.0, 1.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0303955078125, -0.02952289581298828, -0.028650283813476562, -0.027777671813964844, -0.026905059814453125, -0.026032447814941406, -0.025159835815429688, -0.02428722381591797, -0.02341461181640625, -0.02254199981689453, -0.021669387817382812, -0.020796775817871094, -0.019924163818359375, -0.019051551818847656, -0.018178939819335938, -0.01730632781982422, -0.0164337158203125, -0.015561103820800781, -0.014688491821289062, -0.013815879821777344, -0.012943267822265625, -0.012070655822753906, -0.011198043823242188, -0.010325431823730469, -0.00945281982421875, -0.008580207824707031, -0.0077075958251953125, -0.006834983825683594, -0.005962371826171875, -0.005089759826660156, -0.0042171478271484375, -0.0033445358276367188, -0.002471923828125, -0.0015993118286132812, -0.0007266998291015625, 0.00014591217041015625, 0.001018524169921875, 0.0018911361694335938, 0.0027637481689453125, 0.0036363601684570312, 0.00450897216796875, 0.005381584167480469, 0.0062541961669921875, 0.007126808166503906, 0.007999420166015625, 0.008872032165527344, 0.009744644165039062, 0.010617256164550781, 0.0114898681640625, 0.012362480163574219, 0.013235092163085938, 0.014107704162597656, 0.014980316162109375, 0.015852928161621094, 0.016725540161132812, 0.01759815216064453, 0.01847076416015625, 0.01934337615966797, 0.020215988159179688, 0.021088600158691406, 0.021961212158203125, 0.022833824157714844, 0.023706436157226562, 0.02457904815673828, 0.02545166015625]}, "gradients/decoder.transformer.h.4.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 2.0, 8.0, 6.0, 8.0, 19.0, 27.0, 34.0, 51.0, 75.0, 111.0, 173.0, 237.0, 347.0, 503.0, 769.0, 1039.0, 1528.0, 2157.0, 3154.0, 4615.0, 6544.0, 9476.0, 13880.0, 19765.0, 28806.0, 42795.0, 64278.0, 101347.0, 167283.0, 205723.0, 129307.0, 79902.0, 51903.0, 35217.0, 24022.0, 16551.0, 11268.0, 7843.0, 5424.0, 3774.0, 2682.0, 1841.0, 1294.0, 860.0, 608.0, 444.0, 273.0, 180.0, 137.0, 84.0, 62.0, 38.0, 40.0, 24.0, 9.0, 8.0, 4.0, 4.0, 4.0, 0.0, 3.0], "bins": [-0.02984619140625, -0.028920650482177734, -0.02799510955810547, -0.027069568634033203, -0.026144027709960938, -0.025218486785888672, -0.024292945861816406, -0.02336740493774414, -0.022441864013671875, -0.02151632308959961, -0.020590782165527344, -0.019665241241455078, -0.018739700317382812, -0.017814159393310547, -0.01688861846923828, -0.015963077545166016, -0.01503753662109375, -0.014111995697021484, -0.013186454772949219, -0.012260913848876953, -0.011335372924804688, -0.010409832000732422, -0.009484291076660156, -0.00855875015258789, -0.007633209228515625, -0.006707668304443359, -0.005782127380371094, -0.004856586456298828, -0.0039310455322265625, -0.003005504608154297, -0.0020799636840820312, -0.0011544227600097656, -0.0002288818359375, 0.0006966590881347656, 0.0016222000122070312, 0.002547740936279297, 0.0034732818603515625, 0.004398822784423828, 0.005324363708496094, 0.006249904632568359, 0.007175445556640625, 0.00810098648071289, 0.009026527404785156, 0.009952068328857422, 0.010877609252929688, 0.011803150177001953, 0.012728691101074219, 0.013654232025146484, 0.01457977294921875, 0.015505313873291016, 0.01643085479736328, 0.017356395721435547, 0.018281936645507812, 0.019207477569580078, 0.020133018493652344, 0.02105855941772461, 0.021984100341796875, 0.02290964126586914, 0.023835182189941406, 0.024760723114013672, 0.025686264038085938, 0.026611804962158203, 0.02753734588623047, 0.028462886810302734, 0.029388427734375]}, "gradients/decoder.transformer.h.4.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 2.0, 3.0, 3.0, 6.0, 1.0, 8.0, 13.0, 9.0, 13.0, 11.0, 19.0, 21.0, 14.0, 21.0, 38.0, 23.0, 31.0, 36.0, 55.0, 53.0, 78.0, 96.0, 90.0, 171.0, 1305.0, 237.0, 150.0, 92.0, 72.0, 63.0, 42.0, 43.0, 28.0, 32.0, 19.0, 23.0, 28.0, 17.0, 17.0, 11.0, 16.0, 10.0, 8.0, 8.0, 5.0, 7.0, 3.0, 2.0, 4.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0799560546875, -0.07751655578613281, -0.07507705688476562, -0.07263755798339844, -0.07019805908203125, -0.06775856018066406, -0.06531906127929688, -0.06287956237792969, -0.0604400634765625, -0.05800056457519531, -0.055561065673828125, -0.05312156677246094, -0.05068206787109375, -0.04824256896972656, -0.045803070068359375, -0.04336357116699219, -0.040924072265625, -0.03848457336425781, -0.036045074462890625, -0.03360557556152344, -0.03116607666015625, -0.028726577758789062, -0.026287078857421875, -0.023847579956054688, -0.0214080810546875, -0.018968582153320312, -0.016529083251953125, -0.014089584350585938, -0.01165008544921875, -0.009210586547851562, -0.006771087646484375, -0.0043315887451171875, -0.00189208984375, 0.0005474090576171875, 0.002986907958984375, 0.0054264068603515625, 0.00786590576171875, 0.010305404663085938, 0.012744903564453125, 0.015184402465820312, 0.0176239013671875, 0.020063400268554688, 0.022502899169921875, 0.024942398071289062, 0.02738189697265625, 0.029821395874023438, 0.032260894775390625, 0.03470039367675781, 0.037139892578125, 0.03957939147949219, 0.042018890380859375, 0.04445838928222656, 0.04689788818359375, 0.04933738708496094, 0.051776885986328125, 0.05421638488769531, 0.0566558837890625, 0.05909538269042969, 0.061534881591796875, 0.06397438049316406, 0.06641387939453125, 0.06885337829589844, 0.07129287719726562, 0.07373237609863281, 0.076171875]}, "gradients/decoder.transformer.h.4.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 7.0, 3.0, 7.0, 4.0, 6.0, 11.0, 7.0, 10.0, 16.0, 28.0, 20.0, 44.0, 42.0, 56.0, 62.0, 124.0, 151.0, 258.0, 499.0, 1130.0, 2996.0, 9514.0, 33230.0, 130811.0, 718162.0, 1866090.0, 290385.0, 64986.0, 17913.0, 5429.0, 1827.0, 740.0, 377.0, 206.0, 136.0, 105.0, 60.0, 53.0, 55.0, 30.0, 24.0, 26.0, 12.0, 14.0, 14.0, 5.0, 7.0, 6.0, 6.0, 1.0, 9.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0792236328125, -0.07684135437011719, -0.07445907592773438, -0.07207679748535156, -0.06969451904296875, -0.06731224060058594, -0.06492996215820312, -0.06254768371582031, -0.0601654052734375, -0.05778312683105469, -0.055400848388671875, -0.05301856994628906, -0.05063629150390625, -0.04825401306152344, -0.045871734619140625, -0.04348945617675781, -0.041107177734375, -0.03872489929199219, -0.036342620849609375, -0.03396034240722656, -0.03157806396484375, -0.029195785522460938, -0.026813507080078125, -0.024431228637695312, -0.0220489501953125, -0.019666671752929688, -0.017284393310546875, -0.014902114868164062, -0.01251983642578125, -0.010137557983398438, -0.007755279541015625, -0.0053730010986328125, -0.00299072265625, -0.0006084442138671875, 0.001773834228515625, 0.0041561126708984375, 0.00653839111328125, 0.008920669555664062, 0.011302947998046875, 0.013685226440429688, 0.0160675048828125, 0.018449783325195312, 0.020832061767578125, 0.023214340209960938, 0.02559661865234375, 0.027978897094726562, 0.030361175537109375, 0.03274345397949219, 0.035125732421875, 0.03750801086425781, 0.039890289306640625, 0.04227256774902344, 0.04465484619140625, 0.04703712463378906, 0.049419403076171875, 0.05180168151855469, 0.0541839599609375, 0.05656623840332031, 0.058948516845703125, 0.06133079528808594, 0.06371307373046875, 0.06609535217285156, 0.06847763061523438, 0.07085990905761719, 0.0732421875]}, "gradients/decoder.transformer.h.4.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 8.0, 66.0, 152.0, 312.0, 295.0, 138.0, 39.0, 8.0, 1.0], "bins": [-1.3992992639541626, -1.3756141662597656, -1.3519291877746582, -1.3282442092895508, -1.3045591115951538, -1.2808740139007568, -1.2571890354156494, -1.233504056930542, -1.209818959236145, -1.186133861541748, -1.1624488830566406, -1.1387639045715332, -1.1150788068771362, -1.0913937091827393, -1.0677087306976318, -1.0440237522125244, -1.0203386545181274, -0.9966536164283752, -0.972968578338623, -0.9492835402488708, -0.9255985021591187, -0.9019134640693665, -0.8782284259796143, -0.8545433878898621, -0.8308583498001099, -0.8071733117103577, -0.7834882736206055, -0.7598032355308533, -0.7361181974411011, -0.7124331593513489, -0.6887481212615967, -0.6650630831718445, -0.6413780450820923, -0.6176930069923401, -0.5940079689025879, -0.5703229308128357, -0.5466378927230835, -0.5229528546333313, -0.4992678165435791, -0.4755827784538269, -0.4518977403640747, -0.4282127022743225, -0.4045276641845703, -0.3808426260948181, -0.3571575880050659, -0.3334725499153137, -0.3097875118255615, -0.2861024737358093, -0.26241743564605713, -0.23873239755630493, -0.21504735946655273, -0.19136232137680054, -0.16767728328704834, -0.14399224519729614, -0.12030720710754395, -0.09662216901779175, -0.07293712347745895, -0.04925208538770676, -0.02556704729795456, -0.001882009208202362, 0.021803028881549835, 0.04548806697130203, 0.06917310506105423, 0.09285814315080643, 0.11654318124055862]}, "gradients/decoder.transformer.h.4.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 4.0, 9.0, 4.0, 8.0, 16.0, 13.0, 18.0, 17.0, 25.0, 18.0, 24.0, 29.0, 27.0, 27.0, 46.0, 48.0, 51.0, 65.0, 57.0, 43.0, 36.0, 45.0, 41.0, 53.0, 51.0, 31.0, 38.0, 30.0, 23.0, 20.0, 15.0, 17.0, 10.0, 10.0, 7.0, 11.0, 10.0, 3.0, 2.0, 2.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.2752436399459839, -0.2668440341949463, -0.2584443986415863, -0.2500447630882263, -0.24164515733718872, -0.23324553668498993, -0.22484591603279114, -0.21644629538059235, -0.20804667472839355, -0.19964705407619476, -0.19124743342399597, -0.18284781277179718, -0.1744481921195984, -0.1660485714673996, -0.1576489508152008, -0.14924933016300201, -0.14084970951080322, -0.13245008885860443, -0.12405046820640564, -0.11565084755420685, -0.10725122690200806, -0.09885160624980927, -0.09045198559761047, -0.08205236494541168, -0.07365274429321289, -0.0652531236410141, -0.05685350298881531, -0.048453882336616516, -0.040054261684417725, -0.03165464103221893, -0.02325502038002014, -0.01485539972782135, -0.006455779075622559, 0.001943841576576233, 0.010343462228775024, 0.018743082880973816, 0.027142703533172607, 0.0355423241853714, 0.04394194483757019, 0.05234156548976898, 0.06074118614196777, 0.06914080679416656, 0.07754042744636536, 0.08594004809856415, 0.09433966875076294, 0.10273928940296173, 0.11113891005516052, 0.11953853070735931, 0.1279381513595581, 0.1363377720117569, 0.1447373926639557, 0.15313701331615448, 0.16153663396835327, 0.16993625462055206, 0.17833587527275085, 0.18673549592494965, 0.19513511657714844, 0.20353473722934723, 0.21193435788154602, 0.2203339785337448, 0.2287335991859436, 0.2371332198381424, 0.2455328404903412, 0.25393247604370117, 0.26233208179473877]}, "gradients/decoder.transformer.h.3.mlp.c_proj.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 2.0, 4.0, 3.0, 4.0, 6.0, 3.0, 6.0, 5.0, 11.0, 9.0, 15.0, 12.0, 14.0, 22.0, 16.0, 28.0, 22.0, 29.0, 39.0, 35.0, 21.0, 43.0, 33.0, 42.0, 56.0, 33.0, 43.0, 38.0, 39.0, 38.0, 36.0, 29.0, 38.0, 28.0, 29.0, 27.0, 13.0, 20.0, 16.0, 21.0, 17.0, 16.0, 6.0, 8.0, 11.0, 5.0, 5.0, 3.0, 3.0, 4.0, 2.0, 2.0, 2.0, 0.0, 1.0, 2.0], "bins": [-0.0290069580078125, -0.028148412704467773, -0.027289867401123047, -0.02643132209777832, -0.025572776794433594, -0.024714231491088867, -0.02385568618774414, -0.022997140884399414, -0.022138595581054688, -0.02128005027770996, -0.020421504974365234, -0.019562959671020508, -0.01870441436767578, -0.017845869064331055, -0.016987323760986328, -0.0161287784576416, -0.015270233154296875, -0.014411687850952148, -0.013553142547607422, -0.012694597244262695, -0.011836051940917969, -0.010977506637573242, -0.010118961334228516, -0.009260416030883789, -0.008401870727539062, -0.007543325424194336, -0.006684780120849609, -0.005826234817504883, -0.004967689514160156, -0.00410914421081543, -0.003250598907470703, -0.0023920536041259766, -0.00153350830078125, -0.0006749629974365234, 0.00018358230590820312, 0.0010421276092529297, 0.0019006729125976562, 0.002759218215942383, 0.0036177635192871094, 0.004476308822631836, 0.0053348541259765625, 0.006193399429321289, 0.007051944732666016, 0.007910490036010742, 0.008769035339355469, 0.009627580642700195, 0.010486125946044922, 0.011344671249389648, 0.012203216552734375, 0.013061761856079102, 0.013920307159423828, 0.014778852462768555, 0.01563739776611328, 0.016495943069458008, 0.017354488372802734, 0.01821303367614746, 0.019071578979492188, 0.019930124282836914, 0.02078866958618164, 0.021647214889526367, 0.022505760192871094, 0.02336430549621582, 0.024222850799560547, 0.025081396102905273, 0.02593994140625]}, "gradients/decoder.transformer.h.3.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 5.0, 4.0, 4.0, 15.0, 18.0, 26.0, 34.0, 56.0, 94.0, 162.0, 305.0, 657.0, 110071.0, 4081143.0, 870.0, 360.0, 164.0, 116.0, 53.0, 49.0, 24.0, 25.0, 11.0, 8.0, 3.0, 4.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.779296875, -0.7505645751953125, -0.721832275390625, -0.6930999755859375, -0.66436767578125, -0.6356353759765625, -0.606903076171875, -0.5781707763671875, -0.5494384765625, -0.5207061767578125, -0.491973876953125, -0.4632415771484375, -0.43450927734375, -0.4057769775390625, -0.377044677734375, -0.3483123779296875, -0.319580078125, -0.2908477783203125, -0.262115478515625, -0.2333831787109375, -0.20465087890625, -0.1759185791015625, -0.147186279296875, -0.1184539794921875, -0.0897216796875, -0.0609893798828125, -0.032257080078125, -0.0035247802734375, 0.02520751953125, 0.0539398193359375, 0.082672119140625, 0.1114044189453125, 0.14013671875, 0.1688690185546875, 0.197601318359375, 0.2263336181640625, 0.25506591796875, 0.2837982177734375, 0.312530517578125, 0.3412628173828125, 0.3699951171875, 0.3987274169921875, 0.427459716796875, 0.4561920166015625, 0.48492431640625, 0.5136566162109375, 0.542388916015625, 0.5711212158203125, 0.599853515625, 0.6285858154296875, 0.657318115234375, 0.6860504150390625, 0.71478271484375, 0.7435150146484375, 0.772247314453125, 0.8009796142578125, 0.8297119140625, 0.8584442138671875, 0.887176513671875, 0.9159088134765625, 0.94464111328125, 0.9733734130859375, 1.002105712890625, 1.0308380126953125, 1.0595703125]}, "gradients/decoder.transformer.h.3.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 6.0, 11.0, 17.0, 18.0, 20.0, 42.0, 45.0, 70.0, 94.0, 159.0, 204.0, 331.0, 554.0, 816.0, 582.0, 343.0, 195.0, 169.0, 108.0, 75.0, 61.0, 46.0, 33.0, 26.0, 17.0, 7.0, 9.0, 5.0, 5.0, 1.0, 3.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0565185546875, -0.05478239059448242, -0.053046226501464844, -0.051310062408447266, -0.04957389831542969, -0.04783773422241211, -0.04610157012939453, -0.04436540603637695, -0.042629241943359375, -0.0408930778503418, -0.03915691375732422, -0.03742074966430664, -0.03568458557128906, -0.033948421478271484, -0.032212257385253906, -0.030476093292236328, -0.02873992919921875, -0.027003765106201172, -0.025267601013183594, -0.023531436920166016, -0.021795272827148438, -0.02005910873413086, -0.01832294464111328, -0.016586780548095703, -0.014850616455078125, -0.013114452362060547, -0.011378288269042969, -0.00964212417602539, -0.007905960083007812, -0.006169795989990234, -0.004433631896972656, -0.002697467803955078, -0.0009613037109375, 0.0007748603820800781, 0.0025110244750976562, 0.004247188568115234, 0.0059833526611328125, 0.007719516754150391, 0.009455680847167969, 0.011191844940185547, 0.012928009033203125, 0.014664173126220703, 0.01640033721923828, 0.01813650131225586, 0.019872665405273438, 0.021608829498291016, 0.023344993591308594, 0.025081157684326172, 0.02681732177734375, 0.028553485870361328, 0.030289649963378906, 0.032025814056396484, 0.03376197814941406, 0.03549814224243164, 0.03723430633544922, 0.0389704704284668, 0.040706634521484375, 0.04244279861450195, 0.04417896270751953, 0.04591512680053711, 0.04765129089355469, 0.049387454986572266, 0.051123619079589844, 0.05285978317260742, 0.054595947265625]}, "gradients/decoder.transformer.h.3.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 6.0, 10.0, 3.0, 5.0, 14.0, 10.0, 10.0, 14.0, 27.0, 29.0, 44.0, 62.0, 101.0, 178.0, 384.0, 1365.0, 9007.0, 136628.0, 3625513.0, 398151.0, 19459.0, 2184.0, 516.0, 233.0, 102.0, 69.0, 40.0, 26.0, 24.0, 24.0, 8.0, 9.0, 6.0, 7.0, 6.0, 4.0, 6.0, 4.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.173583984375, -0.168426513671875, -0.16326904296875, -0.158111572265625, -0.1529541015625, -0.147796630859375, -0.14263916015625, -0.137481689453125, -0.13232421875, -0.127166748046875, -0.12200927734375, -0.116851806640625, -0.1116943359375, -0.106536865234375, -0.10137939453125, -0.096221923828125, -0.091064453125, -0.085906982421875, -0.08074951171875, -0.075592041015625, -0.0704345703125, -0.065277099609375, -0.06011962890625, -0.054962158203125, -0.0498046875, -0.044647216796875, -0.03948974609375, -0.034332275390625, -0.0291748046875, -0.024017333984375, -0.01885986328125, -0.013702392578125, -0.008544921875, -0.003387451171875, 0.00177001953125, 0.006927490234375, 0.0120849609375, 0.017242431640625, 0.02239990234375, 0.027557373046875, 0.03271484375, 0.037872314453125, 0.04302978515625, 0.048187255859375, 0.0533447265625, 0.058502197265625, 0.06365966796875, 0.068817138671875, 0.073974609375, 0.079132080078125, 0.08428955078125, 0.089447021484375, 0.0946044921875, 0.099761962890625, 0.10491943359375, 0.110076904296875, 0.115234375, 0.120391845703125, 0.12554931640625, 0.130706787109375, 0.1358642578125, 0.141021728515625, 0.14617919921875, 0.151336669921875, 0.156494140625]}, "gradients/decoder.transformer.h.3.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 18.0, 355.0, 588.0, 57.0, 4.0], "bins": [-2.6256062984466553, -2.582683563232422, -2.5397608280181885, -2.496838331222534, -2.453915596008301, -2.4109928607940674, -2.368070125579834, -2.3251476287841797, -2.2822248935699463, -2.239302158355713, -2.1963794231414795, -2.153456926345825, -2.110534191131592, -2.0676114559173584, -2.024688720703125, -1.9817661046981812, -1.9388434886932373, -1.895920753479004, -1.85299813747406, -1.8100754022598267, -1.7671527862548828, -1.7242300510406494, -1.6813074350357056, -1.6383846998214722, -1.5954619646072388, -1.5525392293930054, -1.5096166133880615, -1.4666938781738281, -1.4237712621688843, -1.3808485269546509, -1.337925910949707, -1.2950031757354736, -1.2520804405212402, -1.2091577053070068, -1.166235089302063, -1.1233123540878296, -1.0803897380828857, -1.0374670028686523, -0.9945443868637085, -0.9516216516494751, -0.9086990356445312, -0.8657763600349426, -0.822853684425354, -0.7799310088157654, -0.7370083332061768, -0.6940856575965881, -0.6511629819869995, -0.6082402467727661, -0.5653176307678223, -0.5223949551582336, -0.479472279548645, -0.4365496039390564, -0.3936269283294678, -0.35070425271987915, -0.30778154730796814, -0.2648588716983795, -0.2219361960887909, -0.17901352047920227, -0.13609084486961365, -0.09316815435886383, -0.05024547874927521, -0.0073228031396865845, 0.03559988737106323, 0.07852256298065186, 0.12144523859024048]}, "gradients/decoder.transformer.h.3.ln_2.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 2.0, 5.0, 5.0, 5.0, 8.0, 10.0, 12.0, 22.0, 11.0, 14.0, 16.0, 29.0, 24.0, 25.0, 24.0, 28.0, 27.0, 38.0, 39.0, 31.0, 43.0, 34.0, 45.0, 36.0, 41.0, 38.0, 36.0, 35.0, 34.0, 25.0, 37.0, 29.0, 29.0, 27.0, 18.0, 13.0, 16.0, 19.0, 16.0, 13.0, 3.0, 9.0, 7.0, 5.0, 8.0, 8.0, 1.0, 4.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0], "bins": [-0.14571696519851685, -0.1412343531847, -0.13675174117088318, -0.13226914405822754, -0.1277865320444107, -0.12330392003059387, -0.11882130801677704, -0.1143386960029602, -0.10985609143972397, -0.10537347942590714, -0.1008908748626709, -0.09640826284885406, -0.09192565083503723, -0.087443046271801, -0.08296043425798416, -0.07847782969474792, -0.07399521768093109, -0.06951260566711426, -0.06503000110387802, -0.06054738909006119, -0.05606478080153465, -0.05158217251300812, -0.047099560499191284, -0.04261695221066475, -0.038134343922138214, -0.03365173563361168, -0.029169125482439995, -0.02468651533126831, -0.020203907042741776, -0.01572129875421524, -0.011238688603043556, -0.006756078451871872, -0.002273470163345337, 0.0022091390565037727, 0.006691748276352882, 0.011174357496201992, 0.0156569667160511, 0.020139575004577637, 0.02462218515574932, 0.029104795306921005, 0.03358740359544754, 0.038070011883974075, 0.04255262017250061, 0.047035232186317444, 0.05151784047484398, 0.056000448763370514, 0.06048306077718735, 0.06496566534042358, 0.06944827735424042, 0.07393088936805725, 0.07841349393129349, 0.08289610594511032, 0.08737871050834656, 0.09186132252216339, 0.09634393453598022, 0.10082654654979706, 0.1053091511130333, 0.10979176312685013, 0.11427436769008636, 0.1187569797039032, 0.12323959171772003, 0.12772220373153687, 0.1322048008441925, 0.13668741285800934, 0.14117002487182617]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 5.0, 1.0, 2.0, 12.0, 6.0, 9.0, 12.0, 14.0, 19.0, 25.0, 19.0, 21.0, 28.0, 26.0, 24.0, 39.0, 38.0, 49.0, 46.0, 48.0, 40.0, 41.0, 43.0, 51.0, 40.0, 35.0, 38.0, 34.0, 31.0, 33.0, 26.0, 14.0, 18.0, 21.0, 16.0, 15.0, 17.0, 8.0, 10.0, 7.0, 8.0, 3.0, 5.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0316162109375, -0.030669689178466797, -0.029723167419433594, -0.02877664566040039, -0.027830123901367188, -0.026883602142333984, -0.02593708038330078, -0.024990558624267578, -0.024044036865234375, -0.023097515106201172, -0.02215099334716797, -0.021204471588134766, -0.020257949829101562, -0.01931142807006836, -0.018364906311035156, -0.017418384552001953, -0.01647186279296875, -0.015525341033935547, -0.014578819274902344, -0.01363229751586914, -0.012685775756835938, -0.011739253997802734, -0.010792732238769531, -0.009846210479736328, -0.008899688720703125, -0.007953166961669922, -0.007006645202636719, -0.006060123443603516, -0.0051136016845703125, -0.004167079925537109, -0.0032205581665039062, -0.002274036407470703, -0.0013275146484375, -0.0003809928894042969, 0.0005655288696289062, 0.0015120506286621094, 0.0024585723876953125, 0.0034050941467285156, 0.004351615905761719, 0.005298137664794922, 0.006244659423828125, 0.007191181182861328, 0.008137702941894531, 0.009084224700927734, 0.010030746459960938, 0.01097726821899414, 0.011923789978027344, 0.012870311737060547, 0.01381683349609375, 0.014763355255126953, 0.015709877014160156, 0.01665639877319336, 0.017602920532226562, 0.018549442291259766, 0.01949596405029297, 0.020442485809326172, 0.021389007568359375, 0.022335529327392578, 0.02328205108642578, 0.024228572845458984, 0.025175094604492188, 0.02612161636352539, 0.027068138122558594, 0.028014659881591797, 0.028961181640625]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 3.0, 2.0, 3.0, 5.0, 8.0, 14.0, 15.0, 30.0, 40.0, 58.0, 106.0, 134.0, 227.0, 332.0, 479.0, 768.0, 1256.0, 1903.0, 2965.0, 4891.0, 8008.0, 13175.0, 22449.0, 38557.0, 69299.0, 142457.0, 385125.0, 169982.0, 79624.0, 43795.0, 24610.0, 14652.0, 8895.0, 5511.0, 3348.0, 2094.0, 1328.0, 851.0, 552.0, 339.0, 225.0, 158.0, 95.0, 67.0, 48.0, 25.0, 16.0, 15.0, 10.0, 5.0, 5.0, 5.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002219676971435547, -0.00021471455693244934, -0.000207461416721344, -0.00020020827651023865, -0.0001929551362991333, -0.00018570199608802795, -0.0001784488558769226, -0.00017119571566581726, -0.00016394257545471191, -0.00015668943524360657, -0.00014943629503250122, -0.00014218315482139587, -0.00013493001461029053, -0.00012767687439918518, -0.00012042373418807983, -0.00011317059397697449, -0.00010591745376586914, -9.86643135547638e-05, -9.141117334365845e-05, -8.41580331325531e-05, -7.690489292144775e-05, -6.965175271034241e-05, -6.239861249923706e-05, -5.5145472288131714e-05, -4.789233207702637e-05, -4.063919186592102e-05, -3.3386051654815674e-05, -2.6132911443710327e-05, -1.887977123260498e-05, -1.1626631021499634e-05, -4.373490810394287e-06, 2.8796494007110596e-06, 1.0132789611816406e-05, 1.7385929822921753e-05, 2.46390700340271e-05, 3.1892210245132446e-05, 3.914535045623779e-05, 4.639849066734314e-05, 5.3651630878448486e-05, 6.090477108955383e-05, 6.815791130065918e-05, 7.541105151176453e-05, 8.266419172286987e-05, 8.991733193397522e-05, 9.717047214508057e-05, 0.00010442361235618591, 0.00011167675256729126, 0.0001189298927783966, 0.00012618303298950195, 0.0001334361732006073, 0.00014068931341171265, 0.000147942453622818, 0.00015519559383392334, 0.0001624487340450287, 0.00016970187425613403, 0.00017695501446723938, 0.00018420815467834473, 0.00019146129488945007, 0.00019871443510055542, 0.00020596757531166077, 0.0002132207155227661, 0.00022047385573387146, 0.0002277269959449768, 0.00023498013615608215, 0.0002422332763671875]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 0.0, 4.0, 9.0, 6.0, 7.0, 12.0, 7.0, 6.0, 11.0, 18.0, 16.0, 16.0, 26.0, 26.0, 24.0, 29.0, 33.0, 22.0, 46.0, 46.0, 37.0, 54.0, 52.0, 1067.0, 49.0, 41.0, 47.0, 39.0, 35.0, 31.0, 32.0, 22.0, 25.0, 23.0, 17.0, 10.0, 19.0, 11.0, 15.0, 7.0, 12.0, 9.0, 2.0, 3.0, 4.0, 0.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.023529052734375, -0.022770166397094727, -0.022011280059814453, -0.02125239372253418, -0.020493507385253906, -0.019734621047973633, -0.01897573471069336, -0.018216848373413086, -0.017457962036132812, -0.01669907569885254, -0.015940189361572266, -0.015181303024291992, -0.014422416687011719, -0.013663530349731445, -0.012904644012451172, -0.012145757675170898, -0.011386871337890625, -0.010627985000610352, -0.009869098663330078, -0.009110212326049805, -0.008351325988769531, -0.007592439651489258, -0.006833553314208984, -0.006074666976928711, -0.0053157806396484375, -0.004556894302368164, -0.0037980079650878906, -0.003039121627807617, -0.0022802352905273438, -0.0015213489532470703, -0.0007624626159667969, -3.5762786865234375e-06, 0.00075531005859375, 0.0015141963958740234, 0.002273082733154297, 0.0030319690704345703, 0.0037908554077148438, 0.004549741744995117, 0.005308628082275391, 0.006067514419555664, 0.0068264007568359375, 0.007585287094116211, 0.008344173431396484, 0.009103059768676758, 0.009861946105957031, 0.010620832443237305, 0.011379718780517578, 0.012138605117797852, 0.012897491455078125, 0.013656377792358398, 0.014415264129638672, 0.015174150466918945, 0.01593303680419922, 0.016691923141479492, 0.017450809478759766, 0.01820969581604004, 0.018968582153320312, 0.019727468490600586, 0.02048635482788086, 0.021245241165161133, 0.022004127502441406, 0.02276301383972168, 0.023521900177001953, 0.024280786514282227, 0.0250396728515625]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 5.0, 10.0, 6.0, 7.0, 12.0, 16.0, 17.0, 10.0, 12.0, 23.0, 22.0, 23.0, 28.0, 33.0, 46.0, 64.0, 168.0, 394.0, 1232.0, 5735.0, 2055294.0, 29947.0, 2566.0, 754.0, 255.0, 124.0, 70.0, 31.0, 26.0, 28.0, 18.0, 29.0, 18.0, 21.0, 11.0, 13.0, 11.0, 10.0, 10.0, 6.0, 9.0, 7.0, 3.0, 2.0, 1.0, 4.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.5212764739990234e-05, -2.4466775357723236e-05, -2.3720785975456238e-05, -2.297479659318924e-05, -2.222880721092224e-05, -2.1482817828655243e-05, -2.0736828446388245e-05, -1.9990839064121246e-05, -1.9244849681854248e-05, -1.849886029958725e-05, -1.775287091732025e-05, -1.7006881535053253e-05, -1.6260892152786255e-05, -1.5514902770519257e-05, -1.4768913388252258e-05, -1.402292400598526e-05, -1.3276934623718262e-05, -1.2530945241451263e-05, -1.1784955859184265e-05, -1.1038966476917267e-05, -1.0292977094650269e-05, -9.54698771238327e-06, -8.800998330116272e-06, -8.055008947849274e-06, -7.309019565582275e-06, -6.563030183315277e-06, -5.817040801048279e-06, -5.0710514187812805e-06, -4.325062036514282e-06, -3.579072654247284e-06, -2.8330832719802856e-06, -2.0870938897132874e-06, -1.341104507446289e-06, -5.951151251792908e-07, 1.5087425708770752e-07, 8.968636393547058e-07, 1.642853021621704e-06, 2.3888424038887024e-06, 3.1348317861557007e-06, 3.880821168422699e-06, 4.626810550689697e-06, 5.3727999329566956e-06, 6.118789315223694e-06, 6.864778697490692e-06, 7.6107680797576904e-06, 8.356757462024689e-06, 9.102746844291687e-06, 9.848736226558685e-06, 1.0594725608825684e-05, 1.1340714991092682e-05, 1.208670437335968e-05, 1.2832693755626678e-05, 1.3578683137893677e-05, 1.4324672520160675e-05, 1.5070661902427673e-05, 1.581665128469467e-05, 1.656264066696167e-05, 1.7308630049228668e-05, 1.8054619431495667e-05, 1.8800608813762665e-05, 1.9546598196029663e-05, 2.029258757829666e-05, 2.103857696056366e-05, 2.1784566342830658e-05, 2.2530555725097656e-05]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 5.0, 1.0, 2.0, 12.0, 6.0, 9.0, 12.0, 14.0, 19.0, 25.0, 19.0, 21.0, 28.0, 26.0, 24.0, 39.0, 38.0, 49.0, 46.0, 48.0, 40.0, 41.0, 43.0, 51.0, 40.0, 35.0, 38.0, 34.0, 31.0, 33.0, 26.0, 14.0, 18.0, 21.0, 16.0, 15.0, 17.0, 8.0, 10.0, 7.0, 8.0, 3.0, 5.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0316162109375, -0.030669689178466797, -0.029723167419433594, -0.02877664566040039, -0.027830123901367188, -0.026883602142333984, -0.02593708038330078, -0.024990558624267578, -0.024044036865234375, -0.023097515106201172, -0.02215099334716797, -0.021204471588134766, -0.020257949829101562, -0.01931142807006836, -0.018364906311035156, -0.017418384552001953, -0.01647186279296875, -0.015525341033935547, -0.014578819274902344, -0.01363229751586914, -0.012685775756835938, -0.011739253997802734, -0.010792732238769531, -0.009846210479736328, -0.008899688720703125, -0.007953166961669922, -0.007006645202636719, -0.006060123443603516, -0.0051136016845703125, -0.004167079925537109, -0.0032205581665039062, -0.002274036407470703, -0.0013275146484375, -0.0003809928894042969, 0.0005655288696289062, 0.0015120506286621094, 0.0024585723876953125, 0.0034050941467285156, 0.004351615905761719, 0.005298137664794922, 0.006244659423828125, 0.007191181182861328, 0.008137702941894531, 0.009084224700927734, 0.010030746459960938, 0.01097726821899414, 0.011923789978027344, 0.012870311737060547, 0.01381683349609375, 0.014763355255126953, 0.015709877014160156, 0.01665639877319336, 0.017602920532226562, 0.018549442291259766, 0.01949596405029297, 0.020442485809326172, 0.021389007568359375, 0.022335529327392578, 0.02328205108642578, 0.024228572845458984, 0.025175094604492188, 0.02612161636352539, 0.027068138122558594, 0.028014659881591797, 0.028961181640625]}, "gradients/decoder.transformer.h.3.attn.c_proj.weight": {"_type": "histogram", "values": [4.0, 3.0, 1.0, 1.0, 2.0, 7.0, 12.0, 14.0, 13.0, 18.0, 54.0, 82.0, 101.0, 146.0, 213.0, 360.0, 613.0, 950.0, 1403.0, 2277.0, 3741.0, 5931.0, 9453.0, 15436.0, 25207.0, 40259.0, 65702.0, 107442.0, 169003.0, 201357.0, 151700.0, 94509.0, 58548.0, 36052.0, 22025.0, 13384.0, 8506.0, 5297.0, 3246.0, 2051.0, 1275.0, 750.0, 478.0, 337.0, 210.0, 144.0, 85.0, 58.0, 37.0, 29.0, 16.0, 8.0, 10.0, 5.0, 1.0, 2.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0307769775390625, -0.029729127883911133, -0.028681278228759766, -0.0276334285736084, -0.02658557891845703, -0.025537729263305664, -0.024489879608154297, -0.02344202995300293, -0.022394180297851562, -0.021346330642700195, -0.020298480987548828, -0.01925063133239746, -0.018202781677246094, -0.017154932022094727, -0.01610708236694336, -0.015059232711791992, -0.014011383056640625, -0.012963533401489258, -0.01191568374633789, -0.010867834091186523, -0.009819984436035156, -0.008772134780883789, -0.007724285125732422, -0.006676435470581055, -0.0056285858154296875, -0.00458073616027832, -0.003532886505126953, -0.002485036849975586, -0.0014371871948242188, -0.00038933753967285156, 0.0006585121154785156, 0.0017063617706298828, 0.00275421142578125, 0.003802061080932617, 0.004849910736083984, 0.0058977603912353516, 0.006945610046386719, 0.007993459701538086, 0.009041309356689453, 0.01008915901184082, 0.011137008666992188, 0.012184858322143555, 0.013232707977294922, 0.014280557632446289, 0.015328407287597656, 0.016376256942749023, 0.01742410659790039, 0.018471956253051758, 0.019519805908203125, 0.020567655563354492, 0.02161550521850586, 0.022663354873657227, 0.023711204528808594, 0.02475905418395996, 0.025806903839111328, 0.026854753494262695, 0.027902603149414062, 0.02895045280456543, 0.029998302459716797, 0.031046152114868164, 0.03209400177001953, 0.0331418514251709, 0.034189701080322266, 0.03523755073547363, 0.036285400390625]}, "gradients/decoder.transformer.h.3.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 1.0, 11.0, 6.0, 8.0, 6.0, 11.0, 22.0, 16.0, 21.0, 28.0, 25.0, 27.0, 24.0, 44.0, 54.0, 54.0, 86.0, 119.0, 158.0, 196.0, 1278.0, 198.0, 122.0, 96.0, 81.0, 51.0, 50.0, 37.0, 29.0, 29.0, 22.0, 27.0, 16.0, 15.0, 12.0, 17.0, 7.0, 11.0, 7.0, 6.0, 3.0, 7.0, 6.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.09918212890625, -0.0965280532836914, -0.09387397766113281, -0.09121990203857422, -0.08856582641601562, -0.08591175079345703, -0.08325767517089844, -0.08060359954833984, -0.07794952392578125, -0.07529544830322266, -0.07264137268066406, -0.06998729705810547, -0.06733322143554688, -0.06467914581298828, -0.06202507019042969, -0.059370994567871094, -0.0567169189453125, -0.054062843322753906, -0.05140876770019531, -0.04875469207763672, -0.046100616455078125, -0.04344654083251953, -0.04079246520996094, -0.038138389587402344, -0.03548431396484375, -0.032830238342285156, -0.030176162719726562, -0.02752208709716797, -0.024868011474609375, -0.02221393585205078, -0.019559860229492188, -0.016905784606933594, -0.014251708984375, -0.011597633361816406, -0.008943557739257812, -0.006289482116699219, -0.003635406494140625, -0.0009813308715820312, 0.0016727447509765625, 0.004326820373535156, 0.00698089599609375, 0.009634971618652344, 0.012289047241210938, 0.014943122863769531, 0.017597198486328125, 0.02025127410888672, 0.022905349731445312, 0.025559425354003906, 0.0282135009765625, 0.030867576599121094, 0.03352165222167969, 0.03617572784423828, 0.038829803466796875, 0.04148387908935547, 0.04413795471191406, 0.046792030334472656, 0.04944610595703125, 0.052100181579589844, 0.05475425720214844, 0.05740833282470703, 0.060062408447265625, 0.06271648406982422, 0.06537055969238281, 0.0680246353149414, 0.0706787109375]}, "gradients/decoder.transformer.h.3.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 3.0, 3.0, 10.0, 6.0, 5.0, 9.0, 15.0, 18.0, 29.0, 30.0, 36.0, 58.0, 98.0, 117.0, 187.0, 268.0, 448.0, 775.0, 3012.0, 41980.0, 2122352.0, 948994.0, 23127.0, 2130.0, 738.0, 400.0, 243.0, 166.0, 116.0, 80.0, 51.0, 48.0, 35.0, 25.0, 28.0, 17.0, 13.0, 9.0, 4.0, 7.0, 5.0, 7.0, 1.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.1650390625, -0.1598663330078125, -0.154693603515625, -0.1495208740234375, -0.14434814453125, -0.1391754150390625, -0.134002685546875, -0.1288299560546875, -0.1236572265625, -0.1184844970703125, -0.113311767578125, -0.1081390380859375, -0.10296630859375, -0.0977935791015625, -0.092620849609375, -0.0874481201171875, -0.082275390625, -0.0771026611328125, -0.071929931640625, -0.0667572021484375, -0.06158447265625, -0.0564117431640625, -0.051239013671875, -0.0460662841796875, -0.0408935546875, -0.0357208251953125, -0.030548095703125, -0.0253753662109375, -0.02020263671875, -0.0150299072265625, -0.009857177734375, -0.0046844482421875, 0.00048828125, 0.0056610107421875, 0.010833740234375, 0.0160064697265625, 0.02117919921875, 0.0263519287109375, 0.031524658203125, 0.0366973876953125, 0.0418701171875, 0.0470428466796875, 0.052215576171875, 0.0573883056640625, 0.06256103515625, 0.0677337646484375, 0.072906494140625, 0.0780792236328125, 0.083251953125, 0.0884246826171875, 0.093597412109375, 0.0987701416015625, 0.10394287109375, 0.1091156005859375, 0.114288330078125, 0.1194610595703125, 0.1246337890625, 0.1298065185546875, 0.134979248046875, 0.1401519775390625, 0.14532470703125, 0.1504974365234375, 0.155670166015625, 0.1608428955078125, 0.166015625]}, "gradients/decoder.transformer.h.3.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 9.0, 22.0, 51.0, 103.0, 189.0, 240.0, 186.0, 116.0, 69.0, 19.0, 8.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3577291965484619, -0.33464592695236206, -0.3115626871585846, -0.28847944736480713, -0.2653961777687073, -0.24231292307376862, -0.21922966837882996, -0.1961464136838913, -0.17306315898895264, -0.14997990429401398, -0.12689664959907532, -0.10381339490413666, -0.080730140209198, -0.05764688551425934, -0.03456363081932068, -0.011480376124382019, 0.01160287857055664, 0.0346861332654953, 0.05776938796043396, 0.08085264265537262, 0.10393589735031128, 0.12701915204524994, 0.1501024067401886, 0.17318566143512726, 0.19626891613006592, 0.21935217082500458, 0.24243542551994324, 0.2655186653137207, 0.28860193490982056, 0.3116852045059204, 0.3347684442996979, 0.35785168409347534, 0.3809349536895752, 0.40401822328567505, 0.4271014630794525, 0.45018470287323, 0.47326797246932983, 0.4963512420654297, 0.5194344520568848, 0.5425177216529846, 0.5656009912490845, 0.5886842608451843, 0.6117675304412842, 0.6348507404327393, 0.6579340100288391, 0.681017279624939, 0.704100489616394, 0.7271837592124939, 0.7502670288085938, 0.7733502984046936, 0.7964335680007935, 0.8195167779922485, 0.8426000475883484, 0.8656833171844482, 0.8887665271759033, 0.9118497967720032, 0.934933066368103, 0.9580163359642029, 0.9810996055603027, 1.0041828155517578, 1.027266025543213, 1.0503493547439575, 1.0734325647354126, 1.0965158939361572, 1.1195991039276123]}, "gradients/decoder.transformer.h.3.ln_1.bias": {"_type": "histogram", "values": [1.0, 3.0, 2.0, 1.0, 5.0, 4.0, 4.0, 7.0, 7.0, 10.0, 8.0, 15.0, 15.0, 15.0, 16.0, 25.0, 29.0, 23.0, 26.0, 25.0, 27.0, 30.0, 34.0, 26.0, 38.0, 44.0, 41.0, 36.0, 36.0, 44.0, 45.0, 45.0, 34.0, 28.0, 31.0, 29.0, 28.0, 22.0, 23.0, 12.0, 20.0, 14.0, 19.0, 11.0, 8.0, 11.0, 8.0, 7.0, 4.0, 4.0, 4.0, 5.0, 1.0, 1.0, 5.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.27356064319610596, -0.2641562223434448, -0.2547518014907837, -0.24534739553928375, -0.23594297468662262, -0.22653856873512268, -0.21713414788246155, -0.20772972702980042, -0.19832530617713928, -0.18892088532447815, -0.1795164793729782, -0.17011205852031708, -0.16070763766765594, -0.151303231716156, -0.14189881086349487, -0.13249439001083374, -0.1230899840593338, -0.11368557065725327, -0.10428114980459213, -0.0948767364025116, -0.08547231554985046, -0.07606790214776993, -0.06666348874568939, -0.05725906789302826, -0.04785465449094772, -0.03845023736357689, -0.029045822098851204, -0.01964140683412552, -0.010236989706754684, -0.0008325725793838501, 0.008571840822696686, 0.01797626167535782, 0.027380675077438354, 0.03678509220480919, 0.04618950933218002, 0.05559392273426056, 0.06499834358692169, 0.07440275698900223, 0.08380717039108276, 0.0932115912437439, 0.10261600464582443, 0.11202041804790497, 0.1214248389005661, 0.13082924485206604, 0.14023366570472717, 0.1496380865573883, 0.15904250741004944, 0.16844692826271057, 0.1778513342142105, 0.18725575506687164, 0.19666016101837158, 0.20606458187103271, 0.21546900272369385, 0.22487342357635498, 0.23427782952785492, 0.24368225038051605, 0.253086656332016, 0.2624910771846771, 0.27189549803733826, 0.281299889087677, 0.29070430994033813, 0.30010873079299927, 0.3095131516456604, 0.31891757249832153, 0.32832199335098267]}, "gradients/decoder.transformer.h.2.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 2.0, 3.0, 4.0, 3.0, 9.0, 7.0, 5.0, 7.0, 15.0, 11.0, 17.0, 14.0, 21.0, 18.0, 26.0, 20.0, 26.0, 31.0, 30.0, 38.0, 42.0, 37.0, 45.0, 46.0, 51.0, 50.0, 42.0, 25.0, 45.0, 30.0, 29.0, 31.0, 25.0, 29.0, 28.0, 19.0, 29.0, 12.0, 15.0, 17.0, 10.0, 10.0, 6.0, 7.0, 5.0, 3.0, 5.0, 1.0, 3.0, 5.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.0279541015625, -0.027044057846069336, -0.026134014129638672, -0.025223970413208008, -0.024313926696777344, -0.02340388298034668, -0.022493839263916016, -0.02158379554748535, -0.020673751831054688, -0.019763708114624023, -0.01885366439819336, -0.017943620681762695, -0.01703357696533203, -0.016123533248901367, -0.015213489532470703, -0.014303445816040039, -0.013393402099609375, -0.012483358383178711, -0.011573314666748047, -0.010663270950317383, -0.009753227233886719, -0.008843183517456055, -0.00793313980102539, -0.0070230960845947266, -0.0061130523681640625, -0.0052030086517333984, -0.004292964935302734, -0.0033829212188720703, -0.0024728775024414062, -0.0015628337860107422, -0.0006527900695800781, 0.00025725364685058594, 0.00116729736328125, 0.002077341079711914, 0.002987384796142578, 0.003897428512573242, 0.004807472229003906, 0.00571751594543457, 0.006627559661865234, 0.0075376033782958984, 0.008447647094726562, 0.009357690811157227, 0.01026773452758789, 0.011177778244018555, 0.012087821960449219, 0.012997865676879883, 0.013907909393310547, 0.014817953109741211, 0.015727996826171875, 0.01663804054260254, 0.017548084259033203, 0.018458127975463867, 0.01936817169189453, 0.020278215408325195, 0.02118825912475586, 0.022098302841186523, 0.023008346557617188, 0.02391839027404785, 0.024828433990478516, 0.02573847770690918, 0.026648521423339844, 0.027558565139770508, 0.028468608856201172, 0.029378652572631836, 0.0302886962890625]}, "gradients/decoder.transformer.h.2.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 5.0, 9.0, 3.0, 8.0, 14.0, 15.0, 22.0, 37.0, 35.0, 65.0, 102.0, 161.0, 287.0, 548.0, 1051.0, 2393.0, 5388.0, 14281.0, 46943.0, 299681.0, 2547794.0, 1115986.0, 115779.0, 26903.0, 9387.0, 3857.0, 1708.0, 778.0, 419.0, 220.0, 154.0, 80.0, 59.0, 35.0, 26.0, 18.0, 11.0, 9.0, 8.0, 2.0, 4.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07061767578125, -0.06816387176513672, -0.06571006774902344, -0.06325626373291016, -0.060802459716796875, -0.058348655700683594, -0.05589485168457031, -0.05344104766845703, -0.05098724365234375, -0.04853343963623047, -0.04607963562011719, -0.043625831604003906, -0.041172027587890625, -0.038718223571777344, -0.03626441955566406, -0.03381061553955078, -0.0313568115234375, -0.02890300750732422, -0.026449203491210938, -0.023995399475097656, -0.021541595458984375, -0.019087791442871094, -0.016633987426757812, -0.014180183410644531, -0.01172637939453125, -0.009272575378417969, -0.0068187713623046875, -0.004364967346191406, -0.001911163330078125, 0.0005426406860351562, 0.0029964447021484375, 0.005450248718261719, 0.007904052734375, 0.010357856750488281, 0.012811660766601562, 0.015265464782714844, 0.017719268798828125, 0.020173072814941406, 0.022626876831054688, 0.02508068084716797, 0.02753448486328125, 0.02998828887939453, 0.03244209289550781, 0.034895896911621094, 0.037349700927734375, 0.039803504943847656, 0.04225730895996094, 0.04471111297607422, 0.0471649169921875, 0.04961872100830078, 0.05207252502441406, 0.054526329040527344, 0.056980133056640625, 0.059433937072753906, 0.06188774108886719, 0.06434154510498047, 0.06679534912109375, 0.06924915313720703, 0.07170295715332031, 0.0741567611694336, 0.07661056518554688, 0.07906436920166016, 0.08151817321777344, 0.08397197723388672, 0.08642578125]}, "gradients/decoder.transformer.h.2.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 3.0, 7.0, 12.0, 8.0, 15.0, 14.0, 13.0, 29.0, 29.0, 62.0, 68.0, 96.0, 127.0, 178.0, 184.0, 271.0, 365.0, 489.0, 517.0, 356.0, 301.0, 237.0, 151.0, 130.0, 100.0, 69.0, 60.0, 36.0, 38.0, 23.0, 18.0, 15.0, 14.0, 9.0, 5.0, 9.0, 2.0, 2.0, 4.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.0467529296875, -0.04533958435058594, -0.043926239013671875, -0.04251289367675781, -0.04109954833984375, -0.03968620300292969, -0.038272857666015625, -0.03685951232910156, -0.0354461669921875, -0.03403282165527344, -0.032619476318359375, -0.031206130981445312, -0.02979278564453125, -0.028379440307617188, -0.026966094970703125, -0.025552749633789062, -0.024139404296875, -0.022726058959960938, -0.021312713623046875, -0.019899368286132812, -0.01848602294921875, -0.017072677612304688, -0.015659332275390625, -0.014245986938476562, -0.0128326416015625, -0.011419296264648438, -0.010005950927734375, -0.008592605590820312, -0.00717926025390625, -0.0057659149169921875, -0.004352569580078125, -0.0029392242431640625, -0.00152587890625, -0.0001125335693359375, 0.001300811767578125, 0.0027141571044921875, 0.00412750244140625, 0.0055408477783203125, 0.006954193115234375, 0.008367538452148438, 0.0097808837890625, 0.011194229125976562, 0.012607574462890625, 0.014020919799804688, 0.01543426513671875, 0.016847610473632812, 0.018260955810546875, 0.019674301147460938, 0.021087646484375, 0.022500991821289062, 0.023914337158203125, 0.025327682495117188, 0.02674102783203125, 0.028154373168945312, 0.029567718505859375, 0.030981063842773438, 0.0323944091796875, 0.03380775451660156, 0.035221099853515625, 0.03663444519042969, 0.03804779052734375, 0.03946113586425781, 0.040874481201171875, 0.04228782653808594, 0.043701171875]}, "gradients/decoder.transformer.h.2.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 4.0, 1.0, 1.0, 6.0, 0.0, 2.0, 2.0, 7.0, 10.0, 11.0, 12.0, 18.0, 33.0, 49.0, 79.0, 115.0, 170.0, 341.0, 538.0, 973.0, 2292.0, 5542.0, 15481.0, 53178.0, 226474.0, 1448930.0, 2045492.0, 297700.0, 66299.0, 18797.0, 6477.0, 2553.0, 1191.0, 633.0, 315.0, 208.0, 102.0, 93.0, 59.0, 25.0, 27.0, 19.0, 15.0, 7.0, 8.0, 2.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.059783935546875, -0.05772829055786133, -0.055672645568847656, -0.053617000579833984, -0.05156135559082031, -0.04950571060180664, -0.04745006561279297, -0.0453944206237793, -0.043338775634765625, -0.04128313064575195, -0.03922748565673828, -0.03717184066772461, -0.03511619567871094, -0.033060550689697266, -0.031004905700683594, -0.028949260711669922, -0.02689361572265625, -0.024837970733642578, -0.022782325744628906, -0.020726680755615234, -0.018671035766601562, -0.01661539077758789, -0.014559745788574219, -0.012504100799560547, -0.010448455810546875, -0.008392810821533203, -0.006337165832519531, -0.004281520843505859, -0.0022258758544921875, -0.00017023086547851562, 0.0018854141235351562, 0.003941059112548828, 0.0059967041015625, 0.008052349090576172, 0.010107994079589844, 0.012163639068603516, 0.014219284057617188, 0.01627492904663086, 0.01833057403564453, 0.020386219024658203, 0.022441864013671875, 0.024497509002685547, 0.02655315399169922, 0.02860879898071289, 0.030664443969726562, 0.032720088958740234, 0.034775733947753906, 0.03683137893676758, 0.03888702392578125, 0.04094266891479492, 0.042998313903808594, 0.045053958892822266, 0.04710960388183594, 0.04916524887084961, 0.05122089385986328, 0.05327653884887695, 0.055332183837890625, 0.0573878288269043, 0.05944347381591797, 0.06149911880493164, 0.06355476379394531, 0.06561040878295898, 0.06766605377197266, 0.06972169876098633, 0.07177734375]}, "gradients/decoder.transformer.h.2.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 55.0, 422.0, 463.0, 66.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7545274496078491, -1.7095420360565186, -1.664556622505188, -1.6195712089538574, -1.5745856761932373, -1.5296002626419067, -1.4846148490905762, -1.4396294355392456, -1.394644021987915, -1.3496586084365845, -1.304673194885254, -1.2596876621246338, -1.2147022485733032, -1.1697168350219727, -1.124731421470642, -1.0797460079193115, -1.0347604751586914, -0.9897750616073608, -0.9447895884513855, -0.8998041749000549, -0.8548187017440796, -0.809833288192749, -0.7648478746414185, -0.7198624610900879, -0.6748769879341125, -0.629891574382782, -0.5849061012268066, -0.5399206876754761, -0.4949352443218231, -0.44994980096817017, -0.4049643874168396, -0.35997894406318665, -0.31499361991882324, -0.2700081765651703, -0.22502274811267853, -0.18003731966018677, -0.1350518763065338, -0.09006643295288086, -0.04508101940155029, -9.557604789733887e-05, 0.044889867305755615, 0.08987530320882797, 0.13486073911190033, 0.1798461675643921, 0.22483161091804504, 0.269817054271698, 0.31480246782302856, 0.3597879111766815, 0.4047733545303345, 0.4497587978839874, 0.4947442412376404, 0.539729654788971, 0.5847151279449463, 0.6297005414962769, 0.6746859550476074, 0.719671368598938, 0.7646568417549133, 0.8096422553062439, 0.8546277284622192, 0.8996131420135498, 0.9445985555648804, 0.9895840287208557, 1.034569501876831, 1.0795549154281616, 1.1245403289794922]}, "gradients/decoder.transformer.h.2.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 4.0, 6.0, 1.0, 5.0, 5.0, 4.0, 9.0, 16.0, 23.0, 26.0, 30.0, 27.0, 23.0, 35.0, 39.0, 44.0, 60.0, 52.0, 50.0, 63.0, 65.0, 58.0, 53.0, 55.0, 43.0, 41.0, 31.0, 24.0, 23.0, 22.0, 20.0, 19.0, 10.0, 8.0, 7.0, 7.0, 2.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2699589729309082, -0.26251348853111267, -0.25506800413131714, -0.2476225346326828, -0.24017705023288727, -0.23273158073425293, -0.2252860963344574, -0.21784061193466187, -0.21039512753486633, -0.2029496431350708, -0.19550417363643646, -0.18805868923664093, -0.1806132048368454, -0.17316773533821106, -0.16572225093841553, -0.15827676653862, -0.15083129703998566, -0.14338581264019012, -0.1359403431415558, -0.12849485874176025, -0.12104937434196472, -0.11360389739274979, -0.10615842044353485, -0.09871293604373932, -0.09126745909452438, -0.08382198214530945, -0.07637649774551392, -0.06893102079629898, -0.06148554012179375, -0.05404005944728851, -0.04659458249807358, -0.039149101823568344, -0.03170362114906311, -0.024258140474557877, -0.016812661662697792, -0.009367182850837708, -0.0019217021763324738, 0.00552377849817276, 0.012969255447387695, 0.02041473612189293, 0.027860216796398163, 0.0353056974709034, 0.04275117814540863, 0.050196655094623566, 0.0576421357691288, 0.06508761644363403, 0.07253309339284897, 0.0799785703420639, 0.08742405474185944, 0.09486953169107437, 0.1023150160908699, 0.10976049304008484, 0.11720597743988037, 0.1246514543890953, 0.13209693133831024, 0.13954241573810577, 0.1469878852367401, 0.15443336963653564, 0.16187883913516998, 0.16932432353496552, 0.17676980793476105, 0.18421527743339539, 0.19166076183319092, 0.19910624623298645, 0.20655173063278198]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.bias": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 3.0, 3.0, 3.0, 4.0, 4.0, 8.0, 8.0, 5.0, 5.0, 16.0, 14.0, 11.0, 19.0, 21.0, 27.0, 23.0, 26.0, 27.0, 38.0, 33.0, 45.0, 37.0, 30.0, 48.0, 49.0, 45.0, 42.0, 44.0, 33.0, 32.0, 35.0, 32.0, 39.0, 21.0, 24.0, 35.0, 13.0, 16.0, 15.0, 17.0, 13.0, 9.0, 9.0, 5.0, 7.0, 3.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0247650146484375, -0.02388596534729004, -0.023006916046142578, -0.022127866744995117, -0.021248817443847656, -0.020369768142700195, -0.019490718841552734, -0.018611669540405273, -0.017732620239257812, -0.01685357093811035, -0.01597452163696289, -0.01509547233581543, -0.014216423034667969, -0.013337373733520508, -0.012458324432373047, -0.011579275131225586, -0.010700225830078125, -0.009821176528930664, -0.008942127227783203, -0.008063077926635742, -0.007184028625488281, -0.00630497932434082, -0.005425930023193359, -0.0045468807220458984, -0.0036678314208984375, -0.0027887821197509766, -0.0019097328186035156, -0.0010306835174560547, -0.00015163421630859375, 0.0007274150848388672, 0.0016064643859863281, 0.002485513687133789, 0.00336456298828125, 0.004243612289428711, 0.005122661590576172, 0.006001710891723633, 0.006880760192871094, 0.007759809494018555, 0.008638858795166016, 0.009517908096313477, 0.010396957397460938, 0.011276006698608398, 0.01215505599975586, 0.01303410530090332, 0.013913154602050781, 0.014792203903198242, 0.015671253204345703, 0.016550302505493164, 0.017429351806640625, 0.018308401107788086, 0.019187450408935547, 0.020066499710083008, 0.02094554901123047, 0.02182459831237793, 0.02270364761352539, 0.02358269691467285, 0.024461746215820312, 0.025340795516967773, 0.026219844818115234, 0.027098894119262695, 0.027977943420410156, 0.028856992721557617, 0.029736042022705078, 0.03061509132385254, 0.031494140625]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 4.0, 2.0, 6.0, 3.0, 4.0, 11.0, 13.0, 23.0, 33.0, 53.0, 74.0, 92.0, 149.0, 211.0, 293.0, 409.0, 624.0, 825.0, 1303.0, 1783.0, 2595.0, 3763.0, 5679.0, 8287.0, 12237.0, 18952.0, 28865.0, 46325.0, 78553.0, 146319.0, 342912.0, 141544.0, 76053.0, 45677.0, 28449.0, 18438.0, 12204.0, 8135.0, 5397.0, 3791.0, 2598.0, 1830.0, 1217.0, 865.0, 589.0, 403.0, 294.0, 198.0, 146.0, 117.0, 66.0, 54.0, 34.0, 20.0, 21.0, 13.0, 6.0, 8.0, 1.0, 2.0], "bins": [-0.00018298625946044922, -0.00017767958343029022, -0.00017237290740013123, -0.00016706623136997223, -0.00016175955533981323, -0.00015645287930965424, -0.00015114620327949524, -0.00014583952724933624, -0.00014053285121917725, -0.00013522617518901825, -0.00012991949915885925, -0.00012461282312870026, -0.00011930614709854126, -0.00011399947106838226, -0.00010869279503822327, -0.00010338611900806427, -9.807944297790527e-05, -9.277276694774628e-05, -8.746609091758728e-05, -8.215941488742828e-05, -7.685273885726929e-05, -7.154606282711029e-05, -6.62393867969513e-05, -6.09327107667923e-05, -5.56260347366333e-05, -5.0319358706474304e-05, -4.501268267631531e-05, -3.970600664615631e-05, -3.4399330615997314e-05, -2.9092654585838318e-05, -2.378597855567932e-05, -1.8479302525520325e-05, -1.3172626495361328e-05, -7.865950465202332e-06, -2.559274435043335e-06, 2.7474015951156616e-06, 8.054077625274658e-06, 1.3360753655433655e-05, 1.866742968559265e-05, 2.3974105715751648e-05, 2.9280781745910645e-05, 3.458745777606964e-05, 3.989413380622864e-05, 4.5200809836387634e-05, 5.050748586654663e-05, 5.581416189670563e-05, 6.112083792686462e-05, 6.642751395702362e-05, 7.173418998718262e-05, 7.704086601734161e-05, 8.234754204750061e-05, 8.765421807765961e-05, 9.29608941078186e-05, 9.82675701379776e-05, 0.0001035742461681366, 0.0001088809221982956, 0.00011418759822845459, 0.00011949427425861359, 0.00012480095028877258, 0.00013010762631893158, 0.00013541430234909058, 0.00014072097837924957, 0.00014602765440940857, 0.00015133433043956757, 0.00015664100646972656]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 3.0, 0.0, 1.0, 3.0, 2.0, 4.0, 5.0, 13.0, 9.0, 12.0, 17.0, 12.0, 19.0, 29.0, 19.0, 25.0, 21.0, 29.0, 37.0, 33.0, 40.0, 31.0, 33.0, 43.0, 45.0, 1061.0, 37.0, 44.0, 31.0, 30.0, 39.0, 34.0, 30.0, 29.0, 34.0, 22.0, 31.0, 14.0, 18.0, 15.0, 11.0, 7.0, 13.0, 9.0, 10.0, 8.0, 6.0, 5.0, 6.0, 4.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.02252197265625, -0.02183365821838379, -0.021145343780517578, -0.020457029342651367, -0.019768714904785156, -0.019080400466918945, -0.018392086029052734, -0.017703771591186523, -0.017015457153320312, -0.0163271427154541, -0.01563882827758789, -0.01495051383972168, -0.014262199401855469, -0.013573884963989258, -0.012885570526123047, -0.012197256088256836, -0.011508941650390625, -0.010820627212524414, -0.010132312774658203, -0.009443998336791992, -0.008755683898925781, -0.00806736946105957, -0.007379055023193359, -0.0066907405853271484, -0.0060024261474609375, -0.0053141117095947266, -0.004625797271728516, -0.003937482833862305, -0.0032491683959960938, -0.002560853958129883, -0.0018725395202636719, -0.001184225082397461, -0.00049591064453125, 0.00019240379333496094, 0.0008807182312011719, 0.0015690326690673828, 0.0022573471069335938, 0.0029456615447998047, 0.0036339759826660156, 0.0043222904205322266, 0.0050106048583984375, 0.0056989192962646484, 0.006387233734130859, 0.00707554817199707, 0.007763862609863281, 0.008452177047729492, 0.009140491485595703, 0.009828805923461914, 0.010517120361328125, 0.011205434799194336, 0.011893749237060547, 0.012582063674926758, 0.013270378112792969, 0.01395869255065918, 0.01464700698852539, 0.015335321426391602, 0.016023635864257812, 0.016711950302124023, 0.017400264739990234, 0.018088579177856445, 0.018776893615722656, 0.019465208053588867, 0.020153522491455078, 0.02084183692932129, 0.0215301513671875]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 4.0, 5.0, 5.0, 6.0, 6.0, 3.0, 4.0, 10.0, 10.0, 7.0, 14.0, 14.0, 15.0, 22.0, 17.0, 16.0, 27.0, 28.0, 28.0, 39.0, 51.0, 127.0, 304.0, 798.0, 2750.0, 19353.0, 2063068.0, 7550.0, 1690.0, 542.0, 233.0, 85.0, 42.0, 49.0, 20.0, 23.0, 24.0, 25.0, 24.0, 17.0, 13.0, 19.0, 13.0, 12.0, 7.0, 7.0, 3.0, 2.0, 4.0, 1.0, 3.0, 0.0, 4.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0563602447509766e-05, -1.9907020032405853e-05, -1.925043761730194e-05, -1.859385520219803e-05, -1.7937272787094116e-05, -1.7280690371990204e-05, -1.662410795688629e-05, -1.596752554178238e-05, -1.5310943126678467e-05, -1.4654360711574554e-05, -1.3997778296470642e-05, -1.334119588136673e-05, -1.2684613466262817e-05, -1.2028031051158905e-05, -1.1371448636054993e-05, -1.071486622095108e-05, -1.0058283805847168e-05, -9.401701390743256e-06, -8.745118975639343e-06, -8.088536560535431e-06, -7.4319541454315186e-06, -6.775371730327606e-06, -6.118789315223694e-06, -5.4622069001197815e-06, -4.805624485015869e-06, -4.149042069911957e-06, -3.4924596548080444e-06, -2.835877239704132e-06, -2.1792948246002197e-06, -1.5227124094963074e-06, -8.66129994392395e-07, -2.0954757928848267e-07, 4.470348358154297e-07, 1.103617250919342e-06, 1.7601996660232544e-06, 2.4167820811271667e-06, 3.073364496231079e-06, 3.7299469113349915e-06, 4.386529326438904e-06, 5.043111741542816e-06, 5.6996941566467285e-06, 6.356276571750641e-06, 7.012858986854553e-06, 7.669441401958466e-06, 8.326023817062378e-06, 8.98260623216629e-06, 9.639188647270203e-06, 1.0295771062374115e-05, 1.0952353477478027e-05, 1.160893589258194e-05, 1.2265518307685852e-05, 1.2922100722789764e-05, 1.3578683137893677e-05, 1.4235265552997589e-05, 1.4891847968101501e-05, 1.5548430383205414e-05, 1.6205012798309326e-05, 1.686159521341324e-05, 1.751817762851715e-05, 1.8174760043621063e-05, 1.8831342458724976e-05, 1.9487924873828888e-05, 2.01445072889328e-05, 2.0801089704036713e-05, 2.1457672119140625e-05]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.attn.c_proj.bias": {"_type": "histogram", "values": [3.0, 2.0, 0.0, 3.0, 3.0, 3.0, 4.0, 4.0, 8.0, 8.0, 5.0, 5.0, 16.0, 14.0, 11.0, 19.0, 21.0, 27.0, 23.0, 26.0, 27.0, 38.0, 33.0, 45.0, 37.0, 30.0, 48.0, 49.0, 45.0, 42.0, 44.0, 33.0, 32.0, 35.0, 32.0, 39.0, 21.0, 24.0, 35.0, 13.0, 16.0, 15.0, 17.0, 13.0, 9.0, 9.0, 5.0, 7.0, 3.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0247650146484375, -0.02388596534729004, -0.023006916046142578, -0.022127866744995117, -0.021248817443847656, -0.020369768142700195, -0.019490718841552734, -0.018611669540405273, -0.017732620239257812, -0.01685357093811035, -0.01597452163696289, -0.01509547233581543, -0.014216423034667969, -0.013337373733520508, -0.012458324432373047, -0.011579275131225586, -0.010700225830078125, -0.009821176528930664, -0.008942127227783203, -0.008063077926635742, -0.007184028625488281, -0.00630497932434082, -0.005425930023193359, -0.0045468807220458984, -0.0036678314208984375, -0.0027887821197509766, -0.0019097328186035156, -0.0010306835174560547, -0.00015163421630859375, 0.0007274150848388672, 0.0016064643859863281, 0.002485513687133789, 0.00336456298828125, 0.004243612289428711, 0.005122661590576172, 0.006001710891723633, 0.006880760192871094, 0.007759809494018555, 0.008638858795166016, 0.009517908096313477, 0.010396957397460938, 0.011276006698608398, 0.01215505599975586, 0.01303410530090332, 0.013913154602050781, 0.014792203903198242, 0.015671253204345703, 0.016550302505493164, 0.017429351806640625, 0.018308401107788086, 0.019187450408935547, 0.020066499710083008, 0.02094554901123047, 0.02182459831237793, 0.02270364761352539, 0.02358269691467285, 0.024461746215820312, 0.025340795516967773, 0.026219844818115234, 0.027098894119262695, 0.027977943420410156, 0.028856992721557617, 0.029736042022705078, 0.03061509132385254, 0.031494140625]}, "gradients/decoder.transformer.h.2.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 4.0, 5.0, 8.0, 8.0, 26.0, 24.0, 25.0, 43.0, 61.0, 94.0, 158.0, 205.0, 339.0, 543.0, 836.0, 1250.0, 2041.0, 3139.0, 4695.0, 7590.0, 11859.0, 19490.0, 32641.0, 57403.0, 111580.0, 242700.0, 267845.0, 127616.0, 63735.0, 35558.0, 21566.0, 13101.0, 8081.0, 5046.0, 3238.0, 2067.0, 1373.0, 911.0, 614.0, 360.0, 231.0, 132.0, 117.0, 65.0, 55.0, 23.0, 22.0, 9.0, 7.0, 5.0, 4.0, 4.0, 4.0, 2.0, 2.0, 4.0], "bins": [-0.035552978515625, -0.034509897232055664, -0.03346681594848633, -0.03242373466491699, -0.031380653381347656, -0.03033757209777832, -0.029294490814208984, -0.02825140953063965, -0.027208328247070312, -0.026165246963500977, -0.02512216567993164, -0.024079084396362305, -0.02303600311279297, -0.021992921829223633, -0.020949840545654297, -0.01990675926208496, -0.018863677978515625, -0.01782059669494629, -0.016777515411376953, -0.015734434127807617, -0.014691352844238281, -0.013648271560668945, -0.01260519027709961, -0.011562108993530273, -0.010519027709960938, -0.009475946426391602, -0.008432865142822266, -0.00738978385925293, -0.006346702575683594, -0.005303621292114258, -0.004260540008544922, -0.003217458724975586, -0.00217437744140625, -0.001131296157836914, -8.821487426757812e-05, 0.0009548664093017578, 0.0019979476928710938, 0.0030410289764404297, 0.004084110260009766, 0.0051271915435791016, 0.0061702728271484375, 0.0072133541107177734, 0.00825643539428711, 0.009299516677856445, 0.010342597961425781, 0.011385679244995117, 0.012428760528564453, 0.013471841812133789, 0.014514923095703125, 0.015558004379272461, 0.016601085662841797, 0.017644166946411133, 0.01868724822998047, 0.019730329513549805, 0.02077341079711914, 0.021816492080688477, 0.022859573364257812, 0.02390265464782715, 0.024945735931396484, 0.02598881721496582, 0.027031898498535156, 0.028074979782104492, 0.029118061065673828, 0.030161142349243164, 0.0312042236328125]}, "gradients/decoder.transformer.h.2.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 5.0, 2.0, 1.0, 1.0, 1.0, 8.0, 4.0, 4.0, 7.0, 6.0, 10.0, 16.0, 22.0, 22.0, 20.0, 27.0, 31.0, 35.0, 35.0, 49.0, 43.0, 78.0, 91.0, 132.0, 210.0, 1347.0, 194.0, 138.0, 114.0, 87.0, 54.0, 42.0, 29.0, 21.0, 21.0, 20.0, 25.0, 21.0, 18.0, 13.0, 13.0, 10.0, 10.0, 5.0, 4.0, 5.0, 3.0, 2.0, 0.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.07049560546875, -0.0681924819946289, -0.06588935852050781, -0.06358623504638672, -0.061283111572265625, -0.05897998809814453, -0.05667686462402344, -0.054373741149902344, -0.05207061767578125, -0.049767494201660156, -0.04746437072753906, -0.04516124725341797, -0.042858123779296875, -0.04055500030517578, -0.03825187683105469, -0.035948753356933594, -0.0336456298828125, -0.031342506408691406, -0.029039382934570312, -0.02673625946044922, -0.024433135986328125, -0.02213001251220703, -0.019826889038085938, -0.017523765563964844, -0.01522064208984375, -0.012917518615722656, -0.010614395141601562, -0.008311271667480469, -0.006008148193359375, -0.0037050247192382812, -0.0014019012451171875, 0.0009012222290039062, 0.003204345703125, 0.005507469177246094, 0.0078105926513671875, 0.010113716125488281, 0.012416839599609375, 0.014719963073730469, 0.017023086547851562, 0.019326210021972656, 0.02162933349609375, 0.023932456970214844, 0.026235580444335938, 0.02853870391845703, 0.030841827392578125, 0.03314495086669922, 0.03544807434082031, 0.037751197814941406, 0.0400543212890625, 0.042357444763183594, 0.04466056823730469, 0.04696369171142578, 0.049266815185546875, 0.05156993865966797, 0.05387306213378906, 0.056176185607910156, 0.05847930908203125, 0.060782432556152344, 0.06308555603027344, 0.06538867950439453, 0.06769180297851562, 0.06999492645263672, 0.07229804992675781, 0.0746011734008789, 0.076904296875]}, "gradients/decoder.transformer.h.2.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 2.0, 4.0, 4.0, 2.0, 9.0, 4.0, 9.0, 6.0, 9.0, 17.0, 27.0, 32.0, 40.0, 55.0, 88.0, 83.0, 142.0, 256.0, 374.0, 704.0, 1677.0, 12304.0, 847882.0, 2257046.0, 20789.0, 2069.0, 835.0, 401.0, 263.0, 179.0, 119.0, 76.0, 60.0, 49.0, 29.0, 19.0, 9.0, 7.0, 11.0, 5.0, 8.0, 2.0, 3.0, 2.0, 0.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.151123046875, -0.14626121520996094, -0.14139938354492188, -0.1365375518798828, -0.13167572021484375, -0.1268138885498047, -0.12195205688476562, -0.11709022521972656, -0.1122283935546875, -0.10736656188964844, -0.10250473022460938, -0.09764289855957031, -0.09278106689453125, -0.08791923522949219, -0.08305740356445312, -0.07819557189941406, -0.073333740234375, -0.06847190856933594, -0.06361007690429688, -0.05874824523925781, -0.05388641357421875, -0.04902458190917969, -0.044162750244140625, -0.03930091857910156, -0.0344390869140625, -0.029577255249023438, -0.024715423583984375, -0.019853591918945312, -0.01499176025390625, -0.010129928588867188, -0.005268096923828125, -0.0004062652587890625, 0.00445556640625, 0.009317398071289062, 0.014179229736328125, 0.019041061401367188, 0.02390289306640625, 0.028764724731445312, 0.033626556396484375, 0.03848838806152344, 0.0433502197265625, 0.04821205139160156, 0.053073883056640625, 0.05793571472167969, 0.06279754638671875, 0.06765937805175781, 0.07252120971679688, 0.07738304138183594, 0.082244873046875, 0.08710670471191406, 0.09196853637695312, 0.09683036804199219, 0.10169219970703125, 0.10655403137207031, 0.11141586303710938, 0.11627769470214844, 0.1211395263671875, 0.12600135803222656, 0.13086318969726562, 0.1357250213623047, 0.14058685302734375, 0.1454486846923828, 0.15031051635742188, 0.15517234802246094, 0.1600341796875]}, "gradients/decoder.transformer.h.2.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 7.0, 22.0, 90.0, 173.0, 225.0, 229.0, 158.0, 73.0, 20.0, 12.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4971444606781006, -0.4721161425113678, -0.4470878541469574, -0.4220595359802246, -0.3970312178134918, -0.37200289964675903, -0.34697461128234863, -0.32194629311561584, -0.29691797494888306, -0.27188965678215027, -0.24686135351657867, -0.22183305025100708, -0.1968047320842743, -0.1717764288187027, -0.1467481255531311, -0.12171980738639832, -0.09669151902198792, -0.07166320830583572, -0.04663490131497383, -0.02160659432411194, 0.0034217163920402527, 0.028450027108192444, 0.05347833037376404, 0.07850664854049683, 0.10353495180606842, 0.12856325507164001, 0.1535915732383728, 0.1786198765039444, 0.203648179769516, 0.22867649793624878, 0.2537047863006592, 0.27873313426971436, 0.30376142263412476, 0.32878974080085754, 0.35381802916526794, 0.37884634733200073, 0.4038746654987335, 0.4289029836654663, 0.4539312720298767, 0.4789595901966095, 0.5039879083633423, 0.5290161967277527, 0.5540445446968079, 0.5790728330612183, 0.6041011214256287, 0.6291294693946838, 0.6541577577590942, 0.6791861057281494, 0.704214334487915, 0.7292426228523254, 0.7542709708213806, 0.779299259185791, 0.8043275475502014, 0.8293558955192566, 0.854384183883667, 0.8794125318527222, 0.9044408202171326, 0.929469108581543, 0.9544974565505981, 0.9795257449150085, 1.004554033279419, 1.0295823812484741, 1.0546107292175293, 1.079638957977295, 1.10466730594635]}, "gradients/decoder.transformer.h.2.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 4.0, 3.0, 3.0, 4.0, 2.0, 3.0, 10.0, 5.0, 9.0, 14.0, 12.0, 13.0, 14.0, 12.0, 17.0, 18.0, 28.0, 33.0, 25.0, 31.0, 41.0, 47.0, 41.0, 33.0, 29.0, 35.0, 36.0, 39.0, 29.0, 22.0, 34.0, 23.0, 37.0, 27.0, 41.0, 26.0, 29.0, 25.0, 19.0, 11.0, 23.0, 9.0, 12.0, 18.0, 12.0, 14.0, 7.0, 7.0, 9.0, 5.0, 4.0, 2.0, 4.0, 3.0, 3.0, 0.0, 1.0, 3.0, 0.0, 1.0], "bins": [-0.23694318532943726, -0.2291771024465561, -0.22141103446483612, -0.21364495158195496, -0.20587888360023499, -0.19811280071735382, -0.19034671783447266, -0.18258064985275269, -0.17481458187103271, -0.16704849898815155, -0.15928243100643158, -0.15151634812355042, -0.14375028014183044, -0.13598419725894928, -0.12821811437606812, -0.12045204639434814, -0.11268596351146698, -0.10491988807916641, -0.09715381264686584, -0.08938772976398468, -0.08162166178226471, -0.07385557889938354, -0.06608950346708298, -0.05832342803478241, -0.05055735260248184, -0.042791277170181274, -0.03502520173788071, -0.02725912258028984, -0.019493047147989273, -0.011726971715688705, -0.003960892558097839, 0.0038051828742027283, 0.011571258306503296, 0.019337333738803864, 0.02710341103374958, 0.0348694883286953, 0.042635563760995865, 0.05040163919329643, 0.0581677183508873, 0.06593379378318787, 0.07369986921548843, 0.081465944647789, 0.08923202008008957, 0.09699809551239014, 0.1047641783952713, 0.11253024637699127, 0.12029632925987244, 0.1280623972415924, 0.13582848012447357, 0.14359456300735474, 0.1513606309890747, 0.15912671387195587, 0.16689278185367584, 0.174658864736557, 0.18242493271827698, 0.19019101560115814, 0.1979570984840393, 0.20572318136692047, 0.21348924934864044, 0.2212553322315216, 0.22902140021324158, 0.23678748309612274, 0.2445535659790039, 0.2523196339607239, 0.26008570194244385]}, "gradients/decoder.transformer.h.1.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 5.0, 5.0, 8.0, 6.0, 5.0, 6.0, 14.0, 16.0, 12.0, 13.0, 19.0, 18.0, 29.0, 29.0, 27.0, 38.0, 45.0, 40.0, 37.0, 42.0, 44.0, 45.0, 39.0, 44.0, 43.0, 42.0, 44.0, 42.0, 33.0, 29.0, 33.0, 29.0, 13.0, 15.0, 16.0, 14.0, 16.0, 12.0, 7.0, 12.0, 6.0, 5.0, 3.0, 4.0, 3.0, 2.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0296478271484375, -0.028665781021118164, -0.027683734893798828, -0.026701688766479492, -0.025719642639160156, -0.02473759651184082, -0.023755550384521484, -0.02277350425720215, -0.021791458129882812, -0.020809412002563477, -0.01982736587524414, -0.018845319747924805, -0.01786327362060547, -0.016881227493286133, -0.015899181365966797, -0.014917135238647461, -0.013935089111328125, -0.012953042984008789, -0.011970996856689453, -0.010988950729370117, -0.010006904602050781, -0.009024858474731445, -0.00804281234741211, -0.0070607662200927734, -0.0060787200927734375, -0.0050966739654541016, -0.004114627838134766, -0.0031325817108154297, -0.0021505355834960938, -0.0011684894561767578, -0.00018644332885742188, 0.0007956027984619141, 0.00177764892578125, 0.002759695053100586, 0.003741741180419922, 0.004723787307739258, 0.005705833435058594, 0.00668787956237793, 0.007669925689697266, 0.008651971817016602, 0.009634017944335938, 0.010616064071655273, 0.01159811019897461, 0.012580156326293945, 0.013562202453613281, 0.014544248580932617, 0.015526294708251953, 0.01650834083557129, 0.017490386962890625, 0.01847243309020996, 0.019454479217529297, 0.020436525344848633, 0.02141857147216797, 0.022400617599487305, 0.02338266372680664, 0.024364709854125977, 0.025346755981445312, 0.02632880210876465, 0.027310848236083984, 0.02829289436340332, 0.029274940490722656, 0.030256986618041992, 0.031239032745361328, 0.032221078872680664, 0.033203125]}, "gradients/decoder.transformer.h.1.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 0.0, 4.0, 8.0, 7.0, 18.0, 10.0, 13.0, 17.0, 27.0, 45.0, 66.0, 96.0, 134.0, 217.0, 320.0, 511.0, 736.0, 1105.0, 1708.0, 2698.0, 4456.0, 7763.0, 13934.0, 27705.0, 71980.0, 427338.0, 2452835.0, 974878.0, 124711.0, 38137.0, 17817.0, 9674.0, 5704.0, 3424.0, 2181.0, 1413.0, 869.0, 583.0, 355.0, 236.0, 158.0, 120.0, 75.0, 60.0, 32.0, 35.0, 19.0, 21.0, 9.0, 9.0, 7.0, 4.0, 4.0, 4.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.07135009765625, -0.0691680908203125, -0.066986083984375, -0.0648040771484375, -0.0626220703125, -0.0604400634765625, -0.058258056640625, -0.0560760498046875, -0.05389404296875, -0.0517120361328125, -0.049530029296875, -0.0473480224609375, -0.045166015625, -0.0429840087890625, -0.040802001953125, -0.0386199951171875, -0.03643798828125, -0.0342559814453125, -0.032073974609375, -0.0298919677734375, -0.0277099609375, -0.0255279541015625, -0.023345947265625, -0.0211639404296875, -0.01898193359375, -0.0167999267578125, -0.014617919921875, -0.0124359130859375, -0.01025390625, -0.0080718994140625, -0.005889892578125, -0.0037078857421875, -0.00152587890625, 0.0006561279296875, 0.002838134765625, 0.0050201416015625, 0.0072021484375, 0.0093841552734375, 0.011566162109375, 0.0137481689453125, 0.01593017578125, 0.0181121826171875, 0.020294189453125, 0.0224761962890625, 0.024658203125, 0.0268402099609375, 0.029022216796875, 0.0312042236328125, 0.03338623046875, 0.0355682373046875, 0.037750244140625, 0.0399322509765625, 0.0421142578125, 0.0442962646484375, 0.046478271484375, 0.0486602783203125, 0.05084228515625, 0.0530242919921875, 0.055206298828125, 0.0573883056640625, 0.0595703125, 0.0617523193359375, 0.063934326171875, 0.0661163330078125, 0.06829833984375]}, "gradients/decoder.transformer.h.1.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 1.0, 3.0, 2.0, 5.0, 3.0, 4.0, 6.0, 16.0, 13.0, 22.0, 30.0, 46.0, 68.0, 96.0, 132.0, 189.0, 250.0, 329.0, 479.0, 623.0, 511.0, 354.0, 247.0, 197.0, 132.0, 93.0, 64.0, 47.0, 28.0, 34.0, 13.0, 11.0, 8.0, 10.0, 4.0, 4.0, 2.0, 2.0, 4.0, 1.0, 2.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.037109375, -0.035536766052246094, -0.03396415710449219, -0.03239154815673828, -0.030818939208984375, -0.02924633026123047, -0.027673721313476562, -0.026101112365722656, -0.02452850341796875, -0.022955894470214844, -0.021383285522460938, -0.01981067657470703, -0.018238067626953125, -0.01666545867919922, -0.015092849731445312, -0.013520240783691406, -0.0119476318359375, -0.010375022888183594, -0.008802413940429688, -0.007229804992675781, -0.005657196044921875, -0.004084587097167969, -0.0025119781494140625, -0.0009393692016601562, 0.00063323974609375, 0.0022058486938476562, 0.0037784576416015625, 0.005351066589355469, 0.006923675537109375, 0.008496284484863281, 0.010068893432617188, 0.011641502380371094, 0.013214111328125, 0.014786720275878906, 0.016359329223632812, 0.01793193817138672, 0.019504547119140625, 0.02107715606689453, 0.022649765014648438, 0.024222373962402344, 0.02579498291015625, 0.027367591857910156, 0.028940200805664062, 0.03051280975341797, 0.032085418701171875, 0.03365802764892578, 0.03523063659667969, 0.036803245544433594, 0.0383758544921875, 0.039948463439941406, 0.04152107238769531, 0.04309368133544922, 0.044666290283203125, 0.04623889923095703, 0.04781150817871094, 0.049384117126464844, 0.05095672607421875, 0.052529335021972656, 0.05410194396972656, 0.05567455291748047, 0.057247161865234375, 0.05881977081298828, 0.06039237976074219, 0.061964988708496094, 0.06353759765625]}, "gradients/decoder.transformer.h.1.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 4.0, 4.0, 1.0, 0.0, 8.0, 5.0, 11.0, 15.0, 23.0, 27.0, 51.0, 126.0, 194.0, 412.0, 1108.0, 3682.0, 15958.0, 108218.0, 2275656.0, 1678632.0, 90926.0, 13967.0, 3453.0, 1022.0, 393.0, 177.0, 98.0, 41.0, 27.0, 18.0, 9.0, 7.0, 8.0, 6.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0], "bins": [-0.1427001953125, -0.13937854766845703, -0.13605690002441406, -0.1327352523803711, -0.12941360473632812, -0.12609195709228516, -0.12277030944824219, -0.11944866180419922, -0.11612701416015625, -0.11280536651611328, -0.10948371887207031, -0.10616207122802734, -0.10284042358398438, -0.0995187759399414, -0.09619712829589844, -0.09287548065185547, -0.0895538330078125, -0.08623218536376953, -0.08291053771972656, -0.0795888900756836, -0.07626724243164062, -0.07294559478759766, -0.06962394714355469, -0.06630229949951172, -0.06298065185546875, -0.05965900421142578, -0.05633735656738281, -0.053015708923339844, -0.049694061279296875, -0.046372413635253906, -0.04305076599121094, -0.03972911834716797, -0.036407470703125, -0.03308582305908203, -0.029764175415039062, -0.026442527770996094, -0.023120880126953125, -0.019799232482910156, -0.016477584838867188, -0.013155937194824219, -0.00983428955078125, -0.006512641906738281, -0.0031909942626953125, 0.00013065338134765625, 0.003452301025390625, 0.006773948669433594, 0.010095596313476562, 0.013417243957519531, 0.0167388916015625, 0.02006053924560547, 0.023382186889648438, 0.026703834533691406, 0.030025482177734375, 0.033347129821777344, 0.03666877746582031, 0.03999042510986328, 0.04331207275390625, 0.04663372039794922, 0.04995536804199219, 0.053277015686035156, 0.056598663330078125, 0.059920310974121094, 0.06324195861816406, 0.06656360626220703, 0.06988525390625]}, "gradients/decoder.transformer.h.1.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 5.0, 12.0, 26.0, 31.0, 47.0, 72.0, 109.0, 128.0, 133.0, 120.0, 102.0, 74.0, 56.0, 38.0, 26.0, 18.0, 4.0, 5.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.28001776337623596, -0.26980963349342346, -0.25960150361061096, -0.24939337372779846, -0.23918524384498596, -0.22897711396217346, -0.21876898407936096, -0.20856085419654846, -0.19835272431373596, -0.18814459443092346, -0.17793646454811096, -0.16772833466529846, -0.15752020478248596, -0.14731207489967346, -0.13710394501686096, -0.12689581513404846, -0.11668768525123596, -0.10647955536842346, -0.09627142548561096, -0.08606329560279846, -0.07585516571998596, -0.06564703583717346, -0.05543890595436096, -0.04523077607154846, -0.03502264618873596, -0.024814516305923462, -0.014606386423110962, -0.004398256540298462, 0.005809873342514038, 0.016018003225326538, 0.026226133108139038, 0.03643426299095154, 0.04664239287376404, 0.05685052275657654, 0.06705865263938904, 0.07726678252220154, 0.08747491240501404, 0.09768304228782654, 0.10789117217063904, 0.11809930205345154, 0.12830743193626404, 0.13851556181907654, 0.14872369170188904, 0.15893182158470154, 0.16913995146751404, 0.17934808135032654, 0.18955621123313904, 0.19976434111595154, 0.20997247099876404, 0.22018060088157654, 0.23038873076438904, 0.24059686064720154, 0.25080499053001404, 0.26101312041282654, 0.27122125029563904, 0.28142938017845154, 0.29163751006126404, 0.30184563994407654, 0.31205376982688904, 0.32226189970970154, 0.33247002959251404, 0.34267815947532654, 0.35288628935813904, 0.36309441924095154, 0.37330254912376404]}, "gradients/decoder.transformer.h.1.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 5.0, 3.0, 4.0, 5.0, 6.0, 5.0, 12.0, 9.0, 14.0, 20.0, 16.0, 27.0, 22.0, 26.0, 21.0, 37.0, 33.0, 30.0, 28.0, 29.0, 49.0, 33.0, 41.0, 42.0, 35.0, 41.0, 46.0, 43.0, 46.0, 28.0, 31.0, 29.0, 20.0, 30.0, 14.0, 21.0, 13.0, 14.0, 18.0, 11.0, 8.0, 13.0, 9.0, 4.0, 4.0, 4.0, 2.0, 4.0, 1.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1568232774734497, -0.15176962316036224, -0.14671596884727478, -0.1416623294353485, -0.13660867512226105, -0.13155502080917358, -0.12650138139724731, -0.12144772708415985, -0.11639407277107239, -0.11134041845798492, -0.10628677159547806, -0.10123312473297119, -0.09617947041988373, -0.09112581610679626, -0.0860721692442894, -0.08101852238178253, -0.07596486806869507, -0.0709112137556076, -0.06585756689310074, -0.060803916305303574, -0.05575026571750641, -0.050696615129709244, -0.04564296454191208, -0.040589313954114914, -0.03553566336631775, -0.030482012778520584, -0.02542836219072342, -0.020374711602926254, -0.01532106101512909, -0.010267410427331924, -0.0052137598395347595, -0.0001601092517375946, 0.00489354133605957, 0.009947191923856735, 0.0150008425116539, 0.020054493099451065, 0.02510814368724823, 0.030161794275045395, 0.03521544486284256, 0.040269095450639725, 0.04532274603843689, 0.050376396626234055, 0.05543004721403122, 0.060483697801828384, 0.06553734838962555, 0.07059100270271301, 0.07564464956521988, 0.08069829642772675, 0.08575195074081421, 0.09080560505390167, 0.09585925191640854, 0.1009128987789154, 0.10596655309200287, 0.11102020740509033, 0.1160738542675972, 0.12112750113010406, 0.12618115544319153, 0.131234809756279, 0.13628846406936646, 0.14134210348129272, 0.1463957577943802, 0.15144941210746765, 0.15650305151939392, 0.16155670583248138, 0.16661036014556885]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 6.0, 8.0, 8.0, 10.0, 10.0, 7.0, 20.0, 11.0, 20.0, 30.0, 30.0, 13.0, 39.0, 37.0, 39.0, 35.0, 39.0, 32.0, 41.0, 43.0, 45.0, 47.0, 43.0, 33.0, 39.0, 38.0, 37.0, 22.0, 32.0, 34.0, 21.0, 23.0, 18.0, 12.0, 16.0, 13.0, 13.0, 7.0, 6.0, 6.0, 4.0, 1.0, 4.0, 3.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02752685546875, -0.026554107666015625, -0.02558135986328125, -0.024608612060546875, -0.0236358642578125, -0.022663116455078125, -0.02169036865234375, -0.020717620849609375, -0.019744873046875, -0.018772125244140625, -0.01779937744140625, -0.016826629638671875, -0.0158538818359375, -0.014881134033203125, -0.01390838623046875, -0.012935638427734375, -0.011962890625, -0.010990142822265625, -0.01001739501953125, -0.009044647216796875, -0.0080718994140625, -0.007099151611328125, -0.00612640380859375, -0.005153656005859375, -0.004180908203125, -0.003208160400390625, -0.00223541259765625, -0.001262664794921875, -0.0002899169921875, 0.000682830810546875, 0.00165557861328125, 0.002628326416015625, 0.00360107421875, 0.004573822021484375, 0.00554656982421875, 0.006519317626953125, 0.0074920654296875, 0.008464813232421875, 0.00943756103515625, 0.010410308837890625, 0.011383056640625, 0.012355804443359375, 0.01332855224609375, 0.014301300048828125, 0.0152740478515625, 0.016246795654296875, 0.01721954345703125, 0.018192291259765625, 0.0191650390625, 0.020137786865234375, 0.02111053466796875, 0.022083282470703125, 0.0230560302734375, 0.024028778076171875, 0.02500152587890625, 0.025974273681640625, 0.026947021484375, 0.027919769287109375, 0.02889251708984375, 0.029865264892578125, 0.0308380126953125, 0.031810760498046875, 0.03278350830078125, 0.033756256103515625, 0.03472900390625]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 3.0, 7.0, 10.0, 15.0, 14.0, 43.0, 50.0, 81.0, 116.0, 178.0, 321.0, 418.0, 688.0, 1058.0, 1640.0, 2643.0, 4093.0, 6447.0, 10401.0, 16721.0, 27058.0, 44729.0, 76635.0, 144362.0, 357827.0, 152005.0, 79635.0, 46748.0, 28190.0, 17106.0, 10794.0, 6761.0, 4248.0, 2681.0, 1755.0, 1088.0, 706.0, 446.0, 288.0, 181.0, 119.0, 82.0, 41.0, 50.0, 24.0, 12.0, 16.0, 10.0, 6.0, 5.0, 7.0, 3.0, 0.0, 1.0, 2.0], "bins": [-0.00029397010803222656, -0.0002852044999599457, -0.0002764388918876648, -0.0002676732838153839, -0.00025890767574310303, -0.00025014206767082214, -0.00024137645959854126, -0.00023261085152626038, -0.0002238452434539795, -0.0002150796353816986, -0.00020631402730941772, -0.00019754841923713684, -0.00018878281116485596, -0.00018001720309257507, -0.0001712515950202942, -0.0001624859869480133, -0.00015372037887573242, -0.00014495477080345154, -0.00013618916273117065, -0.00012742355465888977, -0.00011865794658660889, -0.000109892338514328, -0.00010112673044204712, -9.236112236976624e-05, -8.359551429748535e-05, -7.482990622520447e-05, -6.606429815292358e-05, -5.72986900806427e-05, -4.8533082008361816e-05, -3.976747393608093e-05, -3.100186586380005e-05, -2.2236257791519165e-05, -1.3470649719238281e-05, -4.7050416469573975e-06, 4.060566425323486e-06, 1.282617449760437e-05, 2.1591782569885254e-05, 3.0357390642166138e-05, 3.912299871444702e-05, 4.7888606786727905e-05, 5.665421485900879e-05, 6.541982293128967e-05, 7.418543100357056e-05, 8.295103907585144e-05, 9.171664714813232e-05, 0.00010048225522041321, 0.00010924786329269409, 0.00011801347136497498, 0.00012677907943725586, 0.00013554468750953674, 0.00014431029558181763, 0.0001530759036540985, 0.0001618415117263794, 0.00017060711979866028, 0.00017937272787094116, 0.00018813833594322205, 0.00019690394401550293, 0.0002056695520877838, 0.0002144351601600647, 0.00022320076823234558, 0.00023196637630462646, 0.00024073198437690735, 0.00024949759244918823, 0.0002582632005214691, 0.00026702880859375]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 1.0, 4.0, 0.0, 3.0, 3.0, 2.0, 8.0, 5.0, 4.0, 5.0, 8.0, 10.0, 19.0, 11.0, 18.0, 19.0, 26.0, 35.0, 37.0, 23.0, 43.0, 43.0, 33.0, 41.0, 44.0, 52.0, 1067.0, 46.0, 31.0, 41.0, 38.0, 34.0, 44.0, 22.0, 25.0, 25.0, 25.0, 19.0, 20.0, 21.0, 24.0, 10.0, 10.0, 8.0, 4.0, 8.0, 3.0, 8.0, 1.0, 3.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.03192138671875, -0.030989408493041992, -0.030057430267333984, -0.029125452041625977, -0.02819347381591797, -0.02726149559020996, -0.026329517364501953, -0.025397539138793945, -0.024465560913085938, -0.02353358268737793, -0.022601604461669922, -0.021669626235961914, -0.020737648010253906, -0.0198056697845459, -0.01887369155883789, -0.017941713333129883, -0.017009735107421875, -0.016077756881713867, -0.01514577865600586, -0.014213800430297852, -0.013281822204589844, -0.012349843978881836, -0.011417865753173828, -0.01048588752746582, -0.009553909301757812, -0.008621931076049805, -0.007689952850341797, -0.006757974624633789, -0.005825996398925781, -0.0048940181732177734, -0.003962039947509766, -0.003030061721801758, -0.00209808349609375, -0.0011661052703857422, -0.00023412704467773438, 0.0006978511810302734, 0.0016298294067382812, 0.002561807632446289, 0.003493785858154297, 0.004425764083862305, 0.0053577423095703125, 0.00628972053527832, 0.007221698760986328, 0.008153676986694336, 0.009085655212402344, 0.010017633438110352, 0.01094961166381836, 0.011881589889526367, 0.012813568115234375, 0.013745546340942383, 0.01467752456665039, 0.015609502792358398, 0.016541481018066406, 0.017473459243774414, 0.018405437469482422, 0.01933741569519043, 0.020269393920898438, 0.021201372146606445, 0.022133350372314453, 0.02306532859802246, 0.02399730682373047, 0.024929285049438477, 0.025861263275146484, 0.026793241500854492, 0.0277252197265625]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 3.0, 0.0, 7.0, 5.0, 5.0, 9.0, 7.0, 12.0, 7.0, 20.0, 21.0, 23.0, 24.0, 17.0, 19.0, 28.0, 30.0, 57.0, 101.0, 221.0, 464.0, 1319.0, 6400.0, 2056440.0, 27709.0, 2591.0, 824.0, 317.0, 118.0, 84.0, 44.0, 33.0, 37.0, 27.0, 18.0, 15.0, 13.0, 14.0, 15.0, 6.0, 2.0, 10.0, 3.0, 6.0, 2.0, 2.0, 3.0, 2.0, 5.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7358531951904297e-05, -2.643931657075882e-05, -2.5520101189613342e-05, -2.4600885808467865e-05, -2.3681670427322388e-05, -2.276245504617691e-05, -2.1843239665031433e-05, -2.0924024283885956e-05, -2.000480890274048e-05, -1.9085593521595e-05, -1.8166378140449524e-05, -1.7247162759304047e-05, -1.632794737815857e-05, -1.5408731997013092e-05, -1.4489516615867615e-05, -1.3570301234722137e-05, -1.265108585357666e-05, -1.1731870472431183e-05, -1.0812655091285706e-05, -9.893439710140228e-06, -8.974224328994751e-06, -8.055008947849274e-06, -7.135793566703796e-06, -6.216578185558319e-06, -5.297362804412842e-06, -4.3781474232673645e-06, -3.458932042121887e-06, -2.53971666097641e-06, -1.6205012798309326e-06, -7.012858986854553e-07, 2.1792948246002197e-07, 1.1371448636054993e-06, 2.0563602447509766e-06, 2.975575625896454e-06, 3.894791007041931e-06, 4.8140063881874084e-06, 5.733221769332886e-06, 6.652437150478363e-06, 7.57165253162384e-06, 8.490867912769318e-06, 9.410083293914795e-06, 1.0329298675060272e-05, 1.124851405620575e-05, 1.2167729437351227e-05, 1.3086944818496704e-05, 1.4006160199642181e-05, 1.4925375580787659e-05, 1.5844590961933136e-05, 1.6763806343078613e-05, 1.768302172422409e-05, 1.8602237105369568e-05, 1.9521452486515045e-05, 2.0440667867660522e-05, 2.1359883248806e-05, 2.2279098629951477e-05, 2.3198314011096954e-05, 2.411752939224243e-05, 2.503674477338791e-05, 2.5955960154533386e-05, 2.6875175535678864e-05, 2.779439091682434e-05, 2.8713606297969818e-05, 2.9632821679115295e-05, 3.055203706026077e-05, 3.147125244140625e-05]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 4.0, 5.0, 6.0, 8.0, 8.0, 10.0, 10.0, 7.0, 20.0, 11.0, 20.0, 30.0, 30.0, 13.0, 39.0, 37.0, 39.0, 35.0, 39.0, 32.0, 41.0, 43.0, 45.0, 47.0, 43.0, 33.0, 39.0, 38.0, 37.0, 22.0, 32.0, 34.0, 21.0, 23.0, 18.0, 12.0, 16.0, 13.0, 13.0, 7.0, 6.0, 6.0, 4.0, 1.0, 4.0, 3.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02752685546875, -0.026554107666015625, -0.02558135986328125, -0.024608612060546875, -0.0236358642578125, -0.022663116455078125, -0.02169036865234375, -0.020717620849609375, -0.019744873046875, -0.018772125244140625, -0.01779937744140625, -0.016826629638671875, -0.0158538818359375, -0.014881134033203125, -0.01390838623046875, -0.012935638427734375, -0.011962890625, -0.010990142822265625, -0.01001739501953125, -0.009044647216796875, -0.0080718994140625, -0.007099151611328125, -0.00612640380859375, -0.005153656005859375, -0.004180908203125, -0.003208160400390625, -0.00223541259765625, -0.001262664794921875, -0.0002899169921875, 0.000682830810546875, 0.00165557861328125, 0.002628326416015625, 0.00360107421875, 0.004573822021484375, 0.00554656982421875, 0.006519317626953125, 0.0074920654296875, 0.008464813232421875, 0.00943756103515625, 0.010410308837890625, 0.011383056640625, 0.012355804443359375, 0.01332855224609375, 0.014301300048828125, 0.0152740478515625, 0.016246795654296875, 0.01721954345703125, 0.018192291259765625, 0.0191650390625, 0.020137786865234375, 0.02111053466796875, 0.022083282470703125, 0.0230560302734375, 0.024028778076171875, 0.02500152587890625, 0.025974273681640625, 0.026947021484375, 0.027919769287109375, 0.02889251708984375, 0.029865264892578125, 0.0308380126953125, 0.031810760498046875, 0.03278350830078125, 0.033756256103515625, 0.03472900390625]}, "gradients/decoder.transformer.h.1.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 7.0, 5.0, 3.0, 7.0, 19.0, 28.0, 27.0, 53.0, 99.0, 131.0, 262.0, 401.0, 723.0, 1236.0, 2215.0, 3645.0, 6736.0, 12416.0, 23413.0, 47204.0, 100129.0, 216249.0, 309117.0, 168115.0, 77425.0, 37301.0, 18694.0, 10178.0, 5374.0, 3066.0, 1774.0, 1021.0, 591.0, 384.0, 204.0, 104.0, 69.0, 59.0, 32.0, 19.0, 11.0, 7.0, 5.0, 5.0, 2.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03076171875, -0.029779911041259766, -0.02879810333251953, -0.027816295623779297, -0.026834487915039062, -0.025852680206298828, -0.024870872497558594, -0.02388906478881836, -0.022907257080078125, -0.02192544937133789, -0.020943641662597656, -0.019961833953857422, -0.018980026245117188, -0.017998218536376953, -0.01701641082763672, -0.016034603118896484, -0.01505279541015625, -0.014070987701416016, -0.013089179992675781, -0.012107372283935547, -0.011125564575195312, -0.010143756866455078, -0.009161949157714844, -0.00818014144897461, -0.007198333740234375, -0.006216526031494141, -0.005234718322753906, -0.004252910614013672, -0.0032711029052734375, -0.002289295196533203, -0.0013074874877929688, -0.0003256797790527344, 0.0006561279296875, 0.0016379356384277344, 0.0026197433471679688, 0.003601551055908203, 0.0045833587646484375, 0.005565166473388672, 0.006546974182128906, 0.007528781890869141, 0.008510589599609375, 0.00949239730834961, 0.010474205017089844, 0.011456012725830078, 0.012437820434570312, 0.013419628143310547, 0.014401435852050781, 0.015383243560791016, 0.01636505126953125, 0.017346858978271484, 0.01832866668701172, 0.019310474395751953, 0.020292282104492188, 0.021274089813232422, 0.022255897521972656, 0.02323770523071289, 0.024219512939453125, 0.02520132064819336, 0.026183128356933594, 0.027164936065673828, 0.028146743774414062, 0.029128551483154297, 0.03011035919189453, 0.031092166900634766, 0.032073974609375]}, "gradients/decoder.transformer.h.1.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 0.0, 0.0, 1.0, 2.0, 6.0, 9.0, 10.0, 10.0, 9.0, 18.0, 17.0, 26.0, 28.0, 14.0, 35.0, 35.0, 40.0, 43.0, 68.0, 81.0, 126.0, 250.0, 1421.0, 249.0, 117.0, 77.0, 54.0, 54.0, 49.0, 29.0, 28.0, 21.0, 29.0, 19.0, 14.0, 13.0, 11.0, 7.0, 6.0, 7.0, 6.0, 2.0, 3.0, 3.0, 2.0, 2.0, 7.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0911865234375, -0.08846187591552734, -0.08573722839355469, -0.08301258087158203, -0.08028793334960938, -0.07756328582763672, -0.07483863830566406, -0.0721139907836914, -0.06938934326171875, -0.0666646957397461, -0.06394004821777344, -0.06121540069580078, -0.058490753173828125, -0.05576610565185547, -0.05304145812988281, -0.050316810607910156, -0.0475921630859375, -0.044867515563964844, -0.04214286804199219, -0.03941822052001953, -0.036693572998046875, -0.03396892547607422, -0.031244277954101562, -0.028519630432128906, -0.02579498291015625, -0.023070335388183594, -0.020345687866210938, -0.01762104034423828, -0.014896392822265625, -0.012171745300292969, -0.009447097778320312, -0.006722450256347656, -0.003997802734375, -0.0012731552124023438, 0.0014514923095703125, 0.004176139831542969, 0.006900787353515625, 0.009625434875488281, 0.012350082397460938, 0.015074729919433594, 0.01779937744140625, 0.020524024963378906, 0.023248672485351562, 0.02597332000732422, 0.028697967529296875, 0.03142261505126953, 0.03414726257324219, 0.036871910095214844, 0.0395965576171875, 0.042321205139160156, 0.04504585266113281, 0.04777050018310547, 0.050495147705078125, 0.05321979522705078, 0.05594444274902344, 0.058669090270996094, 0.06139373779296875, 0.0641183853149414, 0.06684303283691406, 0.06956768035888672, 0.07229232788085938, 0.07501697540283203, 0.07774162292480469, 0.08046627044677734, 0.08319091796875]}, "gradients/decoder.transformer.h.1.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 6.0, 8.0, 5.0, 8.0, 13.0, 9.0, 8.0, 16.0, 26.0, 27.0, 50.0, 46.0, 67.0, 94.0, 106.0, 147.0, 224.0, 496.0, 2074.0, 24267.0, 2023859.0, 1073952.0, 17327.0, 1642.0, 395.0, 192.0, 152.0, 105.0, 88.0, 60.0, 60.0, 36.0, 40.0, 24.0, 23.0, 9.0, 9.0, 14.0, 6.0, 8.0, 8.0, 3.0, 2.0, 1.0, 0.0, 3.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.126953125, -0.12309932708740234, -0.11924552917480469, -0.11539173126220703, -0.11153793334960938, -0.10768413543701172, -0.10383033752441406, -0.0999765396118164, -0.09612274169921875, -0.0922689437866211, -0.08841514587402344, -0.08456134796142578, -0.08070755004882812, -0.07685375213623047, -0.07299995422363281, -0.06914615631103516, -0.0652923583984375, -0.061438560485839844, -0.05758476257324219, -0.05373096466064453, -0.049877166748046875, -0.04602336883544922, -0.04216957092285156, -0.038315773010253906, -0.03446197509765625, -0.030608177185058594, -0.026754379272460938, -0.02290058135986328, -0.019046783447265625, -0.015192985534667969, -0.011339187622070312, -0.007485389709472656, -0.003631591796875, 0.00022220611572265625, 0.0040760040283203125, 0.007929801940917969, 0.011783599853515625, 0.01563739776611328, 0.019491195678710938, 0.023344993591308594, 0.02719879150390625, 0.031052589416503906, 0.03490638732910156, 0.03876018524169922, 0.042613983154296875, 0.04646778106689453, 0.05032157897949219, 0.054175376892089844, 0.0580291748046875, 0.061882972717285156, 0.06573677062988281, 0.06959056854248047, 0.07344436645507812, 0.07729816436767578, 0.08115196228027344, 0.0850057601928711, 0.08885955810546875, 0.0927133560180664, 0.09656715393066406, 0.10042095184326172, 0.10427474975585938, 0.10812854766845703, 0.11198234558105469, 0.11583614349365234, 0.11968994140625]}, "gradients/decoder.transformer.h.1.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 12.0, 37.0, 110.0, 283.0, 304.0, 164.0, 80.0, 15.0, 5.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.285350501537323, -0.265248566865921, -0.24514663219451904, -0.22504469752311707, -0.2049427628517151, -0.1848408281803131, -0.16473889350891113, -0.14463695883750916, -0.12453502416610718, -0.1044330894947052, -0.08433115482330322, -0.06422922015190125, -0.04412728548049927, -0.02402535080909729, -0.0039234161376953125, 0.016178518533706665, 0.03628045320510864, 0.05638238787651062, 0.0764843225479126, 0.09658625721931458, 0.11668819189071655, 0.13679012656211853, 0.1568920612335205, 0.17699399590492249, 0.19709593057632446, 0.21719786524772644, 0.23729979991912842, 0.2574017345905304, 0.2775036692619324, 0.29760560393333435, 0.31770753860473633, 0.3378094732761383, 0.3579113483428955, 0.3780132830142975, 0.39811521768569946, 0.41821715235710144, 0.4383190870285034, 0.4584210216999054, 0.4785229563713074, 0.49862489104270935, 0.5187268257141113, 0.5388287305831909, 0.5589306950569153, 0.5790326595306396, 0.5991345643997192, 0.6192364692687988, 0.6393384337425232, 0.6594403982162476, 0.6795423030853271, 0.6996442079544067, 0.7197461724281311, 0.7398481369018555, 0.7599500417709351, 0.7800519466400146, 0.800153911113739, 0.8202558755874634, 0.840357780456543, 0.8604596853256226, 0.8805616497993469, 0.9006636142730713, 0.9207655191421509, 0.9408674240112305, 0.9609693884849548, 0.9810713529586792, 1.0011732578277588]}, "gradients/decoder.transformer.h.1.ln_1.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 2.0, 6.0, 2.0, 6.0, 4.0, 12.0, 16.0, 12.0, 26.0, 22.0, 21.0, 23.0, 35.0, 25.0, 31.0, 44.0, 39.0, 38.0, 37.0, 37.0, 54.0, 45.0, 40.0, 58.0, 27.0, 27.0, 40.0, 30.0, 30.0, 29.0, 27.0, 18.0, 23.0, 24.0, 19.0, 15.0, 11.0, 8.0, 13.0, 6.0, 7.0, 5.0, 3.0, 4.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0], "bins": [-0.25852346420288086, -0.2507038712501526, -0.2428843080997467, -0.23506471514701843, -0.22724513709545135, -0.21942555904388428, -0.211605966091156, -0.20378638803958893, -0.19596680998802185, -0.18814723193645477, -0.1803276538848877, -0.17250806093215942, -0.16468848288059235, -0.15686890482902527, -0.149049311876297, -0.14122973382472992, -0.13341015577316284, -0.12559057772159576, -0.11777099221944809, -0.10995140671730042, -0.10213182866573334, -0.09431225061416626, -0.08649266511201859, -0.07867307960987091, -0.07085350155830383, -0.06303392350673676, -0.05521433800458908, -0.047394756227731705, -0.03957517445087433, -0.03175559267401695, -0.023936010897159576, -0.0161164291203022, -0.008296847343444824, -0.0004772655665874481, 0.007342316210269928, 0.015161897987127304, 0.02298147976398468, 0.030801061540842056, 0.03862064331769943, 0.04644022509455681, 0.054259806871414185, 0.06207938864827156, 0.06989897042512894, 0.07771855592727661, 0.08553813397884369, 0.09335771203041077, 0.10117729753255844, 0.10899688303470612, 0.1168164610862732, 0.12463603913784027, 0.13245561718940735, 0.14027521014213562, 0.1480947881937027, 0.15591436624526978, 0.16373395919799805, 0.17155353724956512, 0.1793731153011322, 0.18719269335269928, 0.19501227140426636, 0.20283186435699463, 0.2106514424085617, 0.21847102046012878, 0.22629061341285706, 0.23411019146442413, 0.2419297695159912]}, "gradients/decoder.transformer.h.0.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 7.0, 4.0, 2.0, 3.0, 9.0, 5.0, 9.0, 11.0, 10.0, 17.0, 21.0, 21.0, 22.0, 20.0, 23.0, 33.0, 48.0, 32.0, 41.0, 30.0, 41.0, 43.0, 44.0, 47.0, 52.0, 40.0, 38.0, 32.0, 31.0, 30.0, 30.0, 36.0, 22.0, 25.0, 21.0, 29.0, 14.0, 15.0, 13.0, 10.0, 6.0, 4.0, 5.0, 2.0, 2.0, 0.0, 5.0, 2.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0308074951171875, -0.02975153923034668, -0.02869558334350586, -0.02763962745666504, -0.02658367156982422, -0.0255277156829834, -0.024471759796142578, -0.023415803909301758, -0.022359848022460938, -0.021303892135620117, -0.020247936248779297, -0.019191980361938477, -0.018136024475097656, -0.017080068588256836, -0.016024112701416016, -0.014968156814575195, -0.013912200927734375, -0.012856245040893555, -0.011800289154052734, -0.010744333267211914, -0.009688377380371094, -0.008632421493530273, -0.007576465606689453, -0.006520509719848633, -0.0054645538330078125, -0.004408597946166992, -0.003352642059326172, -0.0022966861724853516, -0.0012407302856445312, -0.00018477439880371094, 0.0008711814880371094, 0.0019271373748779297, 0.00298309326171875, 0.00403904914855957, 0.005095005035400391, 0.006150960922241211, 0.007206916809082031, 0.008262872695922852, 0.009318828582763672, 0.010374784469604492, 0.011430740356445312, 0.012486696243286133, 0.013542652130126953, 0.014598608016967773, 0.015654563903808594, 0.016710519790649414, 0.017766475677490234, 0.018822431564331055, 0.019878387451171875, 0.020934343338012695, 0.021990299224853516, 0.023046255111694336, 0.024102210998535156, 0.025158166885375977, 0.026214122772216797, 0.027270078659057617, 0.028326034545898438, 0.029381990432739258, 0.030437946319580078, 0.0314939022064209, 0.03254985809326172, 0.03360581398010254, 0.03466176986694336, 0.03571772575378418, 0.036773681640625]}, "gradients/decoder.transformer.h.0.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 8.0, 7.0, 10.0, 12.0, 16.0, 21.0, 23.0, 39.0, 45.0, 73.0, 94.0, 123.0, 156.0, 234.0, 352.0, 421.0, 609.0, 993.0, 1893.0, 5381.0, 26517.0, 224954.0, 2801336.0, 1028303.0, 82770.0, 12686.0, 3146.0, 1341.0, 795.0, 518.0, 370.0, 253.0, 199.0, 155.0, 112.0, 91.0, 69.0, 35.0, 30.0, 30.0, 16.0, 13.0, 12.0, 6.0, 7.0, 4.0, 3.0, 9.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.2037353515625, -0.1973247528076172, -0.19091415405273438, -0.18450355529785156, -0.17809295654296875, -0.17168235778808594, -0.16527175903320312, -0.1588611602783203, -0.1524505615234375, -0.1460399627685547, -0.13962936401367188, -0.13321876525878906, -0.12680816650390625, -0.12039756774902344, -0.11398696899414062, -0.10757637023925781, -0.101165771484375, -0.09475517272949219, -0.08834457397460938, -0.08193397521972656, -0.07552337646484375, -0.06911277770996094, -0.06270217895507812, -0.05629158020019531, -0.0498809814453125, -0.04347038269042969, -0.037059783935546875, -0.030649185180664062, -0.02423858642578125, -0.017827987670898438, -0.011417388916015625, -0.0050067901611328125, 0.00140380859375, 0.007814407348632812, 0.014225006103515625, 0.020635604858398438, 0.02704620361328125, 0.03345680236816406, 0.039867401123046875, 0.04627799987792969, 0.0526885986328125, 0.05909919738769531, 0.06550979614257812, 0.07192039489746094, 0.07833099365234375, 0.08474159240722656, 0.09115219116210938, 0.09756278991699219, 0.103973388671875, 0.11038398742675781, 0.11679458618164062, 0.12320518493652344, 0.12961578369140625, 0.13602638244628906, 0.14243698120117188, 0.1488475799560547, 0.1552581787109375, 0.1616687774658203, 0.16807937622070312, 0.17448997497558594, 0.18090057373046875, 0.18731117248535156, 0.19372177124023438, 0.2001323699951172, 0.20654296875]}, "gradients/decoder.transformer.h.0.mlp.c_fc.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 5.0, 3.0, 9.0, 13.0, 12.0, 13.0, 15.0, 27.0, 32.0, 60.0, 61.0, 87.0, 114.0, 126.0, 154.0, 180.0, 255.0, 312.0, 351.0, 402.0, 333.0, 321.0, 223.0, 211.0, 181.0, 151.0, 105.0, 72.0, 67.0, 43.0, 31.0, 30.0, 21.0, 16.0, 19.0, 9.0, 5.0, 6.0, 4.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.06787109375, -0.06556320190429688, -0.06325531005859375, -0.060947418212890625, -0.0586395263671875, -0.056331634521484375, -0.05402374267578125, -0.051715850830078125, -0.049407958984375, -0.047100067138671875, -0.04479217529296875, -0.042484283447265625, -0.0401763916015625, -0.037868499755859375, -0.03556060791015625, -0.033252716064453125, -0.03094482421875, -0.028636932373046875, -0.02632904052734375, -0.024021148681640625, -0.0217132568359375, -0.019405364990234375, -0.01709747314453125, -0.014789581298828125, -0.012481689453125, -0.010173797607421875, -0.00786590576171875, -0.005558013916015625, -0.0032501220703125, -0.000942230224609375, 0.00136566162109375, 0.003673553466796875, 0.0059814453125, 0.008289337158203125, 0.01059722900390625, 0.012905120849609375, 0.0152130126953125, 0.017520904541015625, 0.01982879638671875, 0.022136688232421875, 0.024444580078125, 0.026752471923828125, 0.02906036376953125, 0.031368255615234375, 0.0336761474609375, 0.035984039306640625, 0.03829193115234375, 0.040599822998046875, 0.04290771484375, 0.045215606689453125, 0.04752349853515625, 0.049831390380859375, 0.0521392822265625, 0.054447174072265625, 0.05675506591796875, 0.059062957763671875, 0.061370849609375, 0.06367874145507812, 0.06598663330078125, 0.06829452514648438, 0.0706024169921875, 0.07291030883789062, 0.07521820068359375, 0.07752609252929688, 0.079833984375]}, "gradients/decoder.transformer.h.0.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 3.0, 1.0, 4.0, 4.0, 6.0, 8.0, 11.0, 28.0, 21.0, 27.0, 50.0, 82.0, 106.0, 230.0, 502.0, 1360.0, 5054.0, 37582.0, 525204.0, 3139268.0, 445196.0, 32580.0, 4600.0, 1246.0, 489.0, 237.0, 127.0, 80.0, 55.0, 41.0, 25.0, 18.0, 12.0, 9.0, 7.0, 3.0, 4.0, 2.0, 1.0, 1.0, 1.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.184814453125, -0.1789417266845703, -0.17306900024414062, -0.16719627380371094, -0.16132354736328125, -0.15545082092285156, -0.14957809448242188, -0.1437053680419922, -0.1378326416015625, -0.1319599151611328, -0.12608718872070312, -0.12021446228027344, -0.11434173583984375, -0.10846900939941406, -0.10259628295898438, -0.09672355651855469, -0.090850830078125, -0.08497810363769531, -0.07910537719726562, -0.07323265075683594, -0.06735992431640625, -0.06148719787597656, -0.055614471435546875, -0.04974174499511719, -0.0438690185546875, -0.03799629211425781, -0.032123565673828125, -0.026250839233398438, -0.02037811279296875, -0.014505386352539062, -0.008632659912109375, -0.0027599334716796875, 0.00311279296875, 0.008985519409179688, 0.014858245849609375, 0.020730972290039062, 0.02660369873046875, 0.03247642517089844, 0.038349151611328125, 0.04422187805175781, 0.0500946044921875, 0.05596733093261719, 0.061840057373046875, 0.06771278381347656, 0.07358551025390625, 0.07945823669433594, 0.08533096313476562, 0.09120368957519531, 0.097076416015625, 0.10294914245605469, 0.10882186889648438, 0.11469459533691406, 0.12056732177734375, 0.12644004821777344, 0.13231277465820312, 0.1381855010986328, 0.1440582275390625, 0.1499309539794922, 0.15580368041992188, 0.16167640686035156, 0.16754913330078125, 0.17342185974121094, 0.17929458618164062, 0.1851673126220703, 0.1910400390625]}, "gradients/decoder.transformer.h.0.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 6.0, 7.0, 7.0, 10.0, 11.0, 24.0, 38.0, 40.0, 37.0, 57.0, 71.0, 49.0, 65.0, 89.0, 65.0, 66.0, 65.0, 53.0, 48.0, 38.0, 43.0, 22.0, 21.0, 24.0, 19.0, 8.0, 3.0, 8.0, 3.0, 1.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.4674987494945526, -0.44850417971611023, -0.42950960993766785, -0.41051504015922546, -0.3915204703807831, -0.3725259006023407, -0.3535313308238983, -0.33453676104545593, -0.31554219126701355, -0.29654762148857117, -0.2775530517101288, -0.2585584819316864, -0.23956391215324402, -0.22056934237480164, -0.20157477259635925, -0.18258020281791687, -0.1635856330394745, -0.1445910632610321, -0.12559649348258972, -0.10660192370414734, -0.08760735392570496, -0.06861278414726257, -0.04961821436882019, -0.030623644590377808, -0.011629074811935425, 0.007365494966506958, 0.02636006474494934, 0.045354634523391724, 0.0643492043018341, 0.08334377408027649, 0.10233834385871887, 0.12133291363716125, 0.14032745361328125, 0.15932202339172363, 0.17831659317016602, 0.1973111629486084, 0.21630573272705078, 0.23530030250549316, 0.25429487228393555, 0.27328944206237793, 0.2922840118408203, 0.3112785816192627, 0.3302731513977051, 0.34926772117614746, 0.36826229095458984, 0.3872568607330322, 0.4062514305114746, 0.425246000289917, 0.4442405700683594, 0.46323513984680176, 0.48222970962524414, 0.5012242794036865, 0.5202188491821289, 0.5392134189605713, 0.5582079887390137, 0.577202558517456, 0.5961971282958984, 0.6151916980743408, 0.6341862678527832, 0.6531808376312256, 0.672175407409668, 0.6911699771881104, 0.7101645469665527, 0.7291591167449951, 0.7481536865234375]}, "gradients/decoder.transformer.h.0.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 3.0, 6.0, 7.0, 5.0, 5.0, 4.0, 11.0, 12.0, 12.0, 21.0, 23.0, 29.0, 33.0, 32.0, 33.0, 38.0, 45.0, 34.0, 47.0, 32.0, 44.0, 49.0, 42.0, 50.0, 46.0, 40.0, 37.0, 37.0, 33.0, 33.0, 20.0, 27.0, 20.0, 14.0, 20.0, 9.0, 14.0, 9.0, 4.0, 5.0, 5.0, 6.0, 5.0, 2.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4928513765335083, -0.4781046509742737, -0.4633578956127167, -0.44861114025115967, -0.43386441469192505, -0.41911768913269043, -0.4043709337711334, -0.3896241784095764, -0.3748774528503418, -0.3601307272911072, -0.34538397192955017, -0.33063721656799316, -0.31589049100875854, -0.3011437654495239, -0.2863970100879669, -0.2716502547264099, -0.2569035291671753, -0.24215678870677948, -0.22741004824638367, -0.21266330778598785, -0.19791656732559204, -0.18316982686519623, -0.16842308640480042, -0.1536763459444046, -0.1389296054840088, -0.12418286502361298, -0.10943612456321716, -0.09468938410282135, -0.07994264364242554, -0.06519590318202972, -0.05044916272163391, -0.0357024222612381, -0.020955681800842285, -0.006208941340446472, 0.00853779911994934, 0.023284539580345154, 0.03803128004074097, 0.05277802050113678, 0.06752476096153259, 0.0822715014219284, 0.09701824188232422, 0.11176498234272003, 0.12651172280311584, 0.14125846326351166, 0.15600520372390747, 0.17075194418430328, 0.1854986846446991, 0.2002454251050949, 0.21499216556549072, 0.22973890602588654, 0.24448564648628235, 0.25923240184783936, 0.273979127407074, 0.2887258529663086, 0.3034726083278656, 0.3182193636894226, 0.3329660892486572, 0.34771281480789185, 0.36245957016944885, 0.37720632553100586, 0.3919530510902405, 0.4066997766494751, 0.4214465320110321, 0.4361932873725891, 0.45094001293182373]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 4.0, 9.0, 8.0, 8.0, 10.0, 18.0, 17.0, 22.0, 22.0, 35.0, 41.0, 26.0, 37.0, 47.0, 37.0, 51.0, 41.0, 57.0, 49.0, 51.0, 63.0, 53.0, 46.0, 28.0, 27.0, 36.0, 26.0, 22.0, 17.0, 19.0, 14.0, 11.0, 17.0, 5.0, 7.0, 3.0, 6.0, 5.0, 3.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.123046875, -1.09100341796875, -1.0589599609375, -1.02691650390625, -0.994873046875, -0.96282958984375, -0.9307861328125, -0.89874267578125, -0.86669921875, -0.83465576171875, -0.8026123046875, -0.77056884765625, -0.738525390625, -0.70648193359375, -0.6744384765625, -0.64239501953125, -0.6103515625, -0.57830810546875, -0.5462646484375, -0.51422119140625, -0.482177734375, -0.45013427734375, -0.4180908203125, -0.38604736328125, -0.35400390625, -0.32196044921875, -0.2899169921875, -0.25787353515625, -0.225830078125, -0.19378662109375, -0.1617431640625, -0.12969970703125, -0.09765625, -0.06561279296875, -0.0335693359375, -0.00152587890625, 0.030517578125, 0.06256103515625, 0.0946044921875, 0.12664794921875, 0.15869140625, 0.19073486328125, 0.2227783203125, 0.25482177734375, 0.286865234375, 0.31890869140625, 0.3509521484375, 0.38299560546875, 0.4150390625, 0.44708251953125, 0.4791259765625, 0.51116943359375, 0.543212890625, 0.57525634765625, 0.6072998046875, 0.63934326171875, 0.67138671875, 0.70343017578125, 0.7354736328125, 0.76751708984375, 0.799560546875, 0.83160400390625, 0.8636474609375, 0.89569091796875, 0.927734375]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 5.0, 6.0, 2.0, 1.0, 7.0, 14.0, 21.0, 28.0, 27.0, 40.0, 66.0, 102.0, 128.0, 204.0, 314.0, 449.0, 704.0, 1111.0, 1790.0, 2776.0, 4603.0, 7481.0, 12640.0, 21322.0, 37803.0, 70016.0, 154526.0, 411887.0, 156692.0, 71623.0, 38187.0, 21303.0, 12601.0, 7503.0, 4556.0, 2912.0, 1756.0, 1126.0, 759.0, 480.0, 323.0, 236.0, 138.0, 98.0, 72.0, 46.0, 32.0, 19.0, 12.0, 9.0, 4.0, 5.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.006114959716796875, -0.005920886993408203, -0.005726814270019531, -0.005532741546630859, -0.0053386688232421875, -0.005144596099853516, -0.004950523376464844, -0.004756450653076172, -0.0045623779296875, -0.004368305206298828, -0.004174232482910156, -0.003980159759521484, -0.0037860870361328125, -0.0035920143127441406, -0.0033979415893554688, -0.003203868865966797, -0.003009796142578125, -0.002815723419189453, -0.0026216506958007812, -0.0024275779724121094, -0.0022335052490234375, -0.0020394325256347656, -0.0018453598022460938, -0.0016512870788574219, -0.00145721435546875, -0.0012631416320800781, -0.0010690689086914062, -0.0008749961853027344, -0.0006809234619140625, -0.0004868507385253906, -0.00029277801513671875, -9.870529174804688e-05, 9.5367431640625e-05, 0.0002894401550292969, 0.00048351287841796875, 0.0006775856018066406, 0.0008716583251953125, 0.0010657310485839844, 0.0012598037719726562, 0.0014538764953613281, 0.00164794921875, 0.0018420219421386719, 0.0020360946655273438, 0.0022301673889160156, 0.0024242401123046875, 0.0026183128356933594, 0.0028123855590820312, 0.003006458282470703, 0.003200531005859375, 0.003394603729248047, 0.0035886764526367188, 0.0037827491760253906, 0.0039768218994140625, 0.004170894622802734, 0.004364967346191406, 0.004559040069580078, 0.00475311279296875, 0.004947185516357422, 0.005141258239746094, 0.005335330963134766, 0.0055294036865234375, 0.005723476409912109, 0.005917549133300781, 0.006111621856689453, 0.006305694580078125]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 7.0, 2.0, 7.0, 6.0, 8.0, 12.0, 9.0, 23.0, 31.0, 21.0, 25.0, 23.0, 41.0, 24.0, 41.0, 35.0, 41.0, 49.0, 49.0, 1081.0, 46.0, 36.0, 54.0, 50.0, 38.0, 38.0, 26.0, 29.0, 33.0, 26.0, 26.0, 17.0, 20.0, 11.0, 13.0, 6.0, 4.0, 6.0, 5.0, 5.0, 0.0, 3.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.82763671875, -0.80322265625, -0.77880859375, -0.75439453125, -0.72998046875, -0.70556640625, -0.68115234375, -0.65673828125, -0.63232421875, -0.60791015625, -0.58349609375, -0.55908203125, -0.53466796875, -0.51025390625, -0.48583984375, -0.46142578125, -0.43701171875, -0.41259765625, -0.38818359375, -0.36376953125, -0.33935546875, -0.31494140625, -0.29052734375, -0.26611328125, -0.24169921875, -0.21728515625, -0.19287109375, -0.16845703125, -0.14404296875, -0.11962890625, -0.09521484375, -0.07080078125, -0.04638671875, -0.02197265625, 0.00244140625, 0.02685546875, 0.05126953125, 0.07568359375, 0.10009765625, 0.12451171875, 0.14892578125, 0.17333984375, 0.19775390625, 0.22216796875, 0.24658203125, 0.27099609375, 0.29541015625, 0.31982421875, 0.34423828125, 0.36865234375, 0.39306640625, 0.41748046875, 0.44189453125, 0.46630859375, 0.49072265625, 0.51513671875, 0.53955078125, 0.56396484375, 0.58837890625, 0.61279296875, 0.63720703125, 0.66162109375, 0.68603515625, 0.71044921875, 0.73486328125]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 4.0, 2.0, 5.0, 6.0, 6.0, 6.0, 16.0, 14.0, 16.0, 21.0, 19.0, 38.0, 26.0, 29.0, 32.0, 66.0, 106.0, 309.0, 958.0, 3886.0, 449684.0, 1636269.0, 3927.0, 981.0, 285.0, 117.0, 57.0, 34.0, 32.0, 25.0, 19.0, 30.0, 33.0, 15.0, 16.0, 11.0, 7.0, 3.0, 7.0, 8.0, 4.0, 2.0, 3.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0007181167602539062, -0.0006949529051780701, -0.0006717890501022339, -0.0006486251950263977, -0.0006254613399505615, -0.0006022974848747253, -0.0005791336297988892, -0.000555969774723053, -0.0005328059196472168, -0.0005096420645713806, -0.00048647820949554443, -0.00046331435441970825, -0.00044015049934387207, -0.0004169866442680359, -0.0003938227891921997, -0.0003706589341163635, -0.00034749507904052734, -0.00032433122396469116, -0.000301167368888855, -0.0002780035138130188, -0.0002548396587371826, -0.00023167580366134644, -0.00020851194858551025, -0.00018534809350967407, -0.0001621842384338379, -0.0001390203833580017, -0.00011585652828216553, -9.269267320632935e-05, -6.952881813049316e-05, -4.636496305465698e-05, -2.32011079788208e-05, -3.725290298461914e-08, 2.3126602172851562e-05, 4.6290457248687744e-05, 6.945431232452393e-05, 9.261816740036011e-05, 0.00011578202247619629, 0.00013894587755203247, 0.00016210973262786865, 0.00018527358770370483, 0.00020843744277954102, 0.0002316012978553772, 0.0002547651529312134, 0.00027792900800704956, 0.00030109286308288574, 0.0003242567181587219, 0.0003474205732345581, 0.0003705844283103943, 0.00039374828338623047, 0.00041691213846206665, 0.00044007599353790283, 0.000463239848613739, 0.0004864037036895752, 0.0005095675587654114, 0.0005327314138412476, 0.0005558952689170837, 0.0005790591239929199, 0.0006022229790687561, 0.0006253868341445923, 0.0006485506892204285, 0.0006717145442962646, 0.0006948783993721008, 0.000718042254447937, 0.0007412061095237732, 0.0007643699645996094]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.bias": {"_type": "histogram", "values": [9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 16.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 38.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 888.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 40.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 6.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.300366759300232e-07, -2.2165477275848389e-07, -2.1327286958694458e-07, -2.0489096641540527e-07, -1.9650906324386597e-07, -1.8812716007232666e-07, -1.7974525690078735e-07, -1.7136335372924805e-07, -1.6298145055770874e-07, -1.5459954738616943e-07, -1.4621764421463013e-07, -1.3783574104309082e-07, -1.2945383787155151e-07, -1.210719347000122e-07, -1.126900315284729e-07, -1.043081283569336e-07, -9.592622518539429e-08, -8.754432201385498e-08, -7.916241884231567e-08, -7.078051567077637e-08, -6.239861249923706e-08, -5.4016709327697754e-08, -4.563480615615845e-08, -3.725290298461914e-08, -2.8870999813079834e-08, -2.0489096641540527e-08, -1.210719347000122e-08, -3.725290298461914e-09, 4.6566128730773926e-09, 1.30385160446167e-08, 2.1420419216156006e-08, 2.9802322387695312e-08, 3.818422555923462e-08, 4.6566128730773926e-08, 5.494803190231323e-08, 6.332993507385254e-08, 7.171183824539185e-08, 8.009374141693115e-08, 8.847564458847046e-08, 9.685754776000977e-08, 1.0523945093154907e-07, 1.1362135410308838e-07, 1.2200325727462769e-07, 1.30385160446167e-07, 1.387670636177063e-07, 1.471489667892456e-07, 1.555308699607849e-07, 1.6391277313232422e-07, 1.7229467630386353e-07, 1.8067657947540283e-07, 1.8905848264694214e-07, 1.9744038581848145e-07, 2.0582228899002075e-07, 2.1420419216156006e-07, 2.2258609533309937e-07, 2.3096799850463867e-07, 2.39349901676178e-07, 2.477318048477173e-07, 2.561137080192566e-07, 2.644956111907959e-07, 2.728775143623352e-07, 2.812594175338745e-07, 2.896413207054138e-07, 2.980232238769531e-07]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 4.0, 1.0, 0.0, 11.0, 0.0, 1.0, 4.0, 12.0, 0.0, 12.0, 19.0, 26.0, 25.0, 39.0, 68.0, 0.0, 60.0, 122.0, 242.0, 457.0, 788.0, 0.0, 1804.0, 3484.0, 6270.0, 12684.0, 27200.0, 0.0, 941901.0, 27444.0, 12574.0, 6188.0, 3338.0, 1734.0, 0.0, 881.0, 494.0, 260.0, 117.0, 59.0, 0.0, 81.0, 50.0, 21.0, 44.0, 15.0, 10.0, 0.0, 10.0, 5.0, 0.0, 0.0, 7.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.6093254089355469e-06, -1.559033989906311e-06, -1.5087425708770752e-06, -1.4584511518478394e-06, -1.4081597328186035e-06, -1.3578683137893677e-06, -1.3075768947601318e-06, -1.257285475730896e-06, -1.2069940567016602e-06, -1.1567026376724243e-06, -1.1064112186431885e-06, -1.0561197996139526e-06, -1.0058283805847168e-06, -9.55536961555481e-07, -9.052455425262451e-07, -8.549541234970093e-07, -8.046627044677734e-07, -7.543712854385376e-07, -7.040798664093018e-07, -6.537884473800659e-07, -6.034970283508301e-07, -5.532056093215942e-07, -5.029141902923584e-07, -4.5262277126312256e-07, -4.023313522338867e-07, -3.520399332046509e-07, -3.0174851417541504e-07, -2.514570951461792e-07, -2.0116567611694336e-07, -1.5087425708770752e-07, -1.0058283805847168e-07, -5.029141902923584e-08, 0.0, 5.029141902923584e-08, 1.0058283805847168e-07, 1.5087425708770752e-07, 2.0116567611694336e-07, 2.514570951461792e-07, 3.0174851417541504e-07, 3.520399332046509e-07, 4.023313522338867e-07, 4.5262277126312256e-07, 5.029141902923584e-07, 5.532056093215942e-07, 6.034970283508301e-07, 6.537884473800659e-07, 7.040798664093018e-07, 7.543712854385376e-07, 8.046627044677734e-07, 8.549541234970093e-07, 9.052455425262451e-07, 9.55536961555481e-07, 1.0058283805847168e-06, 1.0561197996139526e-06, 1.1064112186431885e-06, 1.1567026376724243e-06, 1.2069940567016602e-06, 1.257285475730896e-06, 1.3075768947601318e-06, 1.3578683137893677e-06, 1.4081597328186035e-06, 1.4584511518478394e-06, 1.5087425708770752e-06, 1.559033989906311e-06, 1.6093254089355469e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.weight": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 6.0, 5.0, 8.0, 11.0, 6.0, 21.0, 23.0, 45.0, 44.0, 74.0, 83.0, 135.0, 71.0, 70.0, 92.0, 57.0, 51.0, 38.0, 33.0, 26.0, 24.0, 14.0, 9.0, 8.0, 12.0, 5.0, 8.0, 4.0, 5.0, 4.0, 6.0, 1.0, 1.0, 2.0, 0.0, 2.0, 3.0, 4.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.8805424651400244e-07, -3.6195365282765124e-07, -3.3585305914130004e-07, -3.0975246545494883e-07, -2.8365187176859763e-07, -2.5755127808224643e-07, -2.314506701850405e-07, -2.053500764986893e-07, -1.792494828123381e-07, -1.531488891259869e-07, -1.270482954396357e-07, -1.0094769464785713e-07, -7.484710096150593e-08, -4.874650016972737e-08, -2.2645906483376166e-08, 3.4546872029750375e-09, 2.955528088932624e-08, 5.5655874575677444e-08, 8.175646826202865e-08, 1.0785706905380721e-07, 1.3395765563473105e-07, 1.6005826353193697e-07, 1.8615885721828818e-07, 2.1225945090463938e-07, 2.3836004459099058e-07, 2.644606524881965e-07, 2.905612461745477e-07, 3.166618398608989e-07, 3.427624335472501e-07, 3.688630272336013e-07, 3.949636209199525e-07, 4.210642146063037e-07, 4.4716483671436436e-07, 4.7326543040071556e-07, 4.993660240870668e-07, 5.254666461951274e-07, 5.515672114597692e-07, 5.776678335678298e-07, 6.037683988324716e-07, 6.298690209405322e-07, 6.55969586205174e-07, 6.820702083132346e-07, 7.081707735778764e-07, 7.34271395685937e-07, 7.603719609505788e-07, 7.864725830586394e-07, 8.125731483232812e-07, 8.386737704313418e-07, 8.647743925394025e-07, 8.908750146474631e-07, 9.169755799121049e-07, 9.430762020201655e-07, 9.691767672848073e-07, 9.95277332549449e-07, 1.0213780115009286e-06, 1.0474785767655703e-06, 1.073579142030212e-06, 1.0996797072948539e-06, 1.1257803862463334e-06, 1.1518809515109751e-06, 1.177981516775617e-06, 1.2040820820402587e-06, 1.2301827609917382e-06, 1.25628332625638e-06, 1.2823838915210217e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 7.0, 0.0, 0.0, 20.0, 0.0, 0.0, 26.0, 0.0, 0.0, 42.0, 0.0, 0.0, 0.0, 66.0, 0.0, 0.0, 86.0, 0.0, 0.0, 100.0, 0.0, 0.0, 109.0, 0.0, 0.0, 131.0, 0.0, 0.0, 0.0, 107.0, 0.0, 0.0, 83.0, 0.0, 0.0, 59.0, 0.0, 0.0, 79.0, 0.0, 0.0, 41.0, 0.0, 0.0, 0.0, 37.0, 0.0, 0.0, 15.0, 0.0, 0.0, 10.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-5.364418029785156e-07, -5.178153514862061e-07, -4.991888999938965e-07, -4.805624485015869e-07, -4.6193599700927734e-07, -4.4330954551696777e-07, -4.246830940246582e-07, -4.0605664253234863e-07, -3.8743019104003906e-07, -3.688037395477295e-07, -3.501772880554199e-07, -3.3155083656311035e-07, -3.129243850708008e-07, -2.942979335784912e-07, -2.7567148208618164e-07, -2.5704503059387207e-07, -2.384185791015625e-07, -2.1979212760925293e-07, -2.0116567611694336e-07, -1.825392246246338e-07, -1.6391277313232422e-07, -1.4528632164001465e-07, -1.2665987014770508e-07, -1.0803341865539551e-07, -8.940696716308594e-08, -7.078051567077637e-08, -5.21540641784668e-08, -3.3527612686157227e-08, -1.4901161193847656e-08, 3.725290298461914e-09, 2.2351741790771484e-08, 4.0978193283081055e-08, 5.960464477539063e-08, 7.82310962677002e-08, 9.685754776000977e-08, 1.1548399925231934e-07, 1.341104507446289e-07, 1.5273690223693848e-07, 1.7136335372924805e-07, 1.8998980522155762e-07, 2.086162567138672e-07, 2.2724270820617676e-07, 2.4586915969848633e-07, 2.644956111907959e-07, 2.8312206268310547e-07, 3.0174851417541504e-07, 3.203749656677246e-07, 3.390014171600342e-07, 3.5762786865234375e-07, 3.762543201446533e-07, 3.948807716369629e-07, 4.1350722312927246e-07, 4.3213367462158203e-07, 4.507601261138916e-07, 4.6938657760620117e-07, 4.880130290985107e-07, 5.066394805908203e-07, 5.252659320831299e-07, 5.438923835754395e-07, 5.62518835067749e-07, 5.811452865600586e-07, 5.997717380523682e-07, 6.183981895446777e-07, 6.370246410369873e-07, 6.556510925292969e-07]}, "gradients/decoder.transformer.h.0.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 4.0, 9.0, 8.0, 8.0, 10.0, 18.0, 17.0, 22.0, 22.0, 35.0, 41.0, 26.0, 37.0, 47.0, 37.0, 51.0, 41.0, 57.0, 49.0, 51.0, 63.0, 53.0, 46.0, 28.0, 27.0, 36.0, 26.0, 22.0, 17.0, 19.0, 14.0, 11.0, 17.0, 5.0, 7.0, 3.0, 6.0, 5.0, 3.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.123046875, -1.09100341796875, -1.0589599609375, -1.02691650390625, -0.994873046875, -0.96282958984375, -0.9307861328125, -0.89874267578125, -0.86669921875, -0.83465576171875, -0.8026123046875, -0.77056884765625, -0.738525390625, -0.70648193359375, -0.6744384765625, -0.64239501953125, -0.6103515625, -0.57830810546875, -0.5462646484375, -0.51422119140625, -0.482177734375, -0.45013427734375, -0.4180908203125, -0.38604736328125, -0.35400390625, -0.32196044921875, -0.2899169921875, -0.25787353515625, -0.225830078125, -0.19378662109375, -0.1617431640625, -0.12969970703125, -0.09765625, -0.06561279296875, -0.0335693359375, -0.00152587890625, 0.030517578125, 0.06256103515625, 0.0946044921875, 0.12664794921875, 0.15869140625, 0.19073486328125, 0.2227783203125, 0.25482177734375, 0.286865234375, 0.31890869140625, 0.3509521484375, 0.38299560546875, 0.4150390625, 0.44708251953125, 0.4791259765625, 0.51116943359375, 0.543212890625, 0.57525634765625, 0.6072998046875, 0.63934326171875, 0.67138671875, 0.70343017578125, 0.7354736328125, 0.76751708984375, 0.799560546875, 0.83160400390625, 0.8636474609375, 0.89569091796875, 0.927734375]}, "gradients/decoder.transformer.h.0.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 3.0, 12.0, 6.0, 10.0, 12.0, 21.0, 19.0, 26.0, 36.0, 53.0, 77.0, 81.0, 133.0, 270.0, 674.0, 2203.0, 15770.0, 174828.0, 655108.0, 179478.0, 15965.0, 2331.0, 659.0, 282.0, 155.0, 85.0, 49.0, 47.0, 43.0, 22.0, 20.0, 19.0, 15.0, 6.0, 10.0, 7.0, 4.0, 8.0, 3.0, 3.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17529296875, -0.1700611114501953, -0.16482925415039062, -0.15959739685058594, -0.15436553955078125, -0.14913368225097656, -0.14390182495117188, -0.1386699676513672, -0.1334381103515625, -0.1282062530517578, -0.12297439575195312, -0.11774253845214844, -0.11251068115234375, -0.10727882385253906, -0.10204696655273438, -0.09681510925292969, -0.091583251953125, -0.08635139465332031, -0.08111953735351562, -0.07588768005371094, -0.07065582275390625, -0.06542396545410156, -0.060192108154296875, -0.05496025085449219, -0.0497283935546875, -0.04449653625488281, -0.039264678955078125, -0.03403282165527344, -0.02880096435546875, -0.023569107055664062, -0.018337249755859375, -0.013105392456054688, -0.00787353515625, -0.0026416778564453125, 0.002590179443359375, 0.007822036743164062, 0.01305389404296875, 0.018285751342773438, 0.023517608642578125, 0.028749465942382812, 0.0339813232421875, 0.03921318054199219, 0.044445037841796875, 0.04967689514160156, 0.05490875244140625, 0.06014060974121094, 0.06537246704101562, 0.07060432434082031, 0.075836181640625, 0.08106803894042969, 0.08629989624023438, 0.09153175354003906, 0.09676361083984375, 0.10199546813964844, 0.10722732543945312, 0.11245918273925781, 0.1176910400390625, 0.12292289733886719, 0.12815475463867188, 0.13338661193847656, 0.13861846923828125, 0.14385032653808594, 0.14908218383789062, 0.1543140411376953, 0.1595458984375]}, "gradients/decoder.transformer.h.0.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 6.0, 11.0, 17.0, 21.0, 20.0, 23.0, 53.0, 52.0, 62.0, 81.0, 80.0, 293.0, 1922.0, 90.0, 85.0, 60.0, 48.0, 46.0, 24.0, 17.0, 14.0, 14.0, 8.0, 10.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.416015625, -2.342864990234375, -2.26971435546875, -2.196563720703125, -2.1234130859375, -2.050262451171875, -1.97711181640625, -1.903961181640625, -1.830810546875, -1.757659912109375, -1.68450927734375, -1.611358642578125, -1.5382080078125, -1.465057373046875, -1.39190673828125, -1.318756103515625, -1.24560546875, -1.172454833984375, -1.09930419921875, -1.026153564453125, -0.9530029296875, -0.879852294921875, -0.80670166015625, -0.733551025390625, -0.660400390625, -0.587249755859375, -0.51409912109375, -0.440948486328125, -0.3677978515625, -0.294647216796875, -0.22149658203125, -0.148345947265625, -0.0751953125, -0.002044677734375, 0.07110595703125, 0.144256591796875, 0.2174072265625, 0.290557861328125, 0.36370849609375, 0.436859130859375, 0.510009765625, 0.583160400390625, 0.65631103515625, 0.729461669921875, 0.8026123046875, 0.875762939453125, 0.94891357421875, 1.022064208984375, 1.09521484375, 1.168365478515625, 1.24151611328125, 1.314666748046875, 1.3878173828125, 1.460968017578125, 1.53411865234375, 1.607269287109375, 1.680419921875, 1.753570556640625, 1.82672119140625, 1.899871826171875, 1.9730224609375, 2.046173095703125, 2.11932373046875, 2.192474365234375, 2.265625]}, "gradients/decoder.transformer.h.0.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 5.0, 10.0, 17.0, 21.0, 33.0, 34.0, 73.0, 112.0, 197.0, 373.0, 860.0, 2176.0, 7360.0, 54329.0, 2796572.0, 255429.0, 21240.0, 4191.0, 1379.0, 608.0, 281.0, 175.0, 100.0, 51.0, 32.0, 17.0, 12.0, 10.0, 11.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11962890625, -0.114990234375, -0.1103515625, -0.105712890625, -0.10107421875, -0.096435546875, -0.091796875, -0.087158203125, -0.08251953125, -0.077880859375, -0.0732421875, -0.068603515625, -0.06396484375, -0.059326171875, -0.0546875, -0.050048828125, -0.04541015625, -0.040771484375, -0.0361328125, -0.031494140625, -0.02685546875, -0.022216796875, -0.017578125, -0.012939453125, -0.00830078125, -0.003662109375, 0.0009765625, 0.005615234375, 0.01025390625, 0.014892578125, 0.01953125, 0.024169921875, 0.02880859375, 0.033447265625, 0.0380859375, 0.042724609375, 0.04736328125, 0.052001953125, 0.056640625, 0.061279296875, 0.06591796875, 0.070556640625, 0.0751953125, 0.079833984375, 0.08447265625, 0.089111328125, 0.09375, 0.098388671875, 0.10302734375, 0.107666015625, 0.1123046875, 0.116943359375, 0.12158203125, 0.126220703125, 0.130859375, 0.135498046875, 0.14013671875, 0.144775390625, 0.1494140625, 0.154052734375, 0.15869140625, 0.163330078125, 0.16796875, 0.172607421875, 0.17724609375]}, "gradients/decoder.transformer.h.0.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 9.0, 7.0, 7.0, 20.0, 23.0, 39.0, 55.0, 93.0, 123.0, 183.0, 140.0, 93.0, 73.0, 45.0, 27.0, 17.0, 15.0, 14.0, 3.0, 4.0, 4.0, 5.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7100367546081543, -2.6249492168426514, -2.5398616790771484, -2.4547741413116455, -2.3696866035461426, -2.2845990657806396, -2.1995115280151367, -2.114424228668213, -2.029336452484131, -1.944248914718628, -1.859161376953125, -1.774073839187622, -1.6889863014221191, -1.6038987636566162, -1.5188113451004028, -1.4337238073349, -1.3486363887786865, -1.2635488510131836, -1.1784613132476807, -1.0933737754821777, -1.0082862377166748, -0.9231987595558167, -0.8381112813949585, -0.7530237436294556, -0.6679362058639526, -0.5828486680984497, -0.49776116013526917, -0.4126736521720886, -0.3275861144065857, -0.24249857664108276, -0.1574110984802246, -0.07232356071472168, 0.01276397705078125, 0.09785149991512299, 0.18293902277946472, 0.26802653074264526, 0.3531140685081482, 0.4382016062736511, 0.5232890844345093, 0.6083766222000122, 0.6934641599655151, 0.7785516977310181, 0.863639235496521, 0.9487267136573792, 1.0338141918182373, 1.1189017295837402, 1.2039892673492432, 1.289076805114746, 1.374164342880249, 1.459251880645752, 1.5443394184112549, 1.6294269561767578, 1.7145144939422607, 1.7996020317077637, 1.884689450263977, 1.96977698802948, 2.0548644065856934, 2.1399519443511963, 2.225039482116699, 2.310127019882202, 2.395214557647705, 2.480302095413208, 2.565389633178711, 2.6504769325256348, 2.735564708709717]}, "gradients/decoder.transformer.h.0.ln_1.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 1.0, 1.0, 2.0, 9.0, 4.0, 8.0, 6.0, 8.0, 16.0, 12.0, 16.0, 21.0, 21.0, 30.0, 37.0, 32.0, 37.0, 29.0, 52.0, 56.0, 50.0, 36.0, 46.0, 51.0, 64.0, 41.0, 36.0, 32.0, 32.0, 33.0, 24.0, 31.0, 18.0, 24.0, 13.0, 17.0, 8.0, 11.0, 5.0, 10.0, 11.0, 6.0, 3.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-2.715703010559082, -2.629316806793213, -2.5429306030273438, -2.4565443992614746, -2.3701581954956055, -2.2837719917297363, -2.197385787963867, -2.110999584197998, -2.024613380432129, -1.9382271766662598, -1.8518409729003906, -1.7654547691345215, -1.6790685653686523, -1.5926823616027832, -1.5062960386276245, -1.4199098348617554, -1.3335235118865967, -1.2471373081207275, -1.1607511043548584, -1.0743649005889893, -0.9879786372184753, -0.9015924334526062, -0.8152061700820923, -0.7288199663162231, -0.642433762550354, -0.5560475587844849, -0.46966132521629333, -0.3832750916481018, -0.29688888788223267, -0.21050268411636353, -0.12411642074584961, -0.03773021697998047, 0.04865598678588867, 0.135042205452919, 0.22142842411994934, 0.30781465768814087, 0.39420086145401, 0.48058706521987915, 0.5669733285903931, 0.6533595323562622, 0.7397457361221313, 0.8261319398880005, 0.9125181436538696, 0.9989044070243835, 1.0852906703948975, 1.1716768741607666, 1.2580630779266357, 1.3444492816925049, 1.430835485458374, 1.5172216892242432, 1.6036078929901123, 1.6899940967559814, 1.7763803005218506, 1.8627665042877197, 1.9491528272628784, 2.035539150238037, 2.1219253540039062, 2.2083115577697754, 2.2946977615356445, 2.3810839653015137, 2.467470169067383, 2.553856372833252, 2.640242576599121, 2.7266287803649902, 2.8130149841308594]}, "gradients/decoder.transformer.wpe.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 5.0, 8.0, 11.0, 14.0, 12.0, 21.0, 22.0, 30.0, 39.0, 55.0, 75.0, 108.0, 119.0, 111.0, 189.0, 216.0, 297.0, 326.0, 398.0, 483.0, 634.0, 807.0, 1039805.0, 1201.0, 697.0, 473.0, 457.0, 382.0, 346.0, 265.0, 208.0, 167.0, 117.0, 99.0, 89.0, 68.0, 54.0, 44.0, 30.0, 27.0, 17.0, 8.0, 9.0, 6.0, 8.0, 2.0, 4.0, 1.0, 4.0, 0.0, 1.0], "bins": [-0.5221946239471436, -0.5076136589050293, -0.49303263425827026, -0.4784516394138336, -0.463870644569397, -0.4492896497249603, -0.4347086548805237, -0.4201276898384094, -0.4055466651916504, -0.39096567034721375, -0.3763846755027771, -0.36180368065834045, -0.3472226858139038, -0.33264169096946716, -0.3180606961250305, -0.30347973108291626, -0.2888987362384796, -0.27431774139404297, -0.2597367465496063, -0.24515575170516968, -0.23057475686073303, -0.2159937620162964, -0.20141278207302094, -0.1868317872285843, -0.17225079238414764, -0.157669797539711, -0.14308880269527435, -0.1285078227519989, -0.11392682045698166, -0.09934582561254501, -0.08476483821868896, -0.07018384337425232, -0.055602848529815674, -0.04102185368537903, -0.02644086256623268, -0.011859871447086334, 0.0027211233973503113, 0.017302118241786957, 0.031883105635643005, 0.04646410048007965, 0.061045095324516296, 0.07562609016895294, 0.09020708501338959, 0.10478807240724564, 0.11936906725168228, 0.13395005464553833, 0.14853104948997498, 0.16311204433441162, 0.17769303917884827, 0.1922740340232849, 0.20685502886772156, 0.2214360237121582, 0.23601701855659485, 0.2505980134010315, 0.26517897844314575, 0.2797600030899048, 0.29434096813201904, 0.3089219629764557, 0.32350295782089233, 0.338083952665329, 0.3526649475097656, 0.36724594235420227, 0.3818269371986389, 0.3964079022407532, 0.4109889268875122]}, "gradients/decoder.transformer.wte.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 3.0, 1.0, 0.0, 6.0, 4.0, 5.0, 4.0, 5.0, 15.0, 13.0, 17.0, 36.0, 70.0, 234.0, 13346.0, 51448904.0, 330.0, 74.0, 39.0, 20.0, 15.0, 13.0, 4.0, 4.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-25.196674346923828, -24.650405883789062, -24.10413932800293, -23.557870864868164, -23.0116024017334, -22.465335845947266, -21.9190673828125, -21.372798919677734, -20.82653045654297, -20.280261993408203, -19.73399543762207, -19.187726974487305, -18.64145851135254, -18.095191955566406, -17.54892349243164, -17.002655029296875, -16.456388473510742, -15.910120964050293, -15.363852500915527, -14.817584991455078, -14.271316528320312, -13.725049018859863, -13.178781509399414, -12.632513046264648, -12.0862455368042, -11.53997802734375, -10.993709564208984, -10.447442054748535, -9.901174545288086, -9.35490608215332, -8.808638572692871, -8.262371063232422, -7.716104507446289, -7.169836521148682, -6.623568534851074, -6.077301025390625, -5.531033039093018, -4.98476505279541, -4.438497543334961, -3.8922295570373535, -3.345961570739746, -2.7996935844421387, -2.2534258365631104, -1.7071579694747925, -1.1608901023864746, -0.6146221160888672, -0.06835436820983887, 0.47791337966918945, 1.0241813659667969, 1.5704492330551147, 2.1167171001434326, 2.662984848022461, 3.2092528343200684, 3.755520820617676, 4.301788330078125, 4.848056316375732, 5.39432430267334, 5.940592288970947, 6.486860275268555, 7.033127784729004, 7.579395771026611, 8.125663757324219, 8.671931266784668, 9.218198776245117, 9.764467239379883]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [2.0, 0.0, 6.0, 3.0, 4.0, 5.0, 4.0, 5.0, 3.0, 3.0, 7.0, 9.0, 12.0, 15.0, 13.0, 19.0, 23.0, 33.0, 31.0, 62.0, 83.0, 81.0, 135.0, 218.0, 491.0, 1494.0, 10037.0, 6267568.0, 8149.0, 1480.0, 565.0, 256.0, 150.0, 125.0, 65.0, 42.0, 39.0, 39.0, 27.0, 20.0, 15.0, 16.0, 12.0, 13.0, 10.0, 6.0, 13.0, 11.0, 5.0, 9.0, 4.0, 4.0, 1.0, 3.0, 5.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0004622936248779297, -0.0004454590380191803, -0.0004286244511604309, -0.0004117898643016815, -0.00039495527744293213, -0.00037812069058418274, -0.00036128610372543335, -0.00034445151686668396, -0.00032761693000793457, -0.0003107823431491852, -0.0002939477562904358, -0.0002771131694316864, -0.000260278582572937, -0.00024344399571418762, -0.00022660940885543823, -0.00020977482199668884, -0.00019294023513793945, -0.00017610564827919006, -0.00015927106142044067, -0.00014243647456169128, -0.0001256018877029419, -0.0001087673008441925, -9.193271398544312e-05, -7.509812712669373e-05, -5.8263540267944336e-05, -4.1428953409194946e-05, -2.4594366550445557e-05, -7.759779691696167e-06, 9.074807167053223e-06, 2.5909394025802612e-05, 4.2743980884552e-05, 5.957856774330139e-05, 7.641315460205078e-05, 9.324774146080017e-05, 0.00011008232831954956, 0.00012691691517829895, 0.00014375150203704834, 0.00016058608889579773, 0.00017742067575454712, 0.0001942552626132965, 0.0002110898494720459, 0.0002279244363307953, 0.0002447590231895447, 0.00026159361004829407, 0.00027842819690704346, 0.00029526278376579285, 0.00031209737062454224, 0.0003289319574832916, 0.000345766544342041, 0.0003626011312007904, 0.0003794357180595398, 0.0003962703049182892, 0.0004131048917770386, 0.00042993947863578796, 0.00044677406549453735, 0.00046360865235328674, 0.00048044323921203613, 0.0004972778260707855, 0.0005141124129295349, 0.0005309469997882843, 0.0005477815866470337, 0.0005646161735057831, 0.0005814507603645325, 0.0005982853472232819, 0.0006151199340820312]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 6.0, 5.0, 6.0, 11.0, 37.0, 1151.0, 764.0, 29.0, 11.0, 8.0, 5.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00023686885833740234, -0.0002319328486919403, -0.00022699683904647827, -0.00022206082940101624, -0.0002171248197555542, -0.00021218881011009216, -0.00020725280046463013, -0.0002023167908191681, -0.00019738078117370605, -0.00019244477152824402, -0.00018750876188278198, -0.00018257275223731995, -0.0001776367425918579, -0.00017270073294639587, -0.00016776472330093384, -0.0001628287136554718, -0.00015789270401000977, -0.00015295669436454773, -0.0001480206847190857, -0.00014308467507362366, -0.00013814866542816162, -0.00013321265578269958, -0.00012827664613723755, -0.0001233406364917755, -0.00011840462684631348, -0.00011346861720085144, -0.0001085326075553894, -0.00010359659790992737, -9.866058826446533e-05, -9.37245786190033e-05, -8.878856897354126e-05, -8.385255932807922e-05, -7.891654968261719e-05, -7.398054003715515e-05, -6.904453039169312e-05, -6.410852074623108e-05, -5.917251110076904e-05, -5.423650145530701e-05, -4.930049180984497e-05, -4.4364482164382935e-05, -3.94284725189209e-05, -3.449246287345886e-05, -2.9556453227996826e-05, -2.462044358253479e-05, -1.9684433937072754e-05, -1.4748424291610718e-05, -9.812414646148682e-06, -4.8764050006866455e-06, 5.960464477539063e-08, 4.995614290237427e-06, 9.931623935699463e-06, 1.4867633581161499e-05, 1.9803643226623535e-05, 2.473965287208557e-05, 2.9675662517547607e-05, 3.4611672163009644e-05, 3.954768180847168e-05, 4.4483691453933716e-05, 4.941970109939575e-05, 5.435571074485779e-05, 5.9291720390319824e-05, 6.422773003578186e-05, 6.91637396812439e-05, 7.409974932670593e-05, 7.903575897216797e-05]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 3.0, 1.0, 1.0, 2.0, 7.0, 8.0, 7.0, 8.0, 17.0, 20.0, 32.0, 51.0, 74.0, 155.0, 349.0, 1509.0, 15885.0, 6188411.0, 80388.0, 3398.0, 683.0, 203.0, 78.0, 55.0, 28.0, 19.0, 20.0, 8.0, 7.0, 5.0, 2.0, 5.0, 2.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.113550186157227e-05, -8.865166455507278e-05, -8.61678272485733e-05, -8.368398994207382e-05, -8.120015263557434e-05, -7.871631532907486e-05, -7.623247802257538e-05, -7.37486407160759e-05, -7.126480340957642e-05, -6.878096610307693e-05, -6.629712879657745e-05, -6.381329149007797e-05, -6.132945418357849e-05, -5.884561687707901e-05, -5.636177957057953e-05, -5.387794226408005e-05, -5.1394104957580566e-05, -4.8910267651081085e-05, -4.6426430344581604e-05, -4.394259303808212e-05, -4.145875573158264e-05, -3.897491842508316e-05, -3.649108111858368e-05, -3.40072438120842e-05, -3.152340650558472e-05, -2.9039569199085236e-05, -2.6555731892585754e-05, -2.4071894586086273e-05, -2.1588057279586792e-05, -1.910421997308731e-05, -1.662038266658783e-05, -1.4136545360088348e-05, -1.1652708053588867e-05, -9.168870747089386e-06, -6.685033440589905e-06, -4.201196134090424e-06, -1.7173588275909424e-06, 7.664784789085388e-07, 3.25031578540802e-06, 5.734153091907501e-06, 8.217990398406982e-06, 1.0701827704906464e-05, 1.3185665011405945e-05, 1.5669502317905426e-05, 1.8153339624404907e-05, 2.063717693090439e-05, 2.312101423740387e-05, 2.560485154390335e-05, 2.8088688850402832e-05, 3.057252615690231e-05, 3.3056363463401794e-05, 3.5540200769901276e-05, 3.802403807640076e-05, 4.050787538290024e-05, 4.299171268939972e-05, 4.54755499958992e-05, 4.795938730239868e-05, 5.044322460889816e-05, 5.2927061915397644e-05, 5.5410899221897125e-05, 5.7894736528396606e-05, 6.037857383489609e-05, 6.286241114139557e-05, 6.534624844789505e-05, 6.783008575439453e-05]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 0.0, 1.0, 3.0, 3.0, 7.0, 3.0, 4.0, 10.0, 9.0, 8.0, 14.0, 18.0, 12.0, 28.0, 27.0, 47.0, 72.0, 117.0, 262.0, 709.0, 263.0, 136.0, 70.0, 72.0, 38.0, 22.0, 22.0, 7.0, 12.0, 8.0, 7.0, 1.0, 5.0, 1.0, 4.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.717443466186523e-05, -6.525963544845581e-05, -6.334483623504639e-05, -6.143003702163696e-05, -5.951523780822754e-05, -5.7600438594818115e-05, -5.568563938140869e-05, -5.377084016799927e-05, -5.1856040954589844e-05, -4.994124174118042e-05, -4.8026442527770996e-05, -4.611164331436157e-05, -4.419684410095215e-05, -4.2282044887542725e-05, -4.03672456741333e-05, -3.845244646072388e-05, -3.653764724731445e-05, -3.462284803390503e-05, -3.2708048820495605e-05, -3.079324960708618e-05, -2.8878450393676758e-05, -2.6963651180267334e-05, -2.504885196685791e-05, -2.3134052753448486e-05, -2.1219253540039062e-05, -1.930445432662964e-05, -1.7389655113220215e-05, -1.547485589981079e-05, -1.3560056686401367e-05, -1.1645257472991943e-05, -9.73045825958252e-06, -7.815659046173096e-06, -5.900859832763672e-06, -3.986060619354248e-06, -2.0712614059448242e-06, -1.564621925354004e-07, 1.7583370208740234e-06, 3.6731362342834473e-06, 5.587935447692871e-06, 7.502734661102295e-06, 9.417533874511719e-06, 1.1332333087921143e-05, 1.3247132301330566e-05, 1.516193151473999e-05, 1.7076730728149414e-05, 1.8991529941558838e-05, 2.0906329154968262e-05, 2.2821128368377686e-05, 2.473592758178711e-05, 2.6650726795196533e-05, 2.8565526008605957e-05, 3.048032522201538e-05, 3.2395124435424805e-05, 3.430992364883423e-05, 3.622472286224365e-05, 3.8139522075653076e-05, 4.00543212890625e-05, 4.1969120502471924e-05, 4.388391971588135e-05, 4.579871892929077e-05, 4.7713518142700195e-05, 4.962831735610962e-05, 5.154311656951904e-05, 5.345791578292847e-05, 5.537271499633789e-05]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 5.0, 6.0, 9.0, 8.0, 15.0, 15.0, 33.0, 88.0, 125.0, 262.0, 511.0, 1027.0, 2015.0, 5504.0, 24640.0, 5784935.0, 444141.0, 19691.0, 4635.0, 1828.0, 885.0, 513.0, 236.0, 121.0, 71.0, 45.0, 18.0, 11.0, 2.0, 8.0, 4.0, 4.0, 10.0, 2.0, 3.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-6.747245788574219e-05, -6.52894377708435e-05, -6.310641765594482e-05, -6.092339754104614e-05, -5.874037742614746e-05, -5.655735731124878e-05, -5.43743371963501e-05, -5.2191317081451416e-05, -5.0008296966552734e-05, -4.782527685165405e-05, -4.564225673675537e-05, -4.345923662185669e-05, -4.127621650695801e-05, -3.9093196392059326e-05, -3.6910176277160645e-05, -3.472715616226196e-05, -3.254413604736328e-05, -3.03611159324646e-05, -2.8178095817565918e-05, -2.5995075702667236e-05, -2.3812055587768555e-05, -2.1629035472869873e-05, -1.944601535797119e-05, -1.726299524307251e-05, -1.5079975128173828e-05, -1.2896955013275146e-05, -1.0713934898376465e-05, -8.530914783477783e-06, -6.3478946685791016e-06, -4.16487455368042e-06, -1.9818544387817383e-06, 2.0116567611694336e-07, 2.384185791015625e-06, 4.567205905914307e-06, 6.750226020812988e-06, 8.93324613571167e-06, 1.1116266250610352e-05, 1.3299286365509033e-05, 1.5482306480407715e-05, 1.7665326595306396e-05, 1.9848346710205078e-05, 2.203136682510376e-05, 2.421438694000244e-05, 2.6397407054901123e-05, 2.8580427169799805e-05, 3.0763447284698486e-05, 3.294646739959717e-05, 3.512948751449585e-05, 3.731250762939453e-05, 3.949552774429321e-05, 4.1678547859191895e-05, 4.3861567974090576e-05, 4.604458808898926e-05, 4.822760820388794e-05, 5.041062831878662e-05, 5.25936484336853e-05, 5.4776668548583984e-05, 5.6959688663482666e-05, 5.914270877838135e-05, 6.132572889328003e-05, 6.350874900817871e-05, 6.569176912307739e-05, 6.787478923797607e-05, 7.005780935287476e-05, 7.224082946777344e-05]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 2.0, 6.0, 10.0, 7.0, 23.0, 18.0, 21.0, 19.0, 22.0, 18.0, 36.0, 50.0, 117.0, 489.0, 481.0, 281.0, 113.0, 53.0, 53.0, 48.0, 43.0, 48.0, 29.0, 21.0, 8.0, 9.0, 5.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.612041473388672e-05, -3.410503268241882e-05, -3.208965063095093e-05, -3.0074268579483032e-05, -2.8058886528015137e-05, -2.604350447654724e-05, -2.4028122425079346e-05, -2.201274037361145e-05, -1.9997358322143555e-05, -1.798197627067566e-05, -1.5966594219207764e-05, -1.3951212167739868e-05, -1.1935830116271973e-05, -9.920448064804077e-06, -7.905066013336182e-06, -5.889683961868286e-06, -3.874301910400391e-06, -1.8589198589324951e-06, 1.564621925354004e-07, 2.171844244003296e-06, 4.187226295471191e-06, 6.202608346939087e-06, 8.217990398406982e-06, 1.0233372449874878e-05, 1.2248754501342773e-05, 1.4264136552810669e-05, 1.6279518604278564e-05, 1.829490065574646e-05, 2.0310282707214355e-05, 2.232566475868225e-05, 2.4341046810150146e-05, 2.6356428861618042e-05, 2.8371810913085938e-05, 3.0387192964553833e-05, 3.240257501602173e-05, 3.4417957067489624e-05, 3.643333911895752e-05, 3.8448721170425415e-05, 4.046410322189331e-05, 4.2479485273361206e-05, 4.44948673248291e-05, 4.6510249376297e-05, 4.852563142776489e-05, 5.054101347923279e-05, 5.2556395530700684e-05, 5.457177758216858e-05, 5.6587159633636475e-05, 5.860254168510437e-05, 6.0617923736572266e-05, 6.263330578804016e-05, 6.464868783950806e-05, 6.666406989097595e-05, 6.867945194244385e-05, 7.069483399391174e-05, 7.271021604537964e-05, 7.472559809684753e-05, 7.674098014831543e-05, 7.875636219978333e-05, 8.077174425125122e-05, 8.278712630271912e-05, 8.480250835418701e-05, 8.681789040565491e-05, 8.88332724571228e-05, 9.08486545085907e-05, 9.28640365600586e-05]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 4.0, 2.0, 4.0, 2.0, 3.0, 2.0, 2.0, 5.0, 8.0, 11.0, 11.0, 22.0, 27.0, 25.0, 30.0, 29.0, 34.0, 43.0, 63.0, 68.0, 82.0, 149.0, 63.0, 46.0, 36.0, 34.0, 26.0, 22.0, 22.0, 19.0, 20.0, 13.0, 13.0, 17.0, 13.0, 10.0, 8.0, 5.0, 4.0, 3.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0009005892788991332, -0.0008701018523424864, -0.0008396144257858396, -0.0008091269992291927, -0.0007786396308802068, -0.00074815220432356, -0.0007176647777669132, -0.0006871773512102664, -0.0006566899828612804, -0.0006262025563046336, -0.0005957151297479868, -0.00056522770319134, -0.0005347403348423541, -0.0005042529082857072, -0.0004737654817290604, -0.0004432780551724136, -0.00041279062861576676, -0.00038230320205911994, -0.00035181580460630357, -0.00032132837804965675, -0.0002908409805968404, -0.00026035355404019356, -0.00022986612748354673, -0.00019937871547881514, -0.00016889130347408354, -0.00013840389146935195, -0.00010791647218866274, -7.742905290797353e-05, -4.694164090324193e-05, -1.6454228898510337e-05, 1.4033197658136487e-05, 4.452060966286808e-05, 7.500802166759968e-05, 0.00010549543367233127, 0.00013598284567706287, 0.0001664702722337097, 0.0001969576842384413, 0.00022744509624317288, 0.0002579325227998197, 0.00028841994935646653, 0.0003189073468092829, 0.0003493947733659297, 0.0003798821708187461, 0.0004103695973753929, 0.00044085702393203974, 0.0004713444213848561, 0.0005018318770453334, 0.0005323192453943193, 0.0005628066719509661, 0.0005932940985076129, 0.0006237815250642598, 0.0006542688934132457, 0.0006847563199698925, 0.0007152437465265393, 0.0007457311730831861, 0.000776218599639833, 0.0008067060261964798, 0.0008371934527531266, 0.0008676808793097734, 0.0008981683058664203, 0.0009286556742154062, 0.000959143100772053, 0.0009896305855363607, 0.0010201178956776857, 0.0010506053222343326]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 3.0, 4.0, 5.0, 9.0, 4.0, 10.0, 7.0, 15.0, 19.0, 21.0, 25.0, 20.0, 28.0, 23.0, 31.0, 39.0, 48.0, 41.0, 49.0, 43.0, 48.0, 48.0, 47.0, 61.0, 50.0, 37.0, 29.0, 31.0, 30.0, 32.0, 32.0, 23.0, 17.0, 8.0, 21.0, 7.0, 8.0, 8.0, 8.0, 4.0, 3.0, 1.0, 5.0, 1.0, 3.0, 1.0, 1.0, 2.0, 1.0, 1.0], "bins": [-0.0009069442749023438, -0.0008809352293610573, -0.0008549261838197708, -0.0008289171382784843, -0.0008029080927371979, -0.0007768990471959114, -0.0007508900016546249, -0.0007248809561133385, -0.000698871910572052, -0.0006728628650307655, -0.0006468538194894791, -0.0006208447739481926, -0.0005948357284069061, -0.0005688266828656197, -0.0005428176373243332, -0.0005168085917830467, -0.0004907995462417603, -0.0004647905007004738, -0.0004387814551591873, -0.00041277240961790085, -0.0003867633640766144, -0.0003607543185353279, -0.00033474527299404144, -0.000308736227452755, -0.0002827271819114685, -0.00025671813637018204, -0.00023070909082889557, -0.0002047000452876091, -0.00017869099974632263, -0.00015268195420503616, -0.0001266729086637497, -0.00010066386312246323, -7.465481758117676e-05, -4.864577203989029e-05, -2.263672649860382e-05, 3.3723190426826477e-06, 2.9381364583969116e-05, 5.5390410125255585e-05, 8.139945566654205e-05, 0.00010740850120782852, 0.000133417546749115, 0.00015942659229040146, 0.00018543563783168793, 0.0002114446833729744, 0.00023745372891426086, 0.00026346277445554733, 0.0002894718199968338, 0.00031548086553812027, 0.00034148991107940674, 0.0003674989566206932, 0.0003935080021619797, 0.00041951704770326614, 0.0004455260932445526, 0.0004715351387858391, 0.0004975441843271255, 0.000523553229868412, 0.0005495622754096985, 0.000575571320950985, 0.0006015803664922714, 0.0006275894120335579, 0.0006535984575748444, 0.0006796075031161308, 0.0007056165486574173, 0.0007316255941987038, 0.0007576346397399902]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8388608.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 128.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 524288.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "eval/loss": 5.242259502410889, "eval/wer": 1.918048393494645, "eval/runtime": 938.3919, "eval/samples_per_second": 2.815, "eval/steps_per_second": 0.353}
\ No newline at end of file